Hur man använder kurvanpassning i prediktiv analys - dummies

Kurvanpassning är en process som används i prediktiv analys där målet är att skapa en kurva som visar den matematiska funktion som bäst passar de faktiska (ursprungliga) datapunkterna i en dataserie.

Kurvan kan antingen passera genom varje datapunkt eller stanna inom större delen av data, ignorera några datapunkter i hopp om att dra trender från data. I båda fallen tilldelas en enda matematisk funktion till hela datatyget, med målet att fästa alla datapunkter i en kurva som avgränsar trender och hjälpmedelprediktion.

Kurvmontering kan uppnås på ett av tre sätt:

• Genom att hitta en exakt passform för varje datapunkt (en process som heter interpolation )

• Genom att stanna inom Huvuddelen av data medan du ignorerar några datapunkter i hopp om att dra trender ur data

• Genom att använda datautjämning för att komma fram till en funktion som representerar det jämnda grafen

Kurvmontering kan användas för att fylla i möjliga datapunkter för att ersätta saknade värden eller hjälpa analytiker att visualisera data.

När du arbetar för att generera en prediktiv analysmodell, undviker du att skräddarsy din modell så att den passar ditt dataprov perfekt. En sådan modell kommer att misslyckas - misslyckat - att förutse liknande, ändå varierande dataset utanför dataprovet. Att montera en modell för nära ett visst dataprov är ett klassiskt misstag som heter övermontering .

Överflödets öde

I själva verket är överfitting av en modell vad som händer när du överträffar modellen för att bara representera dina provdata - vilket inte är en bra representation av data som helhet. Utan en mer realistisk dataset att fortsätta kan modellen bli plågad av fel och risker när den går i drift - och konsekvenserna för ditt företag kan vara allvarliga.

Överfitting av en modell är en vanlig fälla eftersom människor vill skapa modeller som fungerar - och så är frestad att hålla anpassningsvariabler och parametrar tills modellen fungerar perfekt - för lite data. Att erra är mänsklig. Lyckligtvis är det också mänskligt att skapa realistiska lösningar.

För att undvika överfitting av din modell till din provdataset, var noga med att ha en massa testdata tillgängliga som är separata från din provdata. Då kan du mäta prestandan på din modell oberoende innan du gör modellen i funktion.

Således är en allmän skydd mot överfitting att dela upp dina data i två delar: träningsdata och testdata. Modellens prestanda mot testdata kommer att berätta mycket om modellen är redo för den verkliga världen.

En annan bästa praxis är att se till att dina data representerar den större befolkningen i domänen du modellerar för. Allt en överträffad modell vet är de specifika egenskaperna hos den provdataset som den är utbildad för. Om du bara tränar modellen på (säg) snöskorförsäljning på vintern, bli inte förvånad om den misslyckas då den körs igen på data från någon annan säsong.

Hur man undviker övermontering

Det är värt att upprepa: För mycket tweaking av modellen är lämplig att resultera i övermontering. En sådan tweak är att inkludera för många variabler i analysen. Håll dessa variabler till ett minimum. Bara inkludera variabler som du ser som absolut nödvändiga - de du tror kommer att göra en stor skillnad för resultatet.

Denna insikt kommer bara från intim kunskap om den verksamhetsdomän du befinner dig i. Det är där expertisen hos domänexperter kan hjälpa dig att hindra dig från att falla i fällan av överfitting.

Här är en checklista över bästa praxis som hjälper dig att undvika överfitting av din modell:

• Välj en dataset för att fungera med det som är representativt för befolkningen som helhet.

• Dela din dataset till två delar: träningsdata och testdata.

• Håll variablerna analyserade till ett hälsosamt minimum för den aktuella uppgiften.

• Få hjälp av domänkunskapsexperter.

På aktiemarknaden är exempelvis en klassisk analysteknik back-testing - kör en modell mot historiska data för att leta efter den bästa handelsstrategin.

Antag att efter att ha kört sin nya modell mot data som genererats av en ny tjurmarknad och anpassat antalet variabler som användes i analysen skapar analytikern det som ser ut som en optimal handelsstrategi - en som ger högsta avkastning < om han kunde gå tillbaka och handla endast under året som producerade testdata. Tyvärr kan han inte. Om han försöker tillämpa den modellen på en nuvarande björnmarknad, se nedan: Han kommer att drabbas av förluster genom att tillämpa en modell för optimerad under en begränsad tidsperiod och med villkor som inte passar nuvarande realiteter. (Så mycket för hypotetisk vinst).

Modellen fungerade bara för det som försvann tjurmarknaden eftersom den var överträffad, med ömmarken i det sammanhang som producerade provdata - komplett med dess specifika utslitningar och brister. Alla omständigheter kring det dataset kommer förmodligen inte att upprepas i framtiden, eller i en sann representation av hela befolkningen - men alla visade sig i den överbyggda modellen.

Om en modells utdata är för korrekt, överväg det som en ledtråd för att ta en närmare titt. Få hjälp av domänkunskapsexperter för att se om dina resultat verkligen är för bra för att vara sant och kör den modellen på fler testdata för ytterligare jämförelser.