Hur man testar den prediktiva analysmodellen - dummies

För att kunna testa den prediktiva analysmodellen du byggde måste du dela datasetet i två uppsättningar: träna och testa dataset. Dessa dataset ska väljas slumpmässigt och vara en bra representation av den faktiska befolkningen.

• Liknande data ska användas för både tränings- och testdataset.

• Normalt är träningsdatasatsen betydligt större än testdatasetet.

• Med hjälp av testdatasatsen kan du undvika fel som överfitting.

• Den utbildade modellen körs mot testdata för att se hur bra modellen ska utföra.

Vissa datavetenskapare föredrar att ha en tredje dataset som har egenskaper som liknar de första två: a valideringsdataset . Tanken är att om du aktivt använder dina testdata för att förfina din modell, bör du använda en separat (tredje) uppsättning för att kontrollera modellens noggrannhet.

Med en valideringsdatasats som inte användes som en del av utvecklingsprocessen i din modell, bidrar det till en neutral bedömning av modellens noggrannhet och effektivitet.

Om du har byggt flera modeller med olika algoritmer kan valideringsprovet hjälpa dig att utvärdera vilken modell som bäst utför.

Se till att du dubbelklickar på ditt arbete att utveckla och testa modellen. Särskilt vara skeptisk om prestanda eller noggrannhet av modellen verkar för bra för att vara sant. Fel kan hända där du minst förväntar dem. Felaktigt beräkna datum för tidsseriedata kan till exempel leda till felaktiga resultat.

Hur man använder kryssvalidering

Korsvalidering är en populär teknik som du kan använda för att utvärdera och validera din modell. Samma princip för att använda separata dataset för testning och träning gäller här: Utbildningsdata används för att bygga modellen. Modellen körs mot testet för att förutsäga data som den inte har sett tidigare, vilket är ett sätt att utvärdera dess noggrannhet.

I korsvalidering delas de historiska uppgifterna i X-nummer av delsatser. Varje gång en delmängd väljs för att användas som testdata används resten av delmängden som träningsdata. Sedan blir nästa testuppsättning nästa träningssats, och en av de tidigare träningssatserna blir testuppsättningen.

Processen fortsätter tills varje delmängd av det X-antalet uppsättningar har använts som en testuppsättning.

Tänk dig att du har en dataset som du har uppdelat i 5 uppsättningar numrerade 1 till 5. I första loppet använder du set 1 som testuppsättning och använder set 2, 3, 4 och 5 som träningsuppsättning.På andra loppet använder du sedan set 2 som testuppsättning och ställer in 1, 3, 4 och 5 som träningsuppsättning.

Du fortsätter denna process tills varje delmängd av de 5 uppsatserna har använts som en testuppsättning.

Med korrigering kan du använda varje datapunkt i dina historiska data för både träning och testning. Denna teknik är effektivare än att bara splittra dina historiska data i två uppsättningar, med hjälp av uppsättningen med flest data för träning, med hjälp av den andra uppsättningen för testning och lämnar den där.

När du kryssvaliderar dina data skyddar du dig mot slumpmässigt plockning av testdata som är för lätt att förutsäga - vilket skulle ge dig det falska intrycket att din modell är korrekt. Eller om du råkar välja testdata som är för svåra att förutsäga, kan du förmodligen konstatera att din modell inte fungerar som du hade hoppats.

Cross-validering används ofta inte bara för att validera modellernas noggrannhet, men också för att jämföra prestanda för flera modeller.

Hur balanserar du bias och varians

Bias och varians är två källor till fel som kan uppstå när du bygger din analytiska modell.

Bias är resultatet av att bygga en modell som väsentligt förenklar presentationen av relationerna mellan datapunkter i de historiska data som används för att bygga modellen.

Variance är resultatet av att bygga en modell som är uttryckligen specifik för de data som används för att bygga modellen.

Att uppnå en balans mellan bias och varians - genom att minska variansen och tolerera lite bias - kan leda till en bättre prediktiv modell. Denna avvägning leder vanligen till att bygga mindre komplexa prediktiva modeller.

Många data-miningalgoritmer har skapats för att ta hänsyn till denna avvägning mellan bias och varians.

Så här felsöker du idéer

När du testar din modell och du befinner dig ingenstans, här är några idéer att tänka på som kan hjälpa dig att komma tillbaka:

• Kontrollera alltid ditt arbete dubbelt. Du kanske har förbisett något du antog var korrekt men det är inte. Sådana brister kan dyka upp (till exempel) bland värdena av en prediktiv variabel i ditt dataset eller i förbehandlingen du tillämpade på data.

• Om den algoritm du valde inte ger några resultat, prova en annan algoritm. Till exempel försöker du flera klassificeringsalgoritmer tillgängliga och beroende på dina data och affärsmålen för din modell, kan en av dem fungera bättre än de andra.

• Prova att välja olika variabler eller skapa nya härledda variabler. Var alltid på jakt efter variabler som har prediktiva krafter.

• Ofta samråda med företagsdomänexperterna som kan hjälpa dig att ge dig mening om data, välj variabler och tolka modellens resultat.