Video: Hur sätter lärare betyg? 2024
När du analyserar kvaliteten på en prediktiv modell vill du mäta dess noggrannhet. Ju mer exakt en prognos som modellen gör, desto mer användbar är det för verksamheten, vilket är en indikation på dess kvalitet. Det här är allt bra - förutom när den förutsagda händelsen är sällsynt. I så fall kan den prediktiva modellens höga noggrannhet vara meningslös.
Till exempel om sannolikheten för en sällsynt händelse ska inträffa är 5 procent, en modell som helt enkelt svarar & ldquo; Nej & rdquo; hela tiden när du frågade om den sällsynta händelsen har inträffat skulle vara rätt 95 procent av tiden. Men hur användbart skulle en sådan modell vara?
Om din verksamhet måste hantera rutinmässigt med sällsynta händelser (om sådant är möjligt), lita inte på exaktheten ensam som ett mått på modellens tillförlitlighet.
I så fall kan du utvärdera effekten och kvaliteten på en prediktiv modell mot bakgrund av hur sannolikt den sällsynta händelsen ska äga rum. En användbar metod att följa är att ange vilka typer av fel du kan acceptera från modellen och som du inte kan.
Här är en snabb lista över andra sätt att utvärdera din modell:
-
Kontrollera om modellens utdata uppfyller dina utvärderingskriterier.
-
Utarbeta en teststrategi så att du kan testa din modell upprepade gånger och konsekvent.
-
Mäta hur bra modellen uppfyller de affärsmål som den byggdes för.
-
Bedöm riskerna med att använda modellen live.
Hjälp stämpla ut övermontering. När du bygger en prediktiv modell, kom ihåg att din dataset bara är ett urval av hela befolkningen. Det kommer alltid att finnas okända faktorer som dina uppgifter inte kan redovisa, oavsett vad.
-
Hantera analysen av din prediktiva modell med försiktighet, med början med denna snabba checklista:
-
Förbered dina data med största noggrannhet innan du använder den för att träna din modell.
-
Överväg försiktigt utestängningar innan du inkluderar eller utesluter dem.
-
Var vaksam i upprepad testning och utvärdering.
-
Tvärtjekta provdata och testdata för att styra bort från övermontering.
-
Rådfråga dina domänkunskapsexperter ofta och lämpligt.
