Video: Överläkaren: Så undviker du höstdepression - Malou Efter tio (TV4) 2024
Valideringsmetoden för maskininlärning är en undersökning av ett eventuellt botemedel mot provtagning. Insampling bias kan hända med din data innan maskininlärning tas i bruk, och det medför stor variation av följande uppskattningar. Dessutom bör du vara medveten om läckagefällor som kan uppstå när viss information från out-of-sample går till in-sample data. Det här problemet kan uppstå när du förbereder data eller när din maskininlärningsmodell är klar och fungerar.
Åtgärden, som kallas ensembling av prediktorer, fungerar perfekt när ditt träningsexempel inte är helt förvrängt och dess fördelning skiljer sig från det externa urvalet, men inte på ett oremediabelt sätt, så som när alla dina klasser är närvarande men inte i rätt proportion (som ett exempel). I sådana fall påverkas dina resultat av en viss varians av de uppskattningar som du eventuellt kan stabilisera på ett av flera sätt: genom resampling, liksom i bootstrapping; genom subsampling (provtagning av provet); eller genom att använda mindre prover (vilket ökar bias).
För att förstå hur ensembling fungerar så effektivt, visualisera bilden av ett tjur öga. Om ditt prov påverkar förutsägelserna kommer vissa förutsägelser att vara exakta och andra kommer fel på ett slumpmässigt sätt. Om du ändrar ditt prov fortsätter de rätta förutsägningarna att vara rätt, men de felaktiga kommer att börja vara variationer mellan olika värden. Vissa värden är den exakta förutsägelsen du letar efter; andra kommer bara att oscillera runt den rätta.
Genom att jämföra resultaten kan du gissa att det som är återkommande är det rätta svaret. Du kan också ta ett genomsnitt av svaren och gissa att rätt svar ska ligga mitt i värdena. Med tjurens ögonspel kan du visualisera överlagring av bilder av olika spel: Om problemet är varians, så kommer du till slut att gissa att målet ligger i det mest drabbade området eller åtminstone i mitten av alla skott.
I de flesta fall visar det sig att ett sådant tillvägagångssätt är korrekt och förbättrar dina maskininlärningsprognoser mycket. När ditt problem är bias och inte varians, innebär det att du använder ensembling verkligen inte skada om du inte subsamplar för få prover. En bra tumregel för subsampling är att ta ett prov från 70 till 90 procent jämfört med de ursprungliga in-sample data. Om du vill göra ensemblingsarbete ska du göra följande:
- Iterera ett stort antal gånger genom dina data och modeller (från minst tre iterationer till helst hundratals gånger).
- Varje gång du repeterar, samplar du (eller annars bootstrap) dina in-sample data.
- Använd maskininlärning för modellen på den resamplerade data och förutse resultaten utanför provet. Förvara dessa resultat för senare användning.
- Vid slutet av iterationerna, för alla fall där du vill göra det, vill du förutse, ta alla sina förutsägelser och genomsnittsa dem om du gör en regression. Ta den vanligaste klassen om du gör en klassificering.
Läckage fällor kan överraska dig eftersom de kan visa sig vara en okänd och oupptäckt problemkälla med dina maskininlärningsprocesser. Problemet är snooping, eller på annat sätt observerar data utanför provet för mycket och anpassar sig till det för ofta. Kort sagt är snooping ett slags övermontering - och inte bara på träningsdata utan också på testdata, vilket gör överfittingproblemet själv svårare att upptäcka tills du får ny data.
Vanligtvis inser du att problemet är snooping när du redan har tillämpat maskininlärningsalgoritmen för ditt företag eller till en tjänst för allmänheten, vilket gör problemet ett problem som alla kan se.
Du kan undvika snooping på två sätt. Först, när du använder data, var noga med att separera träning, validering och testdata. Vid bearbetning tar du aldrig någon information från validering eller test, även de enklaste och oskyldigtaste exemplen. Ännu värre är att tillämpa en komplex omvandling med all data.
Det är exempelvis välkänt att beräkning av medelvärdet och standardavvikelsen (som faktiskt kan berätta mycket om marknadsförhållanden och risker) från all träning och testdata kan läcka dyrbar information om dina modeller. När läckage händer, utförs maskininlärningsalgoritmer förutsägelser på testuppsättningen i stället för data utanför marknadens marknad, vilket innebär att de inte fungerade alls och därigenom orsakar en förlust av pengar.
Kontrollera prestanda för exemplen utanför exemplet. I själva verket kan du få tillbaka information från din snooping på testresultaten för att hjälpa dig att bestämma att vissa parametrar är bättre än andra eller leda dig att välja en maskininlärningsalgoritm istället för en annan. För varje modell eller parameter, använd ditt val baserat på korrigeringsresultat eller från valideringsprovet. Falla aldrig för att få taggningar från dina data utanför data eller du kommer ångra det senare.
