Hur man använder datautjämning i prediktiv Analytics - dummies

Datautjämning i prediktiv analys försöker i huvudsak att hitta signalen i "bullret" genom att kassera datapunkter som anses vara "bullriga". Tanken är att skärpa mönstren i data och markera trenderna som data pekar på.

Implikationen bakom datautjämning är att data består av två delar: en del (bestående av kärndatapunkter ) som indikerar övergripande trender eller verkliga trender och en annan del som huvudsakligen består av avvikelser ( brus ) - vissa fluktuella punkter som härrör från viss volatilitet i data. Datautjämning syftar till att eliminera den andra delen.

Så här stänger du av bruset

Datautjämning fungerar med flera antaganden:

Den fluktuationen i data är sannolikt att vara brus.
Att den högljudda delen av data är kortvarig.
Att datas fluktuationer, oavsett hur varierad det kan vara, påverkar inte de underliggande trenderna som representeras av kärnpunkterna.

Buller i data tenderar att vara slumpmässigt; dess fluktuationer bör inte påverka de övergripande trenderna som dras av att undersöka resten av data. Så att minska eller eliminera bullriga datapunkter kan klargöra verkliga trender och mönster i data - i själva verket förbättra dataens "signal-till-brus-förhållande. ”

Om du har identifierat bruset korrekt och sedan reducerat det, kan datautjämning hjälpa dig att förutse nästa observerade datapunkt helt enkelt genom att följa de stora trenderna du har upptäckt inom data.

Datautjämning handlar om huvuddelen av datapunkterna, deras positioner i en graf och vad de resulterande mönstren förutsäger om den allmänna trenden av (säg) ett aktiekurs, huruvida dess allmänna riktning är upp, ner eller sidled.

Denna teknik kommer inte exakt att förutse det exakta priset för nästa handel för ett visst lager - men förutsäga en allmän trend kan ge mer kraftfull insikt än att veta det faktiska priset eller dess fluktuationer.

En prognos baserad på en generell trend som härleddes från slätad data förutsätter att vilken riktning uppgifterna har följt så långt kommer att fortsätta i framtiden på ett sätt som överensstämmer med trenden. På aktiemarknaden är exempelvis tidigare resultat ingen bestämd indikation på framtida resultat, men det kan verkligen vara en allmän guide till framtida rörelse av aktiekursen.

Metoder, fördelar och nackdelar med datautjämning

Datautjämning är inte förvirrad med anpassning av en modell, som ingår i dataanalysen bestående av två steg:

Hitta en lämplig modell som representerar data.
Kontrollera att modellen passar data effektivt.

Datautjämning fokuserar på att upprätta en grundläggande riktning för kärndatapunkterna genom att (1) ignorera eventuella bullriga datapunkter och (2) dra en jämnare kurva genom datapunkterna som hoppar över de vridande och betonar primära mönster - trender - i data, oavsett hur långsam deras framkomst. Följaktligen tjänar datautjämning i en numerisk tidsserie som en form av filtrering.

Datautjämning kan använda någon av följande metoder:

Slumpmässig promenad bygger på idén att nästa resultat eller framtida datapunkt är en slumpmässig avvikelse från den senast kända eller nuvarande datapunkten.
Rörande medelvärdet är ett löpande medelvärde av på varandra följande, jämnt fördelade perioder. Ett exempel skulle beräkna ett 200-dagars glidande medelvärde av ett aktiekurs.
Exponentiell utjämning tilldelar exponentiellt mer vikt eller betydelse än de senaste datapunkterna än till äldre datapunkter.
- Enkelt: Denna metod ska användas när tidsseriedata inte har någon trend och ingen säsongsmässighet.
- Linjär: Denna metod ska användas när tidsseriedata har en trendlinje.
- Seasonal: Denna metod ska användas när tidsseriedata inte har någon trend men säsongsmässighet.

Vad dessa utjämningsmetoder alla har gemensamt är att de utför någon form av medelprocess på flera datapunkter. Sådan medelvärdering av intilliggande datapunkter är det väsentliga sättet att nollställa på underliggande trender eller mönster.

Fördelarna med datautjämning är

Det är lätt att implementera.
Det hjälper till att identifiera trender.
Det hjälper exponera mönster i data.
Det eliminerar datapunkter som du har bestämt inte är av intresse.
Det hjälper till att förutsäga den allmänna riktningen för nästa observerade datapunkter.
Det genererar fina jämna grafer.

Men allt har en nackdel. Nackdelarna med datautjämning är

Det kan eliminera giltiga datapunkter som beror på extrema händelser.
Det kan leda till felaktiga förutsägelser om testdata endast är säsongsmässiga och inte fullständigt representativa för den verklighet som genererade datapunkterna.
Det kan flytta eller skjuta upp data, särskilt topparna, vilket resulterar i en förvrängd bild av vad som händer.
Det kan vara sårbart för betydande störningar från avvikare inom data.
Det kan medföra en stor avvikelse från de ursprungliga uppgifterna.

Om datautjämning inte mer än ger informationen enbart ansiktslyftning kan den dra grunden fel på följande sätt:

Det kan introducera fel genom snedvridningar som behandlar den jämnda data som om den var identisk med originalet data.
Det kan skryta tolkningen genom att ignorera - och dölja - risker inbäddade i data.
Det kan leda till förlust av detaljer i dina data - vilket är ett sätt att en jämn kurva kan avvika mycket från den ursprungliga data.

Hur allvarlig datautjämning kan påverka dina data beror på vilken data data finns och vilken utjämningsteknik som implementerades på den data.Om exempelvis de ursprungliga uppgifterna har fler toppar i det, kommer datautjämning att leda till stor förändring av dessa toppar i de släta graferna - sannolikt en snedvridning.

Här är några försiktighetspunkter att tänka på när du närmar dig datautjämning:

Det är en bra idé att jämföra utjämnade grafer till orörda grafer som plottar de ursprungliga uppgifterna.
Datapunkter som tas bort vid datautjämning kan inte vara brus; De kan vara giltiga, reella datapunkter som är resultatet av sällsynta men verkliga händelser.
Datautjämning kan vara till hjälp i moderering, men dess överanvändning kan leda till en felaktig presentation av dina data.

Genom att tillämpa din professionella bedömning och din kunskap om företagskunskap kan du använda datautjämning effektivt. Att ta bort ljud från dina data - utan att negativt påverka exaktheten och användbarheten hos originaldata - är minst lika mycket en konst som en vetenskap.