Saknas värden i dina data - dummies

Ett av de vanligaste och mest utsökta dataproblemen att hantera saknas data. Filer kan vara ofullständiga eftersom poster tappades eller en lagringsenhet fylldes upp. Eller vissa datafält kanske inte innehåller några data för vissa poster. Det första av dessa problem kan diagnostiseras genom att bara verifiera antalet poster för filer. Det andra problemet är svårare att hantera.

För att uttrycka det i enkla termer, när du hittar ett fält som innehåller saknade värden, har du två val:

• Ignorera det.

• Stick något i fältet.

Ignorera problemet

I vissa fall kan du helt enkelt hitta ett enda fält med ett stort antal saknade värden. Om så är fallet, det enklaste att göra är att bara ignorera fältet. Ta inte med det i din analys.

Ett annat sätt att ignorera problemet är att ignorera posten. Ta bort raden med de saknade data. Det kan vara meningsfullt om det bara finns några fågelskivor. Men om det finns flera datafält med betydande antal saknade värden, kan det här sättet krympa ditt rekordtal till en oacceptabel nivå.

En annan sak att se upp för innan du bara raderar poster är ett tecken på ett mönster. Antag att du analyserar en dataset relaterad till kreditkortsaldon rikstäckande. Det kan hända att du hittar en hel massa poster som visar $ 0. 00 saldon (kanske omkring hälften av skivorna). Detta är inte i sig en indikation på saknade data. Men om alla poster från, säger, Kalifornien visar $ 0. 00 saldon, vilket indikerar ett potentiellt saknat värderingsproblem. Och det är inte en som skulle vara bra att lösa genom att radera alla poster från den största staten i landet. I det här fallet är det förmodligen ett systemproblem och indikerar att en ny fil ska skapas.

Generellt är borttagning av poster en enkel men inte idealisk lösning på problem med saksvärde. Om problemet är relativt litet och det finns inget urskiljbart mönster för utelämnandena, så kan det vara okej att jettize de förekommande skivorna och fortsätta. Men ofta är en mer highbrow-strategi berättigad.

Fyll i de saknade uppgifterna

Fyll i de saknade uppgifterna för att göra en utbildad gissning om vad som skulle ha varit i det området. Det finns bra och dåliga sätt att göra detta. Ett enkelt (men dåligt) tillvägagångssätt är att ersätta de saknade värdena med medeltalet av de icke-missade. I icke-numeriska fält kan du frestas att fylla i de saknade dokumenten med det vanligaste värdet i de andra posterna (läget).

Dessa tillvägagångssätt används tyvärr ofta ofta i vissa företagsapplikationer.Men de anses allmänt av statistiker som dåliga idéer. För det första är hela poängen med att göra statistisk analys att hitta data som skiljer ett resultat från en annan. Genom att ersätta alla saknade poster med samma värde har du inte differentierat någonting.

Den mer avancerade metoden är att försöka hitta ett sätt att förutsäga på ett meningsfullt sätt vilket värde som ska fyllas i på varje post som saknar ett värde. Det här innebär att titta på de fullständiga dokumenten och försöka hitta ledtrådar om vad det saknade värdet kan vara.

Antag att du analyserar en demografisk fil för att förutsäga sannolika köpare av en av dina produkter. I den filen har du bland annat information om civilstånd, antal barn och antal bilar. Av någon anledning saknas antalet autofält i en tredjedel av posterna.

Genom att analysera de andra två fälten - civilstånd och antal barn - kan du upptäcka några mönster. Enstaka personer tenderar att ha en bil. Giftiga människor utan barn har en tendens till att ha två bilar. Gift personer med mer än ett barn kan vara mer benägna att ha tre bilar. På så sätt kan du gissa på de saknade värdena på ett sätt som faktiskt skiljer poster. Mer om detta tillvägagångssätt att komma.

Det finns en allmän term i statistik och databehandling som refererar till tvivelaktiga uppgifter. Termen bullrig används för att beskriva data som är opålitliga, korrupta eller på annat sätt mindre än orörda. Saknade data är bara ett exempel på detta. En detaljerad beskrivning av tekniker för att städa upp bullriga data i allmänhet ligger utanför ramen för denna bok. Faktum är att detta är ett aktivt forskningsområde inom statistisk teori. Det faktum att allt ljud inte är lika lätt att upptäcka som saknade värden gör det besvärligt att hantera.