Hur man rengör data för prediktiv analys

Innan du kör en prediktiv analys måste du se till att data är rena av främmande saker innan du kan använda den i din modell. Detta inkluderar att hitta och korrigera eventuella poster som innehåller felaktiga värden och försöker fylla i några saknade värden. Du måste också bestämma om du vill inkludera dubbla poster (till exempel två kundkonton).

Det övergripande målet är att säkerställa integriteten hos den information du använder för att bygga din prediktiva modell. Var särskilt uppmärksam på att data är fullständiga, korrekta och aktuella.

Det är användbart att skapa beskrivande statistik (kvantitativa egenskaper) för olika områden, till exempel att beräkna min och max, kontrollera frekvensfördelning (hur ofta något inträffar) och verifiera de förväntade intervallen. Om du kör en vanlig check kan du flagga alla data som ligger utanför det förväntade intervallet för vidare utredning. Eventuella uppgifter som visar pensionärer med födelsedatum på 1990-talet kan flaggas med denna metod.

Också, kryssrutan informationen är viktig så att du ser till att uppgifterna är korrekta. För en djupare analys av dataegenskaperna och identifieringen av förhållandet mellan dataposter kan du använda dataprofilering (analysera tillgängligheten av data och samla statistik om datakvaliteten) och visualiseringsverktyg.

Saknade data kan bero på det faktum att viss information inte registrerades. I så fall kan du försöka fylla i så mycket du kan, Lämpliga standardinställningar kan enkelt läggas till för att fylla ämnena i vissa fält.

Till exempel, för patienter i en sjukhusvårdsavdelning där könsfältet saknar ett värde kan ansökan helt enkelt fylla den som kvinnlig. För den delen, för alla män som var inlagda på ett sjukhus med en saknad rekord för graviditetsstatusen, kan den också fyllas i som inte tillämplig.

En saknad postnummer för en adress kan härledas från gatunamnet och den stad som anges i den adressen.

I de fall då informationen är okänd eller inte kan härledas, måste du använda värden annan än ett tomt utrymme för att indikera att data saknas utan att analysen är korrekt. Ett ämne i data kan innebära flera saker, de flesta är inte bra eller användbara. Närhelst du kan, bör du ange naturen hos det tomma ämnet med meningsfullt fyllmedel.

Precis som det är möjligt att definiera en ros i ett kornfält som ett ogräs, kan outliers betyda olika saker för olika analyser.Det är vanligt att vissa modeller byggs enbart för att spåra dessa outliers och flagga dem.

Övervakningsmodeller och övervakning av kriminella aktiviteter är intresserade av de avvikande, vilket i sådana fall tyder på att något oönskade äger rum. Därför rekommenderas att avvikelserna i datasetet hålls i sådana fall. Men när outliers anses vara avvikelser inom data - och kommer bara att skeva analyserna och leda till felaktiga resultat - ta bort dem från dina data.

Duplikering i data kan också vara användbar eller störande; En del av det kan vara nödvändigt, kan indikera värde och kan återspegla ett exakt tillstånd för data. Exempelvis kan en registrering av en kund med flera konton representeras med flera poster som (tekniskt, i alla fall) är duplicerade och upprepade av samma poster.

På samma sätt, när dubbletterna inte bidrar med värdet till analysen och inte är nödvändiga, kan borttagning av dem vara av enormt värde. Detta gäller speciellt för stora dataset där borttagning av dubbla poster kan förenkla dataens komplexitet och minska tiden som behövs för analys.

Du kan förebyggande förhindra att felaktiga data kommer in i ditt system genom att anta vissa specifika procedurer:

• Innehållskvalitetskontroll och datavalidering för alla data som samlas in.

• Tillåt dina kunder att validera och självkorrigera sina personuppgifter.

• Ge dina kunder med möjliga och förväntade värden att välja mellan.

• Rutinmässigt kör kontroller av integriteten, konsistensen och noggrannheten i data.