Rengör data för din prediktiva analysmodell - dummies

Du måste vara säker på att data är rena av främmande saker innan du kan använda den i ditt prediktiva analysmodell, inklusive att hitta och korrigera eventuella poster som innehåller felaktiga värden och försöka fylla i några saknade värden. Du måste också bestämma om du vill inkludera dubbla poster (till exempel två kundkonton). Det övergripande målet är att Se till att integriteten hos den information du använder för att bygga din prediktiva modell är särskilt uppmärksam på att data är fullständiga, korrekta och aktuella.

Det är användbart att skapa beskrivande statistik (kvantitativa egenskaper) för olika fält, som min och max, kontrollfrekvensfördelning (hur ofta något inträffar) och verifiering av de förväntade områdena. Om du kör en vanlig kontroll kan du flagga data som ligger utanför det förväntade intervallet för ytterligare inve stigation. Eventuella uppgifter som visar pensionärer med födelsedatum på 1990-talet kan flaggas med denna metod.

Också, kryssrutan informationen är viktig så att du ser till att uppgifterna är korrekta. För en djupare analys av dataegenskaperna och identifieringen av förhållandet mellan dataposter kan du använda dataprofilering (analysera tillgängligheten av data och samla statistik om datakvaliteten) och visualiseringsverktyg.

Saknade data kan bero på det faktum att viss information inte registrerades. I så fall kan du försöka fylla i så mycket du kan, Lämpliga standardinställningar kan enkelt läggas till för att fylla ämnena i vissa fält.

Till exempel, för patienter i en sjukhusvårdsavdelning där könsfältet saknar ett värde kan ansökan helt enkelt fylla den som kvinnlig. För den delen, för alla män som var inlagda på ett sjukhus med en saknad rekord för graviditetsstatusen, kan den också fyllas i som inte tillämplig. En saknad postnummer för en adress kan härledas från gatunamnet och den stad som anges i den adressen.

I de fall då informationen är okänd eller inte kan utläsas, måste du använda värden annan än ett tomt utrymme för att indikera att data saknas utan att analysen korrekthet. Ett ämne i data kan innebära flera saker, de flesta är inte bra eller användbara. Närhelst du kan, bör du ange naturen hos det tomma ämnet med meningsfullt fyllmedel. För numeriska data som helt och hållet består av små och positiva tal (värden mellan 0 och 100) kan användaren exempelvis definiera numret -999.99 som platsfyllare för saknade data.

Precis som det är möjligt att definiera en ros i ett kornfält som ett ogräs, kan outliers betyda olika saker för olika analyser. Det är vanligt att vissa modeller byggs enbart för att spåra dessa outliers och flagga dem. Bedrägeribekämpningsmodeller och övervakning av brottslig verksamhet är intresserade av de avvikande, vilket i sådana fall tyder på att något oönskade äger rum.

Det är därför rekommenderat att hålla bortslaget i datasetet i fall som dessa. Men när outliers anses vara avvikelser inom data - och kommer bara att skeva analyserna och leda till felaktiga resultat - ta bort dem från dina data. Vad du inte vill hända är att din modell kommer att försöka att förutse outliersna och sluta misslyckas med att förutsäga något annat.

Duplikering i data kan också vara användbar eller störande; En del av det kan vara nödvändigt, kan indikera värde och kan återspegla ett exakt tillstånd för data. Exempelvis kan en registrering av en kund med flera konton representeras med flera poster som (tekniskt, i alla fall) är duplicerade och upprepade av samma poster.

Ett annat exempel skulle vara en kund som har både en arbetstelefon och en personlig telefon med samma företag och med räkningen går till samma adress - något som skulle vara värdefullt att veta. På samma sätt, när dubbletterna inte bidrar med värdet till analysen och inte är nödvändiga, kan borttagning av dem vara av enormt värde. Detta gäller speciellt för stora dataset där borttagning av dubbla poster kan förenkla dataens komplexitet och minska tiden som behövs för analys.

Du kan förebyggande förhindra att felaktiga data kommer in i ditt system genom att anta vissa specifika procedurer:

• Innehållskvalitetskontroll och datavalidering för alla data som samlas in.
• Tillåt dina kunder att validera och självkorrigera sina personuppgifter.
• Ge dina kunder med möjliga och förväntade värden att välja mellan.
• Rutinmässigt kör kontroller av integriteten, konsistensen och noggrannheten i data.