Säkerställa kvaliteten på inkommande externa data - dummies

När du utformar ett datalager och bestämmer vilken extern data du behöver, lägger du bara en order (liknande beställning av kläder eller en fruktkorg från en webbsida). När du börjar ta emot data via en ström, filöverföring eller något annat sätt är det smidigt segling - eller är det?

Vad sägs om kvaliteten på inkommande data? Du måste absolut tillämpa samma uppsättning kvalitetssäkringsprocedurer för externt tillhandahållen data som du gör för data som kommer från dina egna interna system. Bara för att du köper informationen på den öppna marknaden garanterar inte att uppgifterna är felfria.

Använd QA-procedurer för varje inkommande sats av data genom att följa dessa steg:

1. Ta reda på om inkommande data har kontrollvärden som bifogas filerna.

   Några exempel på kontrollvärden är antalet poster i varje fil, det totala värdet för varje numerisk kolumn (totala försäljningsdollar för alla poster och totala enheter som säljs för alla poster, till exempel) och deluppsättningar av de totala kolumnvärdena (totalt antal försäljningar och enheter per stat, till exempel).

   Om kontrollvärdena tillhandahålls måste de lagras och användas som en del av laddningsförfarandena från slutet till slutet. Ingen bör officiellt uppdatera lagrets innehåll tills kontrollen överensstämmer med de beräkningar du gjorde när du förberedde data för laddning.

2. Om det inte finns några kontrollvärden, fråga dem.

   Även om förfrågan kan ta några cykler (till exempel några veckor eller månader) för att fylla, tar alla datortillhandahållare som är intresserade av att tillhandahålla en hög kundservice service denna typ av begäran på allvar och strävar efter att göra den begärda kontrollinformationen tillgängliga.

3. Filtrera varje rad under dina laddningsprocedurer.

   Se till att följande villkor är sanna:

   1. Nycklar (unika identifierare för varje post) är korrekta över all information. Om till exempel varje post i SalesMasterRecord-gruppen av data måste ha exakt 12 relaterade poster i SalesDetailRecord (en för varje månad), se till att alla detaljrekord är närvarande genom att jämföra registreringsnyckelvärden.

   2. Värdena är korrekta. Produktförsäljning per månad, till exempel, måste vara inom rimlig gräns för den typen av produkt (flygplan skiljer sig exempelvis från bultar).

   3. Saknade informationsfält (en sannolikt - nästan oundviklig - förekomst med externt angiven data) snedvrider inte innebörden av inkommande data.

      Till exempel, om frånvaron av kompletterande data bitar (definierad enligt affärsreglerna för din specifika bransch eller organisation) kanske inte är för allvarligt ett problem, om hälften av inkommande poster har ett tomt utrymme där UnitsSold, TotalSalesPrice, eller någon annan kritisk typ av information borde vara, är värdet av uppgifterna i bästa fall tveksamt.

   4. Använd särskilt dina analytiska verktyg, som beskrivs i kapitel 10, i de tidiga stadierna för att förvärva externa data (för de första tre eller fyra månaderna) för att utföra datakvalitetsanalys innan användarna använder samma verktyg för att utföra verksamhet analys.

      Sök efter oddities, avvikelser, förbryllande resultat, inkonsekvenser, uppenbara paradoxer och allt annat som bara ser konstigt ut. Därefter, borra ner till dataens rötter för att kontrollera källan till weirdness.

      Kom ihåg att du förmodligen hanterar många miljoner rader av inkommande data: Förutom att du inte kan personligen kolla in varje rad, kan det hända att du har svårt att konfigurera dina filtrerings- och QA-kontrollkriterier för alla möjliga villkor.

      Den som någonsin gjort någonting med externt angiven källdata har stött på alla slags märkliga inkonsekvenser och saknar data i den inkommande informationen. Genom att sätta dig själv i användarnas plats och använda samma verktyg som de använder kan du förmodligen upptäcka en sak eller två som du kan korrigera, vilket gör datahantering till en mycket bättre butik av värdefull företagsinformation.