Hur man hanterar utjämningar orsakade av fel i systemet - dummies

När du litar på teknik eller instrumentation för att utföra en prediktiv analysuppgift kan ett fel här eller därmed göra att dessa instrument registrerar extrema eller ovanliga värden. Om sensorer registrerar observationsvärden som inte uppfyller grundläggande kvalitetskontrollstandarder kan de producera verkliga störningar som återspeglas i data.

Någon som utför datainmatning kan till exempel enkelt lägga till en extra 0 i slutet av ett värde genom att ta in posten utanför intervallet och producera en outlier.

Om du tittar på observationsdata som samlats in av en vattensensor installerad i Baltimore Harbor - och det rapporterar ett vattendjup på 20 meter över genomsnittlig havsnivå - har du en outlier. Givaren är uppenbart fel om inte Baltimore är helt täckt av vatten.

Data kan hamna avvikande på grund av externa händelser eller ett fel av en person eller ett instrument.

Om en verklig händelse som en blixtkrasch spåras till ett fel i systemet, är dess konsekvenser fortfarande verkliga - men om du känner till källan till problemet kan du konstatera att en fel i data, inte din modell, skulle skylla om din modell inte förutsäga händelsen.

Att veta källan till outlieren kommer att styra ditt beslut om hur man hanterar det. Outliers som var resultatet av datainmatningsfel kan lätt korrigeras efter att ha hört datakällan. Outliers som speglar en förändringsverklighet kan uppmana dig att ändra din modell.

Det finns inget svar för alla storlekar när du bestämmer om du vill inkludera eller bortse från extrema data som inte är ett fel eller ett fel. Ditt svar beror på vilken typ av analys du gör - och på vilken typ av modell du bygger. I några få fall är sättet att hantera dessa outliers lätt:

• Om du spårar din outlier till ett datainmatningsfel när du hör datakällan kan du enkelt rätta till data och (förmodligen) behålla modellen intakt.

• Om den vattensensorn i Baltimore Harbor rapporterar vatten till ett djup av 20 meter över den genomsnittliga havsnivån, och du är i Baltimore, kolla in ditt fönster:

  • Om Baltimore inte är helt täckt av vatten, är sensorn är uppenbarligen fel.

  • Om du ser en fisk som tittar på dig, har verkligheten förändrats; Du kan behöva ändra din modell.

• Flashkraschen kan ha varit en engångshändelse (på kort sikt, ändå), men effekterna var riktiga - och om du har studerat marknaden på längre sikt vet du att något liknande kan hända igen.Om ditt företag är i finans och du hanterar aktiemarknaden hela tiden vill du att din modell ska redovisa sådana avvikelser.

Om resultatet av en händelse som normalt betraktas som en outlier kan generellt få en betydande inverkan på ditt företag, överväga hur man hanterar dessa händelser i din analys. Håll dessa allmänna punkter i åtanke om outliers:

• Den mindre datamängden är desto viktigare kan effekterna på analysen ha.

• När du utvecklar din modell, var noga med att du också utvecklar tekniker för att hitta avvikare och att systematiskt förstå deras inverkan på din verksamhet.

• Detektion av avvikare kan vara en komplex process; Det finns inget enkelt sätt att identifiera dem.

• En domänexpert (någon som känner till fältet du modellerar) är din bästa person för att kontrollera om en datapunkt är giltig, en outlier du kan ignorera eller en outlier du har att ta hänsyn till. Domänexperten ska kunna förklara vilka faktorer som skapade outlier, vad dess variationsintervall är och dess påverkan på verksamheten.

• Visualiseringsverktyg kan hjälpa dig att hitta utryckare i data. Om du känner till det förväntade värdet, kan du enkelt fråga efter data som faller utanför det intervallet.