Förbereder dina data för förutsägbar Analytics - dummies

När du har definierat målen för modellen är nästa steg i predictive analytics att identifiera och förbereda de data du ska använda för att bygga din modell. Följande information berör de viktigaste aktiviteterna. Den allmänna sekvensen av steg ser så här ut:

1. Identifiera dina datakällor.

   Data kan vara i olika format eller uppehålla sig på olika platser.

2. Identifiera hur du kommer åt den dataen.

   Ibland behöver du skaffa tredjepartsdata eller data som ägs av en annan division i din organisation, etc.

3. Tänk på vilka variabler som ska inkluderas i din analys.

   Ett standardinriktat tillvägagångssätt är att börja med ett brett spektrum av variabler och eliminera de som inte erbjuder ett förutsägbart värde för modellen.

4. Bestäm om du ska använda härledda variabler.

   I många fall skulle en härledd variabel (till exempel prissättningskvoten som används för att analysera aktiekurserna) ha en större direkt påverkan på modellen än vad den råvariabeln skulle göra.

5. Utforska kvaliteten på dina data, och försök att förstå både dess tillstånd och begränsningar.

   Noggrannheten i modellens förutsägelser är direkt relaterad till de variabler du väljer och kvaliteten på dina data. Du skulle vilja svara på några dataspecifika frågor vid denna tidpunkt:

   • Är uppgifterna färdiga?
   • Har det några outliers?
   • Behöver data rengöring?
   • Behöver du fylla i saknade värden, behålla dem som de är eller eliminera dem helt och hållet?

Förstå dina data och dess egenskaper kan hjälpa dig att välja den algoritm som är mest användbar för att bygga din modell. Till exempel:

• Regressionsalgoritmer kan användas för att analysera tidsseriedata.
• Klassificeringsalgoritmer kan användas för att analysera diskreta data.
• Förbundsalgoritmer kan användas för data med korrelerade attribut.

Individuella algoritmer och prediktiva tekniker har olika svagheter och styrkor. Viktigast, modellens noggrannhet är beroende av att ha både en stor mängd och kvaliteten på data. Dina uppgifter ska ha ett tillräckligt antal poster för att ge statistiskt meningsfulla resultat.

Samla relevanta data (helst många poster över en längre tid), förbehandling och extrahering av funktionerna med de flesta förutsägda värdena kommer att vara där du spenderar större delen av din tid. Men du måste fortfarande välja algoritmen klokt, en algoritm som borde passa affärsproblemet.

Datapreparation är specifik för det projekt du arbetar med och den algoritm du väljer att använda.Beroende på projektets krav kommer du att förbereda dina data i enlighet med det och mata det till algoritmen när du bygger din modell för att möta affärsbehoven.

Datasetet som används för att träna och testa modellen måste innehålla relevant företagsinformation för att svara på problemet du försöker lösa. Om ditt mål är att för att bestämma vilken kund som sannolikt kommer att churn, måste den dataset du väljer innehålla information om kunder som har churned i det förflutna förutom kunder som inte har det.

Vissa modeller skapade för att min data ska kunna ge mening om sina underliggande relationer - till exempel de som är byggda med klustringsalgoritmer - behöver inte ha ett visst slutresultat i åtanke.

Underfitting

Underfitting är när din modell inte kan upptäcka några relationer i dina data. Detta är vanligtvis en indikation på att viktiga variabler - de med prediktiv kraft - inte inkluderades i din analys.

Om de variabler som används i din modell inte har hög prediktiv effekt, försök sedan lägga till nya domänspecifika variabler och kör din modell igen. Slutmålet är att förbättra modellens prestanda på träningsdata.

Ett annat problem att titta på är säsongsmässighet (när du har säsongsmönster, om du misslyckas med att analysera flera årstider kan du komma i trubbel.) Exempelvis en lageranalys som endast innehåller data från en tjur marknaden (där de totala aktiekurserna går upp) tar inte hänsyn till kriser eller bubblor som kan ge stora korrigeringar mot lagrets totala prestanda. Att inte inkludera data som spänner över både tjur och bär marknaderna (när de totala aktiekurserna faller) håller modellen från att producera bästa möjliga portföljval.

Övermontering

Övermontering är när din modell innehåller data som saknar prediktiv effekt men det är bara specifikt för datasetet du analyserar. Buller - slumpmässiga variationer i datasetet - kan hitta sin väg in i modellen, så att körmodellen på en annan dataset ger en stor nedgång i modellens prediktiva prestanda och noggrannhet.