Hur man förbereder data för en prediktiv analysmodell - dummies

När du har definierat målen för modellen för prediktiv analys är nästa steg att identifiera och förbereda de data du ska använda för att bygga din modell. Den allmänna sekvensen av steg ser så här ut:

1. Identifiera dina datakällor.

   Data kan vara i olika format eller uppehålla sig på olika platser.

2. Identifiera hur du kommer åt den dataen.

   Ibland behöver du skaffa data från tredje part eller data som ägs av en annan division i din organisation, etc.

3. Tänk på vilka variabler som ska inkluderas i din analys.

   En standardinriktning är att börja med ett brett spektrum av variabler och eliminera de som inte erbjuder några prediktiva värden för modellen.

4. Bestäm om du ska använda härledda variabler.

   I många fall skulle en härledd variabel (till exempel prissättningskvoten som används för att analysera aktiekurserna) ha en större direkt påverkan på modellen än vad den råvariabeln skulle göra.

5. Utforska kvaliteten på dina data, och försök att förstå både dess tillstånd och begränsningar.

   Noggrannheten i modellens förutsägelser är direkt relaterad till de variabler du väljer och kvaliteten på dina data. Du skulle vilja svara på några dataspecifika frågor vid denna tidpunkt:

   • Är uppgifterna färdiga?

   • Har det några outliers?

   • Behöver data rengöring?

   • Behöver du fylla i saknade värden, behålla dem som de är eller eliminera dem helt och hållet?

Förstå dina data och dess egenskaper kan hjälpa dig att välja den algoritm som är mest användbar för att bygga din modell. Till exempel:

• Regressionsalgoritmer kan användas för att analysera tidsseriedata.

• Klassificeringsalgoritmer kan användas för att analysera diskreta data.

• Förbundsalgoritmer kan användas för data med korrelerade attribut.

Datasetet som används för att träna och testa modellen måste innehålla relevant företagsinformation för att svara på problemet du försöker lösa. Om ditt mål är att för att bestämma vilken kund som sannolikt kommer att churn, måste den dataset du väljer innehålla information om kunder som har churned i det förflutna förutom kunder som inte har det.

Vissa modeller skapade för att min data ska kunna ge mening om sina underliggande relationer - till exempel de som är byggda med klustringsalgoritmer - behöver inte ha ett visst slutresultat i åtanke.

Två problem uppstår vid hantering av data när du bygger din modell: undermontering och övermontering.

Underfitting

Underfitting är när din modell inte kan upptäcka några relationer i dina data.Detta är vanligtvis en indikation på att viktiga variabler - de med prediktiv kraft - inte inkluderades i din analys. En lageranalys som endast innehåller data från en tjurmarknad (där de totala aktiekurserna går upp) tar inte hänsyn till kriser eller bubblor som kan medföra stora korrigeringar av lagrets totala prestanda.

Bortfall av att inkludera data som spänner över både tjurar och bär marknaderna (när de totala aktiekurserna faller) håller modellen från att producera bästa möjliga portföljval.

Övermontering

Övermontering är när din modell innehåller data som saknar prediktiv kraft men det är bara specifikt för datasetet du analyserar. Buller - slumpmässiga variationer i datasetet - kan hitta sin väg in i modellen, så att man kör modellen på en annan dataset skapar en stor nedgång i modellens prediktiva prestanda och noggrannhet. Den bifogade sidofältet ger ett exempel.

Om din modell fungerar bra på ett visst dataset och endast underpresterar när du testar det på ett annat dataset, misstänker du överfitting.