Innehållsförteckning:
Video: Järpar - som de jag fick i skolan 2024
I denna prospekteringsfas av prediktiv analys får du intim kunskap om dina data - vilket i sin tur kommer att hjälpa dig välja de relevanta variablerna att analysera. Denna förståelse kommer också att hjälpa dig att utvärdera resultaten av din modell. Men först måste du identifiera och rengöra data för analys.
Hur genereras härledda data
Avledade attribut är helt nya register som är konstruerade av en eller flera befintliga attribut. Ett exempel skulle vara att skapa register som identifierar böcker som är bästsäljare på bokmässor. Rådata kan inte fånga sådana poster - men för modelleringsändamål kan de härledda dokumenten vara viktiga. Prisförhållande och 200-dagars glidande medelvärde är två exempel på härledda data som används starkt i finansiella applikationer.
Avledade attribut kan erhållas från enkel beräkning, såsom avdragande ålder från födelsedatum. Avledda attribut kan också beräknas genom att summera information från flera poster.
Om du t.ex. konverterar en tabell med kunder och deras inköpta böcker till en tabell kan du spåra antalet böcker som säljs via ett recommender-system, genom riktade marknadsföring och på en mässa - och identifiera demografiska kunder som köpte de böckerna.
Generera sådana ytterligare attribut ger ytterligare prediktiv effekt till analysen. Faktum är att många sådana egenskaper skapas för att sondra deras potentiella prediktiva kraft. Vissa prediktiva modeller kan använda mer avledda attribut än attributen i deras råa tillstånd. Om vissa härledda attribut är särskilt prediktiva och deras makt har visat sig vara relevant, är det vettigt att automatisera processen som genererar dem.
Avledda poster är nya register som ger in nya uppgifter och ger nya sätt att presentera rådata. de kan vara av enormt värde för prediktiv modellering.
Så här minskar du dataens dimensioner
Den data som används i prediktiva modeller samlas vanligtvis från flera källor. Din analys kan dra från data spridda över flera dataformat, filer och databaser eller flera tabeller i samma databas. Att sammanställa data tillsammans och kombinera det i ett integrerat format för datormodellerna att använda är viktigt.
Om din data innehåller något hierarkiskt innehåll kan det behöva vara plattat . Vissa data har vissa hierarkiska egenskaper som föräldra-barns relationer, eller en post som består av andra poster.Till exempel kan en produkt som en bil ha flera tillverkare; plattformig data, i det här fallet betyder att varje tillverkare ingår som en extra egenskap av den post som du analyserar.
Flattande data är avgörande när det slås samman från flera relaterade poster för att bilda en bättre bild.
Exempelvis kan analys av biverkningar för flera läkemedel som tillverkats av flera företag kräva att uppgifterna ska platta på substansnivå. Genom att göra så tar du bort ett till många relationer (i det här fallet många tillverkare och många ämnen för en produkt) som kan orsaka för mycket dubbelarbete genom att upprepa flera ämnesposter som upprepas produkt- och tillverkarinformation vid varje post.
Flattning minskar dimensionality av data, vilket representeras av antalet funktioner som en post eller en observation har.
Till exempel kan en kund ha följande funktioner: namn, ålder, adress, inköpta varor. När du börjar analysen kan du hitta dig själv att utvärdera poster med många funktioner, varav några är viktiga för analysen. Så du bör eliminera alla utom de få funktioner som har mest förutsägande kraft för ditt specifika projekt.
Att reducera dataens dimensioner kan uppnås genom att sätta alla data i ett enda bord som använder flera kolumner för att representera attribut av intresse. I analysens början måste analysen naturligtvis utvärdera ett stort antal kolumner - men det kan minskas som analysen fortskrider.
Denna process kan hjälpas genom att rekonstruera fälten - till exempel genom att gruppera data i kategorier som har liknande egenskaper.
Den resulterande datasatsen - den rengjorda datasatsen - läggs vanligen i en separat databas för analytikerna att använda. Under modelleringsprocessen bör dessa data enkelt nås, hanteras och hållas aktuella.
