Data mining för stora data - dummies

Data mining innebär att undersöka och analysera stora mängder data för att hitta mönster för stora data. Teknikerna kom ut från statistik och artificiell intelligens (AI), med lite databashantering som kastades i mixen.

Målet för datavinnningen är i allmänhet antingen klassificering eller förutsägelse. I klassificeringen är tanken att sortera data i grupper. Till exempel kan en marknadsförare vara intresserad av egenskaperna hos dem som svarade mot vem som inte svarade på en kampanj.

Det här är två klasser. I förutsägelse är tanken att förutse värdet av en kontinuerlig variabel. En marknadsförare kan till exempel vara intresserad av att förutsäga dem som kommer att svara på en kampanj.

Typiska algoritmer som används vid data mining inkluderar följande:

• Klassificeringsträd: En populär datautvinningsteknik som används för att klassificera en beroende kategorisk variabel baserat på mätningar av en eller flera prediktorvariabler. Resultatet är ett träd med noder och länkar mellan noder som kan läsas för att bilda om-då regler.

• Logistisk regression: En statistisk teknik som är en variant av standardregression men utökar konceptet för att hantera klassificering. Den producerar en formel som förutser sannolikheten för förekomsten som en funktion av de oberoende variablerna.

• Neurala nätverk: En mjukvaralgoritm som modelleras efter djurharts parallella arkitektur. Nätverket består av inmatade noder, dolda lager och utgångsnoder. Varje enhet tilldelas en vikt. Data ges till ingångskoden, och med ett system med försök och fel justerar algoritmen vikterna tills den uppfyller vissa stoppkriterier. Vissa människor har liknat detta till en svart box-strategi.

• Clusteringsteknik som K-närmaste grannar: En teknik som identifierar grupper av liknande poster. K-närmaste grannteknik beräknar avstånden mellan posten och poängen i den historiska (träningsdata). Den tilldelar sedan denna post till klassen av närmaste granne i en dataset.

Här är ett exempel på klassificeringstree. Tänk på situationen där ett telefonselskap vill bestämma vilka bostadskunder som sannolikt kommer att koppla från sin tjänst.

Telefonföretaget har information som består av följande attribut: hur länge personen har tjänat, hur mycket han spenderar på tjänsten, om tjänsten har varit problematisk, om han har den bästa anropsplanen han behöver, var han lever, hur gammal han är, om han har andra tjänster bundna ihop, konkurrensinformation om andra flygplan, och om han fortfarande har tjänsten.

Du kan naturligtvis hitta många fler attribut än det här. Det sista attributet är utfallsvariabeln; Detta är vad mjukvaran kommer att använda för att klassificera kunderna i en av de två grupperna - kanske kallad stayers och flygrisker.

Datasatsen är uppdelad i träningsdata och en testdatasats. Träningsdata består av observationer (kallade attribut) och en resultatvariabel (binär i fallet med en klassificeringsmodell) - i så fall riskerar stayers eller flygningen.

Algoritmen körs över träningsdata och kommer upp med ett träd som kan läsas som en serie regler. Om kunderna till exempel har varit med i företaget i mer än tio år och de är över 55 år, kommer de sannolikt att förbli lika lojala kunder.

Dessa regler körs sedan över testdatasatsen för att bestämma hur bra den här modellen är på "nya data". "Nätsäkerhetsåtgärder tillhandahålls för modellen. Till exempel är en populär teknik förvirringsmatrisen. Denna matris är en tabell som ger information om hur många fall som var korrekt mot felaktigt klassificerade.

Om modellen ser bra ut, kan den distribueras på andra data, som den är tillgänglig (det vill säga med hjälp av den för att förutsäga nya fall av flygrisk). Baserat på modellen kan företaget exempelvis besluta att skicka ut specialerbjudanden till de kunder som den anser är flygrisker.