Analys och extraktionstekniker för Big Data - dummies

I allmänhet använder textanalyslösningar för stora data en kombination av statistiska och naturliga språkbehandlingstekniker (NLP) för att extrahera information från ostrukturerad data. NLP är ett brett och komplext fält som har utvecklats under de senaste 20 åren.

Ett primärt mål för NLP är att härleda mening från text. Naturlig språkbehandling använder sig i allmänhet av språkliga begrepp som grammatiska strukturer och delar av tal. Ofta är tanken bakom denna typ av analys att bestämma vem gjorde vad till vem, när, var, hur och varför.

NLP utför analys på text på olika nivåer:

• Lexisk / morfologisk analys undersöker egenskaperna hos ett enskilt ord - inklusive prefix, suffix, rötter och delar av tal (substantiv, verb, adjektiv osv.) - Information som kommer att bidra till att förstå vad ordet betyder i samband med texten som tillhandahålls. Lexisk analys beror på en ordbok, tesaurus eller någon lista med ord som ger information om dessa ord.

• Syntaktisk analys använder grammatisk struktur för att dissekera texten och sätta enskilda ord i kontext. Här utvidgar du blicken från ett enda ord till frasen eller hela meningen. Detta steg kan diagramma förhållandet mellan orden (grammatiken) eller leta efter ordsekvenser som bildar korrekta meningar eller för sekvenser av siffror som representerar datum eller monetära värden.

• Semantisk analys bestämmer möjliga betydelser av en mening. Detta kan innefatta att undersöka ordorder och meningsstruktur och disambiguerande ord genom att relatera syntaxen som finns i fraserna, meningarna och styckena.

• Diskursnivåanalys försöker bestämma betydelsen av text bortom meningenivå.

Förstå den extraherade informationen från stora data

Vissa tekniker, i kombination med andra statistiska eller språkliga tekniker för att automatisera märkning och markering av textdokument, kan extrahera följande typer av information:

• Villkor: En annan namn för nyckelord.

• Entiteter: Ofta kallade namngivna enheter , Dessa är specifika exempel på abstraktioner. Exempel är namn på personer, företagsnamn, geografiska platser, kontaktuppgifter, datum, tider, valutor, titlar och positioner och så vidare. Exempelvis kan textanalysprogramvara extrahera enheten Jane Doe som en person som avses i texten som analyseras. Entiteten 3 mars 2007 kan extraheras som ett datum och så vidare.

• Fakta: Även kallad relationer , fakta anger vilka / vad / var relationerna mellan två enheter. John Smith är VD för företag Y och Aspirin minskar feber är exempel på fakta.

• Händelser: Medan vissa experter använder sig av begreppen faktum , förhållande , och händelsen skiljer andra mellan händelser och fakta, som anger att händelser vanligtvis innehåller en tidsdimension och ofta orsakar fakta att förändras. Exempel är en förändring av ledningen inom ett företag eller status för en försäljningsprocess.

• Begrepp: Dessa är uppsättningar ord och fraser som indikerar en viss idé eller ämne som användaren berör. Till exempel kan begreppet olycklig kund innehålla orden arg, besviken, och förvirrad och frasen avbryta tjänsten, ringde inte tillbaka, och slöseri med pengar - bland många andra. Således kan begreppet olycklig kund extraheras utan att orden olycklig eller kund visas i texten.

• Sentiment: Sentimentanalys används för att identifiera synpunkter eller känslor i den underliggande texten. Vissa tekniker gör detta genom att klassificera text som till exempel subjektivt (mening) eller objektiv (faktum), med hjälp av maskinlärande eller NLP-tekniker. Sentimentsanalys har blivit mycket populär i "kundens röst" sorters tillämpningar.

Stora datakonomonomier

Taxonomier är ofta kritiska för textanalys. A taxonomi är en metod för att organisera information i hierarkiska relationer. Det kallas ibland som ett sätt att organisera kategorier. Eftersom en taxonomi definierar relationerna mellan de termer som ett företag använder, gör det lättare att hitta och sedan analysera text.

Till exempel erbjuder en teletjänstleverantör både trådbunden och trådlös service. Inom den trådlösa tjänsten kan företaget stödja mobiltelefoner och tillgång till Internet. Företaget kan sedan ha två eller flera sätt att kategorisera mobiltelefonservice, såsom planer och telefontyper. Taxonomin kan nå hela vägen ner till en telefons delar.

Taxonomier kan också använda synonymer och alternativa uttryck, vilket erkänner att mobiltelefon, mobiltelefon och mobiltelefon är alla samma. Dessa taxonomier kan vara ganska komplexa och kan ta lång tid att utvecklas.