Hem Personliga finanser Text Analytics för ostrukturerad stor data - dummies

Text Analytics för ostrukturerad stor data - dummies

Video: Semistrukturerad intervju, kvalitativ metod, renskriva/transkribera, intervjuguide/-mall 2024

Video: Semistrukturerad intervju, kvalitativ metod, renskriva/transkribera, intervjuguide/-mall 2024
Anonim

Det finns många metoder för att analysera ostrukturerad data för ditt stora datainitiativ. Historiskt kom dessa tekniker ut av tekniska områden som NLP (Natural Language Processing), kunskapsupptäckt, datautvinning, informationshämtning och statistik. Textanalys är processen att analysera ostrukturerad text, extrahera relevant information och omvandla den till strukturerad information som sedan kan hanteras på olika sätt.

Analys- och extraktionsprocesserna utnyttjar tekniker som härstammar i beräkningslingvistik, statistik och andra datavetenskapsdiscipliner.

Ibland kan ett exempel hjälpa till att förklara ett komplext ämne. Antag att du arbetar för marknadsavdelningen i ett trådlöst telefonföretag. Du har just lanserat två nya anropsplaner - Planera A och Planera B - och du får inte det upptag du önskade på Plan A. Den ostrukturerade texten från anropscentralerna kan ge dig en inblick i varför detta hände.

De understrukna orden innehåller informationen du kanske behöver för att förstå varför Plan A inte får snabbt antagande. Enheten Plan A visas till exempel i samtalscentralerna, vilket indikerar att rapporterna nämner planen.

Villkoren övergångsminuter, 4GB data, dataplan, och dyra är bevis på att det finns ett problem med överlåtningsminuter, dataplanen och priset. Ord som löjligt och dumma ger insikt i uppringarens känsla, vilket i detta fall är negativt.

Textanalysprocessen använder olika algoritmer, till exempel förståelse av meningsstrukturen, att analysera den ostrukturerade texten och sedan extrahera information och omvandla den informationen till strukturerad data. De strukturerade data som extraheras från den ostrukturerade texten illustreras i tabell 13-1.

Identifier Enhet Utgåva Sentiment
Cust XYZ Plan A Roll-over minuter Neutral
Cust ABC Plan A Omrullningsminuter Negativ
XXXX Plan A Dyrt Neutral
XXXX Plan A Dataplan Neutral
Cust XYT > Planera A Dataplan Negativ Du kan titta på detta och säga, "Men jag kunde ha räknat ut det genom att titta på callcenter-posterna. "Men det här är bara en liten delmängd av informationen som registreras av tusentals call center-agenter. Varje enskild agent kan inte möjliggöra en bred trend när det gäller problemet med varje plan som erbjuds av företaget.

Agenter har inte tid eller krav att dela denna information över alla andra callcenteragenter som kanske får liknande antal samtal om Plan A. Men efter att denna information aggregeras och bearbetas med hjälp av textanalysalgoritmer, är en trend kan uppstå ur denna ostrukturerade data. Det är det som gör textanalyser så kraftfulla.

Sökningen handlar om att hämta ett dokument baserat på vilka slutanvändare som redan vet att de letar efter. Textanalys handlar om att upptäcka information. Även om textanalys skiljer sig från sökningen kan det öka sökteknikerna. Exempelvis kan textanalyser kombinerat med sökningen användas för att ge bättre kategorisering eller klassificering av dokument och att skapa abstrakter eller sammanfattningar av dokument.

Det finns fyra teknologier: fråga, datautvinning, sökning och textanalys. På vänster sida av bordet är frågan och sökningen, som både handlar om hämtning. En slutanvändare kan till exempel fråga efter en databas för att ta reda på hur många kunder som slutade använda företagets tjänster under den senaste månaden.

Frågan skulle returnera ett enda nummer. Endast genom att fråga fler och olika frågor kommer slutanvändaren att få den information som krävs för att avgöra varför kunderna lämnar. På samma sätt tillåter sökordsökningen slutanvändaren att hitta de dokument som innehåller namnen på ett företags konkurrenter. Sökningen skulle returnera en grupp dokument. Endast genom att läsa dokumenten skulle slutanvändaren komma med några relevanta svar.

Hämtning

Text Analytics för ostrukturerad stor data - dummies

Redaktörens val

Jewish Funeral Traditions - dummies

Jewish Funeral Traditions - dummies

Judiska begravningar sker vanligen i en synagoge, begravningshem eller på en kyrkogård. Med tradition är judiska begravningar enkla (symboliserar tron ​​att människor är alla lika i döden), men de varierar mycket och har ingen uppsättning liturgi. Att skicka blommor till ett begravnings- eller sorgshem är starkt avskräckt i judendomen. Inte bara kommer ...

Identifiera komplicerade grävande dummies

Identifiera komplicerade grävande dummies

Komplicerat roende är det tekniska namnet som sorgproffs ger till en sorgprocess som sitter fast vid något tillfälle , vilket gör det omöjligt för de förlorade att framgångsrikt starta eller avsluta sorgprocessen. Komplicerat sorg är ofta ett tecken på olösta problem i förhållandet mellan de förlorade och den avlidne som gör det ...

Redaktörens val

Hur man ställer in kartkontroller i Main_iPad. Storyboard i din iOS App - dummies

Hur man ställer in kartkontroller i Main_iPad. Storyboard i din iOS App - dummies

När du har en anpassad vy för MapController i din iOS-app, måste du berätta för iPad-storyboardet att du laddar in din anpassade vy i stället för en UIViewController. Följ dessa steg: Välj Projekt navigator genom att välja Main_iPad. storyboard och välj sedan View Controller i View Controller - Map Scene i dokumentutskriften. ...

Hur man roterar objekt i din iOS-app - dummies

Hur man roterar objekt i din iOS-app - dummies

Här hittar du hur man rotera en vy (i så fall vrid bilen runt) i din iOS-app. För att göra det uppdaterar du den roterande kodstuben du startade med och ersätter den med den fetstilta koden. - (void) rotera {CGAffineTransform transform = CGAffineTransformMakeRotation (M_PI); void (^ animation) () = ^ () {self. bil. transformera = transformera; ...

Hur man ställer in en WeatherController i Main_iPad. storyboard-fil för din iOS-app - dummies

Hur man ställer in en WeatherController i Main_iPad. storyboard-fil för din iOS-app - dummies

Bör du lägga till en ny anpassad vykontroll till din iOS-app innan du fortsätter till dessa steg. Du behöver fortfarande berätta för storyboardet att du vill att den ska ladda den nya anpassade vykontrollen istället för en UIViewController. Följ dessa steg:

Redaktörens val

Spara en grafisk stil i Adobe CS5 Illustrator - dummies

Spara en grafisk stil i Adobe CS5 Illustrator - dummies

Adobe Creative Suite 5 (Adobe CS5) Illustrator tillåter Du sparar en grafisk stil. En grafisk stil är en kombination av alla inställningar du väljer för ett visst filter eller en effekt i Utseendepanelen. Genom att spara informationen i en grafisk stil lagras du dessa attribut så att du snabbt och enkelt kan tillämpa ...

Välj som ett transformationsverktyg i Adobe CS5 Illustrator - dummies

Välj som ett transformationsverktyg i Adobe CS5 Illustrator - dummies

I Adobe Creative Suite 5 (Adobe CS5 ) Illustratör du kan använda markeringsverktyget för att skala och rotera ett valt objekt. Dra begränsningsboxens handtag för att ändra storlek på objektet, eller flytta dig utanför ett handtag och sedan, när markören ändras till en flippig pil (en böjd pil med pilhuvud i båda ändarna), dra till ...

Objekttransformation i Adobe CS5 Illustrator - dummies

Objekttransformation i Adobe CS5 Illustrator - dummies

Verktygen Rotate, Reflect, Scale och Shear i Adobe Creative Suite 5 (Adobe CS5) Illustrator använder alla samma grundläggande steg för att utföra transformationer. Här är fem sätt att transformera ett objekt: en för en godtycklig omvandling och fyra andra för exakta omvandlingar baserat på en numerisk mängd som du anger. Vilkårlig omvandlingsmetod Eftersom detta ...

Insikt Strukturerad
Fråga: Returerar data Datautvinning: Insikt från strukturerad data Ostrukturerad
Sök: Returnerar dokument Textanalys: Insikt från text < Tekniken till vänster returnerar informationsstycken och kräver mänsklig interaktion för att syntetisera och analysera den informationen. Tekniken till höger - data mining och textanalys - ger insikt mycket snabbare. Förhoppningsvis blir värdet av textanalys till din organisation klart.