Video: Big Data analysis Hadoop with Mapreduce, HIVE, PIG , Zookeeper and Spark class 7 2024
Socialt sentimentanalys är lätt det mest överhypade av Hadoop använder, vilket inte borde bli någon överraskning, med tanke på att världen är ständigt ansluten och den nuvarande uttrycksfulla befolkningen. Användningsfallet använder innehåll från forum, bloggar och andra sociala medier för att utveckla en känsla av vad människor gör (till exempel livshändelser) och hur de reagerar på världen runt dem (känslan).
Eftersom textbaserad data inte passar naturligt i en relationsdatabas, är Hadoop en praktisk plats för att utforska och köra analys på dessa data.
Språk är svårt att tolka, även för människor ibland - speciellt om du läser text skrivet av personer i en social grupp som skiljer sig från din egen. Denna grupp människor kan prata ditt språk, men deras uttryck och stil är helt främmande, så du har ingen aning om de pratar om en bra upplevelse eller dålig.
Om du till exempel hör ordet bomb med hänvisning till en film kan det innebära att filmen var dålig (eller bra om du är en del av ungdomen rörelse som tolkar "It's Da Bomb" som ett kompliment); självklart, om du befinner dig i flygbolagets säkerhetsaffär, har ordet bomb en helt annan betydelse. Poängen är att språket används på många olika sätt och ständigt utvecklas.
När du analyserar känslor på sociala medier kan du välja mellan flera olika tillvägagångssätt. Den grundläggande metoden programmerar peka texten text, extraherar strängar och tillämpar regler. I enkla situationer är detta tillvägagångssätt rimligt. Men när kraven utvecklas och reglerna blir mer komplexa blir manuellt kodande textutdragningar snabbt inte längre möjliga ur kodhantering, särskilt för prestationsoptimering.
Grammatik- och reglerbaserade metoder för textbehandling är beräkningsmässigt dyra, vilket är ett viktigt övervägande vid storskalig extraktion i Hadoop. Ju mer involverade reglerna (vilket är oundvikligt för komplexa ändamål som sentimentutvinning), desto mer behandling behövs.
Alternativt blir ett statistikbaserat tillvägagångssätt alltmer vanligt för sentimentanalys. Istället för att manuellt skriva komplexa regler kan du använda de klassificeringsorienterade maskinlärningsmodellerna i Apache Mahout. Fångsten här är att du måste träna dina modeller med exempel på positiva och negativa känslor. Ju mer träningsdata du tillhandahåller (till exempel text från tweets och din klassificering), ju mer exakta dina resultat.
Användningsfallet för socialt sentimentanalys kan tillämpas inom ett brett spektrum av branscher. Tänk på livsmedelssäkerhet: Att försöka förutse eller identifiera utbrott av livsmedelsburna sjukdomar så snabbt som möjligt är extremt viktigt för hälsovårdsansvariga.
Följande bild visar en Hadoop-förankrad applikation som sätter in tweets med hjälp av extraktorer baserat på den potentiella sjukdomen: FLU eller MATSÖKNING.
Ser du den genererade värmekartan som visar den geografiska platsen för tweetsna? En egenskap för data i en värld av stora data är att det mesta är rumsberikat: Det har lokalitetsinformation (och temporära attribut). I detta fall var Twitter-profilen omvänd konstruerad genom att leta upp den publicerade platsen.
Som det visar sig har många Twitter-konton geografiska platser som en del av deras offentliga profiler (såväl som avskrivningar som tydligt anger att deras tankar är deras egna i motsats till att de talar för sina arbetsgivare).
Hur bra är det med en prediktionsmotor kan sociala medier vara för influensas utbrott eller en matförgiftningsincidens? Tänk på den anonyma provdata som visas. Du kan se att sociala medier signaler trumped alla andra indikatorer för att förutsäga ett influensautbrott i ett specifikt USA-län under sensommaren och in i början av hösten.
I det här exemplet visas en annan fördel som härrör från att analysera sociala medier: Det ger dig en aldrig tidigare skådad möjlighet att titta på att ange information i affischer 'profiler. Bevisat, vad folk säger om sig själva i sina Twitter-profiler är ofta ofullständiga (till exempel är placeringskoden inte fylld i) eller inte meningsfull (platskoden kan säga moln nio ).
Men du kan lära dig mycket om människor över tiden, baserat på vad de säger. Exempelvis kan en kund ha tweeted (publicerat på Twitter) meddelandet om hennes barns födelse, en Instagram-bild av hennes senaste målning eller en Facebook-post som säger att hon inte kan tro Walter Whites beteende i kvällens Breaking Bad finale.
I det här allestädesexemplet kan ditt företag extrahera en livshändelse som fyller i en familjediagram (ett nytt barn är en värdefull uppdatering för en personbaserad Master Data Management-profil), en hobby (målning) och ett intresseattribut (du älskar showen Breaking Bad ).
Genom att analysera sociala data på detta sätt har du möjlighet att utplåna personliga attribut med information som hobbies, födelsedagar, livshändelser, geografiska platser (t.ex. land, stat och stad), arbetsgivare, kön, äktenskap status och mer.
Anta i en minut att du är CIO för ett flygbolag. Du kan använda inlägg av glada eller arga frekventa resenärer för att inte bara fastställa känslan utan också runda ut kundprofiler för ditt lojalitetsprogram med hjälp av social mediainformation.
Föreställ dig hur mycket bättre du kunde rikta potentiella kunder med informationen som bara delats - till exempel ett e-postmeddelande som berättar för klienten att säsong 5 av Breaking Bad är nu tillgänglig på flygets mediesystem eller meddela att barn under två år flyger gratis.
Det är också ett bra exempel på hur system för rekord (t.ex. försäljnings- eller abonnemangsdatabaser) kan uppfylla system för engagemang (t.ex. supportkanaler). Trots att lojalitetsmedlemmens inlösen och resehistorik finns i en relationsdatabas kan anknytningssystemet uppdatera poster (till exempel en kolumn).
