Ostrukturerad data i en stor datamiljö - dummies

Ostrukturerad data är data som inte följer ett visst format för stor data. Om 20 procent av de uppgifter som är tillgängliga för företag är strukturerad data är de övriga 80 procent ostrukturerad. Ostrukturerad data är egentligen de flesta data som du kommer att stöta på. Fram till nyligen stödde tekniken dock inte mycket med det, förutom att lagra det eller analysera det manuellt.

Källor för ostrukturerad stor data

Ostrukturerad data är överallt. Faktum är att de flesta individer och organisationer leder sina liv kring ostrukturerad data. Precis som med strukturerad data är ostrukturerade data antingen maskingenererade eller mänskliga genererade.

Här är några exempel på maskingenererad ostrukturerad data:

• Satellitbilder: Detta inkluderar väderdata eller de data som regeringen fångar i sin satellitövervakning. Tänk bara på Google Earth, och du får bilden.

• Vetenskaplig data: Detta inkluderar seismiska bilder, atmosfäriska data och hög energi fysik.

• Fotografier och video: Detta inkluderar säkerhet, övervakning och trafikvideo.

• Radar- eller sonardata: Detta inkluderar fordon, meteorologiska och oceanografiska seismiska profiler.

Följande lista visar några exempel på mänsklig genererad ostrukturerad data:

• Text internt för ditt företag: Tänk på all text inom dokument, loggar, undersökningsresultat och e-post. Företagsinformation representerar faktiskt en stor andel av textinformationen i världen idag.

• Sociala medier data: Dessa data genereras från sociala medier plattformar som YouTube, Facebook, Twitter, LinkedIn och Flickr.

• Mobildata: Detta inkluderar data som textmeddelanden och platsinformation.

• Webbplatsinnehåll: Detta kommer från en webbplats som levererar ostrukturerat innehåll, som YouTube, Flickr eller Instagram.

Och listan fortsätter.

Vissa tror att termen ostrukturerad data är vilseledande eftersom varje dokument kan innehålla en egen specifik struktur eller formatering baserad på programvaran som skapade den. Vad som är internt i dokumentet är dock ostrukturerat.

Ustrukturerade data är den största delen av dataekvationen, och användningsfallen för ostrukturerad data expanderar snabbt. På textsidan ensam kan textanalys användas för att analysera ostrukturerad text och att extrahera relevanta data och omvandla den data till strukturerad information som kan användas på olika sätt.

Ett populärt stort dataförbrukningsfall är till exempel social mediaanalys för användning med högvolymsamtal. Dessutom analyseras ostrukturerad data från noteringscentraler, e-postmeddelanden, skriftliga kommentarer i en undersökning och andra dokument för att förstå kundbeteendet. Detta kan kombineras med sociala medier från tiotals miljoner källor för att förstå kundupplevelsen.

En CMS-roll i stor datahantering

Organisationer lagrar ostrukturerad data i databaser. De utnyttjar emellertid också företagets innehållshanteringssystem (CMS) som kan hantera innehållets hela livscykel. Detta kan innehålla webbinnehåll, dokumentinnehåll och andra blanketter.

Enligt Association for Information and Image Management (AIIM) består en ideell organisation som tillhandahåller utbildning, forskning och bästa praxis, Enterprise Content Management (ECM) "strategier, metoder och verktyg som används för att fånga, hantera, lagra, bevara och leverera innehåll och dokument relaterade till organisatoriska processer. "Den teknik som ingår i ECM inkluderar dokumenthantering, registerhantering, bildbehandling, arbetsflödeshantering, hantering av webbinnehåll och samarbete.

En hel bransch har utvecklats kring att hantera innehåll, och många leverantörer av innehållsförvaltning skaler ut sina lösningar för att hantera stora volymer av ostrukturerad data. Ny teknik utvecklas emellertid också för att hjälpa till att stödja ostrukturerad data och analys av ostrukturerad data. Några av dessa stödjer både strukturerad och ostrukturerad data. Vissa stödjer realtidsströmmar. Dessa inkluderar tekniker som Hadoop, MapReduce och streaming.

System som är utformade för att lagra innehåll i form av innehållshanteringssystem är inte längre fristående lösningar. Snarare är det troligt att de ingår i en övergripande datahanteringslösning. Till exempel kan din organisation övervaka Twitter-flöden som sedan kan programmera ut en CMS-sökning.

Den person som utlöste tweeten får ett svar tillbaka som erbjuder en plats där individen kan hitta den produkt som han eller hon kan leta efter. Den största fördelen är när denna typ av interaktion kan hända i realtid. Det illustrerar också värdet av att utnyttja realtidsstrukturerad, strukturerad (kunddata om den person som tweeted) och semi-strukturerad (det faktiska innehållet i CMS) -data.

Verkligheten är att du förmodligen kommer att använda en hybridanvändning för att lösa dina stora dataproblem. Till exempel är det inte meningsfullt att flytta all din nyhetsinnehåll, till exempel i Hadoop på din plats, eftersom det ska hjälpa till att hantera ostrukturerad data.