Modifiera Business Intelligence-produkter för hantering av stora data - dummies

Traditionella affärsintelligensprodukter är inte riktigt utformade för att hantera stora data, så de kan behöva ändras. De var utformade för att fungera med mycket strukturerad, väl förstådd data, som ofta lagras i ett relationsdatabibliotek och visas på skrivbordet eller datorn. Denna traditionella analys av företagsunderrättelser tillämpas vanligtvis på snapshots av data i stället för hela datamängden. Vad skiljer sig åt med stor dataanalys?

Stor data

Stora data består av strukturerad, halvstrukturerad och ostrukturerad data. Du har ofta mycket av det, och det kan vara ganska komplext. När du tänker på att analysera det måste du vara medveten om de potentiella egenskaperna hos dina data:

Det kan komma från otillförlitliga källor. Stor dataanalys innebär ofta att data samlas från olika källor. Dessa kan innehålla både interna och externa datakällor. Hur pålitliga är dessa externa informationskällor? Till exempel, hur pålitlig är sociala medier data som en tweet? Informationen kan komma från en obekräftad källa. Integriteten av dessa data måste beaktas i analysen.
Det kan vara smutsigt. Dirty data avser felaktiga, ofullständiga eller felaktiga uppgifter. Detta kan innehålla felstavning av ord; en sensor som är trasig, inte korrekt kalibrerad eller skadad på något sätt; eller till och med duplicerade data. Datavetenskapare diskuterar var de ska rengöra data - antingen nära källan eller i realtid.

Naturligtvis säger en tankegång att de smutsiga uppgifterna inte bör rengöras alls eftersom det kan innehålla intressanta utestängningar. Rengöringsstrategin kommer sannolikt att bero på källan och typen av data och målet för din analys. Om du till exempel utvecklar ett spamfilter är målet att upptäcka de dåliga elementen i data, så du vill inte rengöra den.
Signal-brus-förhållandet kan vara lågt. Med andra ord kan signalen (användbar information) endast vara en liten procent av data; bullret är resten. Att kunna extrahera en liten signal från bullriga data är en del av fördelen med stor dataanalys, men du måste vara medveten om att signalen verkligen kan vara liten.
Det kan vara realtid. I många fall försöker du analysera dataströmmar i realtid.

Stor datahantering kommer att vara en viktig del av analysekvationen. Under affärsanalyser måste förbättringar göras för styrningslösningar för att säkerställa sannolikhet som kommer från de nya datakällorna, särskilt eftersom den kombineras med befintlig betrodd data lagrad i ett lager.Datasäkerhets- och integritetslösningar måste också förbättras för att stödja hantering / styrning av stora data lagrade inom ny teknik.

Analytiska stora datalgoritmer

När du överväger stor dataanalys, måste du vara medveten om att när du expanderar bortom skrivbordet måste de algoritmer du använder ofta förändras, ändra intern kod utan att det påverkar dess externa funktion. Skönheten i en stor datainfrastruktur är att du kan köra en modell som brukade ta timmar eller dagar i minuter. Detta låter dig repetera på modellen hundratals gånger över. Men om du kör en regression på en miljard rader data över en distribuerad miljö, måste du överväga resursbehovet i relation till datamängden och dess plats i klustret. Dina algoritmer måste vara medvetna om data.

Dessutom börjar säljare att erbjuda nya analyser avsedda att placeras nära de stora datakällorna för att analysera data på plats. Denna metod att köra analys närmare datakällorna minimerar mängden lagrad data genom att behålla endast högvärdesdata. Det gör det också möjligt att analysera data tidigare, vilket är avgörande för beslutsfattandet i realtid.

Självklart fortsätter analysen att utvecklas. Du kan till exempel behöva visualiseringsfunktioner i realtid för att visa realtidsdata som ändras kontinuerligt. Hur plottar du praktiskt taget en miljarder poäng på en grafritning? Eller hur arbetar du med de prediktiva algoritmerna så att de utför tillräckligt snabb och djupt noggrann analys för att utnyttja en ständigt växande och komplex dataset? Detta är ett område med aktiv forskning.

Stöd för stora datainfrastrukturer

Det är tillräckligt att säga att om du letar efter en plattform behöver den uppnå följande:

Integrera teknik:

Infrastrukturen behöver integrera ny stor datateknik med traditionell teknik för att kunna hantera alla typer av stora data och göra det förbrukningsbart med traditionell analys. Spara stora mängder av olika data:
Ett företagshärdat Hadoop-system kan behövas som kan bearbeta / lagra / hantera stora mängder data i vila, oavsett om det är strukturerat, halvstrukturerat eller ostrukturerat. Processdata i rörelse:
En strömberäkningsfunktion kan behövas för att bearbeta data som rör sig kontinuerligt, genererade av sensorer, smarta enheter, video, ljud och loggar för att stödja beslutsfattande i realtid. Lagerdata:
Det kan hända att du behöver en lösning optimerad för operativa eller djupa analytiska arbetsbelastningar för att lagra och hantera de växande mängderna betrodda data. Och du behöver naturligtvis förmågan att integrera de data du redan har på plats tillsammans med resultaten från den stora dataanalysen.