Skikt 4 i Big Data Stack: Analytiska Data Warehouses - Dummies

Datalagret, lager 4 i den stora databacken och dess companion data mart har länge varit de primära tekniker som organisationer använder för att optimera data för att hjälpa beslutsfattare. Typiskt innehåller datalager och mars normaliserade data som samlats in från en mängd olika källor och monteras för att underlätta analysen av verksamheten.

Datavarehus och mars förenklar skapandet av rapporter och visualisering av olika dataposter. De skapas generellt från relationella databaser, multidimensionella databaser, platta filer och objektdatabaser - i huvudsak alla lagringsarkitekturer. I en traditionell miljö, där prestanda kanske inte är högsta prioritet, är valet av den bakomliggande tekniken drivna av kraven för analys, rapportering och visualisering av företagsdata.

Eftersom organisationen av data och dess beredskap för analys är viktiga, hålls de flesta data warehouse implementationerna aktuella via batchbehandling. Problemet är att batchbelastade datalager och data mars kan vara otillräckliga för många stora dataprogram. Spänningen som införs av höghastighetsdataströmmar kommer sannolikt att kräva en mer realtidsinriktning till stora datalager.

Det betyder inte att du inte skapar och matar ett analytiskt datalager eller en datormart med batchprocesser. Snarare kan du sluta ha flera datalager eller data mars, och prestanda och skalan återspeglar tidskraven för analytikerna och beslutsfattarna.

Eftersom många datalager och data mars består av data som samlats in från olika källor inom ett företag, måste också kostnaderna för rengöring och normalisering av data hanteras. Med stora data hittar du några viktiga skillnader:

• Traditionella dataströmmar (från transaktioner, applikationer osv.) Kan producera mycket olika data.

• Dussintals nya datakällor finns också, var och en behöver lite manipulation innan det kan vara aktuellt och användbart för verksamheten.

• Innehållskällor måste också rengöras, och det kan kräva olika tekniker än vad du kan använda med strukturerad data.

Historiskt var innehållet i datalager och data mars organiserade och levererade till företagsledare som ansvarade för strategi och planering. Med stora data utnyttjar en ny uppsättning lag data för beslutsfattande.

Många stora dataimplementeringar ger realtidsfunktioner, så företag ska kunna leverera innehåll så att individer med operativa roller kan hantera problem som kundsupport, försäljningsmöjligheter och serviceavbrott i nära realtid.På så sätt hjälper stora data till att flytta åtgärder från bakkontoret till kontoret.

Befintliga analysverktyg och tekniker kommer att vara till stor hjälp när du känner till stora data. Det finns dock en fångst. Algoritmerna som ingår i dessa verktyg måste kunna arbeta med stora mängder potentiellt realtid och olika data. Infrastrukturen måste vara på plats för att stödja detta.

Och leverantörer som tillhandahåller analysverktyg måste också se till att deras algoritmer fungerar över distribuerade implementeringar. På grund av dessa komplexiteter, förvänta dig en ny klass av verktyg för att hjälpa till att ge mening om stora data.

Det finns tre klasser av verktyg i detta lager av referensarkitekturen. De kan användas oberoende eller kollektivt av beslutsfattare för att hjälpa till att styra verksamheten. De tre klasserna av verktyg är följande:

• Rapportering och instrumentbrädor: Dessa verktyg ger en & ldquo; användarvänliga & rdquo; representation av informationen från olika källor. Även om det är en grundsten i den traditionella datavärlden, utvecklas detta område fortfarande för stora data. Några av de verktyg som används är traditionella som kan nå tillgång till de nya typerna av databaser som kollektivt kallas NoSQL (Not Only SQL).

• Visualisering: Dessa verktyg är nästa steg i rapporteringsutvecklingen. Produktionen tenderar att vara mycket interaktiv och dynamisk i naturen. En annan viktig skillnad mellan rapporter och visualiserad produktion är animering. Företagsanvändare kan titta på förändringar i data som använder en mängd olika visualiseringstekniker, inklusive minneskartor, värmekartor, infographics och anslutningsdiagram. Rapportering och visualisering sker vid slutet av affärsverksamheten.

• Analytics och avancerad analys: Dessa verktyg når in i datalageret och bearbetar data för konsumtion. Avancerad analys bör tydliggöra trender eller händelser som är transformativa, unika eller revolutionerande i befintlig affärspraxis. Prediktiv analys och sentimentanalys är bra exempel på denna vetenskap.