Identifiera de data du behöver för dina stora data - dummies

Ta reda på vilken typ av data du har att göra med i ditt stora dataprojekt. Många organisationer erkänner att många internt genererade data inte har utnyttjats till sin fulla potential i det förflutna.

Genom att utnyttja nya verktyg får organisationer ny insikt från tidigare outnyttjade källor till ostrukturerad data i e-post, kundserviceposter, sensordata och säkerhetsloggar. Dessutom finns stort intresse för att leta efter ny insikt baserad på analys av data som främst är extern för organisationen, t.ex. sociala medier, mobilplats, trafik och väder.

Utredningssteget för stora data

I de tidiga stadierna av din analys vill du söka efter mönster i data. Det är bara genom att undersöka mycket stora datamängder att nya och oväntade relationer och korrelationer mellan element kan bli uppenbara. Dessa mönster kan till exempel ge insikt om kundpreferenser för en ny produkt. Du behöver en plattform för att organisera dina stora data för att leta efter dessa mönster.

Hadoop används ofta som ett underliggande byggsten för att fånga och bearbeta stor data. Hadoop är utformad med kapacitet som snabbt hanterar stora data och gör det möjligt att identifiera mönster i stora mängder data på relativt kort tid. De två primära komponenterna i Hadoop - Hadoop Distributed File System (HDFS) och MapReduce - används för att hantera och bearbeta dina stora data.

FlumeNG för stor dataintegration

Det är ofta nödvändigt att samla, samla och flytta extremt stora mängder strömningsdata för att söka efter dolda mönster i stora data. Traditionella integrationsverktyg som ETL skulle inte vara tillräckligt snabba för att flytta de stora flödena av data i tid för att leverera resultat för analys såsom realtidsbedrägeribekämpning. FlumeNG laddar data i realtid genom att strömma dina data till Hadoop.

Flume används vanligtvis för att samla stora mängder loggdata från distribuerade servrar. Den håller reda på alla fysiska och logiska noder i en Flume-installation. Agentnoder installeras på servrarna och ansvarar för hanteringen av hur en enda dataström överförs och bearbetas från början till dess destinationspunkt.

Dessutom används samlare för att gruppera dataflöden till större strömmar som kan skrivas till ett Hadoop-filsystem eller annan stor datalagringsbehållare. Flume är konstruerad för skalbarhet och kan kontinuerligt lägga till fler resurser i ett system för att hantera extremt stora mängder data på ett effektivt sätt.Flums produktion kan integreras med Hadoop och Hive för analys av data.

Flume har också transformationselement som kan användas på data och kan göra din Hadoop-infrastruktur till en strömmande källa till ostrukturerad data.

Mönster i stora data

Du hittar många exempel på företag som börjar inse konkurrenskraftiga fördelar med stor dataanalys. För många företag blir sociala medier dataströmmar alltmer en integrerad del av en digital marknadsstrategi. I undersökningsskedet kan denna teknik användas för att snabbt söka igenom enorma mängder strömningsdata och dra ut de trendmönster som är relaterade till specifika produkter eller kunder.

Kodifieringssteget för stora data

Med hundratals butiker och tusentals kunder behöver du en repeterbar process för att göra språnget från mönsteridentifiering till implementering av nytt produktval och mer målinriktad marknadsföring. När du har hittat något intressant i din stora dataanalys kodar du den och gör den till en del av din affärsprocess.

För att kodifiera förhållandet mellan din stora dataanalys och dina operativa data måste du integrera data.

Stor dataintegration och integreringstrinn

Stora data har stor inverkan på många aspekter av datahantering, inklusive dataintegration. Traditionellt har dataintegration fokuserat på dataöverföring via middleware, inklusive specifikationer för meddelandeöverföring och krav för applikationsprogrammeringsgränssnitt (API). Dessa begrepp av dataintegration är mer lämpliga för hantering av data i vila snarare än data i rörelse.

Förflyttningen till den nya världen av ostrukturerad data och strömmande data ändrar det konventionella begreppet dataintegration. Om du vill integrera din analys av streamingdata i din affärsprocess behöver du avancerad teknik som är snabb nog för att du ska kunna fatta beslut i realtid.

Efter att din stora dataanalys är klar behöver du ett tillvägagångssätt som gör att du kan integrera eller integrera resultaten av din stora dataanalys i din affärsprocess och i realtidsaffärer.

Företagen har höga förväntningar på att få verkligt affärsvärde från stor dataanalys. Faktum är att många företag vill börja en djupare analys av internt genererade stora data, till exempel säkerhetsloggdata, som inte tidigare varit möjliga på grund av tekniska begränsningar.

Teknik för snabbtransport av mycket stora och snabba data är ett krav för att integrera över distribuerade stora datakällor och mellan stora data och operativa data. Ostrukturerade datakällor behöver ofta flyttas snabbt över stora geografiska avstånd för delning och samarbete.

Att länka traditionella källor med stora data är en mångskiftad process efter att du har tittat på all data från strömmande stora datakällor och identifierat relevanta mönster. Efter att ha minskat mängden data du behöver hantera och analysera, behöver du nu tänka på integration.