Skikt 3 i Big Data Stack: Organisera datatjänster och verktyg - Dummies

Organisera datatjänster och verktyg , lag 3 i den stora databacken, fånga, validera och montera olika stora dataelement i kontextrelevant relevanta samlingar. Eftersom stora data är enorma har tekniker utvecklats för att bearbeta data effektivt och sömlöst. MapReduce är en kraftigt använd teknik. Det räcker med att säga att många av dessa organiserande datatjänster är MapReduce-motorer, speciellt utformade för att optimera organisationen av stora dataströmmar.

Organiserande datatjänster är i verkligheten ett ekosystem av verktyg och teknik som kan användas för att samla in och samla data som förberedelser för vidare bearbetning. Som sådan måste verktygen tillhandahålla integration, översättning, normalisering och skala. Teknologier i detta lager innehåller följande:

• Ett distribuerat filsystem: Nödvändigt för att tillgodose sönderdelning av dataströmmar och för att ge skalan och lagringskapaciteten

• Nödvändig för långvarig datalagring och fjärrsamtal (RPC) Koordineringstjänster:

• Nödvändig för att bygga distribuerade applikationer (låsning osv.) > Utdrag, omvandla och ladda (ETL) verktyg: Nödvändigt för att ladda och konvertera strukturerad och ostrukturerad data till Hadoop

• Arbetsflödestjänster: Nödvändig för schemaläggning av jobb och en struktur för synkronisering av processelement över lager