Jämför Hadoop Distributions - dummies

Du kommer att upptäcka att Hadops ekosystem har många komponenter, som alla existerar som egna Apache-projekt. Eftersom Hadoop har vuxit betydligt och står inför några betydande ytterligare förändringar, kanske olika versioner av dessa komponenter med öppen källkod kanske inte är helt kompatibla med andra komponenter. Detta ställer stora svårigheter för att människor som vill ha en självständig start med Hadoop genom att ladda ner och sammanställa projekt direkt från Apache.

Red Hat är för många människor en modell för hur man framgångsrikt kan tjäna pengar på marknaden för öppen källkod. Vad Red Hat har gjort är att ta Linux (ett operativsystem med öppen källkod), buntra alla nödvändiga komponenter, bygga ett enkelt installatör och ge betalt stöd till alla kunder.

På samma sätt som Red Hat har tillhandahållit en praktisk förpackning för Linux har ett antal företag bundit Hadoop och vissa relaterade teknologier till sina egna Hadoop-distributioner. Denna lista beskriver de mer framträdande:

• Cloudera : Kanske den mest kända spelaren på fältet, Cloudera kan hävda Doug Cutting, Hadops medgrundare, som sin huvudarkitekt. Cloudera ses av många människor som marknadsledare på Hadoop-rummet eftersom det släppte den första kommersiella Hadoop-distributionen och det är en högaktuell bidragsgivare till koden till Hadoop ekosystem.

  Cloudera Enterprise, en produkt som placeras av Cloudera i centrum av vad den kallar "Enterprise Data Hub", inkluderar Cloudera Distribution for Hadoop (CDH), en öppen källkodsbaserad distribution av Hadoop och dess relaterade projekt som dess proprietära Cloudera Manager. Det ingår också en teknisk supportabonnemang för CDHs kärnkomponenter.

  Clouderaers primära affärsmodell har länge varit baserat på sin förmåga att utnyttja sin populära CDH-distribution och tillhandahålla betalda tjänster och support. Under hösten 2013 meddelade Cloudera formellt att den fokuserar på att lägga till egna värdeskapade komponenter ovanpå Open Source Hadoop för att fungera som differentiator.

  Cloudera har också gjort det vanligt att accelerera antagandet av alfa- och beta-nivå öppen källkod för de nyare Hadoop-utgåvorna. Dess tillvägagångssätt är att ta komponenter som den anser vara mogna och ommontera dem till de befintliga produktionskällor med öppen källkod som ingår i distributionen.

• EMC : Pivotal HD, Apache Hadoop-distributionen från EMC, integrerar integrerat EMCs massiv parallellbehandling (MPP) databassteknik (tidigare känd som Greenplum, och nu känd som HAWQ) med Apache Hadoop.Resultatet är en högpresterande Hadoop-distribution med sann SQL-bearbetning för Hadoop. SQL-baserade frågor och andra verktyg för affärsunderrättelse kan användas för att analysera data som lagras i HDFS.

• Hortonworks : En annan stor aktör på Hadoop-marknaden, Hortonworks har det största antalet kommittörer och kodbidragare för Hadoop ekosystemkomponenter. (Committers är gatuvaktare i Apache-projekt och har befogenhet att godkänna kodändringar.)

  Hortonworks är en spin-off från Yahoo!, som var den ursprungliga företagsledaren för Hadoop-projektet eftersom det behövde en stor plattform för att stödja sin sökmotorverksamhet. Av alla Hadoop-distributörsleverantörerna är Hortonworks mest engagerade i open source-rörelsen, baserat på den stora volymen av utvecklingsarbetet som det bidrar till samhället, och eftersom alla dess utvecklingsinsatser (så småningom) viks in i open source-kodbasen.

  Hortonworks affärsmodell bygger på sin förmåga att utnyttja sin populära HDP-distribution och erbjuda betalda tjänster och support. Det säljer dock inte proprietär programvara. I stället stöder företaget entusiastiskt tanken att arbeta inom open source-samhället för att utveckla lösningar som tillgodoser företagsfunktionskraven (till exempel snabbare förfrågningsbehandling med Hive).

  Hortonworks har förfalskat ett antal relationer med etablerade företag inom datahanteringsindustrin: Teradata, Microsoft, Informatica och SAS, till exempel. Även om dessa företag inte har egna Hadoop-erbjudanden, samarbetar de med Hortonworks för att tillhandahålla integrerade Hadoop-lösningar med egna produktsatser.

  Hortonworks Hadoop-erbjudandet är Hortonworks Data Platform (HDP), som inkluderar Hadoop och relaterat verktyg och projekt. Också i motsats till Cloudera, släpper Hortonworks endast HDP-versioner med produktionsnivåkod från open source community.

• IBM : Big Blue erbjuder ett utbud av Hadoop-erbjudanden, med fokus kring mervärde på toppen av Hadoop-stacken med öppen källkod.

• Intel: Intel Distribution för Apache Hadoop (Intel Distribution) tillhandahåller distribuerad bearbetning och datahantering för företagsapplikationer som analyserar stora data.

  Viktiga funktioner inkluderar utmärkt prestanda med optimeringar för Intel Xeon-processorer, Intel SSD-lagring och Intel 10GbE-nätverk. datasäkerhet via kryptering och dekryptering i HDFS, och rollbaserad åtkomstkontroll med cellnivånivå i HBase; förbättrad Hive query prestanda; Stöd för statistisk analys med en kontakt för R, det populära open source statistiska paketet. och analytisk grafik genom Intel Graph Builder.

• MapR : För en komplett distribution för Apache Hadoop och relaterade projekt som är oberoende av Apache Software Foundation, titta inte längre än MapR. Utan att Java-beroenden är beroende av eller lita på Linux-filsystemet, marknadsförs MapR som den enda Hadoop-distributionen som ger fullständigt dataskydd, inga enskilda felpunkter och betydande användarvänliga fördelar.

  Tre MapR-utgåvor är tillgängliga: M3, M5 och M7. M3 Edition är gratis och tillgänglig för obegränsad produktionsanvändning; MapR M5 är ett mellanliggande abonnemangsprogramvara; och MapR M7 är en komplett distribution för Apache Hadoop och HBase som inkluderar Pig, Hive, Sqoop och mycket mer.