Video: How to Build and Install Hadoop on Windows 2024
Apache Hadoop är en fri, öppen källkodsplattform för skrivning och körning av program som behandlar en stor mängd data för prediktiv analys. Det möjliggör en distribuerad parallellbehandling av stora dataset som genereras från olika källor. I huvudsak är det ett kraftfullt verktyg för lagring och hantering av stora data.
Hadoop lagrar alla typer av data, strukturerad eller ostrukturerad, från olika källor - och aggregerar sedan data på nästan alla sätt du vill. Hadoop hanterar heterogen data med hjälp av distribuerad parallellbehandling - vilket gör det till en mycket effektiv ram för användning i analytisk programvara som hanterar stora data. Inte undra på att några stora företag antar Hadoop, inklusive Facebook, Yahoo!, Google, IBM, Twitter och LinkedIn.
Före Hadoop kunde företagen inte dra nytta av stora data, som inte analyserades och var nästan oanvändbara. Kostnaden för att lagra den data i en proprietär relationell databas och skapa ett strukturerat format kring det motiverade inte fördelarna med att analysera den data och utnyttja den.
Hadoop å andra sidan gör den uppgiften sömlös - till en bråkdel av kostnaden - så att företagen kan hitta värdefulla insikter i de rikliga uppgifterna de har förvärvat och samlar sig.
Hadops kraft ligger i att hantera olika typer - faktiskt vilken typ av data som helst: text, tal, e-post, foton, inlägg, tweets, du heter det. Hadoop tar hand om att aggregera denna data, i all sin sort, och ger dig möjlighet att fråga alla data när det är bekvämt.
Du behöver inte bygga ett schema innan du kan förstå dina data. Hadoop tillåter dig att fråga den data i sitt ursprungliga format.
Förutom att hantera stora mängder olika data, är Hadoop feltolerant, med hjälp av enkla program som hanterar schemaläggningen av bearbetningen fördelad över flera maskiner. Dessa program kan upptäcka maskinfel och vidarekoppla en uppgift till en annan körmaskin. Med detta arrangemang kan Hadoop leverera hög tillgänglighet, oavsett maskinvarufel.
Hadoop använder två huvudkomponenter (delprojekt) för att göra sitt jobb: MapReduce och Hadoop Distributed File System. De två komponenterna fungerar kooperativt:
-
MapReduce : Hadops implementering av MapReduce bygger på Googles forskning om programmeringsmodeller för att bearbeta stora dataset genom att dela dem i små arbetsblock. MapReduce använder distribuerade algoritmer, på en grupp datorer i ett kluster, för att bearbeta stora dataset.Den består av två funktioner:
-
Den Map () funktionen som ligger på mastern nod (nätverksdator). Det delar upp inmatningsfrågan eller uppgiften i mindre underrubriker, som den sedan distribuerar till arbetarknoder som behandlar de mindre uppgifterna och skickar svaren tillbaka till huvudnoden. Subtaskarna körs parallellt på flera datorer.
-
Funktionen Reduce () funktionen samlar resultaten från alla subtaskarna och kombinerar dem för att producera ett aggregerat slutresultat - vilket returneras som svar på den ursprungliga stora frågan.
-
-
Hadotes distribuerade filsystem (HDFS) : HDFS kopierar datablocken som finns på andra datorer i ditt datacenter (för att säkerställa tillförlitlighet) och hanterar överföringen av data till de olika delarna av ditt distribuerade system.
Tänk på en databas på två miljarder människor, och antar att du vill beräkna antalet X-sociala vänner och ordna dem enligt deras geografiska läge. Det är en lång order.
Uppgifterna för två miljarder människor kan härröra från mycket olika källor, till exempel sociala nätverk, e-postkontaktadresslistor, inlägg, tweets, surfhistoriker - och det är bara för öppnare. Hadoop kan aggregera denna enorma, varierande massa data så att du kan undersöka det med en enkel fråga.
Du skulle använda MapReduce programmeringsfunktioner för att lösa den här frågan. Definiera Map och Reducera procedurer gör att även denna stora dataset hanteras. Med hjälp av verktygen som Hadoop-ramverket erbjuder skulle du skapa ett MapReduce-genomförande som skulle göra beräkningen som två deltakare:
-
Beräkna det genomsnittliga antalet sociala vänner av Mr. X.
-
Ordna Mr Xs vänner genom geografiskt läge.
Ditt MapReduce-implementeringsprogram skulle köra dessa undertexter parallellt, hantera kommunikation mellan delarna och samla resultaten. Av två miljarder människor skulle du veta vem Mr. Xs online-vänner är.
Hadoop tillhandahåller en rad kartprocessorer; vilken (e) du väljer kommer att bero på din infrastruktur.
Var och en av dina processorer hanterar ett visst antal poster. Antag att varje processor hanterar en miljon dataposter. Varje processor utför en kartprocedur som producerar flera poster av nyckelvärdespar där G (nyckel) är den geografiska platsen en person (land) och N (värde) är antalet kontakter som personen har.
Antag att varje kartprocessor producerar många par av formuläret, till exempel följande:
Processor Map # 1:
Processor Map # 2:
Processor Map # 3:
Processor Map # 4:
Processor Map # 5:
Processor Map # 6:
I reduktionsfasen tilldelar Hadoop en uppgift till ett visst antal processorer: Utför Reduce-proceduren som aggregerar värdena för samma tangenter för att producera ett slutresultat. I det här exemplet summerar summan av värdet för varje nyckel - geografiskt läge. Så, efter Map-fasen, ger Reduce-fasen följande:
------ ----
Tydligt, Mr.X är en populär kille - men det var ett mycket enkelt exempel på hur MapReduce kan användas. Föreställ dig att du hanterar en stor dataset där du vill utföra komplexa aktiviteter som att klustra miljarder dokument där operationen och data är bara för stora för en enda maskin att hantera. Hadoop är verktyget att överväga.
