Sätt upp Hadoop Environment med Apache Bigtop - dummies

Om du är bekväm med att arbeta med VM och Linux, var god att installera Bigtop på en annan VM än vad som rekommenderas. Om du är väldigt djärv och har hårdvaran, fortsätt och försök att installera Bigtop på ett kluster av maskiner i fullt distribuerat läge!

Steg 1: Hämta en VM

Hadoop körs på alla populära Linux-distributioner, så du behöver en Linux VM. Det finns en ledig (och laglig!) CentOS 6 bild tillgänglig.

Du behöver ett 64-bitars operativsystem på din bärbara dator för att kunna köra den här VM. Hadoop behöver en 64-bitars miljö.

När du har laddat ner VM, extrahera den från den nedladdade zip-filen till målkatalogen. Se till att du har cirka 50 GB ledigt utrymme som Hadoop och dina provdata kommer att behöva det.

Om du inte redan har en VM-spelare kan du ladda ner en gratis.

När du har ställt in din VM-spelare öppnar du spelaren, går till Arkiv → Öppna och går sedan till katalogen där du extraherade din Linux VM. Leta efter en fil som heter och välj den. Du får se information om hur många processorer och hur mycket minne det ska använda. Ta reda på hur mycket minne datorn har och fördela hälften av den för den VM som ska användas. Hadoop behöver mycket minne.

När du är klar klickar du på Play-knappen och din Linux-instans startar. Du får se massor av meddelanden flyga när Linux startar och du kommer till en inloggningsskärm. Användarnamnet är redan inställt på "Tom. "Ange lösenordet som" tomtom "och logga in.

Steg 2: Hämta Bigtop

Högerklicka på skärmen på din Linux VM, välj Öppna i Terminal från den kontextuella menyn som visas. Detta öppnar en Linux-terminal, där du kan köra kommandon. Klicka inuti terminalen så att du kan se markören blinka och ange följande kommando: su -

Du kommer att bli ombedd för ditt lösenord, skriv så "tomtom" som du gjorde tidigare. Det här kommandot byter användaren till root, vilket är huvudkontot för en Linux-dator - det behöver du för att kunna installera Hadoop.

Med din root-åtkomst (låt inte strömmen komma till ditt huvud), kör följande kommando:

wget -O / etc / yum. repor. d / BigTop. repo 

// www. apache. org / dist / BigTop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

Kommandot är i huvudsak en webbförfrågan, som begär en specifik fil i webbadressen som du kan se och skriver den till en viss sökväg - i det här fallet är det /.

Steg 3: Installera Bigtop

Genierna bakom Linux har gjort livet ganska enkelt för personer som behöver installera stora programvarupaket som Hadoop.Vad du hämtade i det sista steget var inte hela Bigtop-paketet och alla dess beroende. Det var bara en arkivfil (med tillägget), som berättar för ett installationsprogram som behövs för Bigtop-installationen.

Liksom alla stora mjukvaruprodukter har Hadoop många förutsättningar, men du behöver inte oroa dig. En väl utformad fil pekar på eventuella beroenden och installationsprogrammet är tillräckligt smart för att se om de saknas på din dator och sedan ladda ner och installera dem.

Installatören du använder här kallas yum, som du får se i åtgärd nu:

yum install hadoop * mahout * oozie * hbase * hive * nyans * gris * zookeeper *

Observera att du plockar och väljer Hadoop-komponenterna att installera. Det finns ett antal andra komponenter tillgängliga i Bigtop, men det här är de enda som du kommer att använda här. Eftersom VM är en ny Linux-installation, behöver du många beroenden, så du måste vänta lite.

Yuminstallatören är ganska verbal, så du kan titta på exakt vad som laddas ned och installeras för att klara tiden. När installationsprocessen är klar bör du se ett meddelande som säger "Komplett! "

Steg 4: Börja Hadoop

Innan du börjar använda program på Hadoop finns det några grundläggande konfigurations- och installationsalternativ som du behöver göra. Här är de i ordning:

1. Hämta och installera Java:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. Formatera NameNode:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Starta Hadoop-tjänsterna för ditt pseudodistribuerade kluster:

   för jag hade had-hdfs-namenode hadoop-hdfs-datanode; gör sudo service $ jag börjar gjort
   

4. Skapa en underkatalogstruktur i HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Starta YARN-demonerna:

sudo-tjänsten hadoop-garn-resourcemanager startsudo service hadoop-garn-nodemanager starta

Och med det är du klar. Grattis! Du har installerat en fungerande Hadoop-installation!

Steg 5: Hämta provdatasatsen

För att hämta provdatasatsen öppnar du Firefox-webbläsaren från VM och går till dataexpo-sidan.

Du behöver inte hela datasatsen, så börja med ett enda år, 1987. När du ska hämta, välj alternativet Öppna med Arkivhanteraren.

När filen har laddats ner, extrahera filen till din hemkatalog där du enkelt kan hitta den. Klicka på Extract-knappen och välj sedan skrivbordskatalogen.

Steg 6: Kopiera provdatasatsen till HDFS

Kom ihåg att dina Hadoop-program endast kan fungera med data efter det att den har lagrats i HDFS. Så vad du ska göra nu är kopiera flygdatafilen 1987 till HDFS. Ange följande kommando:

hdfs dfs -copyFromLocal 1987. csv / user / root