Hem Personliga finanser Hur man får Apache Oozie Set Up i Hadoop - dummies

Hur man får Apache Oozie Set Up i Hadoop - dummies

Video: Så får du hunden att sluta skälla - Nyhetsmorgon (TV4) 2024

Video: Så får du hunden att sluta skälla - Nyhetsmorgon (TV4) 2024
Anonim

Apache Oozie ingår i varje större Hadoop-distribution, inklusive Apache Bigtop. I ditt Hadoop-kluster ska du installera Oozie-servern på en kantnod, där du också skulle köra andra klientapplikationer mot gruppens data, som visas.

Edge noder är avsedda att vara en gateway för det utvändiga nätverket till Hadoop-klustret. Detta gör dem ideala för dataöverföringsteknik (Flume, till exempel), men även klientapplikationer och annan applikationsinfrastruktur som Oozie. Oozie behöver inte en dedikerad server och kan enkelt samexistera med andra tjänster som är idealiska för kantnoder, som Pig and Hive.

När Oozie har implementerats är du redo att starta Oozie-servern. Oozies infrastruktur är installerad i katalogen $ OOZIE_HOME. Därifrån, kör oozie-start. sh kommandot för att starta servern. (Som du kan förvänta dig, innebär det att du stoppar servern med att skriva oozie-stop. Sh.) Du kan testa statusen för din Oozie-instans genom att köra kommandot

oozie admin-status

När du har installerat Oozie-servern och startat, du kan katalogisera och köra dina olika arbetsflöden, koordinator eller buntjobb. När du arbetar med dina jobb lagrar Oozie katalogdefinitionerna - data som beskriver alla Oozie-objekt (arbetsflöde, koordinator och buntjobb) - liksom deras tillstånd i en dedikerad databas.

Som standard är Oozie konfigurerad att använda den inbäddade Derby-databasen, men du kan använda MySQL, Oracle eller PostgreSQL, om du behöver.

Du har fyra alternativ för att interagera med Oozie-servern:

  • Java API: Det här alternativet är användbart i situationer där du har en egen schemaläggningskod i Java-program och du måste kontrollera exekveringen av din Oozie-arbetsflöden, koordinatorer eller buntar från din ansökan.

  • REST API: Igen fungerar det här alternativet bra i de fall där du vill använda din egen schemaläggningskod som grundval för dina Oozie-arbetsflöden, koordinatorer eller buntar eller om du vill bygga ditt eget gränssnitt eller utöka en befintlig för att administrera Oozie-servern.

  • Kommandoradsgränssnitt (CLI): Det är det traditionella Linux-kommandoradsgränssnittet för Oozie.

  • Oozie webbkonsol: Okej, kanske du inte kan göra mycket interaktion här, men Oozie Web Console ger dig en (skrivskyddad) bild av Oozie-serverns tillstånd, vilket är användbart för att övervaka dina Oozie jobb.

Hue, ett Hadoop administrationsgränssnitt, ger ett annat verktyg för att arbeta med Oozie.Oozies arbetsflöden, koordinatorer och buntar definieras alla med hjälp av XML, vilket kan vara tråkigt att redigera, speciellt för komplexa situationer. Hue ger ett GUI-designverktyg för att grafiskt bygga arbetsflöden och andra Oozie-objekt.

Oozie innehåller en inbäddad Tomcat-webbserver, som hanterar inmatning och utmatning.

Hur man får Apache Oozie Set Up i Hadoop - dummies

Redaktörens val

Hur man lägger till text i en sätter () Funktion i C Programmering

Hur man lägger till text i en sätter () Funktion i C Programmering

När du behöver visa en annan textrad, använd C-programmeringsfärdigheterna för att skapa en annan puts () -funktion i källkoden, som visas i Visa två textlinjer. VISA TILL TEXTFINER # inkludera int main () {sätter ("Hickory, Dickory, Dock,"); sätter ("musen sprang klockan."); returnera (0);} Den andra ...

Förklarar variabler i C-dummies

Förklarar variabler i C-dummies

Variabler är det som gör dina program zooma. Programmering kan bara inte bli gjort utan dem. Så om du inte har introducerats till variabler än, här går du. Valerie Variable är en numerisk variabel. Hon älskar att hålla nummer - vilket nummer som helst; det spelar ingen roll. När hon ser ett lika tecken tar hon ett värde och ...

Redaktörens val

Gör rädsla för din vän - dummies

Gör rädsla för din vän - dummies

Rädsla är lika verklig som mod. Även om värdet av rädsla inte är lika uppenbart som modets värde, har det dess fördelar. Rädsla är din instinkt som säger att du är obehaglig - även om situationen inte kommer att skada dig. Alla har haft den känslan när man hellre drar locket ...

Hur man ökar din självmedvetenhet - dummies

Hur man ökar din självmedvetenhet - dummies

Du kommer att vara med dig själv under en livstid. Ingenting kommer att förändra det faktum. Att lära känna, som att lyssna på och uppskatta själv är avgörande för din sanity. Kanske kommer du till att älska, acceptera och omfamna alla du är, är svår för dig att föreställa dig just nu, men du kan göra ...

Hur man ökar din mentala flexibilitet - dummies

Hur man ökar din mentala flexibilitet - dummies

ÄR flexibel i arbete och relationer är ett tecken på en högpresterande. Medan perfektionister är styva och obehagliga i sitt arbete och hur de interagerar med andra, är högpresterande mer öppna och tillmötesgående. Att vara mer flexibel på jobbet gav Ralph aldrig förslag under brainstorming vid gruppmöten. Han kände att hans lag ...

Redaktörens val

Nätverksadministration: Linux-installation och virtuella konsoler - dummies

Nätverksadministration: Linux-installation och virtuella konsoler - dummies

Linux är i sig ett kommandoradsorienterat operativsystem. Grafiska användargränssnitt - inklusive installationsprogrammets GUI - tillhandahålls av en valfri komponent som heter X Window System. Men medan du arbetar med det grafiska användargränssnittet för installationsprogrammet, håller Linux flera ytterligare kommandorads-konsoler öppna. Normalt behöver du inte ...

Nätverksadministration: Linux-loggning, logg och systemavstängning - dummies

Nätverksadministration: Linux-loggning, logg och systemavstängning - dummies

Alla användare som åtkomst ett Linux-system, lokalt eller över ett nätverk, måste verifieras av ett giltigt användarkonto på systemet. I det följande får du veta hur du loggar in och ut på ett Linux-system och hur du stänger av systemet. Logga in När Linux startar upp visas det ...

Nätverksadministration: Licensserver - Dummies

Nätverksadministration: Licensserver - Dummies

I vissa program kan du köpa nätverkslicenser som gör att du kan installera programvaran på många datorer som du vill, men reglera antalet personer som kan använda programvaran vid en viss tidpunkt. För att styra hur många som använder programvaran, är en särskild licensserver inrättad. När en användare börjar ...