Hem Personliga finanser Hadoop-dummies uppkomst och design

Hadoop-dummies uppkomst och design

Video: What is Hadoop? 2024

Video: What is Hadoop? 2024
Anonim

Så vad är det här med det roliga namnet Hadoop? I sin kärna är Hadoop ett ramverk för lagring av data på stora grupper av < Commodity -hårdvara - Daglig datormaskinvara som är överkomlig och lättillgänglig - och kör applikationer mot den data. Ett kluster är en grupp av sammankopplade datorer (känd som noder ) som kan fungera tillsammans om samma problem.

Med hjälp av nätverk av överkomliga beräknade resurser för att skaffa sig affärsinsikt, är Hadops viktiga värdeförslag.

Vad beträffar det namnet Hadoop, leta inte efter någon större betydelse där, det är helt enkelt det namn som Doug Cutting son gav till sin fyllda elefant. (Doug Cutting är givetvis medskaparen av Hadoop.) Namnet är unikt och lätt att komma ihåg - Egenskaper som gjorde det till ett utmärkt val. Hadoop består av två huvudkomponenter: en distribuerad bearbetningsram.

namnet MapReduce (som nu stöds av en komponent som heter YARN) och ett distribuerat filsystem som kallas Hadoop distribuerat filsystem eller HDFS.

En applikation som körs på Hadoop får sitt arbete delat mellan noderna (maskinerna) i klustret, och HDFS lagrar data som ska behandlas. Ett Hadoop-kluster kan omfatta tusentals maskiner, där HDFS lagrar data, och MapReduce-jobb gör bearbetningen nära data, vilket gör att I / O-kostnaderna är låga. MapReduce är extremt flexibel och möjliggör utveckling av ett brett utbud av applikationer.

Som du kanske har antydit är ett Hadoop-kluster en form av

compute cluster, en typ av kluster som används huvudsakligen för beräkningssyfte. I ett beräkningskluster kan många datorer ( beräkna noder ) dela beräkningsbelastningar och dra fördel av en mycket stor aggregerad bandbredd över klustret. Hadoop-kluster består typiskt av några

mästerknutar, som styr lagrings- och bearbetningssystemen i Hadoop och många slavnoder, som lagrar alla klusterdata och finns också där Uppgifterna behandlas.

Hadoop-dummies uppkomst och design

Redaktörens val

Hur man lägger till text i en sätter () Funktion i C Programmering

Hur man lägger till text i en sätter () Funktion i C Programmering

När du behöver visa en annan textrad, använd C-programmeringsfärdigheterna för att skapa en annan puts () -funktion i källkoden, som visas i Visa två textlinjer. VISA TILL TEXTFINER # inkludera int main () {sätter ("Hickory, Dickory, Dock,"); sätter ("musen sprang klockan."); returnera (0);} Den andra ...

Förklarar variabler i C-dummies

Förklarar variabler i C-dummies

Variabler är det som gör dina program zooma. Programmering kan bara inte bli gjort utan dem. Så om du inte har introducerats till variabler än, här går du. Valerie Variable är en numerisk variabel. Hon älskar att hålla nummer - vilket nummer som helst; det spelar ingen roll. När hon ser ett lika tecken tar hon ett värde och ...

Redaktörens val

Gör rädsla för din vän - dummies

Gör rädsla för din vän - dummies

Rädsla är lika verklig som mod. Även om värdet av rädsla inte är lika uppenbart som modets värde, har det dess fördelar. Rädsla är din instinkt som säger att du är obehaglig - även om situationen inte kommer att skada dig. Alla har haft den känslan när man hellre drar locket ...

Hur man ökar din självmedvetenhet - dummies

Hur man ökar din självmedvetenhet - dummies

Du kommer att vara med dig själv under en livstid. Ingenting kommer att förändra det faktum. Att lära känna, som att lyssna på och uppskatta själv är avgörande för din sanity. Kanske kommer du till att älska, acceptera och omfamna alla du är, är svår för dig att föreställa dig just nu, men du kan göra ...

Hur man ökar din mentala flexibilitet - dummies

Hur man ökar din mentala flexibilitet - dummies

ÄR flexibel i arbete och relationer är ett tecken på en högpresterande. Medan perfektionister är styva och obehagliga i sitt arbete och hur de interagerar med andra, är högpresterande mer öppna och tillmötesgående. Att vara mer flexibel på jobbet gav Ralph aldrig förslag under brainstorming vid gruppmöten. Han kände att hans lag ...

Redaktörens val

Nätverksadministration: Linux-installation och virtuella konsoler - dummies

Nätverksadministration: Linux-installation och virtuella konsoler - dummies

Linux är i sig ett kommandoradsorienterat operativsystem. Grafiska användargränssnitt - inklusive installationsprogrammets GUI - tillhandahålls av en valfri komponent som heter X Window System. Men medan du arbetar med det grafiska användargränssnittet för installationsprogrammet, håller Linux flera ytterligare kommandorads-konsoler öppna. Normalt behöver du inte ...

Nätverksadministration: Linux-loggning, logg och systemavstängning - dummies

Nätverksadministration: Linux-loggning, logg och systemavstängning - dummies

Alla användare som åtkomst ett Linux-system, lokalt eller över ett nätverk, måste verifieras av ett giltigt användarkonto på systemet. I det följande får du veta hur du loggar in och ut på ett Linux-system och hur du stänger av systemet. Logga in När Linux startar upp visas det ...

Nätverksadministration: Licensserver - Dummies

Nätverksadministration: Licensserver - Dummies

I vissa program kan du köpa nätverkslicenser som gör att du kan installera programvaran på många datorer som du vill, men reglera antalet personer som kan använda programvaran vid en viss tidpunkt. För att styra hur många som använder programvaran, är en särskild licensserver inrättad. När en användare börjar ...