Hem Personliga finanser Tracking JobTracker och TaskTracker i Hadoop 1 - dummies

Tracking JobTracker och TaskTracker i Hadoop 1 - dummies

Video: hadoop yarn architecture 2025

Video: hadoop yarn architecture 2025
Anonim

MapReduce-bearbetning i Hadoop 1 hanteras av JobTracker och TaskTracker-demonerna. JobTracker upprätthåller en bild av alla tillgängliga bearbetningsresurser i Hadoop-klustret och, när ansökningsförfrågningar kommer in, schemalägger och distribuerar dem till TaskTracker-noderna för utförande.

När applikationer körs, tar JobTracker statusuppdateringar från TaskTracker-noderna för att spåra deras framsteg och, om nödvändigt, samordna hanteringen av eventuella fel. JobTracker måste springa på en huvudnod i Hadoop-klustret eftersom det samordnar utförandet av alla MapReduce-applikationer i klustret, så det är en missionskritisk tjänst.

En förekomst av TaskTracker-demonen körs på varje slavnod i Hadoop-klustret, vilket innebär att varje slavnod har en tjänst som binder den till bearbetningen (TaskTracker) och lagringen (DataNode), vilket gör att Hadoop kan vara ett distribuerat system.

Som en slavprocess tar TaskTracker bearbetningsförfrågningar från JobTracker. Dess främsta ansvar är att spåra utförandet av MapReduces arbetsbelastningar som sker lokalt på slavnoden och att skicka statusuppdateringar till JobTracker.

TaskTrackers hanterar bearbetningsresurserna på varje slavnod i form av bearbetningsplatser - de platser som definieras för kartuppgifter och reducerar uppgifter, för att vara exakta. Det totala antalet kartor och reducera luckor indikerar hur många kartor och reducera uppgifter som kan utföras på en gång på slavnodet.

När det gäller att ställa in ett Hadoop-kluster är det viktigt att ställa in det optimala antalet kartor och minska slitsarna. Antalet luckor måste konfigureras noggrant utifrån tillgängliga minnes-, disk- och CPU-resurser på varje slavnod. Minne är den mest kritiska av dessa tre resurser ur ett prestationsperspektiv. Som sådant måste det totala antalet uppgiftsluckor balanseras med den maximala minnesmängden som tilldelas Java-heapstorleken.

Tänk på att varje karta och reducera uppgiften ger sin egen Java virtuella maskin (JVM) och att högen representerar mängden minne som tilldelas för varje JVM. Förhållandet mellan kartplatserna för att minska slitsar är också ett viktigt övervägande.

Om du till exempel har för många kortplatser och inte tillräckligt med kortplatser för dina arbetsbelastningar, kommer kortplatserna att vara oförmögna, medan dina jobb väntar på att minska slots för att bli tillgängliga.

Distinkta uppsättningar av luckor definieras för kartuppgifter och reducerar uppgifter eftersom de använder datorresurser ganska annorlunda.Kartuppgifter är tilldelade baserat på dataläge, och de är starka beroende av disk I / O och CPU. Minska uppgifter är tilldelade utifrån tillgänglighet, inte på ort, och de är starkt beroende av nätverksbandbredd, eftersom de behöver ta emot utdata från kartuppgifter.

Tracking JobTracker och TaskTracker i Hadoop 1 - dummies

Redaktörens val

Vad är en Java-karta? - dummies

Vad är en Java-karta? - dummies

Arrays och specialiserade listor gör det möjligt att utföra en fantastisk uppsättning uppgifter med Java. Det finns dock situationer där en Java-applikation behöver något som är mer relaterat till en databas, utan att egentligen ha allt databasbagage (som att behöva köpa en separat applikation). Till exempel kanske du vill kunna ...

Några få saker om Java Math - dummies

Några få saker om Java Math - dummies

Tro det eller inte, datorer - även de mest kraftfulla - Ha vissa begränsningar när det gäller att utföra matematiska beräkningar. Dessa begränsningar är vanligtvis obetydliga, men ibland slår de sig och biter på dig. Här är de saker du behöver se upp för när du gör matte i Java. Helhetsflöde Det grundläggande problemet ...

Vad är recursion i Java Programmering? - dummies

Vad är recursion i Java Programmering? - dummies

Rekursion är en grundläggande programmeringsteknik som du kan använda i Java, där en metod kallar sig för att lösa ett problem. En metod som använder denna teknik är rekursiv. Många programmeringsproblem kan lösas endast genom rekursion, och vissa problem som kan lösas med andra tekniker löses bättre genom rekursion. En av ...

Redaktörens val

4 Måste-inkludera i din blogg sidobardesign - dummies

4 Måste-inkludera i din blogg sidobardesign - dummies

Din bloggens sidofält är viktig fastighet som bör innehålla de element du vill ha mest. När du utformar din blogg sidofält kan du dra från en nästan oändlig lista över sidospårelement. Genom att välja noggrant vad som ska inkluderas (och vad som inte ska inkluderas) kan du ställa in din blogg från andra.

5 Användbara Wordpress Plugins - dummies

5 Användbara Wordpress Plugins - dummies

Om du bloggar på en självhävd plattform med WordPress-programvara, är det dags att anpassa din blogg med plug-ins - programvara som kan "anslutas" till din befintliga WordPress bloggprogramvara. Plug-ins gör det möjligt för dig att göra allt från funktionsbildspel i dina blogginlägg för att ansluta sociala medier till din webbplats. Här är fem användbara ...

7 Sätt att erövra Writer's Block som en Blogger - dummies

7 Sätt att erövra Writer's Block som en Blogger - dummies

Varje bloggare möter författarens block i ett tid eller annan. Om du är den typ av bloggare som sköter innehåll varje dag, kan författarens block vara stäverande. Kan du inte ta en paus för att få ditt skrivande mojo tillbaka? Prova en (eller flera) av dessa sju sätt att slå författarens block för att få dig tillbaka ...

Redaktörens val

10 Stora elektronikkomponentkällor - dummies

10 Stora elektronikkomponentkällor - dummies

Letar du efter några bra källor till dina elektroniska delar? Denna lista ger dig några fleråriga favoriter, både inom och utanför Nordamerika. Denna lista är inte uttömmande. Du hittar bokstavligen tusentals specialutbud för ny och begagnad elektronik. Plus, Amazon och eBay ger virtuella marknadsplatser för alla sorters säljare - ...

Elektronik Basics: Resistance - dummies

Elektronik Basics: Resistance - dummies

I elektronikvärlden är motståndet inte meningslöst. Faktum är att motstånd kan vara mycket användbart. Utan motstånd skulle elektronik inte vara möjligt. Elektronik handlar om att manipulera strömmen av ström, och ett av de mest grundläggande sätten att manipulera strömmen är att minska det genom resistans. Utan motstånd strömmar strömmen oreglerad och där ...

Digital elektronik: Så här installerar du BASIC Stamp Editor och Anslut till Stämpeldummorna

Digital elektronik: Så här installerar du BASIC Stamp Editor och Anslut till Stämpeldummorna

För att berätta för BASIC Stamp vad du vill göra i ditt digitala elektronikprojekt måste du programmera det. BASIC Stamp Windows Editor är den programvara som du använder på din dator för att skapa program som kan laddas ner till en BASIC Stamp-mikrokontroller. Denna programvara är tillgänglig gratis från Parallax webbplats. ...