Hem Personliga finanser Tracking JobTracker och TaskTracker i Hadoop 1 - dummies

Tracking JobTracker och TaskTracker i Hadoop 1 - dummies

Video: hadoop yarn architecture 2025

Video: hadoop yarn architecture 2025
Anonim

MapReduce-bearbetning i Hadoop 1 hanteras av JobTracker och TaskTracker-demonerna. JobTracker upprätthåller en bild av alla tillgängliga bearbetningsresurser i Hadoop-klustret och, när ansökningsförfrågningar kommer in, schemalägger och distribuerar dem till TaskTracker-noderna för utförande.

När applikationer körs, tar JobTracker statusuppdateringar från TaskTracker-noderna för att spåra deras framsteg och, om nödvändigt, samordna hanteringen av eventuella fel. JobTracker måste springa på en huvudnod i Hadoop-klustret eftersom det samordnar utförandet av alla MapReduce-applikationer i klustret, så det är en missionskritisk tjänst.

En förekomst av TaskTracker-demonen körs på varje slavnod i Hadoop-klustret, vilket innebär att varje slavnod har en tjänst som binder den till bearbetningen (TaskTracker) och lagringen (DataNode), vilket gör att Hadoop kan vara ett distribuerat system.

Som en slavprocess tar TaskTracker bearbetningsförfrågningar från JobTracker. Dess främsta ansvar är att spåra utförandet av MapReduces arbetsbelastningar som sker lokalt på slavnoden och att skicka statusuppdateringar till JobTracker.

TaskTrackers hanterar bearbetningsresurserna på varje slavnod i form av bearbetningsplatser - de platser som definieras för kartuppgifter och reducerar uppgifter, för att vara exakta. Det totala antalet kartor och reducera luckor indikerar hur många kartor och reducera uppgifter som kan utföras på en gång på slavnodet.

När det gäller att ställa in ett Hadoop-kluster är det viktigt att ställa in det optimala antalet kartor och minska slitsarna. Antalet luckor måste konfigureras noggrant utifrån tillgängliga minnes-, disk- och CPU-resurser på varje slavnod. Minne är den mest kritiska av dessa tre resurser ur ett prestationsperspektiv. Som sådant måste det totala antalet uppgiftsluckor balanseras med den maximala minnesmängden som tilldelas Java-heapstorleken.

Tänk på att varje karta och reducera uppgiften ger sin egen Java virtuella maskin (JVM) och att högen representerar mängden minne som tilldelas för varje JVM. Förhållandet mellan kartplatserna för att minska slitsar är också ett viktigt övervägande.

Om du till exempel har för många kortplatser och inte tillräckligt med kortplatser för dina arbetsbelastningar, kommer kortplatserna att vara oförmögna, medan dina jobb väntar på att minska slots för att bli tillgängliga.

Distinkta uppsättningar av luckor definieras för kartuppgifter och reducerar uppgifter eftersom de använder datorresurser ganska annorlunda.Kartuppgifter är tilldelade baserat på dataläge, och de är starka beroende av disk I / O och CPU. Minska uppgifter är tilldelade utifrån tillgänglighet, inte på ort, och de är starkt beroende av nätverksbandbredd, eftersom de behöver ta emot utdata från kartuppgifter.

Tracking JobTracker och TaskTracker i Hadoop 1 - dummies

Redaktörens val

Hur man korrigerar vanliga försäljningsfel i QuickBooks 2015 - dummies

Hur man korrigerar vanliga försäljningsfel i QuickBooks 2015 - dummies

Om du gör ett misstag i ange ett kvitto (kontantförsäljning) i QuickBooks 2015, oroa dig inte. De flesta fel har enkla lösningar. Här är en lista över vanliga problem och hur man fixar dem: Om försäljningskvittot fortfarande visas på skärmen: Om försäljningskvittot fortfarande är på skärmen kan du flytta markören till ...

Hur man skapar en revisors kopia av din QuickBooks 2010 datafil - dummies

Hur man skapar en revisors kopia av din QuickBooks 2010 datafil - dummies

QuickBooks 2010 gör det enkelt för revisorer att arbeta med klientdatafiler. Du kan använda Accountant's Copy-funktionen i QuickBooks för att helt enkelt e-posta (eller snail-mail) din revisor en kopia av QuickBooks-datafilen. Du skapar revisorns kopia av QuickBooks datafil genom att använda din version av QuickBooks och den verkliga ...

Hur man skapar en ny budget i QuickBooks - dummies

Hur man skapar en ny budget i QuickBooks - dummies

När du har kommit överens med en budget Med hjälp av vissa budgeteringsmetoder registrerar du din budget i QuickBooks. Om du vill skapa en ny budget i QuickBooks följer du dessa steg:

Redaktörens val

ÖVersätt Twitter Slang och Jargon - dummies

ÖVersätt Twitter Slang och Jargon - dummies

Diskussioner om och om Twitter är fulla med alla slags förkortningar och jargong som kan förvirra nya Twitter-användare. Vad talar folk om (och tweeting) om? Följande ordlista definierar några av de förvirrande förkortningarna och Twitter-lingo du kan komma över. AFAIK: Så vitt jag vet. bot: Ett konto som drivs av en ...

Vad är Letgo? - dummies

Vad är Letgo? - dummies

Letgo är en mobil klassificerad applikation som tillåter användare att köpa från och sälja till andra lokalt. Du kan använda Letgo till fyndbutik eller slutligen släppa på saker som samlar damm runt ditt hus. I likhet med andra classifieds-applikationer som Wallapop eller Craigslist kommer säljare att skicka ett objekt och vänta på en köpare ...

Vad är Bebo? - dummies

Vad är Bebo? - dummies

Innan Facebook gick i centrum, var Bebo en av de mest populära på de sociala nätverkssidorna. Tillbaka i mitten av 1990-talet kanske några av er kommer ihåg Bebo. Den här webbplatsen har utvecklats och lanserats under MySpace och Hi5s dagar när socialt nätverkande först skedde i Internetgemenskapen. AOL: s 850 miljoner ...

Redaktörens val

Ser ut för makrovirus i Office 2003 - dummies

Ser ut för makrovirus i Office 2003 - dummies

Microsoft Office 2003 ger dig två sätt att skapa en makro. Det enklaste sättet är att spela in dina tangenttryckningar och sedan spela upp dem när du behöver dem. Det hårdare sättet att skapa ett makro är att använda Microsofts speciella makroprogrammeringsspråk (kallat Visual Basic for Applications eller VBA) för att skapa kraftfullare ...

Tio Office 2013 Snabbkommandon - dummies

Tio Office 2013 Snabbkommandon - dummies

Ett vanligt tema för Office 2013 är att alla program ser ut och fungerar lika. När du har läst hur du använder Word hittar du det inte mycket svårare att lära sig Excel eller PowerPoint eftersom flikflikarna alla fungerar på liknande sätt. Ännu bättre, samma tangentkommandon fungerar lika i alla Office 2013-program. Vid ...

Vad är kontorsmallar? - dummies

Vad är kontorsmallar? - dummies

Microsoft Word är det mest populära i Office 2013-programmen eftersom nästan alla behöver skapa textdokument av en eller annan typ. Med Word kan du skapa allt från faxöverdragsark till skolböcker till familjesemestrar. Du kan skapa ett tomt nytt dokument, eller du kan basera ett nytt ...