Video: Lagra och hantera dina dokument i OneDrive 2024
Arbetsplanering och spårning för stora data är integrerade delar av Hadoop MapReduce och kan användas för att hantera resurser och applikationer. De tidiga versionerna av Hadoop stödde ett rudimentärt jobb och uppgiftsspårningssystem, men eftersom den blandning av arbete som stöddes av Hadoop ändrats kunde schemaläggaren inte fortsätta.
I synnerhet kunde den gamla schemaläggaren inte hantera icke-MapReduce-jobb och kunde inte optimera klusterutnyttjandet. Så en ny förmåga utformades för att åtgärda dessa brister och erbjuda mer flexibilitet, effektivitet och prestanda.
En annan resursförhandlare (YARN) är en core Hadoop-tjänst som erbjuder två stora tjänster:
-
Global resurshantering (ResourceManager)
-
Per-application management (ApplicationMaster)
ResursManager är en master service och kontroll NodeManager i varje nod av ett Hadoop-kluster. Innehållet i ResourceManager är Scheduler, vars enda uppgift är att allokera systemresurser till specifika körprogram (uppgifter), men det övervakar inte eller spårar programmets status.
All nödvändig systeminformation lagras i en resursbehållare. Den innehåller detaljerad CPU, disk, nätverk och andra viktiga resursattribut som är nödvändiga för att köra program på noden och i klustret.
Varje nod har en NodeManager slaved till den globala ResourceManager i klustret. NodeManager övervakar programmets användning av CPU, disk, nätverk och minne och rapporterar till ResourceManager. För varje applikation som körs på noden finns en motsvarande ApplicationMaster.
Om mer resurser är nödvändiga för att stödja den pågående applikationen, meddelar ApplicationMaster NodeManager och NodeManager förhandlar med ResourceManager (Scheduler) för ytterligare kapacitet på uppdrag av ansökan. NodeManager är också ansvarig för att spåra jobbstatus och framsteg inom noden.
