Video: hadoop yarn architecture 2025
Kärnkomponenten i YARN (ännu en resursförhandlare) är Resurshanteraren, som styr alla datahanteringsresurser i Hadoop-klustret. Enkelt uttryckt är Resource Manager en dedikerad schemaläggare som tilldelar resurser för att begära applikationer. Dess enda uppgifter är att upprätthålla en global bild av alla resurser i klustret, hantera resursförfrågningar, schemalägga förfrågan och tilldela resurser till den ansökande ansökan.
Resurshanteraren, en kritisk komponent i ett Hadoop-kluster, ska köras på en särskild huvudnod.
Även om resurshanteraren i princip är en ren schemaläggare, beror det på schemaläggningsmoduler för den faktiska schemaläggningslogiken. Du kan välja mellan samma schemaläggare som fanns tillgängliga i Hadoop 1, som alla har uppdaterats för att arbeta med YARN: FIFO (först in, först ut), Kapacitet eller Fair Share.
Resurshanteraren är helt agnostisk med avseende på både applikationer och ramar - det har inga hundar i de specifika jakterna, med andra ord. Det har inget koncept för kartor eller reducerar uppgifter, det spårar inte framstegen på jobb eller deras enskilda uppgifter och det hanterar inte misslyckanden.
Kort sagt är Resurshanteraren en komplett avgång från JobTracker-demonen för Hadoop 1-miljöer. Vad resurschefen gör gör är schemalägga arbetsbelastningar, och det gör jobbet bra.
Denna höga grad av separeringstjänst - med fokus på en aspekt medan du ignorerar allt annat - gör precis YARN mycket mer skalbar, kan ge en generell plattform för applikationer och kan stödja en > multi-hyresgäst Hadoop-kluster - flerhyresgäst eftersom olika affärsenheter kan dela samma Hadoop-kluster.
