Innehållsförteckning:
Video: Night Falls (From "Descendants 3") 2024
Single-rack Hadoop-utplacering
En enkel rackutplacering är en idealisk utgångspunkt för ett Hadoop-kluster.
Här är klustret ganska självständigt, men eftersom det fortfarande har relativt få slavnoder, är de sanna fördelarna med Hadopes fjädring ännu inte uppenbara.
Tre-rack Hadoop-utplacering
Ett medelstort kluster har flera rackar, där de tre huvudnoden distribueras över rackarna.
Hadops resiliency börjar bli tydlig: Även om en hel rack skulle misslyckas (till exempel, båda ToR-växlarna i ett enda rack) skulle klustret fortfarande fungera, om än på lägre prestationsnivå. Ett slavknutningsbrott skulle knappt märkas.
Storskalig Hadoop-implementering
I större grupper med många rackar, är det som det visade exemplet nätverksarkitekturen som krävs ganska sofistikerat.
Oavsett hur många rader Hadoop-klyftor expanderar, måste slavnoderna från vilken rack som helst fungera effektivt ?? till någon huvudnod.
När antalet slavnoder ökar till den punkt där du har mer än tre ställningar, är ytterligare rack endast sammansatta av slavnoder, förutom ToR-växlarna. Om du använder HBase kraftigt på ditt kluster kan du lägga till mästerknutar för att vara värd för ytterligare HMaster- och Zookeeper-tjänster.
Om du uppgraderar till en verkligt stor skala, där du har hundratals slavnoder, kan du behöva använda HDFS-federationsfunktionerna så att stora delar av dataseten hanteras av olika NameNode-tjänster.
För varje ytterligare Active NameNode behöver du en motsvarande Standby NameNode och två masternodor som värd för dessa servrar. Med HDFS-federationen är himlen verkligen gränsen när det gäller hur långt du kan skala ut dina kluster.
Tillbaka Nästa
