Innehållsförteckning:
Edge noder gränssnittet mellan Hadoop-clustret och det utvändiga nätverket. Av denna anledning kallas de ibland för gateway noder. Vanligtvis används kantnodar för att köra klientapplikationer och klusteradministrationsverktyg.
De används också ofta som scenarier för data som överförs till Hadoop-klustret. Som sådan går Oozie, Pig, Sqoop och managementverktyg som Hue och Ambari bra där. Figuren visar de processer du kan köra på Edge noder.
Edge noder är ofta förbisedda i Hadops hårdvara arkitektur diskussioner. Denna situation är olycklig eftersom kantnoder tjänar ett viktigt syfte i ett Hadoop-kluster, och de har hårdvarukrav som skiljer sig från masternoder och slavnoder.
Generellt är det en bra idé att minimera utplaceringar av administrationsverktyg på masternoder och slavnoder för att säkerställa att kritiska Hadoop-tjänster som NameNode har så lite konkurrens om resurser som möjligt.
Du bör undvika att placera ett dataöverföringsverktyg som Sqoop på annat än en kantnod eftersom de stora dataöverföringsvolymerna kan riskera Hadops tjänster på samma nod att kommunicera. Meddelandena Hadoop-tjänsteutbyte är deras livsnerven, så hög latens innebär att hela noden kan avskäras från klustret.
Figuren visar två kantnoder, men för många Hadoop-kluster skulle en enda kantnod vara tillräcklig. Ytterligare kantnoder är vanligtvis nödvändiga när volymen data som överförs i eller ut ur klustret är för mycket för en enda server att hantera.
Rekommenderad lagring
För kantnod i ett Hadoop-kluster, använd företagsklasslagring. För kantnod som är inriktade på administrationsverktyg och köra klientapplikationer använder du fyra 900 GB SAS-enheter, tillsammans med en RAID HDD-kontroller konfigurerad för RAID 1 + 0.
Kantnoder som är inriktade på att ta in data behöver naturligtvis mycket mer lagringsutrymme, så att du kan lägga till enheter i kantnodet. Använd i så fall LFF SAS-enheter eftersom det finns mycket högre kapacitet, jämfört med mindre formfaktor SAS-enheter.
Rekommenderade processorer
En universalkodsknut skulle fungera bra med en processorkonfiguration som liknar den som användes för slavnoder - speciellt en dubbelsockarserver med Ivy Bridge-processorer klockade vid mellan 2 och 2. 5GHz.
Rekommenderat minne
För de flesta arbetsbelastningar på kantnoden är 48 GB RAM tillräckligt.
Rekommenderat nätverk
För att möjliggöra kommunikation mellan det externa nätverket och Hadoop-klustret måste kantnodder vara multi-homed i det privata delnätet i Hadoop-klustret, såväl som i företagsnätet.
En multi-homed dator är en som har dedikerade anslutningar till flera nätverk. Detta är en praktisk illustration av varför kantnoden passar perfekt för interaktion med världen utanför Hadoop-klyftan. Att hålla ditt Hadoop-kluster i sitt eget privata delnät är en utmärkt övning, så dessa kantnoder fungerar som ett kontrollerat fönster inuti klustret.
För kantnoder som syftar till att köra klientapplikationer eller administrationsverktyg rekommenderas två par bundna 1GbE-nätverksanslutningar: ett par att ansluta till Hadoop-klustret och ett annat par för det utvändiga nätverket.
Kantnoder som är inriktade på hantering av höga inkommande och utgående dataöverföringshastigheter behöver två (eller flera) par av bundna 10GbE-nätverksanslutningar: ett par för att ansluta till Hadoop-klustret och ett annat par för det externa nätverket eller specifika datainställningskällor.
