Video: Building a 4-node Raspberry Pi Cluster 2024
Som med alla distribuerade system kan nätverk göra eller bryta ett Hadoop-kluster: "Gå inte billigt. "En stor chatter äger rum mellan masternoderna och slavnoderna i ett Hadoop-kluster som är väsentligt för att hålla klyftan i drift, så företagsklassbyte rekommenderas definitivt.
För varje rack i ditt kluster behöver du två topprack (ToR) -knappar, för både redundans och prestanda. Använd 10GbE för ToR-växlar.
ToR-omkopplare är nätverksomkopplare som kopplar alla datorer i ett rack tillsammans. Du ser dem normalt längst upp på en rack, vilket är anledningen till att folk säger "top-of-rack". "Ett alternativt nätverksinriktat tillvägagångssätt är att använda EOR-omkopplare, men du ser det inte så ofta.
ToR-metoden är enklare från ett nätverksperspektiv för växande kluster. Till exempel är det mycket lättare att lägga till slavnoder och extrahållare med ToR-switchar än EoR.
När du har mer än tre rack behöver du minst två kärnomkopplare (igen, främst för redundans, men också för prestanda). Dessa kärnväxlar hanterar stora mängder trafik, så 40GbE är en nödvändighet.
Om du bygger eller utökar ett kluster för att spänna över flera rack, engagera nätverksexperter som är bekanta med Hadoop, dina framtida tillväxtplaner och din arbetsbelastning. Dåligt nätverk kan kraftigt hindra prestanda, men det kan också göra framtida tillväxt smärtsam och dyr.
