Video: Raspberry Pi Tutorial 38 - Use an Arduino as a Slave with Python (Nanpy) 2024
Som död och skatter, diskbrott (och givet tillräckligt med tid, jämn nod eller rackfel) oundvikligt i Hadoop Distributed File System (HDFS). I det visade exemplet kunde klyftan fortsätta fungera, även om ett rack skulle misslyckas. Prestanda skulle leda till att du har förlorat hälften av dina processresurser, men systemet är fortfarande online och alla data är fortfarande tillgängliga.
I ett scenario där en hårddisk eller en slavnod misslyckas, upptäcker den centrala metadataservern för HDFS (kallad NameNode) så småningom att filblocken som lagrats på den misslyckade resursen inte längre är tillgänglig. Om till exempel Slave Node 3 misslyckas skulle det innebära att block A, C och D är underreplicerade .
Med andra ord är för få kopior av dessa block tillgängliga i HDFS. När HDFS uppfattar att ett block är underreplikerat, beställer det en ny kopia.
För att fortsätta med exemplet, säg att Slave Node 3 kommer tillbaka online efter några timmar. Under tiden har HDFS säkerställt att det finns tre kopior av alla filblock. Så nu har block A, C och D fyra exemplar och är overreplicated . Precis som med underreplicerade block kommer HDFS-metadata-servern att ta reda på detta också, och kommer att beställa en kopia av varje fil som ska raderas.
Ett bra resultat av tillgången på data är att när skivfel uppstår, behöver du inte byta ut felaktiga hårddiskar omedelbart. Detta kan effektivare göras med regelbundet schemalagda intervall.
