Hadoop Administration Commands - dummies

Del av Hadoop For Dummies Cheat Sheet

Alla Hadoop-administratörer värda sitt salt måste behärska en omfattande uppsättning kommandon för klusteradministration. Följande lista sammanfattar de viktigaste kommandona, vilket anger vad kommandot gör såväl som syntax och exempel. Känn dem, och du kommer att gå långt längs vägen till Hadops visdom.

• balancer : Kör klusterbalanseringsverktyget. Det angivna tröskelvärdet, som representerar en procentandel av diskkapacitet, används för att skriva över standard tröskelvärde (10 procent). För att stoppa ombalanseringen, tryck Ctrl + C.

  Syntax: hadoopbalancer [-tröskel]

  Exempel: hadoopbalancer -tröskel 20

• daemonlog : Går eller ställer in lognivå för varje demon (även känd som en tjänst). Ansluter till // värd: port / logLevel? logga = namnge och skriva ut eller ställa in lognivån för den demon som körs på värd: port. Hadoop daemons genererar loggfiler som hjälper dig att bestämma vad som händer på systemet, och du kan använda kommandot daemonlog för att tillfälligt ändra loggnivån för en Hadoop-komponent när du debuggar systemet. Ändringen träder i kraft när demonen startar om.

  Syntax: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel

  Exempel: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker; hadoop daemonlog-setlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker DEBUG

• datanode : Kör HDFS DataNode-tjänsten, som koordinerar lagring på varje slavnod. Om du anger -rollback rullas DataNode tillbaka till föregående version. Stoppa DataNode och distribuera den tidigare Hadoop-versionen innan du använder det här alternativet.

  Syntax: hadoop datanode [-rollback]

  Exempel: hadoop datanode-rollback

• dfsadmin : Kör ett antal Hadoop Distributed File System (HDFS) administrativ verksamhet. Använd alternativet -hjälpa för att se en lista över alla stödda alternativ. De generiska alternativen är en vanlig uppsättning alternativ som stöds av flera kommandon.

  Syntax: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | lämna | få | vänta] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | detaljer | force] [-metasave filnamn] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

• mradmin : Kör ett antal MapReduce administrativa operationer. Använd alternativet -hjälpa för att se en lista över alla stödda alternativ.Återigen är de generiska alternativen en gemensam uppsättning alternativ som stöds av flera kommandon. Om du anger -refreshServiceAcl, laddar du upp behörighetsfilen på servicenivån (JobTracker uppdaterar behörighetspolicyfilen). -refreshQueues återställer köåtkomstkontrolllistorna (ACLs) och state (JobTracker laddar om mapred-köerna. xml-filen); -refreshNodes uppdaterar värdarinformationen på JobTracker; -refreshUserToGroupsMappings uppdaterar användar-till-grupper mappings; -refreshSuperUserGroupsConfiguration uppdaterar superuser proxy grupper mappings; och -help [cmd] visar hjälp för det angivna kommandot eller för alla kommandon om inget är angivet.

  Syntax: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Exempel: hadoop mradmin -help -refreshNodes

• jobtracker : Kör MapReduce JobTracker-noden, som koordinerar datasystemet för Hadoop. Om du anger -dumpConfiguration, skrivs konfigurationen som används av JobTracker och kökonfigurationen i JSON-format till standardutmatning.

  Syntax: hadoop jobtracker [-dumpConfiguration]

  Exempel: hadoop jobtracker -dumpConfiguration

• namenode : Kör NameNode som koordinerar lagring för hela Hadoop-klyftan. Om du anger -format startas, formateras och stoppas. med -upgrade startar NameNode med uppgraderingsalternativet efter att en ny Hadoop-version har distribuerats; med -backback rullas NameNode tillbaka till föregående version (kom ihåg att stoppa klustret och distribuera den tidigare Hadoop-versionen innan du använder det här alternativet); med -finalisera, är det tidigare tillståndet för filsystemet borttaget, den senaste uppgraderingen blir permanent, återuppringning är inte längre tillgänglig och namnet Noden är stoppad; Slutligen, med -importCheckpoint, laddas en bild från kontrollpostkatalogen (som anges av fs. checkpoint. dir-egenskapen) och sparas i den aktuella katalogen.

  Syntax: hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalisera] | [-importCheckpoint]

  Exempel: hadoop namenode -finalisera

• Sekundär namnnamn : Kör den sekundära NameNode. Om du anger -kontrollpunkt utförs en kontrollpunkt på den sekundära NameNoden om storleken på EditLog (en transaktionsloggen som registrerar varje ändring som uppstår i filsystemets metadata) är större än eller lika med fs. kontrollstation. storlek; specificera-force och en kontrollpunkt utförs oberoende av EditLog-storleken; specificera -getedize och EditLog-formatet skrivs ut.

  Syntax: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

  Exempel: hadoop secondarynamenode -geteditsize

• tasktracker : Kör en MapReduce TaskTracker-nod.

  Syntax: hadoop tasktracker

  Exempel: hadoop tasktracker