Video: Is Religion Banned in China? 2024
Innan du kan köra ditt första grisskript i Hadoop måste du ta hand om hur grisprogram kan packas med gris-servern.
Pig har två lägen för att köra skript:
-
Lokalt läge: Alla skript körs på en enda maskin utan att kräva Hadoop MapReduce och HDFS. Detta kan vara användbart för att utveckla och testa grislogik. Om du använder en liten uppsättning data till utvecklaren eller testar din kod, kan det lokala läget vara snabbare än att gå igenom MapReduce-infrastrukturen.
Lokalt läge kräver inte Hadoop. När du kör i Lokalt läge körs grisprogrammet i en lokal Java Virtual Machine, och dataåtkomst sker via det lokala filsystemet på en enda maskin. Lokalt läge är faktiskt en lokal simulering av MapReduce i Hadops LocalJobRunner-klass.
-
MapReduce-läge (även känt som Hadoop-läge): Gris exekveras på Hadoop-klustret. I detta fall omvandlas grisskriptet till en serie MapReduce-jobb som sedan körs på Hadoop-klustret.
Om du har en terabyte av data som du vill utföra operationer på och du vill interaktivt utveckla ett program, kan du snart hitta saker som saktar långsamt och du kan börja växa upp din lagring. Lokalt läge gör att du kan arbeta med en delmängd av dina data på ett mer interaktivt sätt så att du kan räkna ut logiken (och träna buggarna) i ditt Pig-program.
När du har skapat saker som du vill ha dem och dina operationer löper smidigt kan du sedan köra skriptet mot hela datasatsen med MapReduce-läget.
