Video: Zoom Skills Pig UDF Demo 2024
En MapReduce-applikation behandlar data i ingångssplittor på en post-by-record -basis och att varje post förstås av MapReduce för att vara en nyckel / värde par. När inmatningsskivorna har beräknats kan mapparuppgifterna börja bearbeta dem - det vill säga direkt efter att resurschefens schemaläggningsfacilitet tilldelat dem sina bearbetningsresurser. (I Hadoop 1 tilldelar JobTracker mapperuppgifter till specifika bearbetningsplatser.)
I själva verket bearbetar mapper-uppgiften sin inmatningsdelad en post i taget - i figuren representeras denna lone rekord av nyckel / värdeparet. När det gäller våra flygdata, när inmatningsskivorna beräknas (med standardfilbehandlingsmetoden för textfiler) antas det att varje rad i textfilen är en enda post.
För varje post representerar texten i raden sig själva värdet, och byteförskjutningen för varje rad från början av delningen anses vara nyckeln.
Du kanske undrar varför radenummeret inte används istället för byteförskjutningen. När du anser att en mycket stor textfil är uppdelad i många enskilda datablock och bearbetas så många splittringar är radnumret ett riskabelt koncept.
Antalet rader i varje delning varierar, så det skulle vara omöjligt att beräkna antalet rader som föregår den som behandlas. Men med byteförskjutningen kan du vara exakt, för varje block har ett fast antal byte.
När en mappuppgift behandlar varje post genererar den ett nytt nyckel / värdepar: Nyckeln och värdet här kan vara helt annorlunda än ingångsparet. Utmatningen från mapparuppgiften är den fullständiga samlingen av alla dessa nyckel / värdepar.
Innan den slutliga utdatafilen för varje mappers uppgift skrivs ut delas utgången baserat på nyckeln och sorteras. Denna partition innebär att alla värden för varje nyckel grupperas ihop.
När det gäller den ganska grundläggande samplingsapplikationen finns det bara en enda reducerare, så all utmatning från mapper-uppgiften skrivs till en enda fil. Men i fall med multipla reducerare kan varje mapperuppgift generera flera utdatafiler också.
Uppdelningen av dessa utdatafiler är baserad på partitionsnyckeln. Om det till exempel bara finns tre separata partitioneringsnycklar för mapperuppgifterna och du har konfigurerat tre reducerare för jobbet, kommer det att finnas tre mapper-utdatafiler. I det här exemplet, om en viss mapper uppgift behandlar en ingångsdelning och det genererar output med två av de tre tangenterna, kommer det bara att finnas två utdatafiler.
Komprimera alltid dina mapperuppgifters utdatafiler. Den största fördelen här är prestationsvinster, eftersom skrivning av mindre utdatafiler minimerar den oundvikliga kostnaden för att överföra mapperutmatningen till de noder där reduktionsapparaten körs.
Standardpartitionern är mer än tillräcklig i de flesta situationer, men ibland kanske du vill anpassa hur data delas innan den bearbetas av reduktionsapparaten. Du kan till exempel vilja att data i dina resultatuppsättningar sorteras efter nyckeln och deras värden - känd som en sekundär sortering.
För att göra det kan du åsidosätta standardpartitionern och implementera din egen. Denna process kräver dock en viss omsorg, eftersom du vill se till att antalet poster i varje partition är enhetligt. (Om en reducerare måste bearbeta mycket mer data än de andra reduktionsmedlen, väntar du på att ditt MapReduce-jobb avslutas medan den enda överarbetade reduceraren slog genom sin oproportionerligt stora dataset.)
Använda mellanliggande filer med likformat storlek, du kan bättre utnyttja den parallellitet som finns tillgänglig i MapReduce-bearbetningen.
