Innehållsförteckning:
Video: Bästa sättet att optimera bilen. Part #1 2024
Bortsett från att optimera den verkliga applikationskoden med MapReduce för stora dataprojekt kan du använda vissa optimeringstekniker för att förbättra tillförlitligheten och prestanda. De faller i tre kategorier: hårdvara / nätverkstopologi, synkronisering och filsystem.
Stor datahårdvara / nätverkstopologi
Oavsett tillämpning kommer den snabbaste hårdvaran och nätverken sannolikt att ge de snabbaste körtiderna för din programvara. En tydlig fördel med MapReduce är förmågan att köras på billiga kluster av råvara och standardnätverk. Om du inte uppmärksammar var dina servrar är fysiskt organiserade får du inte den bästa prestandan och hög grad av feltolerans som behövs för att stödja stora datauppgifter.
Varuhårdvara lagras ofta i rack i datacentret. Närheten till hårdvaran i racketet ger en prestandafördelning i motsats till att data flyttas och / eller kodas från rack till rack. Under implementeringen kan du konfigurera din MapReduce-motor för att vara medveten om och dra nytta av denna närhet.
Att hålla data och koden tillsammans är en av de bästa optimeringarna för MapReduce-prestanda. I huvudsak, ju närmare hårdvarubearbetningsdelarna är till varandra, desto mindre latens kommer du att behöva hantera.
Stor datasynkronisering
Eftersom det är ineffektivt att hålla alla resultat av din kartläggning inom noden kopierar synkroniseringsmekanismerna kartläggningsresultaten till de reducerande noderna omedelbart efter att de har slutförts så att bearbetning kan börja omedelbart. Alla värden från samma nyckel skickas till samma reducerare, vilket ger högre prestanda och bättre effektivitet.
Reduktionsutgångarna skrivs direkt till filsystemet, så det måste utformas och stämas för bästa resultat.
Stort datafilsystem
Ditt MapReduce-genomförande stöds av ett distribuerat filsystem. Den stora skillnaden mellan lokala och distribuerade filsystem är kapacitet. För att hantera enorma mängder information i en stor datavärld måste filsystem sprida sig över flera maskiner eller noder i ett nätverk.
MapReduce-implementeringar baserar sig på en distribution av master-slave, där huvudnoden lagrar alla metadata, åtkomsträttigheter, mappning och placering av filer och block, och så vidare. Slavarna är noder där de faktiska data lagras. Alla förfrågningar går till befälhavaren och hanteras sedan av lämplig slavnod.När du överväger utformningen av filsystemet bör du överväga följande:
-
Håll det varmt: Som du kanske förväntar dig kan huvudnoden bli överarbetad eftersom allt börjar där. Dessutom, om huvudnoden misslyckas, är hela filsystemet otillgängligt tills mastern återställs. En väldigt viktig optimering är att skapa en "warm standby" -nodenhet som kan komma igång om ett problem uppstår med onlinemästaren.
-
Ju större desto bättre: Filstorlek är också ett viktigt övervägande. Massor av små filer (mindre än 100 MB) bör undvikas. Distribuerade filsystem som stöder MapReduce-motorer fungerar bäst när de fylls med ett blygsamt antal stora filer.
-
Den långa vyn: Eftersom arbetsbelastningen hanteras i partier är höghållen nätverksbandbredd viktigare än snabb körningstider för mapprarna eller reducerarna. Det optimala sättet är att koden ska strömma mycket data när den läser och igen när det är dags att skriva till filsystemet.
-
Håll det säkert: Men inte alltför så. Lägga till lager av säkerhet på det distribuerade filsystemet kommer att försämra dess prestanda. Filbehörigheterna finns där för att skydda mot oavsiktliga konsekvenser, inte skadligt beteende. Det bästa sättet är att se till att endast behöriga användare har tillgång till datacenterets miljö och för att hålla det distribuerade filsystemet skyddat från utsidan.
