Hantera virtualisering för stora data - dummies

Virtualisering skiljer resurser och tjänster från underliggande fysisk leveransmiljö, så att du kan skapa många virtuella system inom ett enda fysiskt system. En av de främsta orsakerna till att företagen har implementerat virtualisering är att förbättra prestanda och effektivitet vid bearbetning av en mångsidig blandning av arbetsbelastningar.

Den stora datahypervisorn

I en ideal värld vill du inte oroa sig för den underliggande operativsystem och den fysiska hårdvaran. En hypervisor är den teknik som är ansvarig för att resursdelning sker på ett ordnat och repeterbart sätt.

Hypervisorn sitter vid de lägsta nivåerna i hårdvarumiljön och använder ett tunt lager av kod för att möjliggöra dynamisk resursdelning. Hypervisorn gör att det verkar som om varje operativsystem har de fysiska resurserna till sig själv.

I världen av stora data kan du behöva stödja många olika operativmiljöer. Hypervisorn blir en idealisk leveransmekanism för teknikkomponenterna i den stora databacken. Hypervisorn låter dig visa samma applikation på många system utan att behöva fysiskt kopiera den applikationen till varje system.

Som en extra fördel, på grund av hypervisorarkitekturen, kan den ladda olika operativsystem som om de bara var en annan applikation. Så, hypervisor är ett mycket praktiskt sätt att få saker som virtualiseras snabbt och effektivt.

Gästoperativsystem är operativsystem som körs på virtuella maskiner. Med virtualiseringsteknologi kan du ställa in hypervisorn för att dela upp den fysiska datorns resurser. Resurser kan delas mellan 50/50 eller 80/20 mellan två gästoperativsystem.

Det här arrangemangets skönhet är att hypervisorn gör allt tungt lyft. Gästoperativsystemet bryr sig inte om att det körs i en virtuell partition; Den tycker att den har en dator till sig själv.

Du hittar i princip två typer av hypervisorer:

• Typ 1 hypervisorer kör direkt på maskinplattformen. De uppnår högre effektivitet eftersom de kör direkt på plattformen.

• Typ 2 hypervisorer kör på värdens operativsystem. De används ofta när ett behov finns för att stödja ett brett utbud av I / O-enheter.

Abstraktion och stor datervirtualisering

För IT-resurser och tjänster som ska virtualiseras separeras de från den underliggande fysiska leveransmiljön.Termen för denna separationshandling kallas abstraktion. Abstraktion är ett nyckelbegrepp i stora data. MapReduce och Hadoop distribueras datormiljöer där allt är abstraherat. Detaljerna är sammanfattade så att utvecklaren eller analytikern inte behöver vara orolig över var dataelementen är placerade.

Abstraktion minimerar komplexiteten i något genom att gömma detaljerna och endast ge relevant information. Om du till exempel skulle hämta någon som du aldrig har träffat förut kan han berätta för platsen att träffa honom och vad han kommer att ha på sig. Han behöver inte berätta var han föddes, hur mycket pengar han har i banken, hans födelsedatum och så vidare.

Det är tanken med abstraktion - det handlar om att ge en specifikation på hög nivå snarare än att gå in på mycket detaljer om hur något fungerar.

Implementera virtualisering för att arbeta med stora data

Virtualiseringshjälp gör din IT-miljö smart för att hantera stor dataanalys. Genom att optimera alla delar av din infrastruktur, inklusive hårdvara, mjukvara och lagring, får du den effektivitet som krävs för att bearbeta och hantera stora volymer av strukturerad och ostrukturerad data. Med stor data måste du komma åt, hantera och analysera strukturerad och ostrukturerad data i en distribuerad miljö.

Stora data förutsätter distribution. I praktiken fungerar någon form av MapReduce bättre i en virtualiserad miljö. Du behöver förmågan att flytta arbetsbelastningar runt baserat på krav på beräkning av ström och lagring.

Virtualisering gör att du kan ta itu med större problem som ännu inte har scoped. Du kanske inte vet i förväg hur snabbt du behöver skala.

Virtualisering gör att du kan stödja en mängd olika operativa stora datalager. Till exempel kan en grafdatabas spinnas upp som en bild.

Den mest direkta fördelen med virtualisering är att säkerställa att MapReduce-motorer fungerar bättre. Virtualisering kommer att resultera i bättre skala och prestanda för MapReduce. Var och en av Map och Reduce-uppgifterna måste utföras självständigt. Om MapReduce-motorn är parallelliserad och konfigurerad för att köras i en virtuell miljö kan du minska hanteringskostnaderna och tillåta utvidgningar och sammandragningar i arbetsbelastningen av uppgiften.

MapReduce sig är i sig parallellt och distribuerat. Genom att inkapsla MapReduce-motorn i en virtuell behållare kan du köra vad du behöver när du behöver det. Med virtualisering ökar du utnyttjandet av de tillgångar du redan har betalat genom att omvandla dem till generiska pooler av resurser.