Lager 0 av Big Data Stack: Redundant Physical Infrastructure - dummies

På den lägsta nivån av den stora databasen är den fysiska infrastrukturen. Ditt företag kanske redan har ett datacenter eller gjort investeringar i fysisk infrastruktur, så du kommer att vilja hitta ett sätt att använda befintliga tillgångar.

Stora dataimplementeringar har mycket specifika krav på alla delar i referensarkitekturen, så du måste granska dessa krav på ett lager för att säkerställa att din implementering kommer att utföra och skala i enlighet med dina företags krav.

En prioriterad lista över stora dataprinciper bör innehålla uttalanden om följande:

• Prestanda: Hur lyhörd behöver du systemet att vara? Prestanda, även kallad latens, mäts ofta i slutet, baserat på en enda transaktions- eller förfrågan.

• Tillgänglighet: Behöver du en 100 procents garanti för service? Hur länge kan ditt företag vänta vid serviceavbrott eller misslyckande?

• Skalbarhet: Hur stor behöver din infrastruktur vara? Hur mycket diskutrymme behövs idag och i framtiden? Hur mycket datorkraft behöver du? Vanligtvis måste du bestämma vad du behöver och sedan lägga till lite mer skala för oväntade utmaningar.

• Flexibilitet: Hur snabbt kan du lägga till fler resurser till infrastrukturen? Hur snabbt kan din infrastruktur återhämta sig från misslyckanden?

• Kostnad: Vad har du råd med? Eftersom infrastrukturen är en uppsättning komponenter kan du kanske köpa det "bästa" nätverket och bestämma att spara pengar vid lagring. Du måste fastställa krav för vart och ett av dessa områden i samband med en total budget och göra avvägningar vid behov.

Eftersom stora data handlar om hög hastighet, stor volym och hög data, kommer den fysiska infrastrukturen bokstavligen att "göra eller bryta" genomförandet. De flesta stora dataimplementeringar måste vara mycket tillgängliga, så nätverk, servrar och fysisk lagring måste vara både fjädrande och överflödiga. Elasticitet och redundans är inbördes relaterade.

En infrastruktur eller ett system är motståndskraftigt mot misslyckanden eller förändringar när tillräckliga överflödiga resurser finns på plats, redo att hoppa till handling. Redundans säkerställer att ett sådant funktionsstörning inte kommer att orsaka ett strömavbrott. Elasticitet bidrar till att eliminera enskilda punkter av misslyckande i din infrastruktur.

I stora datacentraler med kontinuitetskrav är det mesta av redundansen på plats och kan utnyttjas för att skapa en stor datamiljö.I nya implementeringar har designerna ansvaret för att kartlägga utplaceringen till företagets behov baserat på kostnader och prestanda.

Detta innebär att den tekniska och operativa komplexiteten maskeras bakom en samling tjänster, var och en med specifika villkor för prestanda, tillgänglighet, återhämtning och så vidare. Dessa termer beskrivs i servicenivåavtal (SLA) och är vanligtvis förhandlade mellan tjänsteleverantören och kunden, med påföljder för bristande överensstämmelse.

I själva verket skapar detta ett virtuellt datacenter. Även med detta tillvägagångssätt borde du fortfarande veta vad som behövs för att bygga och driva en stor datautplacering så att du kan göra de lämpligaste urvalen från de tillgängliga tjänsteleverantörerna. Trots att du har en SLA, har din organisation fortfarande det yttersta ansvaret för prestanda.

Fysiska redundanta stora datanätverk

Nätverk ska vara överflödiga och måste ha tillräcklig kapacitet för att tillgodose den förväntade volymen och hastigheten för inkommande och utgående data utöver den "normala" nätverkstrafiken som upplevs av verksamheten. När du börjar göra stora data en integrerad del av din datorstrategi är det rimligt att förvänta volymen och hastigheten att öka.

Infrastrukturdesigners ska planera för dessa förväntade ökningar och försöka skapa fysiska implementeringar som är "elastiska". "Eftersom nätverkstrafiken ebbs och flöder, så gör också uppsättningen fysiska tillgångar i samband med genomförandet. Din infrastruktur bör erbjuda övervakningsfunktioner så att operatörerna kan reagera när fler resurser krävs för att hantera förändringar i arbetsbelastningen.

Hantera stor datahårdvara: Lagring och servrar

På samma sätt måste tillgångarna på maskinvara (lagring och server) ha tillräcklig hastighet och kapacitet för att hantera alla förväntade stora datakapaciteter. Det är till liten nytta att ha ett höghastighetsnät med långsamma servrar eftersom servrarna sannolikt kommer att bli en flaskhals. Men en mycket snabb uppsättning lagrings- och beräkna servrar kan övervinna variabel nätverksprestanda. Naturligtvis fungerar inte något ordentligt om nätverksprestationen är dålig eller opålitlig.

Stor datainfrastrukturverksamhet

Ett annat viktigt övervägande är hanteringen av infrastrukturoperationer. De högsta nivåerna av prestanda och flexibilitet kommer endast att finnas i en välskött miljö. Datacentralförvaltare måste kunna förutse och förebygga katastrofala fel så att integriteten hos data och i fortsättningen affärsprocesserna upprätthålls. IT-organisationer tittar ofta över och därför underskattar inom detta område.