Alternativa Big Data Solutions - dummies

Titta över Hadoop, kan du se alternativa stora datalösningar på horisonten. Dessa lösningar gör det möjligt att arbeta med stora data i realtid eller att använda alternativ databassteknik för att hantera och bearbeta den. Här introduceras du i realtidsbehandlingsramarna, sedan plattformarna för massiv parallellbehandling (MPP) och slutligen NoSQL-databaser som gör att du kan arbeta med stora data utanför Hadoop-miljön.

Du bör vara medveten om något som kallas ACID-överensstämmelse, kort för A tomicity, C onsistency, I och D överensstämmelse med tillgängligheten. ACID-överensstämmelse är en standard som garanterar noggranna och pålitliga databasstransaktioner.

I stora datalösningar är de flesta databassystemen inte AC-kompatibla, men det innebär inte nödvändigtvis ett stort problem. Det beror på att de flesta stora datasystem använder beslutsstödsystem (DSS) att batchprocessdata före den data läses ut. DSS är informationssystem som används för organisationsbeslut. DSS utan transaktion visar inga reella krav på ACID-överensstämmelse.

Beräkningsramar i realtid

Ibland behöver du kanske fråga stora dataströmmar i realtid … och du kan bara inte göra den här typen av saker med Hadoop. I dessa fall använder du istället en realtidsbehandlingsram. Ett realtidsbehandlingsramverk är - som namnet antyder - ett ramverk som kan bearbeta data i realtid (eller i realtid) som dataströmmarna och rinner in i systemet. I huvudsak är realtidsbehandlingsramar motsatsen för de satsvisa bearbetningsramar som du ser utplacerade i Hadoop.

Realtidsbehandlingsramar kan klassificeras i följande två kategorier:

• Ramverk som sänker överkostnaden för MapReduce-uppgifter för att öka systemets totala tidseffektivitet: Lösningar i den här kategorin omfattar Apache Storm och Apache Spark för direktreaktionsströmbehandling.

• Ramar som använder innovativa frågemetoder för att underlätta förfrågningar om stor data i realtid: Några lösningar i denna kategori är Googles Dremel, Apache Drill, Shark for Apache Hive och Cloudera's Impala.

Realtidsbehandlingsramar i realtid är ganska användbara i en mängd olika branscher - från aktie- och finansmarknadsanalyser till e-handelsoptimeringar, och från realtidsbedrägeribekämpning till optimerad orderlogistik. Oavsett branschen där du arbetar, om ditt företag påverkas av dataströmmar i realtid som genereras av människor, maskiner eller sensorer, skulle en realtidsbehandlingsram vara till hjälp för dig när du optimerar och genererar värde för din organisation.

Plattformar för massivt parallellbehandling (MPP)

Plattformar för massivt parallellbehandling (MPP) kan användas istället för MapReduce som ett alternativt sätt att distribuera databehandling. Om ditt mål är att distribuera parallell bearbetning på ett traditionellt datalager, kan en MPP vara den perfekta lösningen.

För att förstå hur MPP jämförs med en standard MapReduce parallellbehandlingsram, överväga följande. MPP kör parallella databearbetningsuppgifter på dyr, anpassad hårdvara, medan MapReduce kör dem på billiga råvararservrar. Följaktligen är MPP-bearbetningskapaciteten kostnadsbegränsande. Detta sagt, MPP är snabbare och lättare att använda än standard MapReduce-jobb. Det beror på att MPP kan frågas med hjälp av Structured Query Language (SQL), men inbyggda MapReduce-jobb styrs av det mer komplicerade Java-programmeringsspråket.

Kända MPP-leverantörer och produkter inkluderar den gamla skolans Teradata-plattform, plus nyare lösningar som EMC ² s Greenplum DCA, HPs Vertica, IBMs Netezza och Oracle Exadata.

Introduktion av NoSQL-databaser

Traditionella relationsdatabashanteringssystem (RDBMS) är inte utrustade för att hantera stora datakrav. Det beror på att traditionella relationsdatabaser är utformade för att hantera endast relationella dataset som är konstruerade av data som lagras i rena rader och kolumner och därmed kan frågas via Structured Query Language (SQL).

RDBM-system kan inte hantera ostrukturerad och halvstrukturerad data. Dessutom har RDBM-system helt enkelt inte de process- och hanteringsfunktioner som behövs för att möta stora datamängder och hastighetskrav.

Det här är där NoSQL kommer in. NoSQL-databaser, som MongoDB, är icke-relationella, distribuerade databassystem som utformades för att stiga till den stora datautmaningen. NoSQL-databaser går ut över den traditionella relationsdatabasarkitekturen och erbjuder en mycket mer skalbar och effektiv lösning.

NoSQL-system underlättar icke-SQL-frågfrågor av icke-relationella eller schemafria, halvstrukturerade och ostrukturerade data. På så sätt kan NoSQL-databaser hantera de strukturerade, halvstrukturerade och ostrukturerade datakällorna som är vanliga i stora datasystem.

NoSQL erbjuder fyra kategorier av icke-relationella databaser - grafdatabaser, dokumentdatabaser, viktiga värdebutiker och kolonnfamiljaffärer. Eftersom NoSQL erbjuder inbyggd funktionalitet för var och en av dessa separata typer av datastrukturer, erbjuder den mycket effektiv lagrings- och återhämtningsfunktionalitet för de flesta typer av icke-relationella data. Denna anpassningsförmåga och effektivitet gör NoSQL till ett alltmer populärt val för hantering av stora data och för att övervinna processutmaningar som följer med det.

Det finns en del debatt om betydelsen av namnet NoSQL. Vissa hävdar att NoSQL står för Inte bara SQL , medan andra hävdar att akronym representerar Icke-SQL-databaser . Argumentet är ganska komplext och det finns inget riktigt snitt och torrt svar.För att hålla det enkelt, bara tänka på NoSQL som en klass av icke-relationella databashanteringssystem som inte faller inom spektrumet av RDBM-system som efterfrågas genom att använda SQL.