NoSQL Data Stores jämfört med Hadoop-dummies

NoSQL-datalager upphävde ursprungligen abonnemanget "Just Say No to SQL" (att parafrasera från en anti-drogreklamkampanjen på 1980-talet), och de var en reaktion på de uppfattade begränsningarna av (SQL-baserade) relationella databaser. Det är inte så att dessa människor hatade SQL, men de var trött på att tvinga fyrkantiga pinnen i runda hål genom att lösa problem som relationella databaser inte var avsedda för.

En relationsdatabas är ett kraftfullt verktyg, men för vissa typer av data (som nyckelvärdespar eller grafer) och vissa användningsmönster (som extremt storskalig lagring) är en relationsdatabas bara inte " t praktiskt. Och när det gäller lagring i hög volymer kan relationsdatabasen vara dyr, både vad gäller databaslicenskostnader och hårdvarukostnader. (Relationsdatabaser är utformade för att fungera med företagshårdvara.)

Så med NoSQL-rörelsen utvecklade kreativa programmerare dussintals lösningar för olika typer av torniga datalagrings- och bearbetningsproblem. Dessa NoSQL-databaser tillhandahåller vanligtvis massiv skalbarhet genom kluster och är ofta utformade för att möjliggöra hög genomströmning och låg latens.

Namnet NoSQL är något vilseledande eftersom många databaser som passar kategorin gör har SQL-stöd (i stället för "NoSQL" -support). Tänk på namnet istället som "Inte bara SQL. ”

De nuvarande NoSQL-erbjudandenen kan delas upp i fyra olika kategorier, baserat på deras utformning och syfte:

• Viktiga butiker: Detta erbjudande ger ett sätt att lagra alla slags av data utan att behöva använda ett schema. Detta står i kontrast till relationsdatabaser där du måste definiera schemat (tabellstrukturen) innan någon data infogas. Eftersom viktiga butiker inte kräver ett schema, har du stor flexibilitet att lagra data i många format.

  I en nyckelvärdesbutik består en rad helt enkelt av en nyckel (en identifierare) och ett värde som kan vara allt från ett heltal till en stor binär datasträng. Många implementeringar av viktiga värdebutiker är baserade på Amazons Dynamo-papper.

• Kolumnfamilj butiker: Här har du databaser där kolumner grupperas i kolumnfamiljer och lagras tillsammans på disken.

  Strängt taget är många av dessa databaser inte kolumnorienterade eftersom de bygger på Googles BigTable-papper, som lagrar data som en mångsidig sorterad karta.

• Dokumentbutiker: Detta erbjudande bygger på samlingar av liknande kodade och formaterade dokument för att förbättra effektiviteten.Dokumentbutiker gör det möjligt för enskilda dokument i en samling att endast innehålla en delmängd av fält, så endast de data som behövs lagras. För glesa datasatser, där många fält ofta inte är befolkade, kan detta översättas till betydande rymdbesparingar.

  Däremot tar tomma kolumner i relationella databastabeller upp plats. Dokumentbutiker möjliggör också schemanflexibilitet, eftersom endast de fält som behövs lagras och nya fält kan läggas till. Återigen, i motsats till relationella databaser definieras tabellstrukturer uppe framför data lagras, och byte av kolumner är en tråkig uppgift som påverkar hela datasatsen.

• Grafdatabaser: Här har du databaser som lagrar grafstrukturer - representationer som visar samlingar av enheter (vertikaler eller noder) och deras relationer (kanter) med varandra. Dessa strukturer gör det möjligt för grafdatabaser att vara extremt väl lämpade för lagring av komplexa strukturer, som att länka relationerna mellan alla kända webbsidor. (Exempelvis är enskilda webbsidor noder, och kanterna som ansluter dem är länkar från en sida till en annan.)

  Google är naturligtvis över grafteknik och uppfann en grafbehandlingsmotor som heter Pregel för att driva sin PageRank algoritm. (Och ja, det finns ett vitt papper på Pregel.) I Hadoop-samhället finns ett Apache-projekt som heter Giraph (baserat på Pregel-papperet), vilket är en grafhanteringsmotor som är utformad för att bearbeta grafer lagrade i HDFS.

De datalagrings- och behandlingsalternativ som finns i Hadoop är i många fall implementeringar av de NoSQL-kategorier som listas här. Detta hjälper dig att bättre utvärdera lösningar som är tillgängliga för dig och se hur Hadoop kan komplettera traditionella datalager.