Video: SQL vs. Hadoop: Acid vs. Base 2024
Ett kännetecken för relationsdatabassystem är något som kallas ACID-överensstämmelse. Som du kanske har gissat är ACID en akronym - de enskilda bokstäverna, som är avsedda att beskriva en egenskap hos enskilda databasstransaktioner, kan utökas enligt beskrivningen i denna lista:
-
Atomicity: Databasöverföringen måste helt lyckas eller helt misslyckas. Delvis framgång är inte tillåtet.
-
Konsistens: Under databasöverföringen går RDBMS från ett giltigt tillstånd till ett annat. Staten är aldrig ogiltig.
-
Isolering: Klientens databasstransaktion måste ske isolerat från andra kunder som försöker handla med RDBMS.
-
Driftbarhet: Datoperationen som var en del av transaktionen måste återspeglas i icke-flyktig lagring (datorminne som kan hämta lagrad information även om den inte är driven - som en hårddisk) och fortsätter efter Transaktionen slutfördes framgångsrikt. Transaktionsfel kan inte lämna uppgifterna i ett delaktigt tillstånd.
Vissa användningsfall för RDBMS, som online transaktionsbehandling, beror på ACID-kompatibla transaktioner mellan klienten och RDBMS för att systemet ska fungera korrekt. Ett bra exempel på en ACID-kompatibel transaktion är en överföring av pengar från ett bankkonto till en annan.
Detta bryter ner i två databasstransaktioner, där det ursprungliga kontot visar ett uttag, och destinationskontot visar en insättning. Självklart måste dessa två transaktioner vara bundna för att vara giltiga så att om någon av dem misslyckas, måste hela verksamheten misslyckas för att säkerställa att båda saldot förblir giltiga.
Hadoop själv har inget koncept för transaktioner (eller till och med poster för den delen), så det är helt klart inte ett system som är syrligt kompatibelt. Att tänka mer specifikt om datalagring och bearbetningsprojekt i hela Hadoop-ekosystemet, ingen av dem är helt sura i överensstämmelse. Men de gör återspeglar egenskaper som du ofta ser i NoSQL-datalager, så det finns något prejudikat för Hadoop-tillvägagångssättet.
Ett viktigt begrepp bakom NoSQL datalager är att inte varje applikation behöver verkligen ACID-kompatibla transaktioner. Att koppla av på vissa ACID-egenskaper (och flytta sig bort från relationsmodellen) har öppnat en mängd möjligheter, vilket har gjort det möjligt för vissa NoSQL-datalager att uppnå massiv skalbarhet och prestanda för sina nischapplikationer.
När ACID definierar de viktigaste egenskaperna som krävs för pålitlig transaktionsbehandling, kräver NoSQL-världen olika egenskaper för att möjliggöra flexibilitet och skalbarhet.Dessa motsatta egenskaper är klokt fångade i akronyn BASE:
-
B asically A available: Systemet är garanterat tillgängligt för alla användares förfrågan. (Ingen isolering här.)
-
S ofta Stat: Värdena som lagras i systemet kan ändras på grund av den eventuella konsistensmodellen, som beskrivs i nästa kula.
-
E ventuellt Konsekvent: Eftersom data läggs till i systemet, replikeras systemets tillstånd gradvis över alla noder. Till exempel i Hadoop, när en fil skrivs till HDFS, skapas replikerna i datablocken i olika datodenoder efter det att de ursprungliga datablocken har skrivits. För den korta perioden innan blocken replikeras är tillståndet för filsystemet inte konsekvent.
Acronym BASE är lite konstruerad, eftersom de flesta NoSQL-datalager inte helt överger alla ACID-egenskaperna - det är inte riktigt det polära motsatta begreppet som namnet innebär, med andra ord. Också mjukt tillstånd och slutligen konsekventa egenskaper är samma sak, men poängen är att genom avkopplande konsistens kan systemet horisontellt skala (många noder) och säkerställa tillgänglighet.
Ingen diskussion om NoSQL skulle vara komplett utan att nämna CAP-stämningen, som representerar de tre typer av garantier som arkitekter syftar till att tillhandahålla i sina system:
-
Konsistens: I likhet med C i ACID, alla nodar i Systemet skulle ha samma bild av data när som helst.
-
Tillgänglighet: Systemet svarar alltid på förfrågningar.
-
Partitionstolerans: Systemet förblir online om nätverksproblem uppstår mellan systemnod.
I den gemensamma jordbrukspolitiska ståndpunkten anges att arkitekter i utdelade nätverkssystem måste välja två av dessa tre garantier - du kan inte lova dina användare alla tre. Det ger dig de tre möjligheterna som visas:
-
System som använder traditionell relationell teknik är normalt inte partitionstolerant, så de kan garantera konsistens och tillgänglighet. Kort sagt, om en del av dessa traditionella relationella teknologisystem är offline är hela systemet offline.
-
System där partitionstolerans och tillgänglighet är av största vikt kan inte garantera konsistens, eftersom uppdateringar (som förstörare av konsistens) kan göras på vardera sidan av partitionen. Key-value-butikerna Dynamo and CouchDB och kolonnfamiljaffären Cassandra är populära exempel på partition tolerant / tillgänglighet (PA) -system.
-
System där partitionstolerans och konsistens är av grundläggande betydelse kan inte garantera tillgänglighet eftersom systemen returnerar fel tills partitionerat tillstånd är löst.
Hadoopbaserade datalager betraktas som CP-system ( c onsistent och p artition tolerant). Med data lagrad redundant över många slavnoder kan uteblivna utsprång till stora delar (partitioner) av ett Hadoop-kluster tolereras. Hadoop anses vara konsekvent eftersom den har en central metadatabutik (NameNode) som upprätthåller en enda, konsekvent vy över data lagrade i klustret.