Utvecklingen av distribuerad dator för stora data - dummies

Bakom alla viktiga trender under det senaste decenniet, inklusive serviceorientering, cloud computing, virtualisering och stora data, är en grundteknik som heter distribuerad databehandling. Enkelt uttryckt, utan att distribuera datorer, skulle ingen av dessa framsteg vara möjliga.

Distribuerad databehandling är en teknik som gör det möjligt för enskilda datorer att vara sammankopplade på olika geografiska områden som om de var en enda miljö. Du hittar många olika implementeringar av distribuerad databehandling. I vissa topologier skickar enskilda databehandlingsenheter helt enkelt meddelanden till varandra.

I andra situationer kan en distribuerad datormiljö dela resurser från minne till nätverk och lagring. Alla distribuerade datormodeller har ett gemensamt attribut: De är en grupp nätverksdatorer som arbetar tillsammans för att utföra en arbetsbelastning eller process.

DARPA och stora data

Den mest kända distribuerade datormodellen, Internet, är grunden för allt från e-handel till cloud computing till servicehantering och virtualisering. Internet var tänkt som ett forskningsprojekt finansierat av U. S. DARPA.

Det var utformat för att skapa ett sammankopplat nätverkssystem som skulle stödja icke-kommersiell, samarbetande forskning bland forskare. I de tidiga dagarna av Internet var dessa datorer ofta anslutna via telefonlinjer! Om du inte upplevt den frustrationen kan du bara föreställa dig hur långsam och ömtålig de här anslutningarna var.

När tekniken mognades under det närmaste decenniet, bidrog gemensamma protokoll som TCP (Transmission Control Protocol) till att sprida teknologin och nätverket. När Internetprotokollet (IP) lagts till, flyttades projektet från ett slutet nätverk för en samling forskare till en potentiellt kommersiell plattform för att överföra e-post över hela världen.

Under 1980-talet började nya internetbaserade tjänster växa upp på marknaden som ett kommersiellt alternativ till DARPA-nätverket. I 1992 passerade kongressen i USA den vetenskapliga och avancerade tekniklagen som för första gången tillåter kommersiell användning av denna kraftfulla nätverksteknik. Med sin fortsatta explosiva tillväxt är Internet verkligen ett globalt distribuerat nätverk och är fortfarande det bästa exemplet på kraften i distribuerad databehandling.

Värdet av en konsekvent stor datamodell

Vilken skillnad har denna DARPA-ledda ansträngning gjort i rörelsen till distribuerad databehandling?Före kommersialiseringen av Internet fanns hundratals företag och organisationer som skapade en mjukvaruinfrastruktur avsedd att tillhandahålla en gemensam plattform för att stödja en mycket distribuerad datormiljö.

Varje leverantör eller standardiseringsorganisation kom dock med sina egna fjärrproceduresamtal (RPC) som alla kunder, kommersiella programutvecklare och partners skulle behöva anta och stödja. RPC är en primitiv mekanism som används för att skicka arbete till en fjärrdator och kräver vanligtvis att det fjärranslutna arbetet ska slutföras innan annat arbete kan fortsätta.

Med säljare som genomför egna RPCs blev det opraktiskt att föreställa sig att ett företag skulle kunna skapa en universell standard för distribuerad databehandling. I mitten av 1990-talet ersatte Internetprotokollet dessa primitiva tillvägagångssätt och blev grunden för det som distribueras databehandling idag. Efter detta avgjordes användningen av detta tillvägagångssätt för nätverksbaserad databehandling att blomstra.