Data Extraction, rörelse och laddning för Data Warehouse Deluxe - dummies

Data warehouse deluxe implementeringar är stora - och blir större hela tiden. Implementeringar som använder hundratals gigabyte (en gigabyte motsvarar 1 miljard byte) och till och med terabytes (1 biljon byte) blir allt vanligare. För att hantera denna volym av data och användaråtkomst behöver du en mycket robust server och databas.

Förbered utmaningen! Med ett datalagringslitet kan du vanligtvis hantera data från lager till lager på ett enkelt, lågteknologiskt sätt - men med datalagret deluxe går du nu in i svårighetszonen, där många datalagringsprojekt möter deras Waterloo.

Du kommer sannolikt att uppleva svårigheter på den här domänen av flera anledningar:

• Du har att göra med många olika datakällor, varav några kan innehålla överlappande data. Till exempel kan leverantörsinformation komma från två olika inköpssystem, och några av dina leverantörer har inmatningar i båda systemen.

  Du kommer förmodligen att gå in i olika uppsättningar av identifierare som du måste konvergera (till exempel sex alfanumeriska tecken som identifieras som SUPPLIER_ID i ett av systemen och ett unikt heltal som kallas SUP_NUM i det andra).

• Om ditt datalager är stort (mäter mer än 250 gigabyte), kommer du sannolikt att uppleva problem med att extrahera, flytta och ladda dina batch-fönster. Batchfönster , de tidsramar som uppdateringar görs i lagret kompliceras av antalet datakällor du måste hantera.

• Chanserna att ha en ruttad extraktion, rörelse, transformation och laddningsprocess är exponentiellt relaterad till antalet dataelement som ska laddas in i datalageret.

  Om du skulle kunna tilldela någon svårighetsfaktor (till exempel ett heltal) för processen att skicka data till lagret, skulle följande åtgärder vara sanna: Du har n data element som du vill inkludera i datalageret med en svårighetsfaktor på x. Om du nu har 2 n dataelement, är din svårighetsfaktor inte 2 x; snarare är det x kvadrerat.

  För att göra denna svårighetsfaktor lättare att förstå, tilldela några siffror till n och x. Säg att ditt datalager har 100 element (n) och svårighetsfaktorn (x) är 5. Om du dubbelar antalet element ( n > = 200) är din svårighetsfaktor 25 (5 kvadrat), inte 10 (5 x 2). Processen med att hantera så många datakällor, som leder till en plats (ditt datalagrings deluxe), har alla element i alltför många kockar i köket, eller vad som helst som det säger.

• För att extraherings-, rörelse-, transformations- och laddningsprocessen ska gå smidigt måste du förmodligen hantera många olika applikationsägare, databasens officiella användare och andra personer från en mängd olika organisationer, vilka alla måste samarbeta som de är en del av en professionell symfoniorkester.

  Verkligheten är dock att de utför mer som en grupp dagisstuderande som vart och ett väljer ett musikinstrument från leksakslådan och berättas, "Spela nu något! "Även om processen inte nödvändigtvis är dömd att misslyckas, förvänta dig ett antal iterationer tills du kan få datalageret lyxigt laddat precis precis.

  En data warehouse deluxe kan ha tre nivåer (som en datalager lite), förutom med fler datakällor och kanske mer än en typ av användarverktyg som går åt till lagret. Men arkitekturen för ett data warehouse deluxe ser sannolikt ut som det som visas i denna figur, med många olika samlingspunkter för data.

Förutom andra nödvändiga "vägstationer" för din speciella miljö kan din miljö ha följande element:

Data mart:

• Mottar deluppsättningar av data warehouse deluxe och fungerar som primär åtkomstpunkt för användare. Interim transformation station:

• Ett område där data som extraheras från några av källorna genomgår någon typ av transformationsprocess innan man rör ner rörledningen mot lagerets databas. Kvalitetssäkringsstation:

• Ett område där grupper av data genomgår intensiva kvalitetssäkringskontroller innan du släpper dem in i datalagret.