Middleware för datalagring - dummies

Middleware är datorsoftware som förbinder programkomponenter. I en datalagringsmiljö är middleware-tjänsterna den uppsättning program och rutiner som gör följande:

• Dra data från källan (eller källor).

• Kontrollera att uppgifterna är korrekta.

• Flytta data runt miljön från plattform till plattform, om det behövs.

• Hantera alla nödvändiga datatransformationer.

• Ladda data i datalagrets databas (eller databaser).

I mer formell mening hanteras föremålen i föregående lista av dessa middleware-tjänster:

• Dataval och extraktion

• Datakvalitetssäkring, del I (på komponentnivå)

• Dataförflyttning, del I (även på komponentnivå)

• Datakartläggning och transformation

• Datakvalitetssäkring, del II (efter omvandling har inträffat)

• Dataförflyttning, del II (i datalagerets plattformsmiljö)

• Data lastning (i datalagret) > Denna figur illustrerar hur dessa middleware-tjänster strömmar ihop i en måttlig stor datalagringsmiljö.

Men din datalagringsmiljö kan skilja sig från den som visas i den här siffran, särskilt inom datatransporttjänsterna. En dataförflyttningstjänst är nödvändig varje gång data korsar systemgränserna. Din konceptuella bild skiljer sig åt, beroende på detaljerna i din specifika end-to-end-miljö.

Du måste absolut planera, utforma och på annat sätt tänka på middleware för data warehouse i termer av de enskilda tjänsterna i föregående lista, i stället för generiska termer, som "extraktionsverktyg". "Många olika leverantörer ger några, många eller alla dessa tjänster som en del av en enda produkt eller en produktsortiment.

Men ett verktyg som har starka kartläggnings- och transformationstjänster kan till exempel vara svagt i datatilläggstjänster, eller ett verktyg som ger en rik uppsättning extraktionstjänster kan vara mindre effektiv i kartläggnings- och transformationsutrymmet, dessutom till datakvalitetssäkring.

Innan du väljer ett verktyg för ditt datalagringsprojekt (om det är rutten du tar istället för anpassad kodning), se till att du har en bra uppfattning om de särskilda utmaningarna i din miljö. Om du har relativt enkla datautvinningsbehov, till exempel men utmanande problem med datakvaliteten, koncentrera dig på att hitta det bästa kvalitetssäkringsverktyget tillgängligt, även om det bara har så mycket utvinningsfunktioner.

(Detta råd gäller även om verktyget inte har några extraktionsmöjligheter, i så fall måste du kombinera det med ett annat verktyg.)