Stora data arbetsflöden - dummies

För att förstå stora dataflytningar måste du förstå vad en process är och hur den relaterar till arbetsflödet i dataintensiva miljöer. Processer tenderar att vara utformade som avancerade strukturer som är användbara för beslutsfattande och normalisering av hur saker och ting görs i ett företag eller en organisation.

Arbetsflöden är däremot uppgiftsinriktade och kräver ofta mer specifika data än processer. Processer består av en eller flera arbetsflöden som är relevanta för processens övergripande mål.

På många sätt liknar stora arbetsflöden som standard arbetsflöden. Faktum är att i alla arbetsflöden är data nödvändiga i de olika faserna för att uppnå uppgifterna. Tänk på arbetsflödet i en hälsovårdssituation.

Ett elementärt arbetsflöde är processen att "dra blod. "Ritning av blod är en nödvändig uppgift som krävs för att slutföra den övergripande diagnostiska processen. Om något händer och blod inte har dras eller data från det blodprovet har gått vilse, kommer det att ha en direkt inverkan på veraciteten eller sannheten i den övergripande aktiviteten.

Vad händer när du introducerar ett arbetsflöde som beror på en stor datakälla? Även om du kanske kan använda befintliga arbetsflöden, kan du inte anta att en process eller ett arbetsflöde fungerar korrekt genom att bara ersätta en stor datakälla för en standardkälla. Det här kanske inte fungerar eftersom standarddatabehandlingsmetoder inte har bearbetningsmetoder eller prestanda för att hantera komplexiteten hos de stora data.

Sjukvårdsexemplet fokuserar på behovet av att genomföra en analys efter det att blodet har dragits från patienten. I standarddatainflödet skrivs blodet och sedan utförs vissa kemiska test baserat på hälsovårdspersonalens krav.

Det är osannolikt att det här arbetsflödet förstår testningen som krävs för att identifiera specifika biomarkörer eller genetiska mutationer. Om du levererade stora datakällor för biomarkörer och mutationer skulle arbetsflödet misslyckas. Det är inte stor data medveten och måste ändras eller omskrivas för att stödja stora data.

Det bästa sättet att förstå arbetsflöden och effekten av stora data är att göra följande:

• Identifiera de stora datakällorna du behöver använda.

• Karta de stora datatyperna till dina datatyper för arbetsflöden.

• Se till att du har bearbetningshastighet och lagringsåtkomst för att stödja ditt arbetsflöde.

• Välj datalagret som passar bäst för datatyperna.

• Ändra det befintliga arbetsflödet för att rymma stora data eller skapa nytt stort arbetsflöde.

När du har stora arbetsflöden, kommer det att vara nödvändigt att finjustera dessa så att de inte kommer att överväldiga eller förorena din analys.Till exempel innehåller många stora datakällor inte väldefinierade datadefinitioner och metadata om elementen i dessa källor. Ibland har dessa datakällor inte städats. Du måste se till att du har rätt kunskap om vilka källor du ska använda.