Hur man säkerställer giltighet, veracity och volatilitet hos stora data - dummies

Hög volym, stor variation och hög hastighet är de väsentliga egenskaperna hos stora data. Men andra egenskaper hos stora data är lika viktiga, särskilt när du tillämpar stora data på operativa processer. Denna andra uppsättning av "V" egenskaper som är nyckeln till operativisering av stora data inkluderar

• Giltighet: Är uppgifterna korrekta och korrekta för den avsedda användningen?

• Veracity: Är resultaten meningsfulla för det givna problemutrymmet?

• Volatilitet: Hur länge behöver du lagra denna data?

Stor datavalitet

Du vill ha exakta resultat. Men i de första stadierna för att analysera dataöverföringar av data är det troligt att du inte kommer att oroa dig för hur giltigt varje dataelement är. Den första strömmen av stora data kan faktiskt vara ganska smutsig. I de första stadierna är det viktigare att se om det finns några relationer mellan element inom den här massiva datakällan än att se till att alla element är giltiga.

När en organisation bestämmer att delar av den initiala dataanalysen är viktiga måste dock denna delmängd av stora data valideras eftersom den nu kommer att tillämpas på ett operativt tillstånd. När data flyttas från exploratory till actionable, måste data valideras. Giltigheten för stora datakällor och efterföljande analyser måste vara korrekt om du ska använda resultaten för beslutsfattande.

Giltiga inmatningsdata följt av korrekt bearbetning av data borde ge noggranna resultat. Med stora data måste du vara extra vaksam med avseende på validitet. Till exempel i sjukvården kan du ha data från en klinisk prövning som kan relateras till patientens sjukdomssymptom. Men en läkare som behandlar den personen kan inte bara ta de kliniska provresultaten som utan att validera dem.

Tänk på att väder-satelliten indikerar att en storm börjar i en del av världen. Hur påverkar den stormen individer? Med ungefär en halv miljard användare är det möjligt att analysera Twitter-strömmar för att bestämma effekterna av en storm på lokala befolkningar. Därför kan användandet av Twitter i kombination med data från en väder satellit hjälpa forskare att förstå sannheten i ett väderprognos.

Stor datavolatilitet

Om du har giltiga data och kan bevisa veraciteten av resultaten, hur lång tid behöver data "lever" för att tillgodose dina behov? I en standarddatainställning kan du hålla data i årtionden eftersom du med tiden har byggt upp en förståelse av vilka data som är viktiga för vad du gör med det.Du har fastställt regler för datavaluta och tillgänglighet som kartlägger dina arbetsprocesser.

Exempelvis kan vissa organisationer bara hålla det senaste året av sina kunddata och transaktioner i sina affärssystem. Detta kommer att säkerställa snabb återhämtning av denna information när det behövs. Om de behöver titta på ett tidigare år kan IT-teamet behöva återställa data från offline-lagring för att hedra begäran. Med stora data förstoras detta problem.

Om lagringen är begränsad, kolla på de stora datakällorna för att bestämma vad du behöver samla och hur länge du behöver behålla det. Med några stora datakällor kanske du bara behöver samla in data för en snabb analys.

Du kan då lagra informationen lokalt för vidare bearbetning. Om du inte har tillräckligt med lagringsutrymme för alla dessa uppgifter, kan du bearbeta data "på flugan" och bara behålla relevanta bitar av information lokalt. Hur länge du behåller stora data tillgängliga beror på några faktorer:

• Hur mycket data sparas vid källan?

• Behöver du bearbeta data upprepade gånger?

• Behöver du bearbeta data, samla ytterligare data och göra mer behandling?

• Har du regler eller föreskrifter som kräver datalagring?

• Är dina kunder beroende av dina uppgifter för sitt arbete?

• Har data fortfarande värde eller är det inte längre relevant?

På grund av volymen, sorten och hastigheten på stora data måste du förstå volatiliteten. För vissa källor kommer uppgifterna alltid att finnas där; för andra är det inte så. Förstå vilka data som finns där och hur länge kan du definiera behållningskrav och policy för stor data.

Som en konsument hjälper stora data att definiera en bättre profil för hur och när du köper varor och tjänster. Som patient kommer stora data att bidra till att definiera ett mer anpassat tillvägagångssätt för behandlingar och hälsovård. Som en professionell kommer stora data att hjälpa dig att identifiera bättre sätt att utforma och leverera dina produkter och tjänster.

Detta kommer endast att hända när stora data integreras i företag och organisationers verksamhetsprocesser.