Strukturerad data i en stor datamiljö - dummies

Termen strukturerad data refererar vanligen till data som har en definierad längd och ett format för stora data. Exempel på strukturerad data inkluderar nummer, datum och grupper av ord och nummer som heter strängar . De flesta experter är överens om att denna typ av data står för cirka 20 procent av de data som finns där ute. Strukturerad data är de data som du brukar använda för att hantera. Den lagras vanligtvis i en databas.

Källor av strukturerad stor data

Även om det här verkar som om det är som vanligt, tar strukturerad data i själva verket en ny roll i världen av stora data. Utvecklingen av teknik ger nyare källor till strukturerad data som produceras - ofta i realtid och i stora volymer. Datakällorna är indelade i två kategorier:

• Dator- eller maskingenererad: Maskingenererad data refererar i allmänhet till data som skapas av en maskin utan mänsklig inblandning.

• Mänsklig genererad: Detta är data som människor, i interaktion med datorer, levererar.

Vissa experter hävdar att det finns en tredje kategori som är en hybrid mellan maskin och människa. Här är vi dock oroade över de två första kategorierna.

Maskingenererade strukturerade data kan innehålla följande:

• Sensordata: Exempel är radiofrekvens-ID-taggar, smarta mätare, medicintekniska enheter och Global Positioning System-data. Företagen är intresserade av detta för supply chain management och inventory control.

• webbloggdata: När servrar, applikationer, nätverk etc. fungerar, tar de alla typer av data om sin verksamhet. Detta kan utgöra enorma datamängder som kan vara användbara, till exempel för att hantera servicenivåavtal eller för att förutsäga säkerhetsbrott.

• Försäljningsdata: När kassan sveper streckkoden för en produkt som du köper genereras all den information som är kopplad till produkten.

• Finansiella data: Massor av finansiella system är nu programmatiska; De drivs baserat på fördefinierade regler som automatiserar processer. Aktiehandelns data är ett bra exempel på detta. Den innehåller strukturerad data som företagssymbolen och dollarvärdet. Några av dessa data är maskingenererade, och vissa är mänskliga genererade.

Exempel på strukturerad mänsklig genererad data kan innehålla följande:

• Inmatningsdata: Det här är en del data som en människa kan ingå i en dator, t.ex. namn, ålder, inkomst, icke-fri -forma enkäter svar, och så vidare. Dessa data kan vara användbara för att förstå grundläggande kundbeteende.

• Clickstream-data: Data genereras varje gång du klickar på en länk på en webbplats. Dessa data kan analyseras för att bestämma kundbeteende och köpmönster.

• Spelrelaterade data: Varje rörelse du gör i ett spel kan spelas in. Detta kan vara användbart för att förstå hur slutanvändarna går igenom en spelportfölj.

När tillsammans med miljontals andra användare som lämnar samma information är storleken astronomisk. Dessutom har mycket av dessa data en realtidskomponent till den som kan vara användbar för att förstå mönster som har potential att förutsäga resultat.

Slutsatsen är att denna typ av information kan vara kraftfull och kan användas för många ändamål.

Relativdatabasernas roll i stora data

Uppgifter om persistens avser hur en databas behåller versioner av sig själv när den ändras. Den stora farfaren till persistenta datalager är relationsdatabashanteringssystemet . I sin spädbarn använde datorindustrin vad som nu anses vara primitiva tekniker för persistens av data.

Relationsmodellen uppfanns av Edgar Codd, en IBM-forskare, på 1970-talet och användes av IBM, Oracle, Microsoft och andra. Det är fortfarande i stor användning idag och spelar en viktig roll i utvecklingen av stora data. Förstå relationsdatabasen är viktig eftersom andra typer av databaser används med stora data.

I en relationsmodell lagras data i en tabell. Den här databasen innehåller ett schema - det vill säga en strukturell representation av vad som finns i databasen. I en relationsdatabas definierar schemat exempelvis tabellerna, fälten i tabellerna och förhållandet mellan de två.

Data lagras i kolumner, en vardera för varje specifikt attribut. Data lagras också i raden. Den första tabellen lagrar produktinformation; den andra lagrar demografisk information. Var och en har olika attribut. Varje tabell kan uppdateras med ny data, och data kan raderas, läsas och uppdateras. Detta uppnås ofta i en relationsmodell med hjälp av ett strukturerat fråge språk (SQL).

En annan aspekt av relationsmodellen med SQL är att tabeller kan frågas med en gemensam nyckel. Den gemensamma nyckeln i tabellerna är CustomerID.

Du kan till exempel ange en fråga, för att bestämma könet hos kunder som köpte en viss produkt. Det kan se ut så här:

Välj CustomerID, Stat, Kön, Produkt från "Demografisk tabell", "Produkttabell" där Produkt = XXYY