Stora data är inte bara en modern dagens fad - dummies

Forskare började slåss mot imponerande datamängder i flera år innan någon drog termen stora data. Vid den här tiden producerade inte Internet de stora summorna för data som den gör idag. Det är användbart att komma ihåg att stora data inte bara är en raseri skapad av mjukvaru- och hårdvaruleverantörer, men har en grund i många av följande områden:

Astronomi: Tänk på data från rymdfarkoster på ett uppdrag (t.ex. Voyager eller Galileo) och alla data som erhållits från radioteleskop, vilka är specialiserade antenner som används för att ta emot radiovågor från astronomiska kroppar. Ett vanligt exempel är projektet Search for Extraterrestrial Intelligence (SETI), som letar efter yttre signaler genom att observera radiofrekvenser som kommer från rymden. Mängden data som tas emot och datorkraften som används för att analysera en del av himlen under en enda timme är imponerande. Om utlänningar är där ute, är det mycket svårt att hitta dem. (Filmen Kontakt utforskar vad som kan hända om människor faktiskt avlyssnar en signal.)
Meteorologi: Tänk på att försöka förutse väder för en kort period med tanke på det stora antalet nödvändiga åtgärder, t.ex. temperatur, atmosfärstryck, fuktighet, vindar och nederbörd vid olika tidpunkter, platser och höjder. Väderprognoser är verkligen ett av de första problemen i stora data och ganska relevant. Enligt Weather Analytics, ett företag som tillhandahåller klimatdata, bestäms mer än 33 procent av världsomspännande bruttonationalprodukt (BNP) av hur väderförhållandena påverkar jordbruk, fiske, turism och transport, för att bara nämna några. Från och med 1950-talet användes de första superdatorerna för att krossa så mycket data som möjligt, eftersom i meteorologi desto mer data desto mer exakt var prognosen. Det är anledningen till att alla samlar mer lagrings- och bearbetningskapacitet, som du kan läsa i den här historien om den koreanska meteorologiska föreningen för väderprognoser och studier av klimatförändringar.
Fysik: Tänk på de stora mängderna data som produceras genom experiment med hjälp av partikelacceleratorer i ett försök att bestämma strukturen i materia, utrymme och tid. Till exempel producerar Large Hadron Collider, den största partikelacceleratorn någonsin, 15PB (petabytes) data varje år som ett resultat av partikelkollisioner.
Genomik: Sequencing en enda DNA-sträng, vilket innebär att bestämma den exakta ordningen för de många kombinationerna av de fyra baserna - adenin, guanin, cytosin och tymin - som utgör molekylens struktur, kräver ganska mycket av data.Exempelvis kan en enda kromosom, en struktur innehållande DNA i cellen, kräva från 50 MB till 300 MB. En människa har 46 kromosomer, och DNA-data för bara en person konsumerar en hel DVD. Tänk bara på den massiva lagring som krävs för att dokumentera DNA-data från ett stort antal människor eller att sekvensera andra livsformer på jorden.
Oceanografi: På grund av de många sensorerna i oceanerna för att mäta temperatur, strömmar och med hjälp av hydrofoner, ljud för akustisk övervakning för vetenskapliga ändamål (upptäcka fisk, valar och plankton) och militära försvar (hitta snygga ubåtar från andra länder). Du kan få en snygg titt på detta gamla övervakningsproblem, som blir mer komplext och digitalt.
Satelliter: Spela in bilder från hela världen och skicka dem tillbaka till jorden för att övervaka jordens yta och dess atmosfär är inte ett nytt företag (TIROS 1, den första satelliten för att skicka bilder och data, går tillbaka till 1960). Under åren har världen dock lanserat mer än 1 400 aktiva satelliter som ger jordobservation. Mängden data som kommer fram på jorden är förvånande och tjänar både militära (övervakning) och civila ändamål, såsom spårning av ekonomisk utveckling, övervakning av jordbruket och övervakning av förändringar och risker. En enda europeisk rymdorganisationens satellit, Sentinel 1A, genererar 5PB data under två års drift.

Med dessa äldre datatrender genereras eller transporteras nya datamängder nu av Internet, skapar nya problem och kräver lösningar när det gäller både datalagring och algoritmer för bearbetning:

As rapporterade av National Security Agency (NSA) uppgick informationen som flyter via Internet varje dag från hela världen till 1, 826PB data 2013, och 1,6 procent av det bestod av e-post och telefonsamtal. För att säkerställa nationell säkerhet måste NSA verifiera innehållet på minst 0. 025 procent av alla e-postmeddelanden och telefonsamtal (letar efter nyckelord som kan signalera något som en terroristplot). Det uppgår fortfarande till 25PB per år, vilket motsvarar 37, 500 cd-skivor varje år av data som lagras och analyseras (och det växer). Du kan läsa hela berättelsen.
Things of Things (IoT) blir en verklighet. Du kanske har hört termen många gånger under de senaste 15 åren, men nu kommer tillväxten av saker som är kopplade till Internet att explodera. Tanken är att sätta sensorer och sändare på allt och använda data för att både bättre styra vad som händer i världen och göra föremål smartare. Sändningsanordningar blir tunnare, billigare och mindre energikrävande. vissa är redan så små att de kan sättas överallt. (Titta bara på den antimediatradio som utvecklats av Stanford-ingenjörer.) Experter uppskattar att det i 2020 kommer att finnas sex gånger så många sammanhängande saker på jorden som det kommer att finnas människor, men många forskningsföretag och tanktankar återfår redan dessa siffror.