Hur man använder datastreaming för stora data - dummies

Ibland när företag närmar sig stora data står företagen inför stora mängder data och en liten uppfattning om vart man ska gå nästa. Ange dataströmning. När en betydande mängd data måste behandlas snabbt i nära realtid för att få insikter är data som rör sig i form av strömmande data det bästa svaret.

Vad är data som är inte i vila? Det här skulle vara system som hanterar aktiva transaktioner och behöver därför ha uthållighet. I dessa fall lagras data i en operativ datalager. I andra situationer har emellertid transaktionerna utförts, och det är dags att analysera dessa data vanligtvis i ett datalager eller data mart.

Det betyder att informationen behandlas i batch och inte i realtid. När organisationer planerar för sin framtid måste de kunna analysera mycket data, allt från information om vilka kunder som köper och varför. Det är viktigt att förstå de ledande indikatorerna för förändring. Med andra ord, hur påverkar förändringarna vilka produkter och tjänster en organisation kommer att erbjuda i framtiden?

Många forskningsorganisationer använder denna typ av stor dataanalys för att upptäcka nya läkemedel. Ett försäkringsbolag kanske vill jämföra trafikolyckor i ett brett geografiskt område med väderstatistik. I dessa fall finns det ingen fördel att hantera denna information i realtidshastighet. Det är klart att analysen måste vara snabb och praktisk. Organisationerna analyserar dessutom data för att se om nya mönster kommer fram.

Strömdata är en analytisk dataplatform som är inriktad på hastighet. Detta beror på att dessa applikationer kräver en kontinuerlig ström av ofta ostrukturerade data som ska bearbetas. Därför analyseras data kontinuerligt och transformeras i minnet innan det lagras på en disk. Bearbetning av dataströmmar fungerar genom att bearbeta "tidsfönster" av data i minnet över ett kluster av servrar.

Detta liknar tillvägagångssättet när man hanterar data vid vilopåtagande Hadoop. Den primära skillnaden är frågan om hastighet. I Hadoop-klustret samlas data i satsläge och bearbetas sedan. Hastigheten är mindre i Hadoop än vad den gör vid dataströmning. Några nyckelprinciper definierar när strömmar är mest lämpliga:

• När det är nödvändigt att bestämma en detaljhandelsköp vid engagemanget, antingen via sociala medier eller via tillståndsbaserad meddelandehantering

• Samla in information om rörelsen kring en säker sida

• För att kunna reagera på en händelse som behöver ett omedelbart svar, till exempel ett serviceavbrott eller en förändring i patientens medicinska tillstånd

• Beräkning av kostnader i realtid som är beroende av variabler som användning och tillgängliga resurser

Strömdata är användbar när analysen behöver göras i realtid medan data är i rörelse.I själva verket minskar analysens värde (och ofta data) med tiden. Om du till exempel inte kan analysera och agera omedelbart kan ett försäljningsmöjlighet gå vilse eller ett hot kan bli oupptäckt.

Nedan följer några exempel som kan hjälpa till att förklara hur det här är användbart.

En kraftverk måste vara en mycket säker miljö så att obehöriga individer inte stämmer överens med leverans av kraft till kunder. Företag placerar ofta sensorer runt omkretsens omkrets för att upptäcka rörelse. Men ett problem kan existera. En stor skillnad finns mellan en kanin som scurries runt på platsen och en bil som körs snabbt och medvetet. Därför behöver den stora mängden data som kommer från dessa sensorer analyseras i realtid så att ett larm endast ljuder när ett verkligt hot föreligger.

Ett teleselskap på en konkurrensutsatt marknad vill se till att avbrott övervakas noggrant så att en upptäckt nedgång i servicenivåer kan eskaleras till lämplig grupp. Kommunikationssystem genererar stora datamängder som måste analyseras i realtid för att vidta lämpliga åtgärder. En försening att upptäcka ett fel kan på allvar drabba kundnöjdheten.

Det är självklart att företag hanterar mycket data som behöver bearbetas och analyseras i realtid. Därför är den fysiska miljön som stöder denna nivå av responsivitet kritisk. Streaming datormiljöer kräver vanligtvis en grupperad hårdvarulösning, och ibland krävs en massivt parallell bearbetningsmetod för att hantera analysen.

En viktig faktor för strömningsdataanalys är att det är en enkelsegmentanalys. Med andra ord kan analytikern inte omanalysera data efter att den har blivit strömad. Detta är vanligt i applikationer där du letar efter frånvaro av data.

Om flera pass krävs, måste data läggas i ett slags lager där ytterligare analys kan utföras. Det är till exempel ofta nödvändigt att upprätta kontext. Hur jämför denna strömmande data med historiska data? Denna korrelation kan berätta mycket om vad som har förändrats och vad den förändringen kan betyda för ditt företag.