Egenskaper för en stor dataanalysram - dummies

Även om nya uppsättningar verktyg fortsätter att vara tillgängliga för att hjälpa dig att hantera och analysera din stora datastruktur mer effektivt, kanske du inte kan få det du behöver. Dessutom kan en rad tekniker stödja stor dataanalys och krav som tillgänglighet, skalbarhet och hög prestanda. Några av dessa inkluderar stora datautrustning, kolumnar databaser, minnesdatabaser, icke-relationella databaser och massivt parallella bearbetningsmotorer.

Så, vad söker användarna när det gäller stor dataanalys? Svaret på den frågan beror på vilken typ av affärsproblem de försöker lösa. Några viktiga överväganden när du väljer en stor databas för analys av dataapplikationer är följande:

• Stöd för flera datatyper: Många organisationer införlivar eller förväntar sig att införliva alla typer av data som en del av deras stora datautbredningar, inklusive strukturerad, halvstrukturerad och ostrukturerad data.

• Hantera batchbehandling och / eller realtidsdataströmmar: Åtgärdsorientering är en analys av realtidsdataströmmar, medan beslutsorientering kan betjäras på ett tillfredsställande sätt genom satsvis bearbetning. Vissa användare kommer att kräva båda, eftersom de utvecklas till att omfatta olika analysformer.

• Använd det som redan finns i din miljö: För att få rätt sammanhang kan det vara viktigt att utnyttja befintliga data och algoritmer i den stora dataanalysramen.

• Support NoSQL och andra nyare former för åtkomst till data: Medan organisationer fortsätter att använda SQL ser många också på nyare former av datatillgång för att stödja snabbare svarstider eller snabbare tider för beslut.

• Övervinna låg latens: Om du ska hantera hög datahastighet behöver du en ram som kan stödja kraven på hastighet och prestanda.

• Ge billig lagring: Stora data betyder potentiellt mycket lagringsutrymme - beroende på hur mycket data du vill bearbeta och / eller behålla.

• Integrera med cloud-implementeringar: Molnet kan ge lagring och beräkna kapacitet på begäran. Fler och fler företag använder molnet som en analys "sandlåda. "Molnet blir alltmer en viktig implementeringsmodell för att integrera befintliga system med molnutbyggnad i en hybridmodell.

Medan alla dessa egenskaper är viktiga, är det upplevda och faktiska värdet av att skapa applikationer från ett ramverk snabbare tid för implementering.Med alla dessa möjligheter i åtanke, överväga en stor databehandlingsapplikationsram från ett företag som heter Continuity.

Kontinuiteten AppFabric är ett ramverk som stöder utvecklingen och implementeringen av stora dataprogram. AppFabric sig själv är en uppsättning tekniker som är speciellt utformade för att abstrahera vagarierna av lågt datateknik. Applikationsbyggaren är en Eclipse-plugin som gör att utvecklaren kan bygga, testa och felsöka lokalt och i kända omgivningar.

AppFabric-funktioner inkluderar följande:

• Stödstöd för realtidsanalys och reaktion

• Unified API, vilket eliminerar behovet av att skriva till stor datainfrastruktur

• Query-gränssnitt för enkla resultat och stöd för pluggbara sökprocessorer

• Dataset som representerar sökbara data och tabeller som är tillgängliga från Unified API

• Läser och skriver data oberoende av inmatnings- eller utdataformat eller underliggande komponentspecifika

• Transaktionsbaserad händelsebehandling

• Multimodal distribution till en enda nod eller molnet

Detta tillvägagångssätt kommer att få dragkraft för stor dataprogramutveckling, främst på grund av den mängd verktyg och teknik som krävs för att skapa en stor datamiljö.

Brist på samarbete kan vara dyrt på många sätt. Större organisationer kan dra nytta av verktyg som driver samarbeten. Mycket ofta är människor som gör liknande arbete omedvetna om varandras ansträngningar som leder till dubbelt arbete.

Ett annat bra exempel på en ansökningsram är OpenChorus. Förutom snabb utveckling av stora dataanalysapplikationer stöder det också samarbete och ger många andra funktioner som är viktiga för programutvecklare, som verktygsintegration, versionskontroll och konfigurationshantering.

Open Chorus är ett projekt som underhålls av EMC Corporation och är tillgängligt under Apache 2.0-licensen. EMC producerar och stöder också en kommersiell version av Chorus. Både Open Chorus och Chorus har livliga partners nätverk samt en stor uppsättning av enskilda och företagande bidragsgivare.

Open Chorus är en generisk ram. Dess ledande funktion är möjligheten att skapa ett gemensamt "nav" för delning av stora datakällor, insikter, analystekniker och visualiseringar. Open Chorus ger följande:

• Verktyg för analysverktyg, artefakter och tekniker med fullständig versionering, ändring av spårning och arkivering

• Arbetsytor och sandlådor som är självförsörjande och lätt underhållna av gemenskapens medlemmar

• Visualiseringar, inklusive värmekartor, tidsserier, histogram och så vidare

• Förbundsökning av alla data tillgångar, inklusive Hadoop, metadata, SQL-repositorier och kommentarer

• Samverkan genom sociala nätverksliknande funktioner som uppmuntrar till upptäckt, delning och brainstorming

• Extensibility för integration av komponenter och tekniker från tredje part