Olika tillvägagångssätt för stor dataanalys - dummies

I många fall kommer stor dataanalys att representeras för slutanvändaren genom rapporter och visualiseringar. Eftersom de råa data kan vara oföränderligt varierade måste du lita på analysverktyg och tekniker för att hjälpa till att presentera data på meningsfulla sätt.

Nya applikationer kommer att bli tillgängliga och faller i stor utsträckning i två kategorier: anpassad eller semi-anpassad.

Anpassade applikationer för stor dataanalys

Generellt skapas en anpassad applikation för ett visst syfte eller en relaterad uppsättning ändamål. För stor dataanalys är syftet med anpassad applikationsutveckling att påskynda tiden till beslut eller handling.

R-miljön

Miljön "R" är baserad på "S" -statistiken och analysspråket som utvecklades på 1990-talet av Bell Laboratories. Den underhålls av GNU-projektet och finns tillgänglig under GNU-licensen.

Med djup och flexibilitet är det utmanande att fullt ut förstå det ett övertygande val för analytikapplikationsutvecklare och "strömanvändare". "Dessutom upprätthåller CRAN R-projektet en världsomspännande uppsättning filöverföringsprotokoll och webbservrar med de mest aktuella versionerna av R-miljön. En kommersiellt stödd företagsversion av R är också tillgänglig från Revolution Analytics.

Mer specifikt är R en integrerad serie med programvaruverktyg och tekniker som är utformade för att skapa anpassade applikationer som används för att underlätta datamanipulation, beräkning, analys och visuell visning. Bland andra avancerade funktioner stöder den

• Effektiva datahantering och manipuleringskomponenter.

• Operatörer för beräkningar på arrays och andra typer av beställda data.

• Verktyg som är specifika för en mängd olika dataanalyser.

• Avancerade visualiseringsfunktioner.

• S programmeringsspråk utformat av programmerare, för programmerare med många välkända konstruktioner, inklusive villkor, loopar, användardefinierade rekursiva funktioner och ett brett utbud av inmatnings- och utgångsfunktioner.

R är väl lämpad för engångsbruk, anpassade applikationer för analys av stora datakällor.

API för Google Prediction

Google Prediction API är ett exempel på en ny klass av stora datalysverktyg. Den är tillgänglig på webbplatsen för Google-utvecklare och är väl dokumenterad och försedd med flera mekanismer för åtkomst med olika programmeringsspråk. För att hjälpa dig att komma igång är det ledigt i sex månader.

Prediction API är ganska enkelt. Det letar efter mönster och matchar dem med välgörande, föreskrivande eller andra befintliga mönster.Samtidigt som man utför mönstermatchningen lär den sig också. "Ju mer du använder det, desto smartare blir det.

Prediction implementeras som ett RESTful API med språkstöd för. NET, Java, PHP, JavaScript, Python, Ruby och många andra. Google tillhandahåller även skript för åtkomst till API samt ett klientbibliotek för R.

Prediktiv analys är en av de största möjliga möjligheterna till stora data, och API-verktyget för Google Prediction är ett mycket användbart verktyg för att skapa anpassade program.

Semi-anpassade applikationer för stor data-analys

I själva verket skapas det som många människor uppfattar som anpassade applikationer med hjälp av "förpackade" eller tredje parts komponenter som bibliotek. Det är inte alltid nödvändigt att helt koda en ny applikation. Använda förpackade applikationer eller komponenter kräver att utvecklare eller analytiker skriver kod för att "sticka ihop" dessa komponenter i en arbetsanpassad applikation. Följande är anledningar till varför detta är ett bra tillvägagångssätt:

• Hastighet för utplacering: Eftersom du inte behöver skriva alla delar av ansökan kan utvecklingenstiden minskas kraftigt.

• Stabilitet: Använda väl konstruerade, pålitliga komponenter från tredje part kan hjälpa till att göra den anpassade applikationen mer eftersläpande.

• Bättre kvalitet: Förpackade komponenter är ofta föremål för högre kvalitetsstandarder eftersom de distribueras i en mängd olika miljöer och domäner.

• Mer flexibilitet: Om en bättre komponent följer med kan den bytas in i applikationen, förlänga livslängden, anpassningsförmågan och användbarheten av den anpassade applikationen.

En annan typ av semi-anpassad applikation är en där källkoden är tillgänglig och ändras för ett visst syfte. Detta kan vara ett effektivt tillvägagångssätt eftersom det finns ett antal exempel på applikationsbyggnadsblock som finns att tillgå i din semi-anpassade applikation:

• TA-Lib: Biblioteket för teknisk analys används i stor utsträckning av programutvecklare som behöver utföra teknisk analys av finansmarknadsdata. Den är tillgänglig som öppen källkod under BSD-licensen, så att den kan integreras i semi-anpassade applikationer.

• JUNG: Java Universal Network Graph Framework är ett bibliotek som tillhandahåller en gemensam ram för analys och visualisering av data som kan representeras av en graf eller ett nätverk. Det är användbart för social nätverksanalys, viktighetsåtgärder och datautvinning. Den är tillgänglig som öppen källkod under BSD-licensen.

• GeoTools: En geospatial verktygslåda med öppen källkod för att manipulera GIS-data i många former, analysera rumsliga och icke-rumsliga attribut eller GIS-data och skapa graf och nätverk av data. Den är tillgänglig under GPL2-licensen, vilket möjliggör integration i semi-anpassade applikationer.