Innehållsförteckning:
Video: Hadoop bringer data – SAS bringer resten (1of4) 2024
I början var stora data och R inte naturliga vänner. R programmering kräver att alla objekt laddas i huvudminnet på en enda maskin. Begränsningarna av denna arkitektur realiseras snabbt när stora data blir en del av ekvationen.
Däremot saknar distribuerade filsystem som Hadoop starka statistiska tekniker men är idealiska för att skala komplexa operationer och uppgifter. Vertikal skalningslösningar - som kräver investering i dyrbar maskinvara för superdatorer - kan ofta inte konkurrera med det kostnadsvärdesavkastning som erbjuds av distribuerade råvarukluster.
För att överensstämma med gränsvärdena för R-språket i minnet, måste datavetenskapare begränsa analysen till endast en delmängd av tillgängliga provdata. Före en djupare integration med Hadoop erbjöd R språkprogrammerare en utjämningsstrategi för att övervinna de utmaningar i minnet som stora dataset ställer på enskilda maskiner.
Detta uppnåddes med hjälp av meddelandeöverföringssystem och personsökning. Denna teknik kan underlätta arbetet över dataset för stora för att lagra i huvudminnet samtidigt; Men den låga programmeringsmetoden presenterar en brant inlärningskurva för dem som inte känner till parallella programmeringsparadigmer.
Alternativa metoder försöker integrera R: s statistiska kapacitet med Hadops distribuerade kluster på två sätt: gränssnitt med SQL-fråge språk och integration med Hadoop Streaming. Med förstnämnda är målet att utnyttja befintliga SQL-datalagringsplattformar som Hive and Pig. Dessa scheman förenklar Hadops jobbprogrammering med hjälp av SQL-stilutlåtanden för att tillhandahålla högnivåprogrammering för att utföra statistiska jobb över Hadoop-data.
För programmerare som vill programmera MapReduce-jobb på språk (inklusive R) annat än Java, är ett andra alternativ att använda Hadops Streaming API. User-submitted MapReduce-jobb genomgår datatransformationer med hjälp av UNIX-standardströmmar och serialisering, vilket garanterar Java-kompatibel inmatning till Hadoop - oavsett vilket språk som ursprungligen inmatats av programmeraren.
Utvecklare fortsätter att utforska olika strategier för att utnyttja MapReduces distribuerade beräkningsförmåga och HDFS nästan obegränsade lagringskapacitet på sätt som kan utnyttjas av R.
Integration av Hadoop med R pågår, med erbjudanden från IBM (Big R som en del av BigInsights) och Revolution Analytics (Revolution R Enterprise). Överbryggningslösningar som integrerar högnivåprogrammering och frågande språk med Hadoop, som RHive och RHadoop, är också tillgängliga.
Varje system syftar till att leverera R-språkets djupa analytiska förmåga till mycket större datamängder.
RHive
RHive-ramverket fungerar som en bro mellan R-språk och Hive. RHive levererar de rika statistiska biblioteken och algoritmerna till R till data som lagrats i Hadoop genom att utvidga Hives SQL-liknande fråge språk (HiveQL) med R-specifika funktioner. Genom RHive-funktionerna kan du använda HiveQL för att tillämpa R statistiska modeller på data i ditt Hadoop-kluster som du har katalogiserat med Hive.
RHadoop
En annan öppen källkod för R-programmerare är RHadoop, en samling paket som är avsedda att hjälpa till att hantera distribution och analys av data med Hadoop. Tre paket med anmärkning - rmr2, rhdfs och rhbase - ger det mesta av RHadops funktionalitet:
-
rmr2: Rmr2-paketet stödjer översättning av R-språket till Hadoop-kompatibla MapReduce-jobb (producerar effektiv, lågnivå MapReduce-kod från högre R-kod).
-
rhdfs: Rhdfs-paketet innehåller ett R-språk API för filhantering över HDFS-butiker. Använda rhdfs kan användarna läsa från HDFS-butiker till en R-dataram (matris) och skriva även data från dessa R-matriser tillbaka till HDFS-lagring.
-
rhbase: rhbase-paket ger också ett R-språk API, men deras mål i livet är att hantera databashantering för HBase-butiker, snarare än HDFS-filer.
Revolution R
Revolution R (genom Revolution Analytics) är ett kommersiellt R-erbjudande med stöd för R-integration på Hadoop distribuerade system. Revolution R lovar att leverera förbättrad prestanda, funktionalitet och användbarhet för R på Hadoop. För att ge djup analytik som är relaterat till R, använder Revolution R användningen av bolagets ScaleR-bibliotek - en samling statistiska analysalgoritmer som utvecklats specifikt för storskaliga datasamlingar i företagsskala.
ScaleR har som mål att leverera snabbprogram för R-programkod på Hadoop-kluster, så att R-utvecklaren kan fokusera exklusivt på sina statistiska algoritmer och inte på MapReduce. Dessutom hanterar den många analytiska uppgifter, såsom databehandling, visualisering och statistiska test.
IBM BigInsights Big R
Big R erbjuder end-to-end integration mellan R och IBMs Hadoop-erbjudande, BigInsights, vilket möjliggör för R-utvecklare att analysera Hadoop-data. Syftet är att utnyttja R: s programmeringssyntax och kodningsparadigmer, samtidigt som man säkerställer att data som drivs vid vistelser i HDFS. R datatyper fungerar som proxies till dessa datalager, vilket innebär att R-utvecklare inte behöver tänka på MapReduce-konstruktioner på låg nivå eller på några Hadoop-specifika skriptspråk (som Pig).
BigInsights Big R-tekniken stöder flera datakällor - inklusive plattformar, HBase och Hive-lagringsformat - samtidigt som man tillhandahåller parallellt och partitionerat utförande av R-kod över Hadoop-klustret. Det döljer många av komplexiteten i de underliggande HDFS- och MapReduce-ramarna, vilket gör att Big R-funktionerna kan utföra omfattande dataanalys - både på strukturerad och ostrukturerad data.
Slutligen gör skalbarheten hos Big Rs statistiska motor R-utvecklare att använda sig av både fördefinierade statistiska tekniker, såväl som författarens nya algoritmer själva.
