Hem Personliga finanser Begränsningarna för provtagning i Hadoop

Begränsningarna för provtagning i Hadoop

Video: Total retropubisk prostatektomi - kort version 2025

Video: Total retropubisk prostatektomi - kort version 2025
Anonim

Statistisk analys är långt ifrån att vara ett nytt barn i kvarteret, och det är säkert gamla nyheter att det beror på att man hanterar stora mängder data för att få ny insikt. Mängden data som traditionellt bearbetas av dessa system var emellertid inom intervallet mellan 10 och 100 (eller hundratals) gigabyte - inte terabyte- eller petabyteområdena som ses idag, med andra ord.

Och det krävde ofta en dyr symmetrisk multi-bearbetning (SMP) maskin med så mycket minne som möjligt för att hålla data som analyseras. Det beror på att många av de algoritmer som användes av de analytiska metoderna var ganska "beräkna intensiva" och utformades för att köra i minnet - eftersom de kräver flera, och ofta frekventa, passerar igenom data.

Människor försökte göra analysen av arbetsbelastningen lite mer rimlig genom att analysera enbart en sampling av data, med tanke på dyra hårdvara och ett ganska stort engagemang när det gäller tid och RAM. Tanken var att hålla bergen på databerättelser säkert stashed i datalager, bara att flytta en statistiskt signifikant sampling av data från sina förråd till en statistisk motor.

Medan provtagning är en bra ide i teorin är det i praktiken ofta en opålitlig taktik. Att hitta en statistiskt signifikant provtagning kan vara utmanande för glesa och / eller skevda dataset, vilket är ganska vanligt. Detta leder till dåligt bedömda provtagningar, som kan introducera avvikande och avvikande datapunkter, och kan i sin tur förspänna resultaten av din analys.

Begränsningarna för provtagning i Hadoop

Redaktörens val

Hur man stöder andra klagomålare - dummies

Hur man stöder andra klagomålare - dummies

Du kan använda din inflytande lista för att göra godkännanden som är en handling Klout beskriver att ge + K. En del av ditt Klout-poäng kommer från antalet anmärkningar du får från andra. Klout lägger en gräns på 10 på antalet anmärkningar som man kan ge varje dag för att behålla ...

Hur man finjusterar dina sociala medier Metrics Goals - dummies

Hur man finjusterar dina sociala medier Metrics Goals - dummies

Du kan använda försäljningstrattdata för att finjustera dina mål för sociala medier. En del av finjustering av dina mål är att hona ner dem tills de övergår från förhoppningar till milstolpar. Här är några exempel på saker som människor misstänker för mål: Vill du tjäna mer pengar. Detta är ett hopp och en dröm och ett bra ...

Hur man får e-postmeddelanden för dina klädprutor - dummies

Hur man får e-postmeddelanden för dina klädprutor - dummies

Om du brukar inte besöka Klout regelbundet, du kan skapa en e-postvarning för Perks. Det kan vara svårt att hålla reda på allt du har pågått i sociala medier världen. Detta kan hjälpa till att förenkla din sociala medierhantering. När du är berättigad till en Perk och ...

Redaktörens val

Hur man identifierar typerna av gruppspel på LSAT-dummiesna

Hur man identifierar typerna av gruppspel på LSAT-dummiesna

En väg till identifiera gruppspel på LSAT är genom att känna igen språket som fakta och regler inte använder. Även om vissa gruppspel kan också inkludera ett beställningselement, är de flesta märkbart beroende av beställningsreferenser, såsom första / sista, högre / lägre och före / efter. I stället innehåller fakta och regler formuleringar som föreslår att man matchar en ...

Hur man svarar frågor om strukturer av argumentet på LSAT-dummiesna

Hur man svarar frågor om strukturer av argumentet på LSAT-dummiesna

LSAT förväntar dig att förstå grunderna för ett bra argument. Individer som argumenterar använder en mängd olika taktik för att göra sina poäng och avväpna sina motståndare. De kan neka någonting som den andra personen säger, utmana motståndarens bevis, förklara vad de menar eller använda analogier för att illustrera sina poäng. Advokater använder dessa taktik ...

Hur man gör argument för antaganden för LSAT-dummiesna

Hur man gör argument för antaganden för LSAT-dummiesna

Gör ett argument utan att man antar minst en eller två punkter är nästan omöjliga. Om du säkerhetskopierar allt du säger kan det ta evigt, och ibland måste du ta på sig något för argumentets skull. Förutsättningar är inte nödvändigtvis dåliga, men du måste känna igen dem när de uppstår. Söka-antaganden frågor fråga ...

Redaktörens val

Med hjälp av Outlook Web App på ditt nätverk - dummies

Med hjälp av Outlook Web App på ditt nätverk - dummies

De flesta som ansluter till sina kontorsnät hemifrån behöver verkligen bara deras email. Om den enda anledningen till att du får tillgång till kontorsnätet är att få e-post, prova det här enkla, enkla verktyget: Outlook Web App, även känt som OWA. Denna Microsoft Exchange Server-funktion kan nå ditt företags e-postmeddelande från vilken dator som helst ...

Med hjälp av nätverkskort (NIC) - dummies

Med hjälp av nätverkskort (NIC) - dummies

Varje dator på ett nätverk, både klienter och servrar, kräver ett nätverkskort (eller NIC) för att komma åt nätverket. En NIC är vanligtvis ett separat adapterkort som glider in i en av serverns moderkorts expansionskort. Men de flesta nyare datorer har NIC inbyggt i moderkortet, så ett separat kort ...

Virtualisering Mini-Glossary - dummies

Virtualisering Mini-Glossary - dummies

För att hjälpa dig att få en bättre förståelse och utöka din kunskap om virtualisering, lära känna dessa användbara termer och hur de gäller virtualisering och dess process: Bare metall: Virtualiserade servrar där virtualiseringsprogrammet installeras direkt på maskinen istället för på ett operativsystem. Eftersom det installeras på maskinen, ...