Begränsningarna för provtagning i Hadoop

Statistisk analys är långt ifrån att vara ett nytt barn i kvarteret, och det är säkert gamla nyheter att det beror på att man hanterar stora mängder data för att få ny insikt. Mängden data som traditionellt bearbetas av dessa system var emellertid inom intervallet mellan 10 och 100 (eller hundratals) gigabyte - inte terabyte- eller petabyteområdena som ses idag, med andra ord.

Och det krävde ofta en dyr symmetrisk multi-bearbetning (SMP) maskin med så mycket minne som möjligt för att hålla data som analyseras. Det beror på att många av de algoritmer som användes av de analytiska metoderna var ganska "beräkna intensiva" och utformades för att köra i minnet - eftersom de kräver flera, och ofta frekventa, passerar igenom data.

Människor försökte göra analysen av arbetsbelastningen lite mer rimlig genom att analysera enbart en sampling av data, med tanke på dyra hårdvara och ett ganska stort engagemang när det gäller tid och RAM. Tanken var att hålla bergen på databerättelser säkert stashed i datalager, bara att flytta en statistiskt signifikant sampling av data från sina förråd till en statistisk motor.

Medan provtagning är en bra ide i teorin är det i praktiken ofta en opålitlig taktik. Att hitta en statistiskt signifikant provtagning kan vara utmanande för glesa och / eller skevda dataset, vilket är ganska vanligt. Detta leder till dåligt bedömda provtagningar, som kan introducera avvikande och avvikande datapunkter, och kan i sin tur förspänna resultaten av din analys.