Robust statistik och stor data - dummies

En statistik sägs vara robust om den inte påverkas starkt av närvaron av utjämnare. Till exempel är medelvärdet inte robust eftersom det kan påverkas starkt av närvaron av outliers. Å andra sidan är medianen robust - den påverkas inte av outliers.

Antag exempelvis att följande data representerar ett urval av hushållsinkomster i en liten stad (mätt i tusentals dollar per år):

32, 47, 20, 25, 56

Du beräknar provmedelvärdet som summan av de fem observationerna dividerad med fem:

Provvärdet är 36 000 USD per år. De flesta hushållen i urvalet ligger mycket nära detta värde.

Antag istället att provet består av följande värden:

Med outlier är provmedlet nu enligt följande:

Denna åtgärd är inte representativ för de flesta hushållen i staden. Sålunda äventyras medelvärdet av medelvärdet i närvaro av utjämnare.

Du beräknar medianen av provet genom att sortera data från lägsta till högsta och sedan hitta det värde som delar provet i hälften. Med andra ord är hälften av observationerna under medianen, och hälften är över.

Det första provet:

32, 47, 20, 25, 56

Det sorterade provet:

20, 25, 32, 47, 56

I detta fall är medianen 32 för att hälften av de återstående observationerna är under 32 och hälften är över den.

Det andra provet:

32, 47, 20, 25, 376

Det sorterade provet:

20, 25, 32, 47, 376

Trots närvaron av utlöparen av 376, Medianen är fortfarande 32. Den har inte påverkats av outlier. Detta visar att i motsats till medelvärdet är medianen

robust

med avseende på outliers. Andra exempel på robust statistik inkluderar median, absolut avvikelse och interkvartilintervallet.