Tekniska analysmetoder (EDA) - dummies

EDA baseras kraftigt på grafiska tekniker. Du kan använda grafiska tekniker för att identifiera de viktigaste egenskaperna hos en dataset. Här är några av de mer använda grafiska teknikerna:

• Boxplots

• Histograms

• Normala sannolikhetsgrader

• Scatter plots

Box plots

Du använder rutor för att visa några av de viktigaste funktioner i en dataset, till exempel följande:

• Minsta värde

• Högsta värde

• Quartiles

Quartiles separerar en dataset i fyra lika delar. Den första kvartilen (Q ₁ ) är ett värde så att följande är sant:

25 procent av observationerna i en dataset är mindre än det första kvartilet.

75 procent av observationerna är större än den första kvartilen.

Den andra kvartilen (Q ₂ ) är ett värde så att

50 procent av observationerna i en dataset är mindre än den andra kvartilen.

50 procent av observationerna är större än den andra kvartilen.

Den andra kvartilen är också känd som medianen.

Den tredje kvartilen (Q ₃ ) är ett värde så att

75 procent av observationerna i en dataset är mindre än det tredje kvartilet.

25 procent av observationerna är större än det tredje kvartilet.

Du kan också använda rutrutor för att identifiera outliers. Dessa är värden som skiljer sig väsentligt från resten av datasetet. Outliers kan orsaka problem för traditionella statistiska test, så det är viktigt att identifiera dem innan någon typ av statistisk analys utförs.

Histogram

Du använder histogram för att få inblick i sannolikhetsfördelningen som en dataset följer. Med ett histogram är datasetet organiserat i en serie av individuella värden eller värden, varje representerad av en vertikal streck. Höjden på stapeln visar hur ofta ett värde eller värdeintervall inträffar. Med ett histogram är det enkelt att se hur data distribueras.

Scatter plots

En scatterplot är en serie punkter som visar hur två variabler är relaterade till varandra. En slumpmässig spridning av poäng indikerar att de två variablerna inte är relaterade eller att förhållandet mellan dem är mycket svagt. Om punkterna liknar en rak linje, indikerar detta att förhållandet mellan de två variablerna är approximativt linjärt.

Två variabler är linjärt relaterade om de kan beskrivas med ekvationen Y = mX + b .

X är den oberoende variabeln, och Y är den beroende variabeln. m är höjden , som representerar förändringen i Y på grund av en given ändring i X . b är avsnitten, som visar värdet på Y när X är lika med noll. Figuren visar ett spridningsdiagram mellan två variabler där förhållandet verkar vara linjärt.

Spridningsdiagram av ett linjärt förhållande.

Punkterna på scatterplotet bildar nästan en rak linje. Det böjer lite till vänster och böjer lite till höger, men det är ungefär rakt. Detta visar att förhållandet är linjärt, med en positiv lutning.

Följande bild visar ett scatterplot mellan två variabler där

Y verkar stiga snabbare än X. Scatterplot av ett olinjärt förhållande.

Se kurvan? Detta förhållande är helt klart inte linjärt. Det är faktiskt ett kvadratiskt förhållande. Ett kvadratiskt förhållande tar formen

Y = aX 2 ⁺ b X + c . Följande bild visar ett scatterplot där det inte förefaller vara något samband mellan

X och Y . X

och Y. "width =" 535 "> Scatterplot utan relation mellan variablerna

X och Y. De variabler som visas i

är inte relaterade < eller självständigt; du kan se detta genom att det inte finns något mönster i data. Förutom att visa förhållandet mellan två variabler kan en scatterplot också visa närvaron av avvikare. Följande bild visar en dataset med en observation som skiljer sig väsentligt från de andra observationerna. Scatterplot med en outlier.

Outlier-punkten måste undersökas ytterligare för att avgöra om det är resultatet av ett fel eller andra problem. Det är möjligt att outliern måste avlägsnas från data.

Normala sannolikhetsgrader

Normala sannolikhetsgrader

används för att se hur nära elementet i en dataset följer normalfördelningen. vanligt i många discipliner. Exempelvis antas det ofta i ekonomi och ekonomi att r eturns till aktier distribueras normalt. Normalt antagandet är mycket bekvämt och många statistiska tester bygger på detta antagande.

Användning av statistiska tester som antar normalitet till en icke-normal

dataset skulle ge extremt tveksamt resultat. Därför är det viktigt att avgöra huruvida data distribueras normalt innan de utför någon av dessa statistiska tester.