Titta på grunderna för statistik, maskinlärande och matematiska metoder i datavetenskap

Del av Data Science for Dummies Cheat Sheet > Om statistiken har beskrivits som vetenskapen att härleda insikter från data, vad är skillnaden mellan en statistiker och en datavetenskapare? Bra fråga! Även om många uppgifter inom datavetenskap kräver en rättvis bit av statistisk kunskap skiljer sig omfattningen och bredden av en datavetenskapares kunskap och färdighetsbas från en statistiker. Kärnkännetecknen beskrivs nedan.

Ämnesexpertise:

En av kärnfunktionerna hos datavetenskapare är att de erbjuder en sofistikerad grad av kompetens inom det område som de tillämpar sina analysmetoder på. Datavetenskapare behöver detta så att de verkligen kan förstå följderna och tillämpningarna av de datainsatser de genererar. En datavetenskapare bör ha tillräckligt med ämnesexpertise för att kunna identifiera betydelsen av sina resultat och självständigt bestämma hur man ska gå vidare i analysen.

Däremot har statistiker vanligtvis en oerhört djup kunskap om statistik, men väldigt liten kompetens inom ämnesfrågor som de tillämpar statistiska metoder på. Största delen av tiden är statistikerna skyldiga att samråda med externa ämnesexperter för att verkligen få ett fast grepp om betydelsen av sina resultat och för att kunna bestämma det bästa sättet att gå vidare i en analys.

Matematiska och maskininlärningsmetoder:
Statistiker använder sig oftast av statistiska metoder och processer när man lär sig insikter från data. Däremot krävs datavetenskapare att dra från en mängd olika tekniker för att härleda datainsikten. Dessa inkluderar statistiska metoder, men inkluderar också metoder som inte är baserade på statistik - som de som finns i matematik, gruppering, klassificering och icke-statistisk maskininlärning. Se betydelsen av statistisk know-how

Du behöver inte gå ut och få en examen i statistik för att utöva datavetenskap, men du borde åtminstone bli bekant med några av de mer grundläggande metoderna som används i statistisk data analys. Dessa inkluderar:

Linjär regression

: Linjär regression är användbar för att modellera relationerna mellan en beroende variabel och en eller flera oberoende variabler. Syftet med linjär regression är att upptäcka (och kvantifiera styrkan hos) viktiga korrelationer mellan beroende och oberoende variabler. Tidsserieanalys:
Tidsserieanalys innebär analys av en samling av data om attributvärden över tiden för att förutsäga framtida förekomster av åtgärden baserat på tidigare observationsdata. Monte Carlo-simuleringar:
Monte Carlo-metoden är en simuleringsteknik som du kan använda för att testa hypoteser, generera parameteruppskattningar, förutse scenariosresultat och validera modeller. Metoden är kraftfull eftersom den kan användas för att snabbt simulera från 1 till 10 000 (eller fler) simuleringsprover för alla processer du försöker utvärdera. Statistik för rumslig data:
En grundläggande och viktig egenskap för rumsliga data är att den inte är slumpmässig. Det är rumsligt beroende och autokorrelerat. Vid modellering av rumsliga data, undvik statistiska metoder som antar dina data är slumpmässiga. Kriging och krige är två statistiska metoder som du kan använda för att modellera rumsliga data. Med dessa metoder kan du producera förutsägda ytor för hela studieområden baserat på uppsättningar kända punkter i geografiskt utrymme. Arbeta med gruppering, klassificering och maskininlärningsmetoder

Maskininlärning är tillämpningen av beräkningsalgoritmer för att lära av (eller härleda mönster i) råa dataset.

Clustering är en särskild typ av maskininlärning - utan uppgift maskininlärning, för att vara exakt, vilket innebär att algoritmerna måste lära av oärkta data och som sådana måste de använda inferentiella metoder för att upptäcka korrelationer. Klassificering

å andra sidan kallas övervakad maskininlärning, vilket betyder att algoritmerna lär sig från märkta data. Följande beskrivningar introducerar några av de mer grundläggande klustrings- och klassificeringsmetoderna: k-means clustering:

Du brukar använda k-medelalgoritmer för att dela upp datapunkter i en dataset i kluster baserat på närmaste medelvärden. För att bestämma den optimala uppdelningen av dina datapunkter i kluster, så att avståndet mellan punkter i varje kluster minimeras, kan du använda k-means clustering. Närmaste grannalgoritmer:
Syftet med en närmaste granneanalys är att söka efter och lokalisera antingen en närmaste punkt i rymden eller närmaste numeriska värde beroende på vilket attribut du använder som jämförelsegrunnlag. Beräkning av kärnämnesdensitet:
Ett alternativt sätt att identifiera kluster i dina data är att använda en densitetsutjämningsfunktion. Känslighetsberäkning (KDE) fungerar genom att placera en kärna en viktningsfunktion som är användbar för att kvantifiera densitet - på varje datapunkt i datasatsen och sedan summera kärnorna för att generera en kärntäthetsberäkning för det totala område. Håll matematiska metoder i mixen

Det sägs mycket om värdet av statistiken i dataskyddsutövningen, men tillämpade matematiska metoder nämns sällan. För att vara uppriktig är matematiken grunden för alla kvantitativa analyser. Dess betydelse bör inte understrykas. De två följande matematiska metoderna är särskilt användbara i datavetenskap.

MCDM: MCDM är ett matematiskt beslutsmodelleringssystem som du kan använda när du har flera kriterier eller alternativ som du samtidigt måste utvärdera när du fattar ett beslut.

Markov-kedjor : En Markov-kedja är en matematisk metod som kombinerar en serie slumpmässigt genererade variabler som representerar nuvarande tillstånd för att modellera hur förändringar i nuvarande tillståndsvariabler påverkar framtida tillstånd.