Skrapning, insamling och hantering av datavetenskapsverktyg - dummies

Om du behöver data för att stödja en företagsanalys eller en kommande journalistik, kan webbskrapning hjälpa dig att spåra intressanta och unika datakällor. I webbskrapning konfigurerar du automatiserade program och låter dem skura webben för de data du behöver. Här är gratis verktyg som du kan använda för att skrapa data eller bilder, inklusive import. io, ImageQuilts och DataWrangler.

Skrapdata med import. io

Har du någonsin försökt att kopiera och klistra in ett bord från webben till ett Microsoft Office-dokument och sedan inte lyckats få kolumnerna att ordna sig rätt? Fräckande, eller hur? Det här är exakt smärtan som importeras. Io var utformad för att ta itu med.

import. io-uttalad "import-eye-oh" - är ett gratis skrivbordsprogram som du kan använda för att smärtfritt kopiera, klistra in, rengöra och formatera vilken del av en webbsida som helst med några få musklick. Du kan även använda importen. för att automatiskt krypa och extrahera data från flersidiga listor.

Använda import. Io kan du skrapa data från en enkel eller komplicerad serie webbsidor:

• Enkelt: Öppna webbsidorna genom enkla hyperlänkar som visas på sidan 1, sidan 2, s. 3.

• Komplicerat: > Fyll i ett formulär eller välj från en rullgardinslista och skicka in din skrapförfrågan till verktyget. import. IOs mest imponerande funktion är dess förmåga att observera dina musklick för att lära dig vad du vill, och sedan erbjuda dig sätt att det automatiskt kan slutföra dina uppgifter för dig. Även om importen. jag lär mig och föreslår uppgifter, det handlar inte om åtgärderna förrän du har markerat förslaget som korrekt. Följaktligen minskar dessa humanförhöjda interaktioner risken för att maskinen kommer att dra en felaktig slutsats på grund av över gissning.

Samla bilder med ImageQuilts

ImageQuilts är en Chrome-förlängning som delvis utvecklats av den legendariska Edward Tufte, en av de första stora pionjärerna inom datavisualisering - han populariserade användningen av data-till- bläckförhållande för att bedöma effektiviteten av diagram.

Uppgiften ImageQuilts utför är bedrägligt enkel att beskriva men mycket komplex att implementera. ImageQuilts gör collages av tiotals bilder och delar dem alla tillsammans i ett "quilt" som består av flera rader med samma höjd. Denna uppgift kan vara komplex eftersom källbilderna nästan aldrig är lika stora. ImageQuilts skrapar och ändrar bilderna innan de sätts ihop i en utmatningsbild.

Den visade bildduken härleddes från en Google-sökning med etikett för återanvändning av termen

data science . ImageQuilts tillåter dig även att välja bildordning eller att randomisera dem. Du kan använda verktyget för att dra och släppa någon bild till vilken plats som helst, ta bort en bild, zooma alla bilder samtidigt eller zooma varje bild individuellt.

Du kan även använda verktyget för att dölja mellan bildfärger - från färg till gråskala eller inverterad färg (vilket är praktiskt för att skapa kontaktblad med negativ, om du är en av de sällsynta personer som fortfarande behandlar analog fotografi).

Wrangling data med DataWrangler

DataWrangler är ett onlineverktyg som stöds av University of Washington Interactive Data Lab (då DataWrangler utvecklades, kallades denna grupp för Stanford Visualization Group). Samma grupp utvecklade Lyra, en interaktiv datavisualiseringsmiljö som du kan använda för att skapa komplexa visualiseringar utan programmeringserfarenhet.

Om ditt mål är att

sculpt ditt dataset - eller städa upp saker genom att flytta saker som en skulptör skulle (dela den här delen i två, skära av den och flytta den där borta, tryck ner den här så att allt under det blir skiftat till höger, och så vidare) - DataWrangler är verktyget för dig. Du kan göra manipuleringar med DataWrangler liknande det du kan göra i Excel med Visual Basic. Du kan till exempel använda DataWrangler eller Excel med Visual Basic för att kopiera, klistra in och formatera information från listor på Internet.

DataWrangler föreslår även åtgärder baserade på ditt dataset och kan repetera komplexa åtgärder över hela dataset - åtgärder som att eliminera hoppade rader, dela upp data från en kolumn till två eller ändra en rubrik i kolumndata. DataWrangler kan också visa var din dataset saknar data.

Saknade data kan indikera ett formateringsfel som behöver rengöras.