Hem Personliga finanser Image Klassificering med Hadoop-dummies

Image Klassificering med Hadoop-dummies

Video: Grundämnen och kemiska föreningar. Rena ämnen och blandningar 2025

Video: Grundämnen och kemiska föreningar. Rena ämnen och blandningar 2025
Anonim

Bildklassificering kräver En betydande mängd databehandlingsresurser, som dock har begränsat omfattningen av implementeringar. Bildklassificering är ett hett ämne i Hadoop-världen eftersom ingen traditionell teknik kunde - tills Hadoop kom med - öppna dörrar för den här typen av dyr bearbetning i så stor och effektiv skala.

Bildklassificering börjar med att du bygger en träningsuppsättning och att datorer lär sig att identifiera och klassificera vad de tittar på. På samma sätt som att ha mer data bidrar till att bygga bättre bedrägeri upptäckt och riskmodeller, det hjälper också system att bättre klassificera bilder.

I detta användningsfall kallas data som träningsuppsättning samt modellerna klassificerare. Klassificeringar känner igen funktioner eller mönster inom ljud, bild eller video och klassificera dem på lämpligt sätt. Klassificerare är byggda och iterativt raffinerade från träningssatser så att deras precisionsresultat (ett mått på exakthet) och återkallningsresultat (ett mått på täckning) är höga.

Hadoop passar utmärkt för bildklassificering eftersom det ger en massivt parallell bearbetningsmiljö för att inte bara skapa klassificeringsmodeller (iterera över träningsuppsättningar) utan också ge nästan obegränsad skalbarhet för att bearbeta och köra dessa klassificatorer över massiva uppsättningar ostrukturerad datamängder.

Tänk på multimediakällor som YouTube, Facebook, Instagram och Flickr - alla är källor till ostrukturerad binär data. Figuren visar på ett sätt att du kan använda Hadoop för att skala bearbetningen av stora volymer lagrade bilder och video för multimedia semantisk klassificering.

Du kan se hur alla begrepp som rör Hadoop-behandlingsramen tillämpas på dessa data. Lägg märke till hur bilder laddas i HDFS. Klassificeringsmodellerna, som byggts över tiden, appliceras nu på de extra bildfunktionskomponenterna i kartfasen av denna lösning. Som du kan se i det nedre högra hörnet består utdata från denna behandling av bildklassificeringar som sträcker sig från tecknade till sport och platser bland annat.

Hadoop kan också användas för ljud- eller röstanalys. En säkerhetsindustriklient vi jobbar med skapar ett ljudklassificeringssystem för att klassificera ljud som hörs via akustiskt berikade fiberoptiska kablar som ligger runt omkretsen av kärnreaktorer.

Det här systemet vet till exempel hur man direkt kan klassificera vindens viskning i jämförelse med viskningen av en mänsklig röst eller för att urskilja ljudet av mänskliga fotspår som går i perimeterparken från djurlivet.

Den här beskrivningen kan ha en typ av Star Trek känner till det, men du kan nu se levande exempel. I själva verket gör IBM ett av de största bildklassificeringssystemen i världen, via IBM Multimedia Analysis and Retrieval System (IMARS).

Här är resultatet av en IMARS-sökning på termen alpin skidåkning. Överst i figuren kan du se resultaten från klassificeringsmedlemmarna mappade till bildsatsen som bearbetades av Hadoop, tillsammans med ett tillhörande taggmoln.

Observera den mer grovt definierade förälderklassificeringen, i motsats till den mer granulära. Faktum är att märka de olika klassificeringsnivåerna: rullar in, som rullar in - alla genereras automatiskt av klassificeringsmodellen, byggd och målad med Hadoop.

Ingen av dessa bilder har några tillagda metadata. Ingen har öppnat iPhoto och taggat en bild som vintersport för att få det att visas i denna klassificering. Det är vintersportklassificatorn som byggdes för att känna igen bildattribut och egenskaper hos sport som spelas i vinterinställning.

Bildklassificering har många tillämpningar och att kunna utföra denna klassificering i stor skala med Hadoop öppnar upp fler möjligheter till analys, eftersom andra tillämpningar kan använda klassificeringsinformationen som genereras för bilderna.

Titta på detta exempel från hälsovården. Ett stort hälsobyrå i Asien fokuserade på att leverera vård via mobila kliniker till en landsbygdsbefolkning fördelad över en stor landmassa. Ett betydande problem som byrån ställde inför var den logistiska utmaningen att analysera de medicinska avbildningsdata som genererades i sina mobila kliniker.

En radiolog är en knapp resurs i denna del av världen, så det var förnuftigt att sända de medicinska bilderna centralt till en central punkt och få en armé av läkare att undersöka dem. Läkarna som granskade bilderna var dock snabbt överbelastade.

Byrån arbetar nu med ett klassificeringssystem som hjälper till att identifiera möjliga förutsättningar för att effektivt ge förslag till läkare att verifiera. Tidig testning har visat denna strategi för att minska antalet missade eller felaktiga diagnoser, vilket sparar tid, pengar och framförallt liv.

Image Klassificering med Hadoop-dummies

Redaktörens val

Vad är en Java-karta? - dummies

Vad är en Java-karta? - dummies

Arrays och specialiserade listor gör det möjligt att utföra en fantastisk uppsättning uppgifter med Java. Det finns dock situationer där en Java-applikation behöver något som är mer relaterat till en databas, utan att egentligen ha allt databasbagage (som att behöva köpa en separat applikation). Till exempel kanske du vill kunna ...

Några få saker om Java Math - dummies

Några få saker om Java Math - dummies

Tro det eller inte, datorer - även de mest kraftfulla - Ha vissa begränsningar när det gäller att utföra matematiska beräkningar. Dessa begränsningar är vanligtvis obetydliga, men ibland slår de sig och biter på dig. Här är de saker du behöver se upp för när du gör matte i Java. Helhetsflöde Det grundläggande problemet ...

Vad är recursion i Java Programmering? - dummies

Vad är recursion i Java Programmering? - dummies

Rekursion är en grundläggande programmeringsteknik som du kan använda i Java, där en metod kallar sig för att lösa ett problem. En metod som använder denna teknik är rekursiv. Många programmeringsproblem kan lösas endast genom rekursion, och vissa problem som kan lösas med andra tekniker löses bättre genom rekursion. En av ...

Redaktörens val

4 Måste-inkludera i din blogg sidobardesign - dummies

4 Måste-inkludera i din blogg sidobardesign - dummies

Din bloggens sidofält är viktig fastighet som bör innehålla de element du vill ha mest. När du utformar din blogg sidofält kan du dra från en nästan oändlig lista över sidospårelement. Genom att välja noggrant vad som ska inkluderas (och vad som inte ska inkluderas) kan du ställa in din blogg från andra.

5 Användbara Wordpress Plugins - dummies

5 Användbara Wordpress Plugins - dummies

Om du bloggar på en självhävd plattform med WordPress-programvara, är det dags att anpassa din blogg med plug-ins - programvara som kan "anslutas" till din befintliga WordPress bloggprogramvara. Plug-ins gör det möjligt för dig att göra allt från funktionsbildspel i dina blogginlägg för att ansluta sociala medier till din webbplats. Här är fem användbara ...

7 Sätt att erövra Writer's Block som en Blogger - dummies

7 Sätt att erövra Writer's Block som en Blogger - dummies

Varje bloggare möter författarens block i ett tid eller annan. Om du är den typ av bloggare som sköter innehåll varje dag, kan författarens block vara stäverande. Kan du inte ta en paus för att få ditt skrivande mojo tillbaka? Prova en (eller flera) av dessa sju sätt att slå författarens block för att få dig tillbaka ...

Redaktörens val

10 Stora elektronikkomponentkällor - dummies

10 Stora elektronikkomponentkällor - dummies

Letar du efter några bra källor till dina elektroniska delar? Denna lista ger dig några fleråriga favoriter, både inom och utanför Nordamerika. Denna lista är inte uttömmande. Du hittar bokstavligen tusentals specialutbud för ny och begagnad elektronik. Plus, Amazon och eBay ger virtuella marknadsplatser för alla sorters säljare - ...

Elektronik Basics: Resistance - dummies

Elektronik Basics: Resistance - dummies

I elektronikvärlden är motståndet inte meningslöst. Faktum är att motstånd kan vara mycket användbart. Utan motstånd skulle elektronik inte vara möjligt. Elektronik handlar om att manipulera strömmen av ström, och ett av de mest grundläggande sätten att manipulera strömmen är att minska det genom resistans. Utan motstånd strömmar strömmen oreglerad och där ...

Digital elektronik: Så här installerar du BASIC Stamp Editor och Anslut till Stämpeldummorna

Digital elektronik: Så här installerar du BASIC Stamp Editor och Anslut till Stämpeldummorna

För att berätta för BASIC Stamp vad du vill göra i ditt digitala elektronikprojekt måste du programmera det. BASIC Stamp Windows Editor är den programvara som du använder på din dator för att skapa program som kan laddas ner till en BASIC Stamp-mikrokontroller. Denna programvara är tillgänglig gratis från Parallax webbplats. ...