Hem Personliga finanser Image Klassificering med Hadoop-dummies

Image Klassificering med Hadoop-dummies

Video: Grundämnen och kemiska föreningar. Rena ämnen och blandningar 2024

Video: Grundämnen och kemiska föreningar. Rena ämnen och blandningar 2024
Anonim

Bildklassificering kräver En betydande mängd databehandlingsresurser, som dock har begränsat omfattningen av implementeringar. Bildklassificering är ett hett ämne i Hadoop-världen eftersom ingen traditionell teknik kunde - tills Hadoop kom med - öppna dörrar för den här typen av dyr bearbetning i så stor och effektiv skala.

Bildklassificering börjar med att du bygger en träningsuppsättning och att datorer lär sig att identifiera och klassificera vad de tittar på. På samma sätt som att ha mer data bidrar till att bygga bättre bedrägeri upptäckt och riskmodeller, det hjälper också system att bättre klassificera bilder.

I detta användningsfall kallas data som träningsuppsättning samt modellerna klassificerare. Klassificeringar känner igen funktioner eller mönster inom ljud, bild eller video och klassificera dem på lämpligt sätt. Klassificerare är byggda och iterativt raffinerade från träningssatser så att deras precisionsresultat (ett mått på exakthet) och återkallningsresultat (ett mått på täckning) är höga.

Hadoop passar utmärkt för bildklassificering eftersom det ger en massivt parallell bearbetningsmiljö för att inte bara skapa klassificeringsmodeller (iterera över träningsuppsättningar) utan också ge nästan obegränsad skalbarhet för att bearbeta och köra dessa klassificatorer över massiva uppsättningar ostrukturerad datamängder.

Tänk på multimediakällor som YouTube, Facebook, Instagram och Flickr - alla är källor till ostrukturerad binär data. Figuren visar på ett sätt att du kan använda Hadoop för att skala bearbetningen av stora volymer lagrade bilder och video för multimedia semantisk klassificering.

Du kan se hur alla begrepp som rör Hadoop-behandlingsramen tillämpas på dessa data. Lägg märke till hur bilder laddas i HDFS. Klassificeringsmodellerna, som byggts över tiden, appliceras nu på de extra bildfunktionskomponenterna i kartfasen av denna lösning. Som du kan se i det nedre högra hörnet består utdata från denna behandling av bildklassificeringar som sträcker sig från tecknade till sport och platser bland annat.

Hadoop kan också användas för ljud- eller röstanalys. En säkerhetsindustriklient vi jobbar med skapar ett ljudklassificeringssystem för att klassificera ljud som hörs via akustiskt berikade fiberoptiska kablar som ligger runt omkretsen av kärnreaktorer.

Det här systemet vet till exempel hur man direkt kan klassificera vindens viskning i jämförelse med viskningen av en mänsklig röst eller för att urskilja ljudet av mänskliga fotspår som går i perimeterparken från djurlivet.

Den här beskrivningen kan ha en typ av Star Trek känner till det, men du kan nu se levande exempel. I själva verket gör IBM ett av de största bildklassificeringssystemen i världen, via IBM Multimedia Analysis and Retrieval System (IMARS).

Här är resultatet av en IMARS-sökning på termen alpin skidåkning. Överst i figuren kan du se resultaten från klassificeringsmedlemmarna mappade till bildsatsen som bearbetades av Hadoop, tillsammans med ett tillhörande taggmoln.

Observera den mer grovt definierade förälderklassificeringen, i motsats till den mer granulära. Faktum är att märka de olika klassificeringsnivåerna: rullar in, som rullar in - alla genereras automatiskt av klassificeringsmodellen, byggd och målad med Hadoop.

Ingen av dessa bilder har några tillagda metadata. Ingen har öppnat iPhoto och taggat en bild som vintersport för att få det att visas i denna klassificering. Det är vintersportklassificatorn som byggdes för att känna igen bildattribut och egenskaper hos sport som spelas i vinterinställning.

Bildklassificering har många tillämpningar och att kunna utföra denna klassificering i stor skala med Hadoop öppnar upp fler möjligheter till analys, eftersom andra tillämpningar kan använda klassificeringsinformationen som genereras för bilderna.

Titta på detta exempel från hälsovården. Ett stort hälsobyrå i Asien fokuserade på att leverera vård via mobila kliniker till en landsbygdsbefolkning fördelad över en stor landmassa. Ett betydande problem som byrån ställde inför var den logistiska utmaningen att analysera de medicinska avbildningsdata som genererades i sina mobila kliniker.

En radiolog är en knapp resurs i denna del av världen, så det var förnuftigt att sända de medicinska bilderna centralt till en central punkt och få en armé av läkare att undersöka dem. Läkarna som granskade bilderna var dock snabbt överbelastade.

Byrån arbetar nu med ett klassificeringssystem som hjälper till att identifiera möjliga förutsättningar för att effektivt ge förslag till läkare att verifiera. Tidig testning har visat denna strategi för att minska antalet missade eller felaktiga diagnoser, vilket sparar tid, pengar och framförallt liv.

Image Klassificering med Hadoop-dummies

Redaktörens val

Hur man lägger till text i en sätter () Funktion i C Programmering

Hur man lägger till text i en sätter () Funktion i C Programmering

När du behöver visa en annan textrad, använd C-programmeringsfärdigheterna för att skapa en annan puts () -funktion i källkoden, som visas i Visa två textlinjer. VISA TILL TEXTFINER # inkludera int main () {sätter ("Hickory, Dickory, Dock,"); sätter ("musen sprang klockan."); returnera (0);} Den andra ...

Förklarar variabler i C-dummies

Förklarar variabler i C-dummies

Variabler är det som gör dina program zooma. Programmering kan bara inte bli gjort utan dem. Så om du inte har introducerats till variabler än, här går du. Valerie Variable är en numerisk variabel. Hon älskar att hålla nummer - vilket nummer som helst; det spelar ingen roll. När hon ser ett lika tecken tar hon ett värde och ...

Redaktörens val

Gör rädsla för din vän - dummies

Gör rädsla för din vän - dummies

Rädsla är lika verklig som mod. Även om värdet av rädsla inte är lika uppenbart som modets värde, har det dess fördelar. Rädsla är din instinkt som säger att du är obehaglig - även om situationen inte kommer att skada dig. Alla har haft den känslan när man hellre drar locket ...

Hur man ökar din självmedvetenhet - dummies

Hur man ökar din självmedvetenhet - dummies

Du kommer att vara med dig själv under en livstid. Ingenting kommer att förändra det faktum. Att lära känna, som att lyssna på och uppskatta själv är avgörande för din sanity. Kanske kommer du till att älska, acceptera och omfamna alla du är, är svår för dig att föreställa dig just nu, men du kan göra ...

Hur man ökar din mentala flexibilitet - dummies

Hur man ökar din mentala flexibilitet - dummies

ÄR flexibel i arbete och relationer är ett tecken på en högpresterande. Medan perfektionister är styva och obehagliga i sitt arbete och hur de interagerar med andra, är högpresterande mer öppna och tillmötesgående. Att vara mer flexibel på jobbet gav Ralph aldrig förslag under brainstorming vid gruppmöten. Han kände att hans lag ...

Redaktörens val

Nätverksadministration: Linux-installation och virtuella konsoler - dummies

Nätverksadministration: Linux-installation och virtuella konsoler - dummies

Linux är i sig ett kommandoradsorienterat operativsystem. Grafiska användargränssnitt - inklusive installationsprogrammets GUI - tillhandahålls av en valfri komponent som heter X Window System. Men medan du arbetar med det grafiska användargränssnittet för installationsprogrammet, håller Linux flera ytterligare kommandorads-konsoler öppna. Normalt behöver du inte ...

Nätverksadministration: Linux-loggning, logg och systemavstängning - dummies

Nätverksadministration: Linux-loggning, logg och systemavstängning - dummies

Alla användare som åtkomst ett Linux-system, lokalt eller över ett nätverk, måste verifieras av ett giltigt användarkonto på systemet. I det följande får du veta hur du loggar in och ut på ett Linux-system och hur du stänger av systemet. Logga in När Linux startar upp visas det ...

Nätverksadministration: Licensserver - Dummies

Nätverksadministration: Licensserver - Dummies

I vissa program kan du köpa nätverkslicenser som gör att du kan installera programvaran på många datorer som du vill, men reglera antalet personer som kan använda programvaran vid en viss tidpunkt. För att styra hur många som använder programvaran, är en särskild licensserver inrättad. När en användare börjar ...