Riskmodellering med Hadoop-dummies

Riskmodellering är ett annat stort användningsfall som har fått energi av Hadoop. Du kommer att upptäcka att den nära matchar användningsfallet med bedrägeribekämpning, eftersom det är en modellbaserad disciplin. Ju mer data du har och ju mer du kan "ansluta prickarna", desto oftare kommer dina resultat att ge bättre riskprognosmodeller.

Det allomfattande ordet risk kan ha många betydelser. Exempelvis är kundkörningsprognos risken för att en klient flyttar till en konkurrent; risken för en lånebok relaterar till risken för misstag; risken i vården spänner över spridningen från utbrott i livsmedelssäkerheten till sannolikheten för reinfektion och mer.

Finanssektorn (FSS) investerar nu kraftigt i Hadoop-baserad riskmodell. Denna sektor syftar till att öka automatiseringen och noggrannheten i sin riskbedömning och exponeringsmodell.

Hadoop erbjuder deltagare möjlighet att utöka dataseten som används i sina riskmodeller för att inkludera underutnyttjade källor (eller källor som aldrig används), till exempel e-post, snabbmeddelanden, sociala medier och interaktioner med kundtjänst representanter, bland andra datakällor.

Riskmodeller i FSS dyker upp överallt. De används för förebyggande av kundkörning, handelsmodellmodellering, företagsrisk och exponeringsanalys och mycket mer.

När ett företag utfärdar en försäkring mot naturkatastrofer hemma, visar en utmaning tydligt hur mycket pengar som potentiellt är i fara. Om försäkringsgivaren misslyckas med att reservera pengar för eventuella utbetalningar, kommer tillsynsmyndigheterna att ingripa (försäkringsgivaren vill inte ha det). Om försäkringsgivaren lägger för mycket pengar i sina reserver för att betala framtida policyanspråk, kan de inte investera dina premiepengar och göra vinst (försäkringsgivaren vill inte heller det).

Vissa företag är "blinda" för de risker de står inför eftersom de inte har kunnat köra tillräckligt med katastrofala simuleringar avseende variation i vindhastighet eller nederbördshastigheter (bland andra variabler) som de relaterar till deras exponering.

Dessa företag har helt enkelt svårt att testa sina riskmodeller. Möjligheten att lägga in mer data - till exempel vädermönster eller den ständigt föränderliga socioekonomiska distributionen av sin kundbas - ger dem mycket mer insikt och förmåga när det gäller att bygga bättre riskmodeller.

Byggnads- och stressprovningsmodeller som den som just beskrivits är en idealisk uppgift för Hadoop. Dessa operationer är ofta beräkningsdrivna och, när du bygger en riskmodell, sannolikt opraktisk att köra mot ett datalager, av följande skäl:

• Lageret är nog inte optimerat för de typer av frågor som utfärdas av riskmodellen.(Hadoop är inte bunden av datormodellerna som används i datalager.)

• Ett stort ad hoc-batchjobb som en utvecklad riskmodell skulle lägga till belastning på lagret, vilket påverkar befintliga analytiska applikationer. (Hadoop kan anta denna arbetsbelastning, frigöra lagret för regelbunden företagsrapportering.)

• Mer avancerade riskmodeller kan behöva faktor i ostrukturerad data, såsom råtext. (Hadoop kan hantera den uppgiften effektivt.)