Hadoop數(shù)據(jù)分析實(shí)例：P2P借款人信用風(fēng)險(xiǎn)實(shí)時(shí)監(jiān)控模型設(shè)

一提到hadoop相信熟悉IT領(lǐng)域或者經(jīng)常關(guān)注互聯(lián)網(wǎng)新聞的朋友都應(yīng)該很熟悉了，當(dāng)然，這種熟悉可能也只是聽著名字耳熟，但并不知道它具體是什么東西，或者用來做什么。這些都不重要，重要的是你知道有hadoop這么個(gè)東西就可以了。

前段時(shí)間碼了一些hadoop方面的分享文章，純屬個(gè)人的一點(diǎn)小經(jīng)驗(yàn)，可能有的地方寫的不好，將就下吧！今天要分享的這篇是轉(zhuǎn)載的一篇大快搜索公眾號上的文章，是關(guān)于時(shí)下比較熱鬧的P2P金融方面對hadoop應(yīng)用的一個(gè)架構(gòu)設(shè)計(jì)。

以下為原文：

P2P網(wǎng)絡(luò)貸款(“peer-to-peer”)為中小企業(yè)和個(gè)人提供了便利的融資渠道。近年來，隨著互聯(lián)網(wǎng)金融的逐步發(fā)展，P2P網(wǎng)貸已成為時(shí)下炙手可熱的互聯(lián)網(wǎng)金融新模式。憑借著“高收益”的理財(cái)優(yōu)勢，各類P2P網(wǎng)貸平臺呈現(xiàn)逐年增長的態(tài)勢。目前，我國正常運(yùn)行P2P平臺數(shù)量已達(dá)近3000家，累計(jì)成交量約8000億元。

然而，網(wǎng)貸業(yè)在爆發(fā)式增長的同時(shí)，也存在著重大風(fēng)險(xiǎn)。高利率龐氏騙局、投放假標(biāo)的、平臺自融、洗錢、資金挪用、虛報(bào)理財(cái)業(yè)績、跑路等形形×××的平臺問題不斷發(fā)生。大平臺逾期還款，小平臺跑路的新聞屢見不鮮，給投資人造成巨大損失，造成信任危機(jī)。使投資者損失慘重。目前P2P網(wǎng)貸面臨的最大風(fēng)險(xiǎn)是信用風(fēng)險(xiǎn)，信用風(fēng)險(xiǎn)已經(jīng)成為P2P網(wǎng)貸行業(yè)發(fā)展的主要瓶頸，而借款人信用評估則是降低信用風(fēng)險(xiǎn)、提高企業(yè)風(fēng)險(xiǎn)管理水平的決定性因素。

國內(nèi)外關(guān)于P2P網(wǎng)貸借款人信用評估方面的相關(guān)研究主要是從評估指標(biāo)和評估方法兩個(gè)方面進(jìn)行探討的。由于國外具有比較完備的數(shù)據(jù)共享征信系統(tǒng)，所以國外對于借款人信用評估的研究不僅包括平臺本身的借款人信息，還包括政府信用系統(tǒng)、社交網(wǎng)絡(luò)、購物行為等其他平臺共享信息；而國內(nèi)關(guān)于P2P網(wǎng)貸的研究大都只是介紹了目前主要P2P網(wǎng)貸平臺的運(yùn)營模式，或者僅針對特定平臺進(jìn)行風(fēng)險(xiǎn)研究，評估指標(biāo)的采用沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。 

因此，雖然目前應(yīng)用于借款人信用風(fēng)險(xiǎn)評估的指標(biāo)多達(dá)幾十種，但是除了少數(shù)針對借款人個(gè)人信息的指標(biāo)相同外，不同P2P網(wǎng)貸平臺采用的其他指標(biāo)都不盡相同，在研究信用風(fēng)險(xiǎn)問題時(shí)，由于采用的指標(biāo)不同，給出的結(jié)論也不盡相同，很難給出指標(biāo)與風(fēng)險(xiǎn)之間明確的作用關(guān)系，而關(guān)于對借款人進(jìn)行信用風(fēng)險(xiǎn)評估，需要哪些基本指標(biāo)作為評估標(biāo)準(zhǔn)，才能說明評估的全面性、通用性、可信性的研究鮮有報(bào)道。

另一方面，隨著數(shù)據(jù)量和數(shù)據(jù)種類的不斷增加，P2P網(wǎng)貸平臺的數(shù)據(jù)量已達(dá)到了PB、EB甚至 EB級別，而隨著銀行信用系統(tǒng)、其他共享系統(tǒng)等平臺數(shù)據(jù)的不斷接入，應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行平臺數(shù)據(jù)管理和分析已是必然。目前絕大多數(shù)借款人信用風(fēng)險(xiǎn)評估研究都是基于靜態(tài)分析給出的結(jié)果，然而數(shù)據(jù)是變化的，風(fēng)險(xiǎn)在變化中產(chǎn)生，從動態(tài)角度，對借款人信用風(fēng)險(xiǎn)進(jìn)行實(shí)時(shí)分析、跟蹤監(jiān)測更具實(shí)際意義。

基于上述原因，本研究應(yīng)用大數(shù)據(jù)技術(shù)，建立借款人信用風(fēng)險(xiǎn)實(shí)時(shí)監(jiān)測模型和風(fēng)控方案，為P2P網(wǎng)貸平臺借款人信用風(fēng)險(xiǎn)評估提供大數(shù)據(jù)架構(gòu)參考。

研究內(nèi)容的整體框架如圖1所示：

圖1 研究整體框架

大數(shù)據(jù)實(shí)時(shí)監(jiān)測模型架構(gòu)如圖2所示：

圖2 大數(shù)據(jù)實(shí)時(shí)監(jiān)測模型框架

研究技術(shù)路線如圖3所示：

圖3 研究技術(shù)路線