Hadoop、spark、hive的原理及其在金融領(lǐng)域的應用

首先百度百科了各個詞條的含義：

Hadoop

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構(gòu)。
用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。
[1] Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

SPARK （Spark）  

Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎。Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是——Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法。
Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。
Spark 是在 Scala 語言中實現(xiàn)的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集。hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務進行運行。 其優(yōu)點是學習成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

Hadoop

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構(gòu)。
用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。
[1] Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

大數(shù)據(jù)對風控的幫助
大數(shù)據(jù)可以提供全面的多角度的數(shù)據(jù)，降低借款人的貸款的風險。

企業(yè)指標：宏觀指標，行業(yè)指標，企業(yè)指標，財務指標

個人指標：宏觀，行業(yè)，個人。

指標頻率：日，月，季，年
個人版風控系統(tǒng)查詢:

A個人收入

B銀行流水

C負債

D汽車折舊系數(shù)

E×××折現(xiàn)系數(shù)

企業(yè)版風控系統(tǒng)查詢

絕對指標

A資產(chǎn)總計

B負債總計

C營業(yè)總成本/營業(yè)總收入

D銷售毛利率

現(xiàn)金收益

E凈資產(chǎn)收益率ROE

F經(jīng)營活動凈收益/利潤總額（TTM）

G經(jīng)營性現(xiàn)金凈流量/營業(yè)總收入

H籌資活動產(chǎn)生的現(xiàn)金流量凈額占比

I投資活動產(chǎn)生的現(xiàn)金流量凈額占比

償債能力

J資產(chǎn)負債率

K有形資產(chǎn)/總資產(chǎn)

L權(quán)益乘數(shù)

M流動比率

N速動比率

營運能力

O存貨周轉(zhuǎn)率

P應收賬款周轉(zhuǎn)率

Q應付賬款周轉(zhuǎn)率

R凈資產(chǎn)（同比增長率）

S固定資產(chǎn)投資擴張率

T利潤總額/息稅前利潤

U股東權(quán)益合計/負債總計

V. EBITDA率%

風控流程

3.1業(yè)務流程

1.借款人進行咨詢；

2.填寫申請表和有關(guān)資料，提交給業(yè)務員；

3.業(yè)務員添加客戶至客戶室；

4.業(yè)務員為客戶發(fā)起授信申請，進入授信審核，審核成功后，借款人獲得授信額度。

5.業(yè)務員為借款人發(fā)起借款申請，進入借款審核，審核成功后，財務放款，借款成功.

3.2授信審核流程（貸前流程）

1.業(yè)務員為自己客戶發(fā)起授信申請；

2.業(yè)務主管進行初審，審核通過進入風控委員初審，駁回返回上級，拒絕的授信失?。?/p>

3.風控委員進行初審；

4.風控主管進行復審；

5.貸審會進行審核；

6.總經(jīng)理進行終審，審核通過，授信成功，借款人獲得授信額度。

3.3

借款審核流程（貸中流程）

1.借款人擁有一定的授信額度，業(yè)務員為借款人發(fā)起借款申請；

2.業(yè)務主管進行初審，審核通過進入風控委員初審，駁回返回上級，拒絕的授信失??；

3.風控委員進行初審；

4.風控主管進行復審；

5.總經(jīng)理進行終審；

6.審核通過的，財務放款，借款人借款成功。

3.4貸后流程

貸款到期，借款人還款。其中借款人可以提前還款，若到期未能還款，則有展期申請、強制結(jié)清、押品結(jié)清、押品處置、違約金法系處理。

借款人還清貸款，即可拿回抵押物品。

四。風險管理全面解決方案