hadoop生態(tài)圈的詳解

學(xué)習(xí)和使用hadoop有一年了，這里主要分享一下對(duì)hadoop整體上的理解，分門別類的介紹一下相關(guān)組件，最后提供了建議的學(xué)習(xí)路線，希望對(duì)hadoop的初學(xué)者有參考作用。

1.      Hadoop核心件組有哪些? 廣義hadoop指什么?

• 核心組件有：Hdfs、Yarn、MapReduce;

• 廣義上指一個(gè)生態(tài)圈，泛指大數(shù)據(jù)技術(shù)相關(guān)的開源組件或產(chǎn)品，如hdfs、yarn、hbase、hive、spark、pig、zookeeper、kafka、flume、phoenix、sqoop。

2.      Spark與hadoop之間有什么聯(lián)系

• Spark也是一個(gè)生態(tài)圈，發(fā)展非很快，在計(jì)算方面比mapreduce要快很多倍，供了一個(gè)簡(jiǎn)單而豐富的編程模型，支持多種應(yīng)用，包括ETL、機(jī)器學(xué)習(xí)、數(shù)據(jù)流處理、圖形計(jì)算；

• Hadoop和Spark在某些方面有重疊，但組件之間都可以很好的協(xié)同作戰(zhàn)。

3.      分門別類介紹其中詳細(xì)組件

為了方便理解以下按照功能進(jìn)行了分類，并且把較為流行的排在了前面介紹，列表如下：

4.      典型的組合使用場(chǎng)景

Hadoop、Spark生態(tài)圈的組件是相互配合使用的，每個(gè)組件都有自己“用武之地”，組合起來完成即可以滿足各種系統(tǒng)業(yè)務(wù)需求，下面列舉兩個(gè)例子：

（1）數(shù)據(jù)采集、存儲(chǔ)、分析場(chǎng)景

該場(chǎng)景下完成了整個(gè)數(shù)據(jù)的采集、存儲(chǔ)、分析，并輸出結(jié)果，組件搭配如下：

Flume + kafka(zookeeper)+ Hdfs + Spark/Storm/Hive + Hbase (Zookeeper、Hdfs) /Redis

說明如下：

• Flume用來從種渠道（如http、exec、文件、kafka , …）收集數(shù)據(jù)，并發(fā)送到kaffka(當(dāng)然也可以存放到hdfs、hbase、file、…)

• Kafka可以緩存數(shù)據(jù)，與flume一樣也支持各種協(xié)議的輸入和輸出，由于kafka需要zookeeper來完成負(fù)載均衡和HA，所以需要zookeeper來支持

• 開始計(jì)算，這里有三種選擇，Spark/Storm/Hive，各有優(yōu)勢(shì)，相對(duì)Hive目前仍使用廣泛，該技術(shù)出現(xiàn)的較早；Storm專注于流式處理，延遲非常低； Spark最有前景的計(jì)算工具；不管用什么，最終都是對(duì)數(shù)據(jù)的清理、統(tǒng)計(jì)，把得到的結(jié)果輸出

• 展示結(jié)果數(shù)據(jù)存儲(chǔ)，可以使用Hbase kafka(zookeeper) /Redis或mysql等，看使用場(chǎng)景（數(shù)據(jù)量大小等因素），由于處理之后的結(jié)果數(shù)據(jù)一般比較少可以直接放到Redis，然后就可以采用常規(guī)的技術(shù)展示出報(bào)表或其它消費(fèi)方式使用這些計(jì)算后的結(jié)果數(shù)據(jù)

（2）數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)訪問

這種場(chǎng)景非常類似常規(guī)應(yīng)用開發(fā)場(chǎng)景，即通過java的JDBC來訪問大數(shù)據(jù)集群，組件搭配：

Jdbc + Solr + Phoenix/Spark sql + Hbase kafka(zookeeper) + Hdfs

說明如下：

• Jdbc是通用的java操作數(shù)據(jù)庫(kù)的方式，使用的是sql語句

• Solr為全文檢索，完成站點(diǎn)分詞搜索功能

• Phoenix/Spark sql方便以jdbc方式訪問Hbase數(shù)據(jù)庫(kù)

• Hdfs最終完成數(shù)據(jù)的物理存儲(chǔ)

5.      建議的學(xué)習(xí)線路

僅憑個(gè)人經(jīng)驗(yàn)，大概的分了三個(gè)階段，如下：

打個(gè)廣告，最近錄了一門課程，大部分是免費(fèi)的，忙我湊湊人氣哦！請(qǐng)點(diǎn)擊 HBase 設(shè)計(jì)和編程開發(fā)視頻課程