Hadoop Mapreduce架構(gòu)分析

這篇文章主要介紹“Hadoop Mapreduce架構(gòu)分析”，在日常操作中，相信很多人在Hadoop Mapreduce架構(gòu)分析問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Hadoop Mapreduce架構(gòu)分析”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

1、Client

用戶編寫(xiě)的MapReduce程序通過(guò)Client提交到JobTracker端；同時(shí)，用戶可通過(guò)Client提供的一些接口查看作業(yè)運(yùn)行狀態(tài)。在Hadoop內(nèi)部用“作業(yè)”Job表示MapReduce程序。一個(gè)MapReduce程序可對(duì)應(yīng)若干個(gè)作業(yè)，而每個(gè)作業(yè)會(huì)被分解成若干個(gè)Map/Reduce任務(wù)（Task）。

2、JobTracker

JobTracker主要負(fù)責(zé)作業(yè)調(diào)度和資源監(jiān)控。

作業(yè)調(diào)度：監(jiān)控所有TaskTracker與作業(yè)的健康狀況，一旦發(fā)現(xiàn)失敗情況后，其會(huì)將相應(yīng)的任務(wù)轉(zhuǎn)移到其它節(jié)點(diǎn)。

資源監(jiān)控：JobTracker會(huì)跟蹤任務(wù)執(zhí)行進(jìn)度、資源使用量等信息，并將這些信息告訴任務(wù)調(diào)度器，而調(diào)度器會(huì)在資源出現(xiàn)空閑時(shí)，選擇合適的任務(wù)使用這些資源。在Hadoop中任務(wù)調(diào)度器是一個(gè)可插撥的模塊，可自行設(shè)計(jì)。

3、TaskTracker

TaskTracker會(huì)周期性地通過(guò)Heartbeat將本節(jié)點(diǎn)上資源的使用情況和任務(wù)的運(yùn)行進(jìn)度匯報(bào)給JobTracker，同時(shí)接收J(rèn)obTracker發(fā)送過(guò)來(lái)的命令并執(zhí)行相應(yīng)的操作（如啟動(dòng)新任務(wù)、殺死任務(wù)等）。

TaskTracker使用"slot"等量劃分本節(jié)點(diǎn)上的資源量。”slot“代表計(jì)算資源。一個(gè)Task獲取一個(gè)slot后才有機(jī)會(huì)運(yùn)行。而Hadoop調(diào)度器的作用就是將各個(gè)TaskTracker上的空閑slot分配給Task使用。slot分為Map slot和Reduce slot兩種，分別供Map Task和Reduce Task使用。TaskTracker通過(guò)slot數(shù)目限定Task的并發(fā)度。

4、Task

Task分為Map Task 和Reduce Task兩種，均由TaskTracker啟動(dòng)。HDFS以固定大小的block為基本單位存儲(chǔ)數(shù)據(jù)，而對(duì)MapReduce而言，其處理單位是split。split與block的對(duì)應(yīng)關(guān)系如下圖

split是一個(gè)邏輯概念，它只包含一些元數(shù)據(jù)信息，比如數(shù)據(jù)起始位置、數(shù)據(jù)長(zhǎng)度、數(shù)據(jù)所在節(jié)點(diǎn)等.劃分方法完全由用戶自己決定。split的多少?zèng)Q定Map Task數(shù)量，一個(gè)split對(duì)應(yīng)一個(gè)Map Task。

Map Task執(zhí)行過(guò)程如下圖：

Map Task先將對(duì)應(yīng)的split迭代解析成一個(gè)key/value對(duì)，依次調(diào)用map函數(shù)進(jìn)行處理，并將處理結(jié)果存放在本地磁盤(pán)，其中臨時(shí)數(shù)據(jù)被分為若干個(gè)partition，每個(gè)partition將被一個(gè)Reduce Task處理。

Reduce Task執(zhí)行過(guò)程如下圖：

該過(guò)程分為三個(gè)階段：1、shuffle階段，從遠(yuǎn)程節(jié)點(diǎn)上讀取Map Task中間結(jié)果；2、Sort階段，按照key對(duì)key/value進(jìn)行排序；3、reduce階段，依次讀取<key,value list>，調(diào)用reduce函數(shù)處理，并存入HDFS。

到此，關(guān)于“Hadoop Mapreduce架構(gòu)分析”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！