hadoop相關(guān)進(jìn)程介紹

1.NameNode:

    相當(dāng)于一個(gè)領(lǐng)導(dǎo)者，負(fù)責(zé)調(diào)度 ，比如你需要存一個(gè)1280m的文件

    如果按照128m分塊 那么namenode就會(huì)把這10個(gè)塊（這里不考慮副本）

    分配到集群中的datanode上并記錄對(duì)于關(guān)系 。當(dāng)你要下載這個(gè)文件的時(shí)    候namenode就知道在那些節(jié)點(diǎn)上給你取這些數(shù)據(jù)了。它主要維護(hù)兩個(gè)    map 一個(gè)是文件到塊的對(duì)應(yīng)關(guān)系 一個(gè)是塊到節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系。

2. secondarynamenode：

    它是namenode的一個(gè)快照，會(huì)根據(jù)configuration中設(shè)置的值來(lái)

    決定多少時(shí)間周期性的去cp一下namenode，記錄namenode中

    的metadata及其它數(shù)據(jù)    

3. NodeManager（NM）:

    是YARN中每個(gè)節(jié)點(diǎn)上的代理，它管理Hadoop集群中單個(gè)計(jì)算節(jié)點(diǎn)

    包括與ResourceManger保持通信，監(jiān)督Container的生命周期管理，

    監(jiān)控每個(gè)Container的資源使用（內(nèi)存、CPU等）情況，追蹤節(jié)點(diǎn)健

    康狀況，管理日志和不同應(yīng)用程序用到的附屬服務(wù)（auxiliary service）

4.DataNode:

      a.DataNode的需要完成的首要任務(wù)是K-V存儲(chǔ)

      b.完成和namenode 通信 ，這個(gè)通過(guò)IPC 心跳連接實(shí)現(xiàn)。

         此外還有和客戶端 其它datanode之前的信息交換

      c.完成和客戶端還有其它節(jié)點(diǎn)的大規(guī)模通信，這個(gè)需要直接

         通過(guò)socket 協(xié)議實(shí)現(xiàn)。

5.ResourceManager:

    在YARN中，ResourceManager負(fù)責(zé)集群中所有資源的統(tǒng)一管理和分配，它接收來(lái)自各個(gè)節(jié)點(diǎn)（NodeManager）的資源匯報(bào)信息，并把這些信息按照一定的策略分配給各個(gè)應(yīng)用程序（實(shí)際上是ApplicationManager）

RM與每個(gè)節(jié)點(diǎn)的NodeManagers (NMs)和每個(gè)應(yīng)用的ApplicationMasters (AMs)一起工作。

    a.NodeManagers 遵循來(lái)自ResourceManager的指令來(lái)管理單一節(jié)點(diǎn)上的可用資源。

    b.ApplicationMasters負(fù)責(zé)與ResourceManager協(xié)商資源與NodeManagers合作啟動(dòng)容器

6.Hadoop2 MR-JobHistory服務(wù)介紹

1）MR-JobHistory服務(wù)目標(biāo)

主要是向用戶提供歷史的mapred Job 查詢

詳細(xì)解釋：

a）在運(yùn)行MR Job時(shí)，MR 的 ApplicationMaster會(huì)根據(jù)mapred-site.xml配置文件中的配置，將MR Job的job history信息保存到指定的hdfs路徑（首先保存到臨時(shí)目錄，然后mv到最終目錄）

b）如果在yarn-site.xml中，沒(méi)有配置nodemanage的LogAggregation功能，則historyserver無(wú)法提供mr日志明細(xì)查詢的功能（在提交mr job時(shí)，yarn和mapred的配置都是必須的）

c）historyserver向外提供兩個(gè)接口，web接口可以提供jobhistory和明細(xì)日志查詢的功能，而restApi只提供jobhistory查詢的功能