YARN HA架構(gòu)

Yarn HA

RM:

a.啟動時(shí)會通過向ZK的/hadoop-ha目錄寫一個(gè)lock文件，寫成功則為active，否則standyby

standy 的RM會一直監(jiān)控lock文件是否存在，如果不存在就會嘗試去創(chuàng)建，爭取為active RM

b.會接收客戶端的任務(wù)請求，接收和監(jiān)控nm的資源的匯報(bào)，負(fù)責(zé)資源的分配與調(diào)度，啟動和監(jiān)控我們的ApplicationMaster

NM：

節(jié)點(diǎn)上的資源的管理，啟動container容器，運(yùn)行task的計(jì)算，上報(bào)資源，container情況匯報(bào)給RM和任務(wù)的處理情況匯報(bào)給作業(yè)的ApplicationMaster

ZKFC直接嵌入到RM中

RMStateStore直接存儲到ZK中

ApplicationMaster(AM):

單個(gè)application(job)的task的管理和調(diào)度，并向rm進(jìn)行資源的申請，向nm發(fā)出 launch conta指令，接收NM的task的處理狀態(tài)信息。

面試題：ApplicationMaster 運(yùn)行在哪里

ApplicationMaster 運(yùn)行在nm機(jī)器上的container。AM也是個(gè)任務(wù)，只不過在做它自己該完成的職責(zé)。

RMstatestore：

a.RM的作業(yè)信息存儲在ZK的/rmstore下，active RM向這個(gè)目錄寫 作業(yè)信息（即Application）

b當(dāng)activerm掛了，另外一個(gè)standby rm成功轉(zhuǎn)換為active rm后，會從/rmstore目錄讀取相應(yīng)的作業(yè)信息，重新構(gòu)建作業(yè)的內(nèi)存信息。

然后開始內(nèi)部服務(wù)，開始接受NM的心跳，構(gòu)建集群資源的信息，并接收客戶端的提交作業(yè)的請求等。

ZKFC:

自動故障轉(zhuǎn)移，只作為RM進(jìn)行的一個(gè)線程，而非獨(dú)立的守護(hù)進(jìn)程來啟動。