hadoop官方文檔學(xué)習(xí)筆記（1）——resource manager HA

resource manager HA是hadoop自從2.4之后推出的功能，以Active/Standby的方式提供冗余，目的是為了消除單點(diǎn)失敗的風(fēng)險(xiǎn)。

1、總體架構(gòu)：

2、故障切換：有自動(dòng)和手動(dòng)兩種形式。

手動(dòng)：如果以手動(dòng)形式切換，使用yarn haadmin命令首先將Active節(jié)點(diǎn)轉(zhuǎn)為standby，再將standby節(jié)點(diǎn)轉(zhuǎn)為active。

自動(dòng)：RM有基于zookeeper的節(jié)點(diǎn)選舉機(jī)制決定哪一個(gè)是活動(dòng)節(jié)點(diǎn)。不需要像HDFS一樣部署一個(gè)zkfc守護(hù)進(jìn)程，因?yàn)镽M內(nèi)嵌了這樣的功能。

做了rm的HA之后，所有節(jié)點(diǎn)和客戶(hù)端都要列出所有RM節(jié)點(diǎn)，連接時(shí)會(huì)用輪詢(xún)的方式遍歷，直到找到一個(gè)active的節(jié)點(diǎn)。如果活動(dòng)節(jié)點(diǎn)down了，它們會(huì)繼續(xù)輪詢(xún)。這一動(dòng)作被實(shí)現(xiàn)為org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider類(lèi)。可以通過(guò)重新實(shí)現(xiàn)該類(lèi)，并在yarn.client.failover-proxy-provider 配置項(xiàng)中指定新的類(lèi)名來(lái)改寫(xiě)這一行為邏輯。

3、配置

4、示例（最小配置）

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>master2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>master2:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

5、管理命令

查看節(jié)點(diǎn)狀態(tài)：
 $ yarn rmadmin -getServiceState rm1
 active

 $ yarn rmadmin -getServiceState rm2
 standby

故障切換：

 $ yarn rmadmin -transitionToStandby rm1
 $ yarn rmadmin -transitionToActive rm2

注意：
  開(kāi)啟自動(dòng)故障切換后，系統(tǒng)為防止造成腦裂或其它不一致的狀態(tài)，會(huì)拒絕人為管理HA狀態(tài)。如果非常清楚自己的行為，可以在切換命令中指定-forcemanual選項(xiàng)。