hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦

這篇文章主要為大家展示了“hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦”這篇文章吧。

在搭好HA集群之后，想測試一下集群的高可用性，于是先把a(bǔ)ctive的namenode給停掉：

hadoop-daemon.sh stop namenode

或者直接kill掉該節(jié)點(diǎn)namenode的對應(yīng)進(jìn)程也可。

但是通過hdfs haadmin -getServiceState master1 查看，發(fā)現(xiàn)standby的namenode并沒有自動切換成active，直到我把之前kill掉的namenode手動啟動才會切換，但是這樣就達(dá)不到高可用的目的啊。

在網(wǎng)上找了好久才發(fā)現(xiàn)原因，原來是在hdfs-site.xml通過參數(shù)dfs.ha.fencing.methods來實(shí)現(xiàn)，出現(xiàn)故障時通過哪種方式登錄到另一個namenode上進(jìn)行接管工作。如果采用默認(rèn)的值sshfence的話，設(shè)置集群就無法自動切換(下面單獨(dú)解釋)。log信息的是無法連接到standby的namenode。

        <property>
          <name>dfs.ha.fencing.methods</name>
          <value>shell(/bin/true)</value>
        </property>

修改成上面的值后，問題解決，active的namenode被停掉后秒切到standby的namenode.

擴(kuò)展閱讀：dfs.ha.fencing.methods參數(shù)

系統(tǒng)在任何時候只有一個namenode節(jié)點(diǎn)處于active狀態(tài)。在主備切換的時候，standby namenode會變成active狀態(tài)，原來的active namenode就不能再處于active狀態(tài)了，否則兩個namenode同時處于active狀態(tài)會有問題。所以在failover的時候要設(shè)置防止2個namenode都處于active狀態(tài)的方法，可以是java類或者腳本。

fencing的方法目前有兩種，sshfence和shell

sshfence方法是指通過ssh登陸到active namenode節(jié)點(diǎn)殺掉namenode進(jìn)程，所以你需要設(shè)置ssh無密碼登陸，還要保證有殺掉namenode進(jìn)程的權(quán)限。

shell方法是指運(yùn)行一個shell腳本/命令來防止兩個namenode同時處于active，腳本需要自己寫。

注意，QJM方式本身就有fencing功能，能保證只有一個namenode能往journalnode上寫edits文件，所以是不需要設(shè)置fencing的方法就能的。但是，在發(fā)生failover的時候，原來的active namenode可能還在接受客戶端的讀請求，這樣客戶端很可能讀到一些過時的數(shù)據(jù)（因?yàn)樾碌腶ctive namenode的數(shù)據(jù)已經(jīng)實(shí)時更新了）。因此，還是建議設(shè)置fencing方法。如果確實(shí)不想設(shè)置fencing方法，可以設(shè)置一個能返回成功（沒有fencing作用）的方法，如“shell(/bin/true)”。這個純粹為了fencing方法能夠成功返回，并不需要真的有fencing作用。這樣可以提高系統(tǒng)的可用性，即使在fencing機(jī)制失敗的時候還能保持系統(tǒng)的可用性。

以上是“hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！