溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

怎么進(jìn)行hadoop2.x namenode ha 架構(gòu)的原理分析

發(fā)布時(shí)間:2021-12-03 17:49:57 來(lái)源:億速云 閱讀:152 作者:柒染 欄目:云計(jì)算

怎么進(jìn)行hadoop2.x namenode ha 架構(gòu)的原理分析,相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策,為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法,通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

在2.x版本的ha的架構(gòu)圖中

怎么進(jìn)行hadoop2.x namenode ha 架構(gòu)的原理分析


看以看到為了完成對(duì)兩個(gè)NN的無(wú)縫切換,DN需要同時(shí)在Block信息發(fā)給兩個(gè)NN,而NN之間需要做的是元數(shù)據(jù)信息的同步。

這里就涉及到同步的問(wèn)題,共享存儲(chǔ)。

在可靠性方面,在每一個(gè)NN上啟動(dòng)了DFSZKFailoverController來(lái)監(jiān)聽(tīng)本地NN的運(yùn)行狀態(tài),以便做出相應(yīng)的判斷處理。

而zookeeper就算為了實(shí)現(xiàn)一個(gè)分布式lock,防止同時(shí)出現(xiàn)兩個(gè)active NN,以及一些數(shù)據(jù)的共享。

我們可以在看這幅比較原理基本的架構(gòu)圖。

怎么進(jìn)行hadoop2.x namenode ha 架構(gòu)的原理分析

可以看到每一個(gè)NN上,是有HADeamon進(jìn)程,定時(shí)和DFSZKFailoverController的HealthMonitor進(jìn)行心跳檢測(cè)。

DFSZKFailoverController其中包含了ActiveStandbyElector來(lái)選舉active以及standby。

元數(shù)據(jù)信息通過(guò)QJM來(lái)實(shí)時(shí)更新。

我們可以把standby NN看成是一個(gè)safemode下的NN,不提供對(duì)外服務(wù),但是卻可以更新相應(yīng)的元數(shù)據(jù)信息修改,block數(shù)據(jù)上報(bào)更新等一系列操作。

看完上述內(nèi)容,你們掌握怎么進(jìn)行hadoop2.x namenode ha 架構(gòu)的原理分析的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI