溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
NameNode在啟動的時(shí)候，需要將Mettadata加載到內(nèi)存中去，隨著集群擴(kuò)大，元數(shù)據(jù)的量也隨之增加，內(nèi)存壓力過大。
Hadoop1.x的缺點(diǎn)和解決辦法：
單點(diǎn)故障------à HA 一主多備
內(nèi)存受限 -----àNN Federation
Hadoop節(jié)點(diǎn)之間的通信都是采用心跳機(jī)制。
元數(shù)據(jù)放在一片共享區(qū)（主NN和備NN共享）稱為Journal Node 集群
所有DN節(jié)點(diǎn)都要實(shí)時(shí)向主NN或備NN通信，告知NN自己有哪么些block等信息。
至于DN具體要向NN（主）還是NN(備)，它會向zookeeper請示，zookeer知道那個(gè)節(jié)點(diǎn)是主，并知道它的狀態(tài)。
當(dāng)主NN的狀態(tài)由FailoverControllerActive進(jìn)行心跳檢測，通知zookeeper，并在它發(fā)生故障時(shí)，做切換，同樣備NN也有相應(yīng)的FailoverControllerStandby 。
通過命令可手動停止主NN啟動備NN，甚至調(diào)換角色，用于HDFS升級等場合
NN Fderation：將HDFS分成多個(gè)完全獨(dú)立的NN的運(yùn)行，彼此互不干擾，但是集群共享DN
多個(gè)NN共用一個(gè)集群里DN上的存儲資源，每個(gè)NN都可以單獨(dú)對外提供服務(wù)
每個(gè)NN都會定義一個(gè)存儲池，有單獨(dú)的id，每個(gè)DN都為所有存儲池提供存儲
DN會按照存儲池id向其對應(yīng)的NN匯報(bào)塊信息，同時(shí)，DN會向所有NN匯報(bào)本地存儲可用資源情況
如果需要在客戶端方便的訪問若干個(gè)NN上的資源，可以使用客戶端掛載表，把不同的目錄映射到不同的NN，但NN上必須存在相應(yīng)的目錄
Yarn主要功能：
負(fù)責(zé)資源管理，任務(wù)調(diào)度
支持多種第三方計(jì)算框架
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機(jī)網(wǎng)站二維碼
