溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Hadoop Namenode元數(shù)據(jù)持久化機(jī)制與SecondaryNamenode的作用是什么

發(fā)布時(shí)間：2021-11-23 16:21:18 來源：億速云 閱讀：156 作者：柒染 欄目：大數(shù)據(jù)

這篇文章將為大家詳細(xì)講解有關(guān)Hadoop Namenode元數(shù)據(jù)持久化機(jī)制與SecondaryNamenode的作用是什么，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

我們都知道namenode是用來存儲元數(shù)據(jù)的，他并不是用來存儲真正的數(shù)據(jù)。

那么他的元數(shù)據(jù)怎么進(jìn)行持久化呢！

FsImage

文件系統(tǒng)的鏡像文件叫fsImage，它包括了文件和塊信息的映射，還有文件系統(tǒng)的屬性信息。

datanode啟動的過程中 首先會向namenode注冊塊信息，這些塊信息就是存儲在namenode的FsImage中的。

EditLog

對于文件系統(tǒng)的每一次更改，例如，增加文件，刪除文件等操作都會被寫入Edit Log 這個(gè)問題件中。

同樣的，修改文件系統(tǒng)的副本因子配置，也會被寫入Edit Log文件。

EditLog 文件和fsImage文件都存儲在文件系統(tǒng)的本地路徑中。

namenode在內(nèi)存中存儲了，整個(gè)文件系統(tǒng)的鏡像和文件塊映射信息。

元數(shù)據(jù)是可以被合并的，因此namenode有4GB的內(nèi)存，就足以存儲巨量的文件和目錄。

namenode啟動過程中發(fā)生了什么呢？

1、從硬盤讀取FsImage 和EditLog文件。

2、將EditLog文件中的所有操作信息寫入FsImage中。產(chǎn)生一個(gè)新的FsImage文件- - - -這一操作被稱為checkpoint

3、產(chǎn)生一個(gè)新的空的EditLog文件

namenode啟動的時(shí)候checkponit

Hadoop Namenode元數(shù)據(jù)持久化機(jī)制與SecondaryNamenode的作用是什么

namenode運(yùn)行過程中和fsImage 與 EditLog的交互操作

Hadoop Namenode元數(shù)據(jù)持久化機(jī)制與SecondaryNamenode的作用是什么

SecondaryNamenode
很多人理解的SecondaryNamenode的作用就是對namenode的備份，當(dāng)namenode宕機(jī)了， 可以快速用secondarynamenode 恢復(fù)回來。
其實(shí) SecondaryNamenode的重要作用，是定期合并FsImage和EditLog文件。

考慮一個(gè)場景。當(dāng)我們的namenode宕機(jī)了。我們需要讀取EditLog文件合并fsImage文件做恢復(fù)。如果這個(gè)EditLog文件，非常非常大，那么可能僅僅是讀EditLog文件，就需要很長很長時(shí)間，以至于我們的故障恢復(fù)效果很差。
所以SecondaryNameNode，定期合并FsImage和EditLog文件，并替換namenode上的舊的FsImage文件，生成新的EditLog文件，替換原來的舊的EditLog文件。這樣可以保證SecondaryNameNode上的文件為最近的信息。當(dāng)發(fā)生宕機(jī)時(shí)候，可以快速恢復(fù)。
Hadoop Namenode元數(shù)據(jù)持久化機(jī)制與SecondaryNamenode的作用是什么

關(guān)于Hadoop Namenode元數(shù)據(jù)持久化機(jī)制與SecondaryNamenode的作用是什么就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手