HDFS Namenode是怎么組成的

這篇文章主要介紹了HDFS Namenode是怎么組成的，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1.Namenode組成

    fsimage鏡像文件包含了整個(gè)HDFS文件系統(tǒng)的所有目錄和文件的indoe信息。對(duì)于文件來(lái)說(shuō)包括了數(shù)據(jù)塊描述信息、修改時(shí)間、訪問(wèn)時(shí)間等；對(duì)于目錄來(lái)說(shuō)包括修改時(shí)間、訪問(wèn)權(quán)限控制信息(目錄所屬用戶，所在組等)等。

    edit文件主要是在NameNode已經(jīng)啟動(dòng)情況下對(duì)HDFS進(jìn)行的各種更新操作進(jìn)行記錄，HDFS客戶端執(zhí)行所有的寫操作都會(huì)被記錄到edit文件中。

2. 1.X的SecondaryNamenode

• secondarynamenode通知namenode生成新的日志文件(edits.new)，以后的日志都寫到新的日志文件中。

• secondarynamenode用http get從元數(shù)據(jù)節(jié)點(diǎn)獲得fsimage文件及舊的日志文件(edits)。

• secondarynamenode將fsimage文件加載到內(nèi)存中，并執(zhí)行日志文件(edits)中的操作，然后生成新的fsimage文件。

• secondarynamenode將新的fsimage文件用http post傳回namenode.

• namenode可以將舊的fsimage文件及舊的日志文件(edits)，換為新的fsimage文件和新的日志文件(第一步生成的)(edits.new -> edits)，然后更新fstime文件，寫入此次checkpoint的時(shí)間。

• 這樣元數(shù)據(jù)節(jié)點(diǎn)中的fsimage文件保存了最新的checkpoint的元數(shù)據(jù)信息，日志文件也重新開(kāi)始，不會(huì)變的很大了。 

通過(guò)上面的步驟能有效減少edits文件的大小從而減少每次啟動(dòng)執(zhí)行merge的時(shí)間。

注：http://p-x1984.iteye.com/blog/860290

3.2.X的HA和merge（NFS和JQM）

NFS，shared NN EDITS LOG

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“HDFS Namenode是怎么組成的”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!