Hadoop集群管理中fsimage和edits工作機制的示例分析

發(fā)布時間：2021-12-09 15:11:09 來源：億速云閱讀：86 作者：小新欄目：云計算

這篇文章給大家分享的是有關(guān)Hadoop集群管理中fsimage和edits工作機制的示例分析的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

一、

fsiamges文件通常是整個集群的元數(shù)據(jù)信息。每次對它的修改很好內(nèi)存，io。

所以引入了edits

文件。存放每次對元數(shù)據(jù)修改的記錄，并通過Secondary Namenode定期的合并。

二、過程

Hadoop集群管理中fsimage和edits工作機制的示例分析

1.Secondary Namenode請求edits和fsimage合并。

2.Namenode停止對edits文件的修改，并生成edits.new文件，存儲在合并期間出現(xiàn)的對元數(shù)據(jù)的修改

3.Secondary Namenode通過http get方式獲取edits文件和fsimages文件

4.Secondary Namenode把請求到的fsimages文件導(dǎo)入內(nèi)存中，并按照edits文件逐一操作，生成fsimags.ckpt文件

5.Secondary Namenode通過http post方式把fsimages.ckpt文件發(fā)送給Namenode

6.Namenode接受到fsimages.ckpt文件后，替換原有的fsimages文件，并把edits.new文件改為edits文件，這樣就得到了新的合并后的fsimages文件和較小的edits文件

感謝各位的閱讀！關(guān)于“Hadoop集群管理中fsimage和edits工作機制的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

向AI問一下細節(jié)

猜你喜歡