HDFS中體系結(jié)構(gòu)及各自作用有哪些

小編給大家分享一下HDFS中體系結(jié)構(gòu)及各自作用有哪些，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

HDFS 采用Master/Slave的架構(gòu)來存儲數(shù)據(jù)，這種架構(gòu)主要由四個部分組成，分別為HDFS Client、NameNode、DataNode和Secondary NameNode。

        Client：就是客戶端。

        1、文件切分。文件上傳 HDFS 的時候，Client 將文件切分成 一個一個的Block，然后進(jìn)行存儲。

        2、與 NameNode 交互，獲取文件的位置信息。

        3、與 DataNode 交互，讀取或者寫入數(shù)據(jù)。

        4、Client 提供一些命令來管理 HDFS，比如啟動或者關(guān)閉HDFS。

        5、Client 可以通過一些命令來訪問 HDFS。

        NameNode：就是 master，它是一個主管、管理者。

        1、管理 HDFS 的名稱空間。

        2、管理數(shù)據(jù)塊（Block）映射信息

        3、配置副本策略

        4、處理客戶端讀寫請求。

        DataNode：就是Slave。NameNode 下達(dá)命令，DataNode 執(zhí)行實(shí)際的操作。

        1、存儲實(shí)際的數(shù)據(jù)塊。

        2、執(zhí)行數(shù)據(jù)塊的讀/寫操作。

        Secondary NameNode：并非 NameNode 的熱備。當(dāng)NameNode 掛掉的時候，它并不能馬上替換 NameNode 并提供服務(wù)。

        1、輔助 NameNode，分擔(dān)其工作量。

        2、定期合并 fsimage和fsedits，并推送給NameNode。(NameNode將對文件系統(tǒng)的改動追加保存到本地文件系統(tǒng)上的一個日志文件（edits）。當(dāng)一個NameNode啟動時，它首先從一個映像文件（fsimage）中讀取HDFS的狀態(tài)，接著應(yīng)用日志文件中的edits操作。然后它將新的HDFS狀態(tài)寫入（fsimage）中，并使用一個空的 edits文件開始正常操作。因為NameNode只有在啟動階段才合并fsimage和edits，所以一段時間后日志文件可能會變得非常龐大，特別是對大型的集群。日志文件太大的另一個副作用是下一次NameNode啟動會花很長時間。 
Secondary NameNode定期合并fsimage和edits日志，將edits日志文件大小控制在一個限度下。因為內(nèi)存需求和NameNode在一個數(shù)量級上，所以通常secondary NameNode（運(yùn)行在單獨(dú)的物理機(jī)器上）和NameNode運(yùn)行在不同的機(jī)器上。Secondary NameNode通過bin/start-dfs.sh在conf/masters中指定的節(jié)點(diǎn)上啟動。 
Secondary NameNode保存最新檢查點(diǎn)的目錄與NameNode的目錄結(jié)構(gòu)相同。所以NameNode可以在需要的時候讀取Secondary NameNode上的檢查點(diǎn)鏡像)

        3、在緊急情況下，可輔助恢復(fù) NameNode。

看完了這篇文章，相信你對“HDFS中體系結(jié)構(gòu)及各自作用有哪些”有了一定的了解，如果想了解更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！