大數(shù)據(jù)Hadoop中HDFS存儲的機制原理

本篇內(nèi)容介紹了“大數(shù)據(jù)Hadoop中HDFS存儲的機制原理”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

　　HDFS的存儲機制主要從它的三個實體來說！

　　數(shù)據(jù)塊

　　每個磁盤都有默認的數(shù)據(jù)塊大小，這是磁盤進行讀寫的基本單位。構(gòu)建于單個磁盤之上的文件系統(tǒng)通過磁盤塊來管理該文件系統(tǒng)中的塊。該文件系統(tǒng)中的塊一般為磁盤塊的整數(shù)倍。磁盤塊一般為 512 字節(jié)。HDFS 也有塊的概念，默認為64MB(一個map處理的數(shù)據(jù)大小)。HDFS上的文件也被劃分為塊大小的多個分塊，與其他文件系統(tǒng)不同的是，HDFS 中小于一個塊大小的文件不會占據(jù)整個塊的空間。

　　HDFS用塊存儲帶來的第一個明顯的好處一個文件的大小可以大于網(wǎng)絡(luò)中任意一個磁盤的容量，數(shù)據(jù)塊可以利用磁盤中任意一個磁盤進行存儲。第二個簡化了系統(tǒng)的設(shè)計，將控制單元設(shè)置為塊，可簡化存儲管理，計算單個磁盤能存儲多少塊就相對容易。同時也消除了對元數(shù)據(jù)的顧慮，如權(quán)限信息，可以由其他系統(tǒng)單獨管理。

　　DataNode 節(jié)點

　　DataNode 是 HDFS 文件系統(tǒng)的工作節(jié)點，它們根據(jù)需要存儲并檢索數(shù)據(jù)塊，受NameNode節(jié)點調(diào)度。并且定期向 NameNode 發(fā)送它們所存儲的塊的列表。

　　NameNode 節(jié)點

　　NameNode 管理 HDFS 文件系統(tǒng)的命名空間，它維護著文件系統(tǒng)樹及整棵樹的所有的文件及目錄。這些文件以兩個文件形式永久保存在本地磁盤上(命名空間鏡像文件和編輯日志文件).NameNode 記錄著每個文件中各個塊所在的數(shù)據(jù)節(jié)點信息但并不永久保存這些塊的位置信息，因為這些信息在系統(tǒng)啟動時由數(shù)據(jù)節(jié)點重建。

　　沒有 NameNode，文件系統(tǒng)將無法使用。如提供 NameNode 服務(wù)的機器損壞，文件系統(tǒng)上的所有文件丟失，我們就不能根據(jù) DataNode 的塊來重建文件。因此,對 NameNode 的容錯非常重要。第一種機制，備份那些組成文件系統(tǒng)元數(shù)據(jù)持久狀態(tài)的文件。通過配置使 NameNode在多個文件系統(tǒng)上保存元數(shù)據(jù)的持久狀態(tài)或?qū)?shù)據(jù)寫入本地磁盤的同時，寫入一個遠程掛載的網(wǎng)絡(luò)文件系統(tǒng)。當(dāng)然這些操作都是原子操作。第二種機制是運行一個輔助的 NameNode，它會保存合并后的命名空間鏡像的副本，并在Name/Node發(fā)生故障時啟用。但是輔助NameNode保存。態(tài)總是滯后于主力節(jié)點，所以在主節(jié)點全部失效后難免丟失數(shù)據(jù)。在這種情況下，一般把存儲在遠程掛載的網(wǎng)絡(luò)文件系統(tǒng)的數(shù)據(jù)復(fù)制到輔助NameNode并作為新的主NameNode 運行。

“大數(shù)據(jù)Hadoop中HDFS存儲的機制原理”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！