HDFS的體系結(jié)構(gòu)有哪些

這篇文章主要介紹HDFS的體系結(jié)構(gòu)有哪些，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

分布式文件系統(tǒng)HDFS是一種分布式文件系統(tǒng)，設(shè)計用于在商用硬件上運行，它與現(xiàn)有的分布式文件系統(tǒng)有許多相似之處。但是，與其他的分布式文件系統(tǒng)也有著很大的差異，HDFS旨在具有高容錯、部署在低成本應(yīng)將、提供對應(yīng)用數(shù)據(jù)的高吞吐量訪問。適用于具有大型數(shù)據(jù)集的應(yīng)用程序。

HDFS采用了典型的Master/Slave系統(tǒng)架構(gòu)，一個HDFS集群通常包含一個NameNode節(jié)點和若干的DataNode節(jié)點，一個文件被分成了一個或者多個數(shù)據(jù)塊，并且存儲在一組DataNode上，DataNode節(jié)點可以分布在不同的機架。NameNode執(zhí)行文件系統(tǒng)的名字空間打開、關(guān)閉、重命名文件或者目錄等操作，同時負責(zé)管理數(shù)據(jù)塊到具體的DataNode節(jié)點的映射。在NameNode的統(tǒng)一調(diào)度下，DataNode負責(zé)處理文件系統(tǒng)客戶端的讀/寫請求，完成數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。

• NameNode和DataNode

HDFS具有主從架構(gòu)，NameNode節(jié)點負責(zé)集群的任務(wù)調(diào)度，DataNode節(jié)點負責(zé)執(zhí)行任務(wù)和存儲數(shù)據(jù)塊，NameNode管理文件系統(tǒng)的命名空間，維護者整個文件系統(tǒng)的文件目錄樹以及這些文件的索引目錄。這些信息以命名空間鏡像和編輯日志靚仔形式存儲在本地文件系統(tǒng)中。從NameNode中可以獲取每個文件的每個塊存儲在DataNode節(jié)點的位置，NameNode會在每次啟動系統(tǒng)時動態(tài)的重建這些信息?？蛻舳送ㄟ^NameNode獲取元數(shù)據(jù)信息，與DataNode會進行交互以訪問整個文件系統(tǒng)。

單個NameNode：一個管理文件系統(tǒng)命名空間的主服務(wù)器和管理客戶端對文件的訪問組成。此外，還有許多DataNode：通常是群集中每個節(jié)點一個，用于管理連接到它們運行的節(jié)點的存儲。

DataNode是文件系統(tǒng)的工作節(jié)點，供客戶端和NameNode調(diào)用并且執(zhí)行具體任務(wù)，存儲文件塊。DataNode通過心跳機制制定時向NameNode發(fā)送所儲存的文件塊信息，報告其工作狀態(tài)

• 數(shù)據(jù)塊

數(shù)據(jù)塊是磁盤進行數(shù)據(jù)讀/寫操作的最小單元。文件以塊的形式存儲在磁盤中，文件系統(tǒng)每次都能操作磁盤塊大小整數(shù)倍的數(shù)據(jù)。HDFS中的文件也被劃分為多個邏輯塊進行存儲。HDFS中的數(shù)據(jù)庫的大小，影響到尋址開銷，數(shù)據(jù)塊越小，尋址開銷越大，如果數(shù)據(jù)庫設(shè)置的足夠大，從磁盤傳輸數(shù)據(jù)的時間會明顯大于定位這個數(shù)據(jù)塊開始位置所需要的時間。因而，傳輸一個由多個數(shù)據(jù)塊組成的文件的時間取決于磁盤傳輸效率，用戶必須在數(shù)據(jù)塊大小設(shè)置上做出優(yōu)化選擇。

HDFS作為分布式系統(tǒng)，使用抽象的數(shù)據(jù)塊的優(yōu)勢：

1. 通過集群擴展能力可以存儲大于網(wǎng)絡(luò)中任意一個磁盤容量的任意大小文件

2. 使用抽象塊而不是整個文件作為存儲單元，可簡化存儲子系統(tǒng)，固定塊大小可方便元數(shù)據(jù)和文件數(shù)據(jù)塊的內(nèi)容分開存儲

3. 便于備份和數(shù)據(jù)容錯，提供系統(tǒng)可用性。
   

以上是“HDFS的體系結(jié)構(gòu)有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！