Hadoop HDFS基本結構是怎樣的

本篇內容主要講解“Hadoop HDFS基本結構是怎樣的”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hadoop HDFS基本結構是怎樣的”吧!

1.HDFS 基本結構

分布式文件系統(tǒng)，高吞吐量，延遲較大， 主要結構包括namenode 和datanode節(jié)點。

問題：

1. namenode單點故障

2. datenode 通過協(xié)議進行副本同步

3. 為解決namenode單點故障問題，增加standby節(jié)點，如何進行同步？？？。 事實上Secondary Namenode并不能被用作Namenode它的主要作用是定期的將Namespace鏡像與操作日志文件(edit log)合并，以防止操作日志文件(edit log)變得過大。通常，Secondary Namenode 運行在一個單獨的物理機上，因為合并操作需要占用大量的CPU時間以及和Namenode相當?shù)膬却?。輔助Namenode保存著合并后的Namespace鏡像的一個備份，萬一哪天Namenode宕機了，這個備份就可以用上了。雖然不完全是個namenode的備份，更確切的是個輔助節(jié)點）周期性將元數(shù)據(jù)節(jié)點的命名控件鏡像文件和修改日志合并

4. 如何進行switchover？ 依靠zookeeper，一方面負責活動點選擇，一方面負責錯誤校驗。也可以用作分布式鎖，具體稍后研究zookeeper。

解答：

 namenode解決單點故障有兩個方案，一個是利用本身提供的secondary namenode，但是有延遲，僅僅是備份，會造成數(shù)據(jù)丟失；第二種方法是同步并原子性寫入本地硬盤的同時，也寫入到一個NFS服務器。（NFS服務器掛掉的概率暫時不考慮）

2. HBASE

3. ZooKeeper

    Zookeeper的核心是一個精簡的文件系統(tǒng)，它的原語操作是一組豐富的構件（building block），可用于實現(xiàn)很多協(xié)調數(shù)據(jù)結構和協(xié)議，包括分布式隊列、分布式鎖和一組同級節(jié)點中的“領導者選舉”（leader election）。

      Zookeeper實現(xiàn)的是Paxos算法。Zookeeper集群啟動后自動進行l(wèi)eader selection，投票選出一臺機器作為Leader，其他的都是Follower。通過heartbeat的機制，F(xiàn)ollower從Leader獲取命令或者消息，同步自己的數(shù)據(jù)，和Leader保持一致。為了保證數(shù)據(jù)的一致性，只有當半數(shù)以上的Follower的狀態(tài)和Leader成功同步了之后，才認為這次數(shù)據(jù)更新是成功的。為了選舉方便，Zookeeper集群數(shù)目是奇數(shù)

到此，相信大家對“Hadoop HDFS基本結構是怎樣的”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！