HDFS簡介

Hadoop分布式文件系統(tǒng)

HDFS Hadoop Distributed Filesystem

分布式文件系統(tǒng)：當(dāng)數(shù)據(jù)集大到超過一臺獨立的計算機存儲能力時，就需要存儲到若干臺單獨的計算機上，管理網(wǎng)絡(luò)中跨多臺計算機存儲的文件系統(tǒng)稱為分布式文件系統(tǒng)。

分布式文件系統(tǒng)復(fù)雜性：需要考慮節(jié)點故障、不丟失任何數(shù)據(jù)。

HDFS以流式數(shù)據(jù)訪問模式來存儲超大文件，運行于商用硬件集群上。

1.超大文件：TB甚至PB級。

2.流式數(shù)據(jù)訪問：一次寫入，多次讀取是最高效地訪問模式。在數(shù)據(jù)集上長時間進行各類分析，每次分析都涉及到數(shù)據(jù)集的大部分甚至全部。

3.商用硬件：不需要昂貴且高可靠的硬件，商用硬件，高故障率，但不被用戶察覺。

不適合運行在HDFS上：

1.低延遲的數(shù)據(jù)訪問：高數(shù)據(jù)吞吐量，以高時間延遲為代價。

2.大量的小文件：namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內(nèi)存中，所能存儲的文件總數(shù)受限于namenode的內(nèi)存總量。

3.多用戶寫入，任意修改文件：一個writer，寫操作總是將數(shù)據(jù)添加到文件的末尾。

數(shù)據(jù)塊：

HDFS的數(shù)據(jù)塊，默認(rèn)64MB。

HDFS的快比磁盤的塊大，目的是為了最小化尋址開銷。如果塊設(shè)置的足夠大，從磁盤傳輸數(shù)據(jù)的時間可以明顯的大于定位這個塊開始位置所需的時間。這樣，傳輸一個由多個塊組成的文件的時間取決于磁盤傳輸速率。

塊概念的抽象好處：

1.一個文件的大小可以大于網(wǎng)絡(luò)中任意一個磁盤的容量。一個文件的所有塊不需要存儲在同一個磁盤上。

2.使用塊而非文件作為存儲單元，簡化存儲管理。

3.塊非常適用于數(shù)據(jù)備份進而提供數(shù)據(jù)容錯能力和可用性。

namenode和datanode

HDFS集群有兩類節(jié)點，并以管理者-工作者模式運行，即一個namenode（管理者）和多個datanode（工作者）。

namenode管理文件系統(tǒng)的命名空間，維護著文件系統(tǒng)樹及整棵樹內(nèi)所有的文件和目錄。

datanode是文件系統(tǒng)的工作節(jié)點，它們根據(jù)需要存儲并檢索數(shù)據(jù)塊（受客戶端或namenode調(diào)度），并且定期向namenode發(fā)送它們所存儲的塊的列表。