Java大數(shù)據(jù)開發(fā)中Hadoop的HDFS內(nèi)部原理是什么

這篇文章將為大家詳細(xì)講解有關(guān)Java大數(shù)據(jù)開發(fā)中Hadoop的HDFS內(nèi)部原理是什么，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

1、客戶端向NameNode請(qǐng)求上傳文件，NameNode會(huì)檢查目標(biāo)文件是否已存在，父目錄是否存在。所以NameNode起到了統(tǒng)一管理的作用。

2、NameNode返回是否可以上傳，NameNode知道每一個(gè)數(shù)據(jù)節(jié)點(diǎn)的情況。

3、客戶端請(qǐng)求第一個(gè)塊( block)上傳到集群上哪幾個(gè)DataNode服務(wù)器上。

4、NameNode返回3個(gè)DataNode節(jié)點(diǎn)，分別為dn1、dn2、dn3三個(gè)節(jié)點(diǎn)。集群在啟動(dòng)的時(shí)候NameNode就已經(jīng)知道DataNode節(jié)點(diǎn)了、

5、客戶端請(qǐng)求dn1上傳數(shù)據(jù)，dn1收到請(qǐng)求會(huì)繼續(xù)調(diào)用dn2，然后dn2調(diào)用dn3，將這個(gè)通信管道建立完成。

6、dn1、dn2、dn3依次逐級(jí)應(yīng)答客戶端。

7、客戶端開始往dn1上傳第一個(gè)block（先從磁盤讀取數(shù)據(jù)放到一個(gè)本地內(nèi)存緩存），以packet為單位，dn1收到一個(gè)packet就會(huì)傳給dn2，dn2傳給dn3；dn1每傳一個(gè)packet會(huì)放入一個(gè)應(yīng)答隊(duì)列等待應(yīng)答。

8、當(dāng)一個(gè)block傳輸完成之后，客戶端再次請(qǐng)求NameNode上傳第二個(gè)block的服務(wù)器。（重復(fù)執(zhí)行3-7步）。

網(wǎng)絡(luò)拓?fù)涓拍?/strong>

在數(shù)據(jù)處理中，兩個(gè)節(jié)點(diǎn)間的帶寬作為距離的衡量標(biāo)準(zhǔn)。

節(jié)點(diǎn)距離：兩個(gè)節(jié)點(diǎn)到達(dá)最近的共同祖先的距離總和。

例如，假設(shè)有數(shù)據(jù)中心d1（d1為集群）機(jī)架r1中的節(jié)點(diǎn)n1。該節(jié)點(diǎn)可以表示為/d1/r1/n1。利用這種標(biāo)記，這里給出四種距離描述。

Range(/d1/r1/n1, /d1/r1/n1)=0（同一節(jié)點(diǎn)上的進(jìn)程）

Range(/d1/r1/n1, /d1/r1/n2)=2（同一機(jī)架上的不同節(jié)點(diǎn)）

Range(/d1/r1/n1, /d1/r3/n2)=4（同一數(shù)據(jù)中心不同機(jī)架上的節(jié)點(diǎn)）

Range(/d1/r1/n1, /d2/r4/n2)=6（不同數(shù)據(jù)中心的節(jié)點(diǎn)）

注意：

對(duì)于n0 n1 n2 ，機(jī)架r1是共同祖先
對(duì)于機(jī)架r1 機(jī)架r12 機(jī)架r13，集群d1是共同祖先

依次類推......

舉例：為什么Range(/d1/r1/n1, /d2/r4/n2)=6？

副本存儲(chǔ)節(jié)點(diǎn)選擇

第一個(gè)副本在集群節(jié)點(diǎn)上，隨機(jī)選一個(gè)。

第二個(gè)副本和第一個(gè)副本位于相同機(jī)架上，但節(jié)點(diǎn)是隨機(jī)的。

第三個(gè)副本位于不同機(jī)架的隨機(jī)節(jié)點(diǎn)上。

HDFS讀數(shù)據(jù)的流程

1、客戶端向NameNode請(qǐng)求下載文件，NameNode會(huì)通過(guò)查詢?cè)獢?shù)據(jù)，找到DataNode地址，即文件塊所在的地址。

2、挑選一臺(tái)DataNode服務(wù)器，至于選哪一臺(tái)機(jī)器是就近原則，然后隨機(jī) ，請(qǐng)求讀取數(shù)據(jù)。

3、DataNode開始傳輸數(shù)據(jù)給客戶端，從磁盤里面讀取數(shù)據(jù)輸入流，以packet為單位來(lái)做校驗(yàn)。

4、客戶端以packet為單位接收，先在本地緩存，然后寫入目標(biāo)文件。

關(guān)于“Java大數(shù)據(jù)開發(fā)中Hadoop的HDFS內(nèi)部原理是什么”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。