Hadoop文件寫(xiě)入的示例分析

這篇文章將為大家詳細(xì)講解有關(guān)Hadoop文件寫(xiě)入的示例分析，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

            客戶端通過(guò)對(duì)DistibutedFileSystem對(duì)象調(diào)用create()函數(shù)來(lái)創(chuàng)建文件(步驟1).DistributedFileSystem對(duì)namenode創(chuàng)建一個(gè)RPC調(diào)用，在文件系統(tǒng)的命名空間中創(chuàng)建一個(gè)新文件，此時(shí)該文件中還沒(méi)有相應(yīng)的數(shù)據(jù)塊(步驟2)。namenode執(zhí)行各種不同的檢查以確保個(gè)文件不存在，并且客戶端有創(chuàng)建該文件的權(quán)限。如果這些檢查均通過(guò)，namenode就會(huì)創(chuàng)建新文件記錄一條記錄；否則，文件創(chuàng)建失敗并向客戶端拋出一個(gè)IOException異常。DistributedFileSystem向客戶端返回一個(gè)FSDataOutputStream對(duì)象，由此客戶端可以開(kāi)始寫(xiě)入數(shù)據(jù)。就像讀取事件一樣，F(xiàn)SDataOutputStream封裝一個(gè)DFSOutputStream對(duì)象，該對(duì)象負(fù)責(zé)處理datanode和namenode之間的通信。

                在客戶端寫(xiě)入數(shù)據(jù)時(shí)(步驟3),DFSOutputStream將它分成一個(gè)個(gè)的數(shù)據(jù)包，并寫(xiě)入內(nèi)部隊(duì)列，稱為“數(shù)據(jù)隊(duì)列”(data queue).DataStream處理數(shù)據(jù)列表，它的責(zé)任是根據(jù)datanode列表來(lái)要求namenode分配適合的新塊來(lái)存儲(chǔ)數(shù)據(jù)備份。這一組datanode構(gòu)成一個(gè)管線----我們假設(shè)復(fù)本數(shù)為3，所以管線中有3個(gè)節(jié)點(diǎn).DataStreamer將數(shù)據(jù)包流式傳輸?shù)焦芫€中第一個(gè)datanode，該datanode存儲(chǔ)數(shù)據(jù)包并將它發(fā)送到管線中的第2個(gè)datanode。同樣地，第2個(gè)datanode存儲(chǔ)該數(shù)據(jù)包并且發(fā)送給管線中的第3個(gè)(也就是最后一個(gè))datanode(步驟4).DFSOutputStream也維護(hù)著一個(gè)內(nèi)部數(shù)據(jù)包隊(duì)列來(lái)等待datanode的收到確認(rèn)回執(zhí)，稱為”確認(rèn)隊(duì)列“(ack queue).當(dāng)收到管道中所有datanode確認(rèn)信息后，該數(shù)據(jù)包才會(huì)從確認(rèn)隊(duì)列刪除(步驟5)。

                如果在數(shù)據(jù)寫(xiě)入期間，datanode發(fā)生故障，則執(zhí)行以下操作，這對(duì)于寫(xiě)入數(shù)據(jù)的客戶端是透明的，首先關(guān)閉管線，確認(rèn)把隊(duì)列中的任何數(shù)據(jù)包都添加回?cái)?shù)據(jù)隊(duì)列的最前端，以確認(rèn)故障節(jié)點(diǎn)下游的datanode不會(huì)漏掉任何一個(gè)數(shù)據(jù)包。為存儲(chǔ)在另一正常datanode的當(dāng)前數(shù)據(jù)塊指定一個(gè)新的標(biāo)識(shí)，并將該標(biāo)識(shí)傳送給namenode，以便datanode在恢復(fù)后可以刪除存儲(chǔ)的部分?jǐn)?shù)據(jù)塊。從管線中刪除故障數(shù)據(jù)節(jié)點(diǎn)并且把余下的數(shù)據(jù)塊寫(xiě)入管線中的兩個(gè)正常的datanode。namenode注意到塊復(fù)本量不足時(shí)，會(huì)在另一個(gè)節(jié)點(diǎn)創(chuàng)建一個(gè)新的復(fù)本。后續(xù)的數(shù)據(jù)塊繼續(xù)正常接受處理。

                在一個(gè)塊被寫(xiě)入期間可能會(huì)有多個(gè)datanode同時(shí)發(fā)生故障，但非常少見(jiàn)，只要寫(xiě)入了dfs.replication.min的復(fù)本數(shù)(默認(rèn)為1)，寫(xiě)操作就會(huì)成功，并且這個(gè)塊可以在集群中異步復(fù)制，直到達(dá)到其目標(biāo)復(fù)本數(shù)(dfs.replication的默認(rèn)值為3)。客戶端完成數(shù)據(jù)的寫(xiě)入后，會(huì)對(duì)數(shù)據(jù)流調(diào)用close()方法(步驟6)，該操作將剩余的所有數(shù)據(jù)包寫(xiě)入datanode管線中，并在聯(lián)系namenode且發(fā)送文件寫(xiě)入完成信號(hào)之前，等待確認(rèn)(步驟7)，namenode已經(jīng)知道文件由哪些塊組成(通過(guò)DataStreamer詢問(wèn)數(shù)據(jù)庫(kù)的分配)，所以它在返回成功前只需要等待數(shù)據(jù)塊進(jìn)行最小量的復(fù)制。

關(guān)于“Hadoop文件寫(xiě)入的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。