HDFS讀流程的示例分析

這篇文章給大家分享的是有關(guān)HDFS讀流程的示例分析的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

1.客戶端或者用戶通過調(diào)用FileSystem對象的Open()方法打開需要讀取的文件，這時就是HDSF分布式系統(tǒng)所獲取的一個對象

　　2.FileSystem通過遠程協(xié)議調(diào)用NameNode確定文件的前幾個Block的位置，對于每一個block,NameNode返回一個含有Block的元數(shù)據(jù)信息，接下來DataNode按照上面定義的距離(offSet偏移量)進行排序,如果Client本身即是一個DataNode,那么就會優(yōu)先從本地DataNode節(jié)點讀取數(shù)據(jù). HDFS完成上面的工作之后返回一個FSDatalnputStream給客戶端,讓其從FSDatalnputStream中讀取。FSDatalnputStream包裝了一個類DFSInputStream,用來管理DataNode和NameNode的I/O操作。

　　3.NameNode向客戶端返回一個包含了數(shù)據(jù)信息的地址,客戶端根據(jù)地址創(chuàng)建一個FSDDatalnputStream的對象開始進行數(shù)據(jù)的讀取

　　4.FSDatalnputStream根據(jù)開始存的前幾個Block的DataNode地址，連接到最近DataNode上對數(shù)據(jù)開始從頭讀取，客戶端會反復(fù)調(diào)用read()方法，以流的形式讀取DataNode這中的數(shù)據(jù)

　　5.當讀取到Block的結(jié)尾的時候，F(xiàn)SDatalnputStream會關(guān)閉當前DataNode的連接然后查找能否讀取下一個Block的DataNode位置信息,此時給客戶端產(chǎn)生的感覺就是數(shù)據(jù)是連續(xù)讀取的，也就說在讀取的時候開始查找下一個塊所在的地址。讀取完成時需要使用close()方法關(guān)閉FSDatalnputStream

　　HDFS寫流程：

　　1.Client通過調(diào)用FileSystem類的Create()方法請求創(chuàng)建文件

　　2.FileSystem通過對NameNode發(fā)出遠程請求,在NameNode里面創(chuàng)建一個新的文件,但是此時并不關(guān)聯(lián)任何塊,NameNode進行很多檢查來保證不存在要創(chuàng)建文件已經(jīng)在系統(tǒng)中,同時檢查是否有相當權(quán)限來創(chuàng)建文件，如果這些都檢查完了,那么NamdNode會記錄下這個新文件的信息。FileSystem返回一個FSDatalnputStream給客戶端用來寫入數(shù)據(jù)，F(xiàn)SDatalnputStream將包裝一個DFsOutputStream用于對DataNode和NameNode的通信,一旦文件創(chuàng)建失敗,會給客戶端返回一個l0Exception表示文件創(chuàng)建失敗并停止任務(wù)

　　3.客戶端開始寫數(shù)據(jù)FSDatalnputStream把要寫的數(shù)據(jù)分成包的形式將其寫入到中間隊列中，其中的數(shù)據(jù)有DataStramer來讀取,DataStreamer的職責就是讓NameNode分配一個新的塊通過查找對應(yīng)DataNode來存數(shù)據(jù),來存儲的數(shù)據(jù)會被備份出一個副本,存儲到其他節(jié)點完成數(shù)據(jù)寫入即可

　　4.FSDatalnputStream維護了一個內(nèi)部關(guān)于packets的隊列,里面存放著等待被DataNode確認的信息,一旦數(shù)據(jù)信息寫入DataNode成功后,就會從隊列中移除

　　5.當數(shù)據(jù)完成寫入之后客戶會調(diào)用close方法,通過NameNode完成寫入之前通過一個方法flush將殘留數(shù)據(jù)一起寫進去。和NameNode確定寫入的位置信息，并返回成功狀態(tài)。

感謝各位的閱讀！關(guān)于“HDFS讀流程的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！