溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

初學(xué)HDFS的讀過程和寫過程的分析

發(fā)布時(shí)間：2020-07-27 10:15:54 來源：網(wǎng)絡(luò) 閱讀：451 作者：施大豆 欄目：開發(fā)技術(shù)

剛剛接觸HDFS,感覺HDFS的數(shù)據(jù)可靠性非常高，記錄一下..

一HDFS的基本原理

HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型，一個(gè)HDFS集群包括一個(gè)名稱節(jié)點(diǎn)（NameNode）和若干個(gè)數(shù)據(jù)節(jié)點(diǎn)（DataNode）。名稱節(jié)點(diǎn)作為中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的命名空間及客戶端對(duì)文件的訪問。集群中的數(shù)據(jù)節(jié)點(diǎn)一般是一個(gè)節(jié)點(diǎn)運(yùn)行一個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)程，負(fù)責(zé)處理文件系統(tǒng)客戶端的讀/寫請(qǐng)求，在名稱節(jié)點(diǎn)的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制等操作。每個(gè)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)實(shí)際上是保存在本地Linux文件系統(tǒng)中的。

初學(xué)HDFS的讀過程和寫過程的分析


二HDFS寫操作

寫文件的過程：是一種流水線復(fù)制



初學(xué)HDFS的讀過程和寫過程的分析





三HDFS讀操作



初學(xué)HDFS的讀過程和寫過程的分析



        HDFS 的文件塊多副本分散存儲(chǔ)機(jī)制保障了數(shù)據(jù)存儲(chǔ)的可靠性，當(dāng)讀取文件時(shí) DataNode 掛了只需要失敗轉(zhuǎn)移到其他副本所在的 DataNode 繼續(xù)讀取，而對(duì)于發(fā)生副本塊錯(cuò)誤，讀取到的文件數(shù)據(jù)塊若校驗(yàn)失敗可認(rèn)定為損壞，依然可以轉(zhuǎn)移到讀取其他完好的副本，并向 NameNode 匯報(bào)該文件 block 損壞，后續(xù)處理由 NameNode 通知 DataNode 刪除損壞文件 block，并根據(jù)完好的副本來復(fù)制一份新的文件 block 副本。



向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手