HDFS有什么作用

這篇文章主要介紹了HDFS有什么作用，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1、HDFS是啥？

HDFS（Hadoop Distributed File System，Hadoop分布式文件系統(tǒng)），它是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。

2、HDFS特點(diǎn)是個(gè)啥？

1、大數(shù)據(jù)文件，可以存儲(chǔ)大數(shù)據(jù)文件，小的話用不著，單機(jī)就可以了，殺雞焉用牛刀。理論上如果管理節(jié)點(diǎn)的內(nèi)存足夠的話，無(wú)上限，但是畢竟硬件條件有限。如果一個(gè)block 128M，每個(gè)block需要4kb的管理信息  namenode內(nèi)存有8G 那么8G/4kb*128就是她這個(gè)集群的上限。

2、文件分塊存儲(chǔ)，HDFS會(huì)將一個(gè)完整的大文件平均分塊存儲(chǔ)到不同計(jì)算器上，塊的大小64M，128M, 256M都可以（看情況），它的意義在于讀取文件時(shí)可以同時(shí)從多個(gè)主機(jī)取不同區(qū)塊的文件，多主機(jī)讀取比單主機(jī)讀取效率要高得多得都。

3、流式數(shù)據(jù)訪問(wèn)，一次寫入多次讀寫，這種模式跟傳統(tǒng)文件不同，它不支持動(dòng)態(tài)改變文件內(nèi)容，而是要求讓文件一次寫入就不做變化，要變化也只能在文件末添加內(nèi)容。

4、廉價(jià)硬件，HDFS可以應(yīng)用在普通PC機(jī)上，這種機(jī)制能夠讓給一些公司用幾十臺(tái)廉價(jià)的計(jì)算機(jī)就可以撐起一個(gè)大數(shù)據(jù)集群。

5、硬件故障，HDFS認(rèn)為所有計(jì)算機(jī)都可能會(huì)出問(wèn)題，為了防止某個(gè)主機(jī)失效讀取不到該主機(jī)的塊文件，它將同一個(gè)文件塊副本分配到其它某幾個(gè)主機(jī)上，如果其中一臺(tái)主機(jī)失效，可以迅速找另一塊副本取文件。所以一般block備份三份，namenode 備份一份。

3、總結(jié)

    HDFS就是一個(gè)將大數(shù)據(jù)量的文件分割成成大小相等的block中，這個(gè)block一般為 62M,128M等，并存儲(chǔ)到集群中，可以一次存儲(chǔ)，多次讀取，不易修改，不適合做交互，時(shí)效性低

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“HDFS有什么作用”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!