HDFS產(chǎn)生背景是什么

小編給大家分享一下HDFS產(chǎn)生背景是什么，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

HDFS產(chǎn)生背景

隨著數(shù)據(jù)量越來(lái)越大，在一個(gè)操作系統(tǒng)存不下所有的數(shù)據(jù)，那么就分配到更多的操作系統(tǒng)管理的磁盤(pán)中，但是不方便管理和維護(hù)，迫切需要一種系統(tǒng)來(lái)管理多臺(tái)機(jī)器上的文件，這就是分布式文件管理系統(tǒng)。HDFS只是分布式文件管理系統(tǒng)中的一種。

HDFS定義

HDFS（ Hadoop Distributed File System），它是一個(gè)文件系統(tǒng)，用于存儲(chǔ)文件，通過(guò)目錄樹(shù)來(lái)定位文件；其次，它是分布式的，由很多服務(wù)器聯(lián)合起來(lái)實(shí)現(xiàn)其功能，集群中的服務(wù)器有各自的角色

關(guān)鍵詞：文件系統(tǒng)，分布式

使用場(chǎng)景

適合一次寫(xiě)入，多次讀出的場(chǎng)景，且不支持文件的修改。適合用來(lái)做數(shù)據(jù)分析，并不適合用來(lái)做網(wǎng)盤(pán)應(yīng)用

優(yōu)點(diǎn)

• 高容錯(cuò)性（1）數(shù)據(jù)自動(dòng)保存多個(gè)副本。它通過(guò)增加副本的形式，提高容錯(cuò)性。 （2）某一個(gè)副本丟失以后，它可以自動(dòng)恢復(fù)

• 適合處理大數(shù)據(jù)（1）數(shù)據(jù)規(guī)模：能夠處理數(shù)據(jù)規(guī)模達(dá)到GB、TB、甚至PB級(jí)別的數(shù)據(jù)： （2）文件規(guī)模：能夠處理百萬(wàn)規(guī)模以上的文件數(shù)量，數(shù)量相當(dāng)之大 （3）可構(gòu)建在廉價(jià)機(jī)器上，通過(guò)多副本機(jī)制，提高可靠性

缺點(diǎn)

• 不適合低延時(shí)數(shù)據(jù)訪問(wèn)，比如毫秒級(jí)的存儲(chǔ)數(shù)據(jù)，是做不到的

• 無(wú)法高效的對(duì)大量小文件進(jìn)行存儲(chǔ)

（1）存儲(chǔ)大量小文件的話，它會(huì)占用 Namenode大量的內(nèi)存來(lái)存儲(chǔ)文件目錄和塊信息。這樣是不可取的，因?yàn)?Namenode的內(nèi)存總是有限的：
（2）小文件存儲(chǔ)的尋址時(shí)間會(huì)超過(guò)讀取時(shí)間，它違反了HDFS的設(shè)計(jì)目標(biāo)。

• 不支持并發(fā)寫(xiě)入、文件隨機(jī)修改HDFS

（1）一個(gè)文件只能有一個(gè)寫(xiě)，不允許多個(gè)線程同時(shí)寫(xiě)：
（2）僅支持?jǐn)?shù)據(jù) 
append（追加），不支持文件的隨機(jī)修改

HDFS組成架構(gòu)圖

HDFS文件塊大小

思考：快為什么不能設(shè)置太小，也不能設(shè)置太大呢？

（1）HDFS的塊設(shè)置太小，會(huì)增加尋址時(shí)間，程序一直在找塊的開(kāi)始位置：（2）HDFS的塊比磁盤(pán)的塊大，其目的是為了最小化尋址開(kāi)銷(xiāo)：（3）如果塊設(shè)置的太大，從磁盤(pán)傳輸數(shù)據(jù)的時(shí)間會(huì)明顯大于定位這個(gè)塊開(kāi)始位置所需的時(shí)間。導(dǎo)致程序在處理這塊數(shù)據(jù)時(shí)，會(huì)非常慢。

以上是“HDFS產(chǎn)生背景是什么”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！