HDFS的設(shè)計(jì)特點(diǎn)是什么

小編給大家分享一下HDFS的設(shè)計(jì)特點(diǎn)是什么，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

HDFS的設(shè)計(jì)特點(diǎn)是：

1、大數(shù)據(jù)文件，非常適合上T級(jí)別的大文件或者一堆大數(shù)據(jù)文件的存儲(chǔ)，如果文件只有幾個(gè)G甚至更小就沒(méi)啥意思了。

2、文件分塊存儲(chǔ)，HDFS會(huì)將一個(gè)完整的大文件平均分塊存儲(chǔ)到不同計(jì)算器上，它的意義在于讀取文件時(shí)可以同時(shí)從多個(gè)主機(jī)取不同區(qū)塊的文件，多主機(jī)讀取比單主機(jī)讀取效率要高得多得都。

3、流式數(shù)據(jù)訪問(wèn)，一次寫(xiě)入多次讀寫(xiě)，這種模式跟傳統(tǒng)文件不同，它不支持動(dòng)態(tài)改變文件內(nèi)容，而是要求讓文件一次寫(xiě)入就不做變化，要變化也只能在文件末添加內(nèi)容。

4、廉價(jià)硬件，HDFS可以應(yīng)用在普通PC機(jī)上，這種機(jī)制能夠讓給一些公司用幾十臺(tái)廉價(jià)的計(jì)算機(jī)就可以撐起一個(gè)大數(shù)據(jù)集群。

5、硬件故障，HDFS認(rèn)為所有計(jì)算機(jī)都可能會(huì)出問(wèn)題，為了防止某個(gè)主機(jī)失效讀取不到該主機(jī)的塊文件，它將同一個(gè)文件塊副本分配到其它某幾個(gè)主機(jī)上，如果其中一臺(tái)主機(jī)失效，可以迅速找另一塊副本取文件。

HDFS的關(guān)鍵元素：

Block：將一個(gè)文件進(jìn)行分塊，通常是64M。

NameNode：保存整個(gè)文件系統(tǒng)的目錄信息、文件信息及分塊信息，這是由唯一一臺(tái)主機(jī)專門(mén)保存，當(dāng)然這臺(tái)主機(jī)如果出錯(cuò)，NameNode就失效了。在Hadoop2.*開(kāi)始支持activity-standy模式----如果主NameNode失效，啟動(dòng)備用主機(jī)運(yùn)行NameNode。

DataNode：分布在廉價(jià)的計(jì)算機(jī)上，用于存儲(chǔ)Block塊文件。

• MapReduce

通俗說(shuō)MapReduce是一套從海量·源數(shù)據(jù)提取分析元素最后返回結(jié)果集的編程模型，將文件分布式存儲(chǔ)到硬盤(pán)是第一步，而從海量數(shù)據(jù)中提取分析我們需要的內(nèi)容就是MapReduce做的事了。

下面以一個(gè)計(jì)算海量數(shù)據(jù)最大值為例：一個(gè)銀行有上億儲(chǔ)戶，銀行希望找到存儲(chǔ)金額最高的金額是多少，按照傳統(tǒng)的計(jì)算方式，我們會(huì)這樣：

Long moneys[] ...
Long max = 0L;
for(int i=0;i<moneys.length;i++){
  if(moneys[i]>max){
    max = moneys[i];
  }
}

 如果計(jì)算的數(shù)組長(zhǎng)度少的話，這樣實(shí)現(xiàn)是不會(huì)有問(wèn)題的，還是面對(duì)海量數(shù)據(jù)的時(shí)候就會(huì)有問(wèn)題。

MapReduce會(huì)這樣做：首先數(shù)字是分布存儲(chǔ)在不同塊中的，以某幾個(gè)塊為一個(gè)Map，計(jì)算出Map中最大的值，然后將每個(gè)Map中的最大值做Reduce操作，Reduce再取最大值給用戶。

        MapReduce的基本原理就是：將大的數(shù)據(jù)分析分成小塊逐個(gè)分析，最后再將提取出來(lái)的數(shù)據(jù)匯總分析，最終獲得我們想要的內(nèi)容。當(dāng)然怎么分塊分析，怎么做Reduce操作非常復(fù)雜，Hadoop已經(jīng)提供了數(shù)據(jù)分析的實(shí)現(xiàn)，我們只需要編寫(xiě)簡(jiǎn)單的需求命令即可達(dá)成我們想要的數(shù)據(jù)。

以上是“HDFS的設(shè)計(jì)特點(diǎn)是什么”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！