HADOOP HDFS有哪些優(yōu)點

本篇內(nèi)容介紹了“HADOOP HDFS有哪些優(yōu)點”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

以HADOOP 2.x為背景。

一、庫房（存儲銀兩）之HDFS。

為了發(fā)家致富，胡雪巖掌柜的開了（阜康錢莊），首先得找個地方放銀兩，在北京買塊地，蓋個房子，這就是銀庫（HDFS）,這個銀庫有個特點，除了北京（節(jié)點1）可以蓋，在河北（節(jié)點2）也能蓋，在安徽（節(jié)點3）也能蓋，而且這3地的銀庫的銀兩是可以互通的，儲戶左宗棠可以在北京存錢，安徽能取。

好處：

1、解決單點故障，北京銀庫被搶劫。

2、可以低成本擴展硬件的問題，北京地價貴。

3、數(shù)據(jù)的就近使用，河北也能取錢。

4、高擴展性。業(yè)務(wù)大，在河南也能蓋銀庫，業(yè)務(wù)小，河北的銀庫可以出租出去。

5、適合大數(shù)據(jù)處理、3個庫房可以同時存取銀兩。只要庫房(1w個庫房)夠多，放個幾個億。GB,TB,PB。

缺點：

1、低延時數(shù)據(jù)訪問，往庫房放銀兩較慢

2、適合存儲銀錠（大文件），不適合處理碎銀兩。

3、適合放銀兩，不適合換銀兩。

當(dāng)有了庫房，得有個管理庫房的人，（阜康錢莊）就開始營業(yè)了。

1、庫房總管：胡二（namenode）：

管理HDFS的名稱空間，北京庫房叫北庫，河北庫房叫河北庫，安徽庫房叫徽庫。

管理數(shù)據(jù)塊（block）的映射信息，記錄左大人的錢在哪里放在。

配置副本策略。

處理客戶端讀寫請求，接銀兩的存儲請求。

2、分庫房負責(zé)人：胡北京 胡河北 胡安徽（datanode）

存儲實際數(shù)據(jù)塊，放銀兩

執(zhí)行數(shù)據(jù)塊的讀寫操作，具體操作銀兩的存放。

存儲著文件。

hadoop1.0 一個銀錠64MB  

hadoop2.0 一個銀錠128MB

3、庫房總管助手：胡小二（胡二的助手）：

輔助胡二（namenode），分擔(dān)工作量。

定期合并fsimage和fsedits，并推送給namenode，胡小二平時記錄存儲賬目。

在緊急情況小，可輔助恢復(fù)namenode，胡小二接替胡二的工作。

4、客戶：儲戶左宗棠 （client）

存錢，上傳文件，零存，

取錢

和胡二讀取文件的位置信息

和胡北京讀取數(shù)據(jù)

二、下面聊聊存錢過程（HDFS的文件寫入）和取錢過程（HDFS的文件讀?。?/p>

1、左宗棠存錢過程.

左宗棠找胡二，我要存錢。

胡二先判斷左宗棠有權(quán)限存錢沒，然后給左宗棠分配存錢的庫房。

左宗棠拿著條（存儲信息），去了北京庫房，把錢存入北京庫房。

左宗棠把存儲的信息反饋給胡二。

2、左宗棠取錢過程。

左宗棠要取錢，問胡二錢在哪個庫房。

胡二告訴左宗棠錢在胡北京的庫房。

左宗棠去胡北京的庫房取銀兩。

如果取的錢太多，需要用車拉多次，左宗棠取一次錢，需要告訴一次胡二。

等取錢結(jié)束后，告訴胡二。

“HADOOP HDFS有哪些優(yōu)點”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！