Hadoop項目規(guī)劃：硬件

規(guī)劃硬件我們主要介紹兩個方面：一個是Master怎么規(guī)劃，一個是Slave怎么規(guī)劃，選擇是不一樣的。其他規(guī)劃諸如容量以及操作系統(tǒng)的選擇也會簡單介紹，對于了解Hadoop的操作環(huán)境有著重要幫助作用。

首先我們看一下Slave，它是用來存儲數(shù)據(jù)然后進行計算的，在選擇配置的時候通常要優(yōu)先考慮處理器。我們知道Hadoop的核心并不是在單臺機器上進行多復雜的運算，它是分布式的，所以對于處理器的要求并不高，那么選擇中等的數(shù)據(jù)器就可以（比如：2*6核2.9主頻）。

至于內(nèi)存方面，要盡可能給高一點，中端給到256GB RAM，高端的給到512GB RAM。網(wǎng)絡方面中端給到1GB以太網(wǎng)，高端的給到10GB以太網(wǎng)。這里重點要講的是磁盤驅(qū)動，16*3TB SATA驅(qū)動（中端的），24*1TB SAS驅(qū)動（高端的），我們發(fā)現(xiàn)越高端磁盤越多，訪問效率也就越高。在磁盤驅(qū)動這里也會涉及到一個概念Non-RAID，大家了解一下，具體可以自己去挖掘。

交換機使用專用的網(wǎng)絡設施，Hadoop將會使資源飽和，節(jié)點都連接到機架交換機，機架之間通過核心交換機通信。

接下來我們重點強調(diào)Master節(jié)點，Master沒有業(yè)務數(shù)據(jù)，不需要計算，但是Master存儲有源數(shù)據(jù)，所以Master節(jié)點很重要，在使用機器的時候如果條件允許，最好選擇高端的機器，運營商級別的硬件，雙電源、以太網(wǎng)卡，所有的模塊都做冗余。它配置有Raid，因為Master上面就是源數(shù)據(jù)，數(shù)據(jù)沒有拷貝。20個節(jié)點以下集群配置64GB RAM，300個節(jié)點以下集群配置96GB內(nèi)存，更大的集群配置128GB內(nèi)存。

至于容量規(guī)劃以及操作系統(tǒng)的選擇，我們不做過多的說明，了解就可以。容量規(guī)劃我們重點考慮復本機制和臨時空間，以及服務器本身需要的空間。在這里我們必須清楚Hadoop自動使用新節(jié)點，很多集群開始很?。ㄉ儆?/span>10個節(jié)點），并隨著數(shù)據(jù)和處理的增長而增長，Hadoop集群可以增長到上千個節(jié)點。而操作系統(tǒng)一般選擇擅長管理的發(fā)行版，也可以了解一下幾個：CentOS：面向服務器，而不是工作站；RedHat企業(yè)版linux；Ubuntu非常流行的發(fā)行版；使用LTS（長期支持）的版本；SuSE在歐洲非常流行的發(fā)行版。

以上就是根據(jù)自己的經(jīng)驗對Hadoop硬件環(huán)境做的一個介紹，如果有什么不清楚的，比如Non-raid，可以自己去找資源充電。我平常也喜歡看一些別人分享的學習知識，從而彌補自己知識體系的欠缺，比如“大數(shù)據(jù)時代學習中心”。另外喜歡看一些實際的大數(shù)據(jù)案例，試著去分析案例中的問題，不斷提升自己調(diào)用知識的能力，比如“大數(shù)據(jù)cn”，大家共勉，一起進步。