（第2篇）一篇文章教你輕松安裝hadoop

 如果你看了我的上一篇文章，那此時(shí)你對hadoop已經(jīng)有了一個(gè)大概的了解，那接下來這篇文章就教大家怎么安裝hadoop環(huán)境，只要你用心，仔細(xì)的跟著文章中講到的做，肯定能正確安裝。

     安裝hadoop環(huán)境

由于大家在學(xué)習(xí)hadoop時(shí)候，主要以Hadoop 1.0環(huán)境為主學(xué)習(xí)就可以，所以這主要介紹如何搭建Hadoop 1.0分布式環(huán)境。

整個(gè)分布式環(huán)境運(yùn)行在帶有linux操作系統(tǒng)的虛擬機(jī)上，至于虛擬機(jī)和linux系統(tǒng)的安裝這里暫不做過多介紹。

安裝Hadoop分布式環(huán)境：

1) 下載Hadoop安裝包：

在本站下載地址  http://down.51cto.com/data/2290706  中可以找到hadoop-1.2.1-bin.tar.gz文件

使用securtCRT的rz功能上傳hadoop-1.2.1-bin.tar.gz這個(gè)文件到虛擬機(jī)的系統(tǒng)中。

同樣在securtcrt中l(wèi)l時(shí)，能得到

2) 安裝Hadoop安裝包：

l 首先將安裝包解壓縮：

l Linux終端執(zhí)行cd進(jìn)入相應(yīng)目錄：

l 新增tmp目錄，mkdir  /home/hadoop/hadoop-1.2.1/tmp

3) 配置Hadoop：

l 使用vim修改master文件內(nèi)容：

將localhost修改成master：

最后保存退出。

l 修改slaves文件

注意，這里準(zhǔn)備設(shè)置幾臺(tái)slave機(jī)器，就寫幾個(gè)，因?yàn)楫?dāng)前分布式環(huán)境有四個(gè)虛擬機(jī)，一臺(tái)做master，三臺(tái)做slave，所以這里寫成了三個(gè)slave

l 修改core-site.xml文件：

【注意】中間的ip地址，不要輸入192.168.2.55，根據(jù)自己的情況設(shè)置。

l 修改mapred-site.xml文件：

【注意】記得value的內(nèi)容要以http開頭。

l 修改hdfs-site.xml文件：

其中，<value>3</value>視情況修改，如果有三臺(tái)slave機(jī)器，這里設(shè)置成3，如果只有1臺(tái)或2臺(tái)，修改成對應(yīng)的值即可。

l 修改hadoo-env.sh文件

在

下新增export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

l 修改本地網(wǎng)絡(luò)配置：編輯/etc/hosts文件

【注意】Ip地址根據(jù)具體的情況要進(jìn)行修改。

4) 復(fù)制虛擬機(jī)

l 關(guān)閉當(dāng)前虛擬機(jī)，并復(fù)制多份

【注意】要選擇初始化所有網(wǎng)卡的mac地址

根據(jù)自己需求，復(fù)制2到3臺(tái)虛擬機(jī)作為slave，同樣要確認(rèn)網(wǎng)絡(luò)連接方式為橋接。

l 設(shè)置所有機(jī)器的IP地址

分別啟動(dòng)虛擬機(jī)，修改機(jī)器的ip 地址，在虛擬機(jī)的圖形界面里，選擇設(shè)置單擊打開，在彈出來的窗口里，選擇

打開，修改成如下的形式，選擇ipv4 ,分配方式選擇成manual。

【注意】具體的ip地址，根據(jù)實(shí)際的情況來設(shè)置，因?yàn)榕嘤?xùn)教室里都是192.168.2.x的網(wǎng)段，所以我這里設(shè)置成了192.168.2.x，每個(gè)人選擇自己的一個(gè)ip地址范圍，注意不要和其它人沖突了。

5) 建立互信關(guān)系

l 生成公私鑰，在master機(jī)器的虛擬機(jī)命令行下輸入ssh-keygen，一路回車，全默認(rèn)

l 復(fù)制公鑰

復(fù)制一份master的公鑰文件，cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

同樣，在所有的slave機(jī)器上，也在命令行中輸入ssh-keygen，一路回車，全默認(rèn)

在所有的salve機(jī)器上，從master機(jī)器上復(fù)制master的公鑰文件：

l 測試連接

在master機(jī)器上分別向所有的slave機(jī)器發(fā)起聯(lián)接請求：

如：ssh slave1

【注意】記得一旦聯(lián)接上，所有的操作，就視同在對應(yīng)的slave上操作，所以一定要記得使用exit退出聯(lián)接。

6) 啟動(dòng)Hadoop：

l 初始化：在master機(jī)器上，進(jìn)入/home/hadoop/hadoop-1.2.1/bin目錄

在安裝包根目錄下運(yùn)行./hadoop namenode –format來初始化hadoop的文件系統(tǒng)。

l 啟動(dòng)

執(zhí)行./start-all.sh，如果中間過程提示要判斷是否，需要輸入yes

輸入jps，查看進(jìn)程是否都正常啟動(dòng)。

如果一切正常，應(yīng)當(dāng)有如上的一些進(jìn)程存在。

7) 測試系統(tǒng)

輸入./hadoop fs –ls /

能正常顯示文件系統(tǒng)。

如此，hadoop系統(tǒng)搭建完成。否則，可以去/home/hadoop/hadoop-1.2.1/logs目錄下，查看缺少的進(jìn)程中，對應(yīng)的出錯(cuò)日志。

  此時(shí)，你已經(jīng)把hadoop環(huán)境搭建好了，下一篇文章將給大家介紹什么是HDFS文件系統(tǒng)，HDFS又能做什么呢？

如何用4個(gè)月學(xué)會(huì)Hadoop開發(fā)并找到年薪25萬工作？

免費(fèi)分享一套17年最新Hadoop大數(shù)據(jù)教程和100道Hadoop大數(shù)據(jù)必會(huì)面試題。

因?yàn)殒溄咏?jīng)常被和諧，需要的朋友請加微信 ganshiyun666 來獲取最新下載鏈接，注明“51CTO”

教程已幫助300+人成功轉(zhuǎn)型Hadoop開發(fā)，90%起薪超過20K，工資比之前翻了一倍。

內(nèi)容包括0基礎(chǔ)入門、Hadoop生態(tài)系統(tǒng)、真實(shí)商業(yè)項(xiàng)目實(shí)戰(zhàn)3大部分。其中商業(yè)案例可以讓你接觸真實(shí)的生產(chǎn)環(huán)境，訓(xùn)練自己的開發(fā)能力。