Hadoop怎么實(shí)現(xiàn)集群搭建

這篇文章主要為大家展示了“Hadoop怎么實(shí)現(xiàn)集群搭建”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Hadoop怎么實(shí)現(xiàn)集群搭建”這篇文章吧。

主要環(huán)境：

      CentOS6.4

    JDK 1.6

    Hadoop 1.2.1

使用三臺(tái)機(jī)器進(jìn)行搭建。

    Master(NameNode、SecondaryNameNode、JobTracker):10.0.0.13

    Slave(DataNode、TaskTracker):10.0.0.15

    Slave(DataNode、TaskTracker):10.0.0.16

1.三臺(tái)機(jī)器都配置/etc/hosts文件

2.配置ssh免密碼連接，在每臺(tái)機(jī)器上均運(yùn)行ssh-keygen -t rsa ,之后將每臺(tái)機(jī)器生成的

id_rsa.pub合并為authorized_keys,并復(fù)制到每臺(tái)機(jī)器上    

3.配置hadoop目錄下的conf/hadoop-env.sh 中的java環(huán)境變量

4.修改hdfs-site.xml 修改hdfs中數(shù)據(jù)塊要復(fù)制多少份

5.修改mapred-site.xml 配置jobtracker

6.修改core-site.xml 指定數(shù)據(jù)目錄（使用mkdir創(chuàng)建/usr/hadoop/tmp目錄）

7.修改masters和slaves

8.使用scp命令將hadoop目錄復(fù)制到各個(gè)節(jié)點(diǎn)

9.并在每個(gè)節(jié)點(diǎn)配置hadoop環(huán)境變量（編輯/etc/profile 立即生效source /etc/profile）

10.格式化

11.啟動(dòng)hadoop運(yùn)行start-all.sh

12.最后使用jps驗(yàn)證是否啟動(dòng)相應(yīng)java進(jìn)程

    Master：

        Slave：

以上是“Hadoop怎么實(shí)現(xiàn)集群搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！