CentOS 6.7下如何搭建Hadoop 2.7.3集群

這篇文章主要介紹了CentOS 6.7下如何搭建Hadoop 2.7.3集群，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

Hadoop集群有三種運行模式：單機模式、偽分布模式、完全分布模式。我們這里搭建第三種完全分布模式，即使用分布式系統(tǒng)，在多個節(jié)點上運行。

1 環(huán)境準備

1.1 配置DNS

  進入配置文件，添加主節(jié)點和從節(jié)點的ip映射關系：

# vim /etc/hosts 10.0.0.45 master 10.0.0.46 slave1 10.0.0.47  slave2

1.2 關閉防火墻

# service iptables stop    //關閉服務

# chkconfig iptables off    //關閉開機自啟動

1.3 配置免密碼登錄

 （1）每個節(jié)點都首先進入/root/.ssh目錄下，生成密鑰：

# ssh-keygen -t rsa  //輸入命令之后連續(xù)回車就行了

（2）在主節(jié)點上，將公鑰拷貝到一個特定文件中：

[root@master .ssh]# cp id_rsa.pub authorized_keys

（3）將每個從節(jié)點上生成的公鑰復制到主節(jié)點上：

[root@slave1 .ssh]# scp id_rsa.pub master:/root/.ssh/id_rsa_slave1.pub
[root@slave2 .ssh]# scp id_rsa.pub master:/root/.ssh/id_rsa_slave2.pub

（4）在主節(jié)點上合并從節(jié)點的公鑰：

[root@master .ssh]# cat id_rsa_slave1.pub>>authorized_keys

[root@master .ssh]# cat id_rsa_slave2.pub>>authorized_keys

（5）將主節(jié)點上合并后的公鑰復制到從節(jié)點上：

[root@master .ssh]# scp authorized_keys slave1:/root/.ssh

[root@master .ssh]# scp authorized_keys slave2:/root/.ssh

   配置完成，在各個節(jié)點上進行ssh訪問，若無需密碼就能訪問，則配置成功。

1.4 配置java環(huán)境

   首先下載jdk，保存到指定目錄。設置環(huán)境變量：

# vim  /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_112
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
# source /etc/profile     //使配置生效

   驗證配置是否成功：

# java -vesrion

  若出現(xiàn)下面的配置信息則表示java環(huán)境配置成功了：

2 部署Hadoop集群

  在各個節(jié)點上安裝與配置Hadoop的過程都基本相同，因此可以在每個節(jié)點上安裝好Hadoop后，在主節(jié)點master上進行統(tǒng)一配置，然后通過scp命令將修改的配置文件拷貝到各個從節(jié)點上即可，下面介紹部署過程。

2.1 安裝Hadoop

  下載hadoop安裝包，下載地址：http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/，并解壓：

# tar xvf hadoop-2.7.3.tar.gz

  配置環(huán)境變量：

# vim /etc/profile

export HADOOP_HOME=/home/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

2.2 修改配置文件

  進入Hadoop的配置文件目錄$HADOOP_HOME/etc/hadoop，可以看到有許多配置文件，Hadoop集群配置主要是對以下幾個文件的修改：

• core-site.xml

• hdfs-site.xml

• yarn-site.xml

• mapred-site.xml

• slaves、hadoop-env.sh、yarn-env.sh

下面就介紹文件的具體配置，按實際情況修改配置信息：

（1）core-site.xml

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value> </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop _tmp</value>
        </property>
</configuration>

（2）hdfs-site.xml

<configuration>
       <property>
           <name>dfs.permissions.enabled</name>
           <value>false</value>
        </property>
        <property>
            <name>dfs.support.append</name>
            <value>true</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:///home/dfs_data</value> </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:///home/dfs_name</value> </property>
        <property>
            <name>dfs.namenode.rpc-address</name>
            <value>master:9000</value>
        </property>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>slave1:50090</value>
        </property>
        <property>
            <name>dfs.namenode.secondary.https-address</name>
            <value>slave1:50091</value>
        </property>
        <property>
             <name>dfs.webhdfs.enabled</name>
             <value>true</value>
        </property>

</configuration>

（3）yarn-site.xml

<configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>20480</value>
        </property>
        <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>10240</value>
        </property>
        <property>
            <name>yarn.nodemanager.resource.cpu-vcores</name>
            <value>5</value>
        </property>
        <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
        </property>
</configuration>

（4）mapred-site.xml

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
</configuration>

（5）slaves

    啟動Hadoop集群需要讀取該文件，以確定從節(jié)點主機名，從而啟動DataNode、NodeManager等守護進程，因此需要在該文件中添加從節(jié)點主機名。

slave1
slave2

（6）hadoop-env.sh

   修改如下內容：

export JAVA_HOME=/usr/java/jdk1.8.0_112

（7）yarn-env.sh

  添加如下內容：

export JAVA_HOME=/usr/java/jdk1.8.0_112

  到此，完成了主節(jié)點上所有的配置，只需將這些配置信息復制到各個從節(jié)點：

# scp /home/hadoop-2.7.3/etc/hadoop/* slave1:/home/hadoop-2.7.3/etc/hadoop/

# scp /home/hadoop-2.7.3/etc/hadoop/* slave2:/home/hadoop-2.7.3/etc/hadoop/

2.3 啟動Hadoop

（1）第一次啟動HDFS時需要初始化，在主節(jié)點上執(zhí)行：

# cd /home/hadoop-2.7.3  # ./bin/hadoop namenode -format

（2）啟動HDFS：

# ./sbin/start-dfs.sh

  成功啟動后，訪問http://master:50070/即可看到HDFS Web界面。

（3） 啟動YARN：

# ./sbin/start-yarn.sh

  成功啟動后，訪問http://master:8088/即可看到YARN Web界面。

  這里也可以直接執(zhí)行下面的命令一鍵啟動，但第一次啟動不建議這樣做：

# start-all.sh

  到此，Hadoop集群環(huán)境已經搭建好了，可以根據(jù)自己的業(yè)務需求，在上面愉快的“玩?！绷恕?/p>

感謝你能夠認真閱讀完這篇文章，希望小編分享的“CentOS 6.7下如何搭建Hadoop 2.7.3集群”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業(yè)資訊頻道，更多相關知識等著你來學習!