Hadoop集群怎樣安裝

這篇文章主要為大家展示了“Hadoop集群怎樣安裝”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Hadoop集群怎樣安裝”這篇文章吧。

一、安裝環(huán)境

因為安裝Hadoop集群需要的主機數(shù)量必須為奇數(shù)，這里我用虛擬機搭了三臺主機。為了防止IP變動，IP應(yīng)該設(shè)為靜態(tài)IP。

二、所需軟件

1 JDK

可以去下載JDK，也可以用CentOS系統(tǒng)自帶的OpenJDK。

若用系統(tǒng)自帶的OpenJDK，只需在/etc/profile中設(shè)置并激活:

# vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

    使變量立馬生效并檢驗

# source /etc/profile

# echo $JAVA_HOME

/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

2 Hadoop

下載地址：http://hadoop.apache.org/releases.html

這里我下載的是2.8.0的binary版本。

三、配置主機間的無密碼登錄

在每臺主機的/etc/hosts中添加

192.168.121.201 Master.Hadoop

192.168.121.202 Slave1.Hadoop

192.168.121.203 Slave2.Hadoop

接下來，可參考http://blog.chinaunix.net/uid-29485627-id-4232161.html

四、Hadoop集群安裝

1 解壓縮hadoop并移動到/usr/Hadoop

[root@Master 桌面]# mv hadoop-2.8.0.tar.gz /usr/

[root@Master 桌面]# cd /usr/

[root@Master usr]# tar -zxvf hadoop-2.8.0.tar.gz

[root@Master usr]# mv hadoop-2.8.0 hadoop

2 創(chuàng)建hadoop存放臨時文件的文件夾

# cd /usr/hadoop

# mkdir tmp

3 修改配置文件

(1)配置hadoop-env.sh中的JAVA_HOME

[root@Master usr]# cd etc/hadoop/

[root@Master hadoop]# vi hadoop-env.sh

將export JAVA_HOME=${JAVA_HOME}

改為export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

(2)配置core-site.xml

<configuration>

        <!-- 指定hdfs的nameservice為ns1 -->

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://Master.Hadoop:9000</value>

        </property>

        <!-- Size of read/write buffer used in SequenceFiles. -->

        <property>

         <name>io.file.buffer.size</name>

         <value>131072</value>

       </property>

        <!-- 指定hadoop臨時目錄,自行創(chuàng)建 -->

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/usr/hadoop/tmp</value>

        </property>

</configuration>

(3)配置hdfs-site.xml

<configuration>

    <property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>Master.Hadoop:50090</value>

    </property>

    <property>

      <name>dfs.replication</name>

      <value>2</value>

    </property>

    <property>

      <name>dfs.namenode.name.dir</name>

      <value>file:/usr/hadoop/hdfs/name</value>

    </property>

    <property>

      <name>dfs.datanode.data.dir</name>

      <value>file:/usr/hadoop/hdfs/data</value>

    </property>

</configuration>

(4)配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- Configurations for ResourceManager -->

     <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

     </property>

     <property>

           <name>yarn.resourcemanager.address</name>

           <value>Master.Hadoop:8032</value>

     </property>

     <property>

          <name>yarn.resourcemanager.scheduler.address</name>

          <value>Master.Hadoop:8030</value>

      </property>

     <property>

         <name>yarn.resourcemanager.resource-tracker.address</name>

         <value>Master.Hadoop:8031</value>

     </property>

     <property>

         <name>yarn.resourcemanager.admin.address</name>

         <value>Master.Hadoop:8033</value>

     </property>

     <property>

         <name>yarn.resourcemanager.webapp.address</name>

         <value>Master.Hadoop:8088</value>

     </property>

</configuration>

(5)配置mapred-site.xml

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

          <name>mapreduce.jobhistory.address</name>

          <value>Master.Hadoop:10020</value>

  </property>

  <property>

          <name>mapreduce.jobhistory.address</name>

          <value>Master.Hadoop:19888</value>

  </property>

</configuration>

(6)配置slaves文件

[root@Master hadoop]# vi slaves

Slave1.Hadoop

Slave2.Hadoop

4 復(fù)制hadoop配置好的包到其他主機上

# scp -r /usr/hadoop Slave1.Hadoop:/usr/

# scp -r /usr/hadoop Slave2.Hadoop:/usr/

5 在三臺機器上配置Hadoop環(huán)境變量

# vi /etc/profile

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

使變量立馬生效并檢驗：

# source /etc/profile

# echo $HADOOP_HOME

# echo $PATH

五、格式化節(jié)點

在Master.Hadoop主機上執(zhí)行

# cd /usr/hadoop/bin

# ./hdfs namenode -format

六、Hadoop集群全部啟動

1 在Master.Hadoop主機上執(zhí)行

# cd /usr/hadoop/sbin

# ./start-dfs.sh

# ./start-yarn.sh

2 在Master.Hadoop主機上執(zhí)行jps

[root@Master sbin]# jps

6348 NameNode

6694 ResourceManager

6960 Jps

6546 SecondaryNameNode

3 在Slave1.Hadoop主機上執(zhí)行jps

[root@Slave1 hadoop]# jps

6016 DataNode

6251 Jps

6126 NodeManager

4 在Slave2.Hadoop主機上執(zhí)行jps

[root@Slave2 hadoop]# jps

5815 DataNode

6051 Jps

5923 NodeManager

5 在三臺CentOS主機上隨便打開firefox瀏覽器，輸入http://192.168.121.201:8088

以上是“Hadoop集群怎樣安裝”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！