Hadoop2.7.1分布式安裝配置過程

本篇內(nèi)容介紹了“Hadoop2.7.1分布式安裝配置過程”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

環(huán)境說明

VirtualBox5(三臺(tái))，CentOS7，Hadoop2.7.1

1、基礎(chǔ)安裝及配置

先完成Hadoop2.7.1分布式安裝-準(zhǔn)備篇

注意：Hadoop-2.5.1開始終于不用再編譯64位的libhadoop.so.1.0.0了，再早版本的hadoop自帶的是32位的，如需64位需要自省編譯，具體見Hadoop2.4.1分布式安裝。

2、下載并解壓hadoop2.7.1壓縮包

從apache hadoop官網(wǎng)下載并解壓hadoop壓縮包到本地目錄/home/wukong/local/hadoop-2.7.1/

在打算做namenode的機(jī)器上，wget或其他方式下載hadoop的壓縮包，并解壓到本地指定目錄。下載解壓命令參考Linux常用命令。

3、需要做的各種配置

共有七個(gè)文件，位于/home/wukong/local/hadoop-2.7.1/etc/hadoop，以下分別描述：

• hadoop-env.sh

# 必配
# The java implementation to use.
export JAVA_HOME=/opt/jdk1.7.0_79


# 選配。考慮是虛擬機(jī)，所以少配一點(diǎn)
# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=500
export HADOOP_NAMENODE_INIT_HEAPSIZE="100"

• yarn-env.sh

# some Java parameters
export JAVA_HOME=/opt/jdk1.7.0_79
if [ "$JAVA_HOME" != "" ]; then
  #echo "run java in $JAVA_HOME"
  JAVA_HOME=$JAVA_HOME
fi

if [ "$JAVA_HOME" = "" ]; then
  echo "Error: JAVA_HOME is not set."
  exit 1
fi

JAVA=$JAVA_HOME/bin/java
JAVA_HEAP_MAX=-Xmx600m 
# 默認(rèn)的heap_max是1000m，我的虛擬機(jī)沒這么大內(nèi)存，所以改小了

• slaves

#寫入你slave的節(jié)點(diǎn)。如果是多個(gè)就每行一個(gè)，寫入host名
bd02
bd03

• core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://bd01:9000</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/wukong/local/hdp-data/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>hadoop.proxyuser.hduser.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hduser.groups</name>
    <value>*</value>
  </property>
</configuration>

其中hdp-data目錄是原來沒有的，需要自行創(chuàng)建

• hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>bd01:9001</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/wukong/local/hdp-data/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/wukong/a_usr/hdp-data/data</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
<oconfiguration>

• mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>bd01:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>bd01.19888</value>
  </property>
</configuration>

• yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>bd01:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>bd01:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>bd01:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>bd01:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>bd01:8088</value>
  </property>
</configuration>

4、復(fù)制hadoop到所有節(jié)點(diǎn)

遠(yuǎn)程拷貝的方法見Linux常用命令

5、格式化HDFS

[wukong@bd01 hadoop-2.7.1]$ hdfs namenode -format

當(dāng)執(zhí)行完畢，沒有拋異常，并且看到這一句時(shí)，就是成功了

15/07/31 10:51:09 INFO common.Storage: Storage directory /home/wukong/local/hdp-data/name has been successfully formatted.

6、啟動(dòng)DFS

[wukong@bd01 ~]$ start-dfs.sh 
Starting namenodes on [bd01]
bd01: starting namenode, logging to /home/wukong/local/hadoop-2.7.1/logs/hadoop-wukong-namenode-bd01.out
bd02: starting datanode, logging to /home/wukong/local/hadoop-2.7.1/logs/hadoop-wukong-datanode-bd02.out
bd03: starting datanode, logging to /home/wukong/local/hadoop-2.7.1/logs/hadoop-wukong-datanode-bd03.out
Starting secondary namenodes [bd01]
bd01: starting secondarynamenode, logging to /home/wukong/local/hadoop-2.7.1/logs/hadoop-wukong-secondarynamenode-bd01.out
[wukong@bd01 ~]

通過jps和日志看是否啟動(dòng)成功。jps查看機(jī)器啟動(dòng)的進(jìn)程情況。正常情況下master上應(yīng)該有namenode和sencondarynamenode。slave上有datanode。

[wukong@bd01 hadoop]$ jps
5224 Jps
5074 SecondaryNameNode
4923 NameNode


[wukong@bd02 ~]$ jps
2307 Jps
2206 DataNode


[wukong@bd03 ~]$ jps
2298 Jps
2198 DataNode

7、啟動(dòng)YARN

[wukong@bd01 ~]$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /home/wukong/local/hadoop-2.7.1/logs/yarn-wukong-resourcemanager-bd01.out
bd03: starting nodemanager, logging to /home/wukong/local/hadoop-2.7.1/logs/yarn-wukong-nodemanager-bd03.out
bd02: starting nodemanager, logging to /home/wukong/local/hadoop-2.7.1/logs/yarn-wukong-nodemanager-bd02.out
[wukong@bd01 ~]$

通過jps和日志驗(yàn)證啟動(dòng)是否成功

[wukong@bd01 ~]$ jps
5830 ResourceManager
6106 Jps
5074 SecondaryNameNode
4923 NameNode
[wukong@bd01 ~]$ 


[wukong@bd02 ~]$ jps
4615 Jps
2206 DataNode
4502 NodeManager
[wukong@bd02 ~]$ 


[wukong@bd03 ~]$ jps 
4608 Jps
4495 NodeManager
2198 DataNode
[wukong@bd03 ~]$

8、可能遇到的問題

8.1、啟動(dòng)DFS時(shí)報(bào)JAVA_HOME沒找到

[wukong@bd01 ~]$ start-dfs.sh
Starting namenodes on [bd01]
The authenticity of host 'bd01 (192.168.1.21)' can't be established.
ECDSA key fingerprint is af:96:74:e1:41:ec:af:ec:d8:8e:df:cd:99:61:33:0d.
Are you sure you want to continue connecting (yes/no)? yes
bd01: Warning: Permanently added 'bd01,192.168.1.21' (ECDSA) to the list of known hosts.
bd01: Error: JAVA_HOME is not set and could not be found.
bd03: Error: JAVA_HOME is not set and could not be found.
bd02: Error: JAVA_HOME is not set and could not be found.
Starting secondary namenodes [bd01]
bd01: Error: JAVA_HOME is not set and could not be found.
[wukong@bd01 some_log]$ java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
[wukong@bd01 ~]

8.2、配置hadoop相關(guān)的環(huán)境變量

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# 把hadoop可執(zhí)行文件和腳本的路徑都配進(jìn)來
PATH=$PATH:$HOME/local/hadoop-2.7.1/bin:$HOME/local/hadoop-2.7.1/sbin

export PATH
~                                                                               
~                                                 
~                                                                               
".bash_profile" 16L, 267C

“Hadoop2.7.1分布式安裝配置過程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！