溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

hadoop2.7.2集群如何搭建

發(fā)布時間：2021-11-18 16:55:13 來源：億速云 閱讀：142 作者：小新 欄目：云計算

這篇文章將為大家詳細(xì)講解有關(guān)hadoop2.7.2集群如何搭建，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

hadoop2.7.2集群如何搭建

集群規(guī)劃：

主機(jī)名      IP               安裝的軟件               運(yùn)行的進(jìn)程

Hadoop1  192.168.111.143   jdk、hadoop            NameNode、DFSZKFailoverController(zkfc)、ResourceManager

Hadoop2  192.168.111.144   jdk、hadoop            NameNode、DFSZKFailoverController(zkfc)、ResourceManager

Hadoop3  192.168.111.145  jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop4  192.168.111.146  jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop5  192.168.111.147  jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain

1.    zookeeper集群搭建

1.1    解壓

tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hbase

1.2    修改配置

cd /home/hbase/zookeeper-3.4.9/conf/

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改：

dataDir=/home/hbase/zookeeper-3.4.9/tmp

在zoo.cfg最后添加：                           

server.1=hadoop3:2888:3888
server.2=hadoop4:2888:3888
server.3=hadoop5:2888:3888
然后創(chuàng)建一個tmp文件夾

mkdir /home/hbase/zookeeper-3.4.9/tmp

再創(chuàng)建一個空文件

touch /home/hbase/zookeeper-3.4.9/tmp/myid

最后向該文件寫入ID

echo 1 >> /home/hbase/zookeeper-3.4.9/tmp/myid

1.3    將配置好的zookeeper拷貝到其他節(jié)點(diǎn)

scp -r /home/hbase/zookeeper-3.4.9/ hadoop4: /home/hbase/                   
scp -r /home/hbase/zookeeper-3.4.9/ hadoop5: /home/hbase/

注意：修改hadoop4、hadoop5對應(yīng)/home/hbase /zookeeper-3.4.9/tmp/myid內(nèi)容                           

hadoop4：

    echo 2 >> /home/hbase/zookeeper-3.4.9/tmp/myid

hadoop5：

    echo 3 >> /home/hbase/zookeeper-3.4.9/tmp/myid

2.    安裝配置hadoop集群（在hadoop1上操作）

2.1    解壓

tar -zxvf hadoop-2.7.2.tar.gz -C /home/hbase/

2.2    配置HDFS

#將hadoop添加到環(huán)境變量中

vim /etc/profile
export JAVA_HOME=/home/habse/jdk/jdk1.7.0_79
export HADOOP_HOME=/home/habse/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下

cd /home/habse/hadoop-2.7.2/etc/hadoop

2.2.1    修改hadoop-env.sh

export JAVA_HOME=/home/hbase/jdk/jdk1.7.0_79

2.2.2    修改core-site.xml

<configuration>

	<!-- 指定hdfs的nameservice為ns1 -->

	<property>

		<name>fs.defaultFS</name>

		<value>hdfs://ns1</value>

	</property>

	<!-- 指定hadoop臨時目錄 -->

	<property>

		<name>hadoop.tmp.dir</name>

		<value>/home/habse/hadoop-2.7.2/tmp</value>

	</property>

	<!-- 指定zookeeper地址 -->

	<property>

		<name>ha.zookeeper.quorum</name>

		<value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value>

	</property>

</configuration>

2.2.3    修改hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice為ns1，需要和core-site.xml中的保持一致 -->
        <property>
                <name>dfs.nameservices</name>
                <value>ns1</value>
        </property>
        <!-- ns1下面有兩個NameNode，分別是nn1，nn2 -->
        <property>
                <name>dfs.ha.namenodes.ns1</name>
                <value>nn1,nn2</value>
        </property>
        <!-- nn1的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn1</name>
                <value>hadoop1:9000</value>
        </property>
        <!-- nn1的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.ns1.nn1</name>
                <value>hadoop1:50070</value>
        </property>
        <!-- nn2的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn2</name>
                <value>hadoop2:9000</value>
        </property>
        <!-- nn2的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.ns1.nn2</name>
                <value>hadoop2:50070</value>
        </property>
        <!-- 指定NameNode的元數(shù)據(jù)在JournalNode上的存放位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485/ns1</value>
        </property>
        <!-- 指定JournalNode在本地磁盤存放數(shù)據(jù)的位置 -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/home/hbase/hadoop-2.7.2/journal</value>
        </property>
        <!-- 開啟NameNode失敗自動切換 -->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!-- 配置失敗自動切換實現(xiàn)方式 -->
        <property>
                <name>dfs.client.failover.proxy.provider.ns1</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!-- 配置隔離機(jī)制方法，多個機(jī)制用換行分割，即每個機(jī)制暫用一行-->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>
                        sshfence
                        shell(/bin/true)
                </value>
        </property>
        <!-- 使用sshfence隔離機(jī)制時需要ssh免登陸 -->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <!-- 配置sshfence隔離機(jī)制超時時間 -->
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>
        </property>

</configuration>

2.2.4    修改mapred-site.xml

<configuration>
<!-- 指定mr框架為yarn方式 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

</configuration>

2.2.5    修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 開啟RM高可靠 -->
        <property>
           <name>yarn.resourcemanager.ha.enabled</name>
           <value>true</value>
        </property>
        <!-- 指定RM的cluster id -->
        <property>
           <name>yarn.resourcemanager.cluster-id</name>
           <value>yrc</value>
        </property>
        <!-- 指定RM的名字 -->
        <property>
           <name>yarn.resourcemanager.ha.rm-ids</name>
           <value>rm1,rm2</value>
        </property>
        <!-- 分別指定RM的地址 -->
        <property>
           <name>yarn.resourcemanager.hostname.rm1</name>
           <value>hadoop1</value>
        </property>
        <property>
           <name>yarn.resourcemanager.hostname.rm2</name>
           <value>hadoop2</value>
        </property>
        <!-- 指定zk集群地址 -->
        <property>
           <name>yarn.resourcemanager.zk-address</name>
           <value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>

</configuration>

2.2.6    修改slaves

slaves是指定子節(jié)點(diǎn)的位置， hadoop1上的slaves文件指定的是datanode和nodemanager的位置                                    

hadoop3
hadoop4
hadoop5

2.2.7    配置免密碼登陸

#首先要配置hadoop1到hadoop2、hadoop3、hadoop4、hadoop5的免密碼登陸

#在hadoop1上生產(chǎn)一對鑰匙

ssh-keygen -t rsa

#將公鑰拷貝到其他節(jié)點(diǎn)，包括自己

ssh-coyp-id hadoop1

ssh-coyp-id hadoop2

ssh-coyp-id hadoop3

ssh-coyp-id hadoop4

ssh-coyp-id hadoop5

                           
#注意：兩個namenode之間要配置ssh免密碼登陸，別忘了配置hadoop2到hadoop1的免登陸

在hadoop2上生產(chǎn)一對鑰匙

ssh-keygen -t rsa

ssh-coyp-id -i hadoop1

2.3    將配置好的hadoop拷貝到其他節(jié)點(diǎn)

scp -r /home/habse/hadoop-2.7.2/ root@hadoop2:/home/habse/

scp -r /home/habse/hadoop-2.7.2/ root@hadoop3:/home/habse /

scp -r /home/habse/hadoop-2.7.2/ root@hadoop4:/home/habse /

scp -r /home/habse/hadoop-2.7.2/ root@hadoop5:/home/habse /

3.    第一次啟動

3.1    啟動zookeeper集群（分別在hadoop3、hadoop4、hadoop5上啟動zk）

 cd /home/hbase/zookeeper-3.4.9/bin/

./zkServer.sh start

#查看狀態(tài)：一個leader，兩個follower

./zkServer.sh status

3.2    啟動journalnode（分別在在hadoop3、hadoop4、hadoop5上執(zhí)行）

cd /home/habse/hadoop-2.7.2

sbin/hadoop-daemon.sh start journalnode

#運(yùn)行jps命令檢驗，hadoop3、hadoop4、hadoop5上多了JournalNode進(jìn)程

3.3    格式化HDFS

 #在hadoop1上執(zhí)行命令:

hdfs namenode -format

hdfs namenode -bootstrapStandby

3.4    格式化ZK(在hadoop1上執(zhí)行即可)

hdfs zkfc -formatZK

3.5    啟動HDFS(在hadoop1上執(zhí)行)

sbin/start-dfs.sh

注意：

如果啟動datanode時遇到找不到datanode所在的主機(jī)，首先檢查slaves文件配置是否正確，如果沒問題的話刪除重新創(chuàng)建

3.6    啟動YARN(hadoop1上執(zhí)行)

sbin/start-yarn.sh

查看每臺機(jī)器的進(jìn)程：

hadoop2.7.2集群如何搭建

hadoop2.7.2集群如何搭建

hadoop2.7.2集群如何搭建

hadoop2.7.2集群如何搭建

到此，hadoop-2.7.2配置完畢，可以統(tǒng)計瀏覽器訪問:

http://192.168.111.143:50070

NameNode 'hadoop1:9000' (active)

hadoop2.7.2集群如何搭建

http://192.168.111.144:50070

NameNode 'hadoop2:9000' (standby)

hadoop2.7.2集群如何搭建

Datanode：

hadoop2.7.2集群如何搭建                                 

所以hadoop集群安裝完成后首先啟動zookeeper和journalnode，然后格式化HDFS和ZKFC，然后啟動namenode，resourcemanager，datanode

4.    startup與shutdown

4.1    Hadoop Startup

1.        ./zkServer.sh start(hadoop3、hadoop4、hadoop5)

2.       ./hadoop-daemon.sh start journalnode(hadoop3、hadoop4、hadoop5)

3.       hdfs zkfc -formatZK(hadoop1)

4.       hdfs namenode -bootstrapStandby(hadoop2)

5.       hdfs zkfc -formatZK(hadoop1)

6.       ./start-dfs.sh (hadoop1)

7.       ./start-yarn.sh(hadoop1)

8.       如果哪個進(jìn)程沒有啟動，那么單獨(dú)在那臺機(jī)器上執(zhí)行啟動命令

9.       ./yarn –daemon start proxyserver

10.   ./mapred –daemon start historyserver

說明：

格式化工作僅在第一次啟動hadoop之前完成(步驟2,3,4,5)，以后不用，如果以后啟動過程中有問題可以重新格式化

單獨(dú)啟動resourcemanager：./yarn-daemon.sh start resourcemanager      

單獨(dú)啟動namnode：./hadoop-daemon.sh start namenode

單獨(dú)啟動zkfc：./yarn-daemon.sh start zkfc

4.2    Hadoop shutdown

1.       ./stop-dfs.sh

2.       ./stop-yarn.sh

3.       ./yarn –daemon stop proxyserver

4.       ./mapred –daemon stop historyserver

5.    主備切換測試

殺掉當(dāng)前狀態(tài)為active的hadoop1 的namenode進(jìn)程，可以看到hadoop2由standby變?yōu)閍ctive，再啟動hadoop1的namenode則發(fā)現(xiàn)hadoop1的狀態(tài)為standby

hadoop2.7.2集群如何搭建

hadoop2.7.2集群如何搭建

關(guān)于“hadoop2.7.2集群如何搭建”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手