hadoop及hbase集群增加節(jié)點

一、hadoop擴容

1、配置各節(jié)點hosts文件，加入新加入的兩個節(jié)點的IP和主機名

新添加的節(jié)點添加下面內(nèi)容

192.168.11.131    master1

192.168.11.132    master2

192.168.11.133    slave1

192.168.11.134    slave2

192.168.11.135    slave3

新節(jié)點互相加入對方的主機名解析

老的節(jié)點添加下面內(nèi)容

192.168.11.136    slave4

192.168.11.137    slave5

2、準備工作

參照之前的博客生產(chǎn)環(huán)境下hadoop HA集群及Hbase HA集群配置 為新添加的節(jié)點做以下操作：

配置主機名

關閉防火墻和selinux

配置yum源

配置時間同步（作為ntp服務客戶端）

創(chuàng)建組和用戶

創(chuàng)建目錄

無密碼登陸

配置java環(huán)境

3、修改hadoop配置文件并拷貝hadoop文件

登錄master1節(jié)點

$ cd /data1/usr/hadoop-2.7.3/etc/hadoop

$ vi slaves

添加新加入的節(jié)點信息

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done

拷貝hadoop文件到新節(jié)點

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave4:/data1/usr

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave5:/data1/usr

4、清空日志

登錄到新添加的服務器

$ cd /data1/usr/hadoop-2.7.3/logs

$ rm *.log.*

$ rm *.out.*

$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done

刪除其他項目和文件

對比datanode老的節(jié)點，把/data1/usr/hadoop-2.7.3下多余的文件和目錄刪除。

5、啟動服務

分別登陸新節(jié)點，啟動datanode

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./hadoop-daemon.sh start datanode

登陸master1節(jié)點，刷新datanode列表

$ cd /data1/usr/hadoop-2.7.3/bin

$ ./hdfs dfsadmin -refreshNodes

查看列表信息

$ ./hdfs dfsadmin -report

8、對hdfs負載均衡

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./start-balancer.sh 

如果你的集群有單獨的balance節(jié)點，帶寬又足夠大的話，可以考慮做balance優(yōu)化，因為按照默認配置的話，balance的過程會持續(xù)很長一段時間。具體的優(yōu)化方法可以參考我轉(zhuǎn)載的另一篇博客：優(yōu)化Hadoop Balancer平衡的速度。

啟動yarn

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./yarn-daemon.sh start nodemanager   

查看集群情況

$ cd /data1/usr/hadoop-2.7.3/bin

$ yarn rmadmin -refreshNodes

$ ./yarn node -list

9、如有添加journalnode節(jié)點的需要還需要添加journalnode服務，不過本次變更沒有添加，添加步驟如下

修改JournalNode地址，必須保證奇數(shù)個

vim /data1/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<property>

 <name>dfs.namenode.shared.edits.dir</name>

 <value>qjournal://slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/mycluster</value>

</property>

二、hbase擴容

1、登陸master1，修改配置文件

$ cd /data1/usr/hbase-1.2.4/conf

$ vi regionservers 

添加新節(jié)點主機

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done

登陸新節(jié)點，創(chuàng)建目錄，修改權限

2、拷貝hbase文件到新節(jié)點

登陸master1節(jié)點

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.136:/data 

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.137:/data

清理日志

$ cd /data1/usr/hbase-1.2.4/logs

$ rm *.out.*

$ >hbase-hduser-master-master1.log

$ >hbase-hduser-master-master1.out

3、登陸新節(jié)點，啟動服務

$ cd /data1/usr/hbase-1.2.4/bin

$ ./hbase-daemon.sh start regionserver

$ ./hbase shell

status