HADOOP/HBase動(dòng)態(tài)新增節(jié)點(diǎn)

1. 檢查JDK版本是否相同并拷貝JDK，并配置/etc/profile文件的JAVA_HOME和CLASSPATH屬性

2. 配置/etc/hosts文件，新增新加機(jī)器的計(jì)算機(jī)名，包括原有機(jī)器和新增機(jī)器都要修改該文件

3. 拷貝hadoop-2.6.0和hbase-1.0.1.1，并把hadoop-2.6.0和hbase-1.0.1.1文件夾的文件所有者和文件所屬組改成hadoop

4. 配置Master到Slave的無(wú)密碼登錄

5. 設(shè)置機(jī)器句柄數(shù),修改/etc/security/limits.conf,詳見http://beyond3518.blog.51cto.com/1360525/1764190

6. 安裝snappy

    6.1 安裝軟件: Gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3, glibc

           安裝方法 : yum install xxx

    6.2 安裝glibc方法 : 

            6.2.1 到192.168.9.110的/data/server/glibc-2.14.tar.gz拷貝文件,把該文件拷貝到/usr/local目錄下

            6.2.2 進(jìn)入/usr/local目錄下, cd /usr/local

            6.2.3 解壓glibc-2.14.tar.gz,  tar -zxvf glibc-2.14.tar.gz

            6.2.4 新建目錄/usr/local/glibc, mkdir /usr/local/glibc

            6.2.5 進(jìn)入/usr/local/glibc目錄, cd /usr/local/glibc

            6.2.6 運(yùn)行命令 export CFLAGS="-g -O2"

            6.2.7 運(yùn)行命令 /usr/local/glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

            6.2.8 運(yùn)行命令 make

            6.2.9 運(yùn)行命令 make install

            6.2.10 驗(yàn)證是否安裝成功 : 

                        運(yùn)行命令 : ll /lib64/libc.so.6 , 如果顯示結(jié)果 /lib64/libc.so.6 -> libc-2.14.so , 則安裝成功

7. 修改hadoop的slaves配置文件,添加新增節(jié)點(diǎn),并把該配置文件發(fā)送到所有其他節(jié)點(diǎn)上去

8. 添加Datanode

對(duì)于新添加的Datanode節(jié)點(diǎn),需要啟動(dòng)datanode進(jìn)程,從而將其添加到集群

    8.1 在新增的節(jié)點(diǎn)上，運(yùn)行sbin/hadoop-daemon.sh start datanode 啟動(dòng)datanode進(jìn)程

    8.2 在新增的節(jié)點(diǎn)上, 運(yùn)行sbin/yarn-daemon.sh start nodemanager 啟動(dòng)nodemanager進(jìn)程

    8.3 然后在namenode通過(guò)hdfs dfsadmin -report查看集群情況

    8.4 最后還需要對(duì)hdfs負(fù)載設(shè)置均衡，因?yàn)槟J(rèn)的數(shù)據(jù)傳輸帶寬比較低，可以設(shè)置為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可

    8.5 默認(rèn)balancer的threshold為10%，即各個(gè)節(jié)點(diǎn)與集群總的存儲(chǔ)使用率相差不超過(guò)10%，我們可將其設(shè)置為5%

    8.6 然后啟動(dòng)Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可

9. 添加Nodemanager

由于Hadoop 2.X引入了YARN框架，所以對(duì)于每個(gè)計(jì)算節(jié)點(diǎn)都可以通過(guò)NodeManager進(jìn)行管理，同理啟動(dòng)NodeManager進(jìn)程后，即可將其加入集群

    9.1 在新增節(jié)點(diǎn)，運(yùn)行sbin/yarn-daemon.sh start nodemanager即可

    9.2 在ResourceManager，通過(guò)yarn node -list查看集群情況

10. 修改hbase的regionservers配置文件,添加新增節(jié)點(diǎn).并把該配置文件發(fā)送到所有其他節(jié)點(diǎn)

11. 在新增的節(jié)點(diǎn)上,啟動(dòng)regionserver. 運(yùn)行hbase-daemon.sh start regionserver即可

12. 修改InputService/StoreService服務(wù)器的/etc/hosts文件,添加新節(jié)點(diǎn)的域名