Hadoop2.6集群如何動態(tài)添加和刪除數(shù)據(jù)節(jié)點(diǎn)

小編給大家分享一下Hadoop2.6集群如何動態(tài)添加和刪除數(shù)據(jù)節(jié)點(diǎn)，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

     開始之前，應(yīng)該把所有新增數(shù)據(jù)節(jié)點(diǎn)上的Hadoop環(huán)境都配置好（如果要直接復(fù)制已經(jīng)存在節(jié)點(diǎn)的hadoop文件夾，應(yīng)該刪掉里面已經(jīng)產(chǎn)生的集群數(shù)據(jù)，比如tmp和data目錄，不然會出問題）

Step1：關(guān)閉新加入數(shù)據(jù)節(jié)點(diǎn)的防火墻。

Step2：在各個節(jié)點(diǎn)上把新增節(jié)點(diǎn)的hosts信息補(bǔ)充完整

Step3：在兩個NameNode上，打通向新增數(shù)據(jù)節(jié)點(diǎn)無密鑰SSH登錄的通道。

Step4：在兩個NameNode上的dfs.hosts指定的白名單文件中追加上所有新增的數(shù)據(jù)節(jié)點(diǎn)的hostname，需要更改下hdfs-site.xml，黑名單文件用于排除集群中的節(jié)點(diǎn)

        <property>
                <name>dfs.hosts</name>
                <value>/usr/hadoop/etc/hadoop/datanode-allow.list</value>
        </property>
        <property>
                <name>dfs.hosts.exclude</name>
                <value>/usr/hadoop/etc/hadoop/datanode-deny.list</value>
        </property>

Step5：在namenode上執(zhí)行如下刷新命令：hdfs dfsadmin -refreshNodes

          可通過hdfs dfsadmin -report或者master:50070 web端口查看當(dāng)前集群節(jié)點(diǎn)狀態(tài)

Step6：在兩個NameNode節(jié)點(diǎn)上，更改slaves文件，將要上線的數(shù)據(jù)節(jié)點(diǎn)hostname追加到slaves文件中。在slave上啟動datanode和nodemanager進(jìn)程：

sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start nodemanager

用新增節(jié)點(diǎn)用jps查看進(jìn)程，可在master節(jié)點(diǎn)通過yarn node -list查看集群情況

Step7：均衡block(非必須，根據(jù)集群情況設(shè)定)

./bin/start-balancer.sh

1) 如果不balance，那么cluster會把新的數(shù)據(jù)都存放在新的node上，這樣會降低mapred的工作效率
2) 設(shè)置平衡閾值，默認(rèn)是10%，值越低各節(jié)點(diǎn)越平衡，但消耗時間也更長

hdfs balancer -threshold 5

3) 設(shè)置balance的帶寬，默認(rèn)只有1M/s

hdfs dfsadmin -setBalancerBandwidth 67108864

數(shù)據(jù)節(jié)點(diǎn)的刪除和上述步驟類似，只不過在master1上修改datanode-allow.list和datanode-deny.list，還有slaves文件并且同步到master2上。整個操作的過程中都不涉及集群的重啟~等待刷新的操作結(jié)束后，需要下架的機(jī)器就可以安全的關(guān)閉了。

[root@master  hadoop]# ./bin/ hdfs dfsadmin -refreshNodes
[root@master  hadoop]# ./bin/ hadoop dfsadmin -report

可以查看到現(xiàn)在集群上連接的節(jié)點(diǎn)

正在執(zhí)行Decommission，會顯示：
Decommission Status : Decommission in progress  

執(zhí)行完畢后，會顯示：
Decommission Status : Decommissioned

重新加入各個刪除的節(jié)點(diǎn)

1，在master的datanode-deny.list刪除相應(yīng)機(jī)器

2，在master上刷新節(jié)點(diǎn)配置情況：

hadoop dfsadmin -refreshNodes  

3，在slave上重啟tasktracker進(jìn)程：

hadoop-daemon.sh start datanode

PS：如果之前沒有關(guān)閉該slave上的datanode進(jìn)程，需要先關(guān)閉再重新啟動。

以上是“Hadoop2.6集群如何動態(tài)添加和刪除數(shù)據(jù)節(jié)點(diǎn)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！