hadoop2.7.1不重啟如何動態(tài)刪除節(jié)點和新增節(jié)點

小編給大家分享一下hadoop2.7.1不重啟如何動態(tài)刪除節(jié)點和新增節(jié)點，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

hadoop重啟太麻煩了，需要暫停當前所有的任務。所以動態(tài)的刪除和新增節(jié)點就很重要了。

先說動態(tài)刪除節(jié)點：

（配置為可動態(tài)刪除節(jié)點，這個是要重啟的，以后需要動態(tài)刪除節(jié)點時，就不用重啟了。）進入hadoop目錄的etc/hadoop/目錄

1.增加excludes文件，每行寫一個要刪除的節(jié)點的主機名

2.在hdfs-site.xml中增加

<property>
<name>dfs.hosts.exclude</name>
<value>/data/hadoop/etc/hadoop/excludes</value>
</property>

3.在mapred-site.xml中增加

<property>
<name>mapred.hosts.exclude</name>
<value>/data/hadoop/etc/hadoop/excludes</value>
<final>true</final>
</property>

這樣，如果需要刪除某一節(jié)點，只需把該節(jié)點的主機名寫入excludes文件，然后執(zhí)行（僅在namenode上修改文件，執(zhí)行命令即可）

hadoop dfsadmin -refreshNodes

查看節(jié)點狀態(tài)hadoop dfsadmin -report或者web管理端頁面，可以看到該節(jié)點是decomissioning狀態(tài)，等它變化為decomissioned，就可以把這個節(jié)點拿掉了。拿掉后，該節(jié)點上進程還是都在的，直接kill即可。

動態(tài)新增節(jié)點：

因為我是把刪除的節(jié)點重新加上，所以環(huán)境之類的就不用配置了。直接使用原來的就行。

在節(jié)點上執(zhí)行，/data/hadoop/etc/hadoop/是配置文件目錄，這是啟動datanode

hadoop-daemon.sh --config /data/hadoop/etc/hadoop/ --script hdfs start nodemanager

然后啟動nodemanager

yarn-daemons.sh --config /data/hadoop/etc/hadoop/ start nodemanager

這條命令是啟動了所有slave主機的nodemanager，所以執(zhí)行中會報錯，其他的主機已啟動。

我看有的帖子通過以下命令啟動：

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

我的啟動了，這兩個命令就不試了。朋友們測試后可以告訴我哦~(已測試過了，成功，第二種啟動更合理)

然后，刪除前文中的excludes文件中該節(jié)點的主機名，執(zhí)行刷新操作即可。

hadoop dfsadmin -refreshNodes

至此，可以看到已經新增了該節(jié)點的datanode。

hadoop的數據的負載均衡：

執(zhí)行以下命令，-threshold 5這個參數可以不寫，默認是10

start-banlancer.sh -threshold 5

然后就可以查看日志了，在哪臺機器上執(zhí)行該命令，日志就在哪臺機器上。

tail -f /data/hadoop/logs/hadoop-hadoop-balancer-hostname.log

靜等均衡完畢！

以上是“hadoop2.7.1不重啟如何動態(tài)刪除節(jié)點和新增節(jié)點”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！