什么是Hadoop集群動態(tài)擴容

今天就跟大家聊聊有關(guān)什么是Hadoop集群動態(tài)擴容，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

1、基礎(chǔ)準備

在基礎(chǔ)準備部分，主要是設(shè)置 hadoop 運行的系統(tǒng)環(huán)境

修改新機器系統(tǒng) hostname（通過/etc/sysconfig/network 進行修改）

[root@node-4 ~]# cat /etc/sys conf 1g/network

NE TWORKING=yes

HOS TNAME=node -4

[r oot@node-4 ~ ] #

修改 hosts 文件，將集群所有節(jié)點 hosts 配置進去（集群所有節(jié)點保持hosts文件統(tǒng)一）

rootenode-1 -]# cat /etc/hosts

127.0.0.1   localhost localhost. localdomain localhost4 localhost4. local domain4

: :1        localhost localhost. localdomain localhost6 localhost6. local domain6

192.168.227.151 node-1

192.168.227.152 node-2

192.168.227.153 node-3

192.168.227.154 node-4

rootenode-1 ~]#

設(shè)置 NameNode 到 DataNode 的免密碼登錄（ssh-copy-id 命令實現(xiàn)）

修改主節(jié)點 slaves 文件，添加新增節(jié)點的 ip 信息（集群重啟時配合一鍵啟動腳本使用）

[root@node-1 J]# vim /export/servers/hadoop-2 .6. 0-cdh6.14.0/etc/hadoop/s laves

node-1

node-2

node-3

node-4

在新的機器上上傳解壓一個新的hadoop安裝包，從主節(jié)點機器上將hadoop的所有配置文件，scp到新的節(jié)點上。

2、添加datanode

在namenode所在的機器的/export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop 目錄下創(chuàng)建 dfs.hosts 文件

cd /export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop

vim dfs.hosts

添加如下主機名稱（包含新服役的節(jié)點）

node-1

node-2

node-3

node-4

在 namenode 機器的 hdfs-site.xml 配置文件中增加 dfs.hosts 屬性

cd /export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop vim hdfs-site.xml

<property>

    <name>dfs.hosts</name>

    <value>/export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop/dfs.hosts</value>

</property>

dfs.hosts 屬性的意義：命名一個文件，其中包含允許連接到namenode的主機列表。必須指定文件的完整路徑名。如果該值為空，則允許所有主機。相當于一個白名單，也可以不配置。

在新的機器上單獨啟動datanode：hadoop-daemon.sh start datanode

[root@node-4 ~]# hadoop-daemon.sh start datanode

starting datanode: logging to /export /servers/hadoop-2.6.0-cdh614 .0/ lops /hadoop root datanode -node-4 out

[root@node-4 ~]#

刷新頁面就可以看到新的節(jié)點加入進來了

3、datanode負載均衡服務(wù)

新加入的節(jié)點，沒有數(shù)據(jù)塊的存儲，使得集群整體來看負載還不均衡。因此最后還需要對hdfs負載設(shè)置均衡，因為默認的數(shù)據(jù)傳輸帶寬比較低，可以設(shè)置為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可

默認balancer的threshold為10%，即各個節(jié)點與集群總的存儲使用率相差不超過10%，我們可將其設(shè)置為5%。然后啟動Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可。

4、添加nodemanager

在新的機器上單獨啟動 nodemanager：

yarn-daemon.sh start nodemanager

在ResourceManager，通過yarn node -list查看集群情況

看完上述內(nèi)容，你們對什么是Hadoop集群動態(tài)擴容有進一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。