溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop 2.2.0 熱添加新節(jié)點 (含HBASE)

發(fā)布時間:2020-07-09 16:23:35 來源:網(wǎng)絡 閱讀:342 作者:刀刀_高揚 欄目:關(guān)系型數(shù)據(jù)庫

環(huán)境:

192.168.137.101 hd1

192.168.137.102 hd2

192.168.137.103 hd3

192.168.137.104 hd4


四節(jié)點hadoop和hbase



1、hd5中修改/etc/hosts

加入

192.168.137.105hd5


2、分發(fā)其到所有hd1,hd2,hd3,hd4

scp/etc/hostshd1:/etc

scp/etc/hostshd2:/etc

scp/etc/hostshd3:/etc

scp/etc/hostshd4:/etc


3、修改hd5節(jié)點的

/home/hadoop/hadoop/etc/hadoop/slaves

加添hd5作為最后一個節(jié)點


4、hd5節(jié)點刪除原來的.ssh中的共鑰私鑰文件,重新生成

cd~/.ssh

rmid_rsa

rmid_rsa.pub

ssh-keygen-trsa


5、將原先hd1節(jié)點中的authorized_keys文件拷貝到hd5,再加入新共鑰

cat~/.ssh/id_rsa.pub>>authorized_keys


6、分發(fā)改文件到其它各節(jié)點

scp~/.ssh/authorized_keyshd1:/home/hadoop/.ssh

scp~/.ssh/authorized_keyshd2:/home/hadoop/.ssh

scp~/.ssh/authorized_keyshd3:/home/hadoop/.ssh

scp~/.ssh/authorized_keyshd4:/home/hadoop/.ssh


7、前往各個節(jié)點進行第一次(不確認也可以)到hd5ssh登錄(hd5本地的也做一次回環(huán)ssh登錄比較好)

hd1,ssh hd5 date

hd2,ssh hd5 date

hd3,ssh hd5 date

hd4,ssh hd5 date

hd5,ssh hd5 date


8、在hd5修改hadoop的slave文件

vim /home/hadoop/hadoop/etc/hadoop/slaves

加入hd5

分發(fā)其到其它節(jié)點

scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop

scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop

scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop

scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop


9、hd5啟動yarn

start-dfs.sh

yarn-daemon.shstartdatanode

(如果是虛擬機復制的產(chǎn)物,請刪除/home/hadoop/tmp/hoem/hadoop/hdfs中的文件,當然這兩個路徑還是要保留的)


10、hd5啟動start-balancer.sh均衡當前hdfs

Start-balancer.sh


11、如果還有hbase在上面運行則需要部署hbasehserver

修改

vim/home/hadoop/hbase/conf/regionservers

加入hd5

vim/home/hadoop/hbase/conf/hbase-site.xml

加入


hbase.zookeeper.quorum

hd1,hd2,hd3,hd4,hd5


12、復制上面兩個文件到hd1,hd2,hd3,hd4

scpregionservershd1:/home/hadoop/hbase/conf

scpregionservershd2:/home/hadoop/hbase/conf

scpregionservershd3:/home/hadoop/hbase/conf

scpregionservershd4:/home/hadoop/hbase/conf

scphbase-site.xmlhd1:/home/hadoop/hbase/conf

scphbase-site.xmlhd2:/home/hadoop/hbase/conf

scphbase-site.xmlhd3:/home/hadoop/hbase/conf

scphbase-site.xmlhd4:/home/hadoop/hbase/conf


13、hd5啟動hbaseregionserver

hbase-daemon.shstartregionserver


14、hd1hd5啟動hbaseshell

status命令確認一下集群情況


向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI