溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

spark-master 高可用測(cè)試

發(fā)布時(shí)間：2020-07-29 16:14:22 來(lái)源：網(wǎng)絡(luò) 閱讀：464 作者：無(wú)鋒劍 欄目：大數(shù)據(jù)

spark-master 高可用測(cè)試：

集群介紹

[spark-m]
172.20.101.157 sparkname=master01 
172.20.101.164 sparkname=master02
172.20.101.165 sparkname=master03 

[spark-s]
172.20.101.160 sparkname=slave01 
172.20.101.166 sparkname=slave02
172.20.101.167 sparkname=slave03 

[zookeeper]
172.20.101.157 myid=1 
172.20.101.164 myid=3 
172.20.101.165 myid=2

啟動(dòng)第1臺(tái)master：

[root@kubm-03 ~]# tailf /var/log/spark/spark-root-org.apache.spark.deploy.master.Master-1-kubm-03.out 
.......
19/07/18 11:11:59 INFO ZooKeeperLeaderElectionAgent: We have gained leadership
19/07/18 11:11:59 INFO Master: I have been elected leader! New state: ALIVE

發(fā)現(xiàn)第1臺(tái)未發(fā)現(xiàn)其它節(jié)點(diǎn)，狀態(tài)選舉為 leader

啟動(dòng)第2臺(tái)master：

[root@kubm-02 ~]# sh /usr/local/spark-2.4.3-bin-hadoop2.7/sbin/start-master.sh 
.......
19/07/18 11:17:52 INFO ConnectionStateManager: State change: CONNECTED

狀態(tài)選舉為 CONNECTED

啟動(dòng)第2臺(tái)master：

[root@kubm-01 ~]# sh /usr/local/spark-2.4.3-bin-hadoop2.7/sbin/start-master.sh 
.。。。。
19/07/18 11:15:09 INFO ConnectionStateManager: State change: CONNECTED

狀態(tài)選舉為 CONNECTED

關(guān)閉 leader 節(jié)點(diǎn)服務(wù)

[root@kubm-03 ~]# sh /usr/local/spark-2.4.3-bin-hadoop2.7/sbin/stop-master.sh

略等待，kubm-01節(jié)點(diǎn)選舉為新的 leader

[root@kubm-01 ~]# 
19/07/18 11:19:33 INFO ZooKeeperLeaderElectionAgent: We have gained leadership
19/07/18 11:19:33 INFO Master: I have been elected leader! New state: ALIVE
向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手