Zookeeper擴(kuò)展的方法是什么

這篇文章主要介紹“Zookeeper擴(kuò)展的方法是什么”，在日常操作中，相信很多人在Zookeeper擴(kuò)展的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Zookeeper擴(kuò)展的方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

一、背景

基于公司發(fā)展硬性需求，生產(chǎn)VM服務(wù)器要統(tǒng)一遷移到ZStack 虛擬化服務(wù)器。檢查自己項(xiàng)目使用的服務(wù)器，其中zookeeper集群中招，所以需要進(jìn)行遷移。

二、遷移計(jì)劃

為了使遷移不對業(yè)務(wù)產(chǎn)生影響，所以最好是采用擴(kuò)容 -> 縮容 的方式進(jìn)行。

說明：
1.原生產(chǎn)集群為VM-1,VM-2,VM-3組成一個(gè)3節(jié)點(diǎn)的ZK集群；
2.對該集群擴(kuò)容，增加至6節(jié)點(diǎn)（新增ZS-1,ZS-2,ZS-3），進(jìn)行數(shù)據(jù)同步完成；
3.進(jìn)行縮容，下掉原先來的三個(gè)節(jié)點(diǎn)（VM-1,VM-2,VM-3）；
4.替換nginx解析地址。
OK! 目標(biāo)很明確，過程也很清晰，然后開干。

三、步驟 (過程已在測試環(huán)境驗(yàn)證無問題)：

1. 對新增的三臺(tái)服務(wù)器進(jìn)行zk環(huán)境配置，和老集群配置一樣即可，最好使用同一版本（版主使用的是3.4.6）；

2. 對老節(jié)點(diǎn)的zoo.cfg 增加新集群的地址（逐一增加），然后對新增加節(jié)點(diǎn)逐一重啟。

四、問題

• ZS-1 啟動(dòng)成功，zkServer.sh status 報(bào)錯(cuò),用zkServer.sh status查看，反饋如下異常：

[root@localhost bin]# ./zkServer.sh  status
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

• 此時(shí)查看數(shù)據(jù)，數(shù)據(jù)同步正常

ZS-1 數(shù)據(jù)同步正常，但是無法查看節(jié)點(diǎn)的狀態(tài)信息；

• 懷疑是因?yàn)槔瞎?jié)點(diǎn)沒有重啟的原因；此時(shí)去查看原集群節(jié)點(diǎn)信息，發(fā)現(xiàn)原集群節(jié)點(diǎn)狀態(tài)異常。經(jīng)排查定位，原集群的狀態(tài)一直處于異常狀態(tài)。

• 初步定位原因可能是原集群的選舉存在異常，導(dǎo)致新節(jié)點(diǎn)無法正常納入，繼續(xù)排查。

• 恢復(fù)集群初始狀態(tài)，如果集群節(jié)點(diǎn)的狀態(tài)一直沒法正常查看。OK 繼續(xù)定位...

五、排查過程

以下方法來自于網(wǎng)絡(luò)：

可能有以下幾個(gè)原因：

第一、zoo.cfg文件配置：dataLogDir指定的目錄未被創(chuàng)建。

1.zoo.cfg
[root@SIA-215 conf]# cat zoo.cfg
...
dataDir=/app/zookeeperdata/data
dataLogDir=/app/zookeeperdata/log
...
2.路徑
[root@SIA-215 conf]# cd /app/zookeeperdata/
[root@SIA-215 zookeeperdata]# ll
total 8
drwxr-xr-x 3 root root 4096 Apr 23 19:59 data
drwxr-xr-x 3 root root 4096 Aug 29  2015 log

經(jīng)排查 排除該因素。

第二、myid文件中的整數(shù)格式不對，或者與zoo.cfg中的server整數(shù)不對應(yīng)。

[root@SIA-215 data]# cd /app/zookeeperdata/data
[root@SIA-215 data]# cat myid 
2[root@SIA-215 data]#

定位排查后排除不是該原因。

第三、防火墻未關(guān)閉。

使用service iptables stop 關(guān)閉防火墻； 使用service iptables status確認(rèn)； 使用chkconfig iptables off禁用防火墻。

確認(rèn)防火墻是關(guān)閉的。

[root@localhost ~]# service iptables status
iptables: Firewall is not running.
確認(rèn)防火墻是關(guān)閉的

第四、端口被占用。

[root@localhost bin]# netstat -tunlp | grep 2181
tcp        0      0 :::12181                    :::*                        LISTEN      30035/java          
tcp        0      0 :::22181                    :::*                        LISTEN      30307/java 
確認(rèn)端口沒有被占用

第五、zoo.cfg文件中主機(jī)名出錯(cuò)。

經(jīng)測試環(huán)境測試，主機(jī)名正確，多域名解析也正常，不存在此問題

第六、hosts文件中，本機(jī)的主機(jī)名有兩個(gè)對應(yīng)，只需保留主機(jī)名和ip地址的映射。

經(jīng)測試環(huán)境測試，主機(jī)名正確，多域名解析也正常，不存在此問題 排除。

第七、zkServer.sh里的nc命令有問題。

 可能是機(jī)器上沒有安裝nc命令，還有種說法是在zkServer.sh里找到這句：
 STAT=`echo stat | nc localhost $(grep clientPort “$ZOOCFG” | sed -e ‘s/.*=//’) 2> /dev/null| grep Mode`
 在nc與localhost之間加上 -q 1 （是數(shù)字1而不是字母l）
 
 zookeeper版本是3.4.6，zkServer.sh里根本沒有這一句（獲取狀態(tài)的語句沒有用nc命令）
 # -q is necessary on some versions of linux where nc returns too quickly, and no stat result is output
    clientPortAddress=`grep "^[[:space:]]*clientPortAddress[^[:alpha:]]" "$ZOOCFG" | sed -e 's/.*=//'`
    if ! [ $clientPortAddress ]
    then
        clientPortAddress="localhost"
    fi
    clientPort=`grep "^[[:space:]]*clientPort[^[:alpha:]]" "$ZOOCFG" | sed -e 's/.*=//'`
    STAT=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
             -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
             $clientPortAddress $clientPort srvr 2> /dev/null    \
          | grep Mode`
    if [ "x$STAT" = "x" ]
    then
        echo "Error contacting service. It is probably not running."
        exit 1
    else
        echo $STAT
        exit 0
    fi
    ;;

六、以下是自己排查的方式：

目前現(xiàn)象老集群數(shù)據(jù)同步正常，也能進(jìn)行l(wèi)eader選舉（從日志獲取），但是無法查看節(jié)點(diǎn)狀態(tài)，同異常信息；進(jìn)行集群擴(kuò)容，數(shù)據(jù)不能同步。

解決方法：

1、嘗試進(jìn)行foreground 模式啟動(dòng)，選擇一臺(tái)非主節(jié)點(diǎn)進(jìn)行重啟，可以前臺(tái)查看啟動(dòng)日志。

zkserver.sh start-foreground
節(jié)點(diǎn)啟動(dòng)正常，無異常輸出。

2、查看shell腳本：分析zkServer.sh。

• "Error contacting service. It is probably not running." 這塊日志出現(xiàn)以下腳本中。

STAT=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
             -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
             $clientPortAddress $clientPort srvr 2> /dev/null    \
          | grep Mode`
    if [ "x$STAT" = "x" ]
    then
        echo "Error contacting service. It is probably not running."
        exit 1
    else
        echo $STAT
        exit 0
    fi
    ;;

• 截取其中一部分腳本內(nèi)容：我們可以初步定為應(yīng)該是 $STAT 獲取存在異常 如果STAT變量為空，則會(huì)顯示Error contacting service. It is probably not running.： OK，那就分析下這個(gè)$STAT到底是什么鬼？

 if [ “x$STAT” = “x” ]
then
echo “Error contacting service. It is probably not running.”
exit 1
else
echo $STAT
exit 0
fi

3、嘗試用shell的debug模式 看下執(zhí)行過程：

• 截取片段執(zhí)行日志如下 ：果然STAT變量確實(shí)為空，導(dǎo)致輸出Error contacting service. It is probably not running.并且退出。

++ grep '^[[:space:]]*clientPort[^[:alpha:]]' /app/zookeeper-3.4.6/bin/../conf/zoo.cfg
+ clientPort=5181
++ grep Mode
++ /opt/jdk1.8.0_131/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp '/app/zookeeper-3.4.6/bin/../build/classes:/app/zookeeper-3.4.6/bin/../build/lib/*.jar:/app/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/app/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/app/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/app/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/app/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/app/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/app/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/app/zookeeper-3.4.6/bin/../conf:.:/opt/jdk1.8.0_131/lib/dt.jar:/opt/jdk1.8.0_131/lib/tools.jar' org.apache.zookeeper.client.FourLetterWordMain localhost 5181 srvr
+ STAT=
+ ‘[‘ x = x ‘]’
+ echo ‘Error contacting service. It is probably not running.’
Error contacting service. It is probably not running.
+ exit 1

4、修改shell腳本：分析zkServer.sh 在腳本總增加輸出STAT 內(nèi)容，這次我們不進(jìn)行過濾。

STAT1=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
             -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
             $clientPortAddress $clientPort srvr 2> test.log \ `
echo "$STAT1"

• 最好的方式是copy一個(gè)新腳本，以免污染原本的腳本。我是這么做的；然后運(yùn)行該腳本。

[root@localhost bin]# ./zkServer.sh  status
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.10/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

• 然后查看生成的test.log 文件：果然存在異常內(nèi)容。

in thread “main” java.lang.NumberFormatException: For input string: “2181
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
at java.lang.Integer.parseInt(Integer.java:492)
at java.lang.Integer.parseInt(Integer.java:527)
at org.apache.zookeeper.client.FourLetterWordMain.main(FourLetterWordMain.java:76)

• 從日志信息來看，提示說2181這個(gè)端口號造成的。 不是一個(gè)合法的數(shù)字。

zkServer.sh里有這么一句：

clientPort=`grep “^[[:space:]]*clientPort[^[:alpha:]]” “$ZOOCFG” | sed -e ‘s/.*=//’`
grep “^[[:space:]]*clientPort[^[:alpha:]]” “$ZOOCFG” | sed -e ‘s/.*=//’在執(zhí)行過程中，實(shí)際命令如下：
grep ‘^[[:space:]]*clientPort[^[:alpha:]]’ /app/zookeeper-3.4.6/bin/../conf/zoo.cfg | sed -e ‘s/.*=//’

• 最終可以基本確認(rèn)配置文件存在問題。

• 替換配置文件：重啟 問題解決。

• 存在原因可能是編輯zoo.cfg 編碼格式等等引起文件內(nèi)容解析異常。

到此，關(guān)于“Zookeeper擴(kuò)展的方法是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！