docker swarm集群故障與異常怎么解決

這篇文章主要介紹了docker swarm集群故障與異常怎么解決的相關(guān)知識，內(nèi)容詳細(xì)易懂，操作簡單快捷，具有一定借鑒價(jià)值，相信大家閱讀完這篇docker swarm集群故障與異常怎么解決文章都會(huì)有所收獲，下面我們一起來看看吧。

如下：

在上次遭遇 docker swarm 集群故障后，我們將 docker 由 17.10.0-ce 升級為最新穩(wěn)定版 docker 17.12.0-ce 。

前天晚上22:00之后集群中的2個(gè)節(jié)點(diǎn)突然出現(xiàn)cpu波動(dòng)，在cpu波動(dòng)之后，在凌晨夜深人靜、訪問量極低的時(shí)候，整個(gè)集群出現(xiàn)了故障，訪問集群上的所有站點(diǎn)都出現(xiàn)了502，過了一段時(shí)間后自動(dòng)恢復(fù)正常。

ecs實(shí)例：swarm1-node5，cpu百分比于00:52發(fā)生告警，值為96.14%，持續(xù)時(shí)間0分鐘

昨天早上發(fā)現(xiàn)訪問部分節(jié)點(diǎn)中的容器應(yīng)用響應(yīng)有些慢，于是我們通過阿里云控制臺(tái)強(qiáng)制重啟這些節(jié)點(diǎn)后恢復(fù)正常。

今天上午我們在集群上更新一個(gè)應(yīng)用時(shí)（部署新的鏡像），出現(xiàn)了奇怪的問題。應(yīng)用是在 swarm1-node1 這個(gè) manager 節(jié)點(diǎn)上部署的，部署后容器運(yùn)行在其他節(jié)點(diǎn)上，但奇怪的是只有在 swarm1-node1 這個(gè)節(jié)點(diǎn)上可以正常訪問容器中的站點(diǎn)，在其他節(jié)點(diǎn)上訪問都是 503 ，用 docker stack rm 命令刪除應(yīng)用并重新部署問題依舊。

當(dāng)時(shí) docker-flow-proxy（路由應(yīng)用） 的 2 個(gè)容器都是部署在 swarm1-node1 節(jié)點(diǎn)上的，從問題現(xiàn)象看，在 swarm1-node1 節(jié)點(diǎn)上 docker-flow-proxy 容器與外界的通信正常，docker-flow-proxy 容器與其他節(jié)點(diǎn)上的容器的 overlay 網(wǎng)絡(luò)（網(wǎng)絡(luò)a）通信正常；在其他節(jié)點(diǎn)上，外界的請求通過 overlay 網(wǎng)絡(luò)（網(wǎng)絡(luò)b）被正常轉(zhuǎn)發(fā)到 docker-flow-proxy 容器，卻不能被正常路由到其他節(jié)點(diǎn)上對應(yīng)的容器（也是通過 overlay 網(wǎng)絡(luò)a）。對這個(gè)奇怪現(xiàn)象實(shí)在想不通，但是問題擺在那，想不通也要解決。想不通背后的原因，那我們換個(gè)角度，其他節(jié)點(diǎn)都異常，就 swarm1-node1 正常，根據(jù)少數(shù)服從多數(shù)的粗暴原則，那就認(rèn)為swarm1-node1 不正常吧。于是通過下面的命令將swarm1-node1 節(jié)點(diǎn)下線：

docker node update --availability drain swarm1-node1

swarm1-node1 下線后，其他節(jié)點(diǎn)都恢復(fù)了正常，果然是 swarm1-node1 不正常。

swarm1-node1 下線的背后是 docker-flow-proxy 容器換到其他節(jié)點(diǎn)上運(yùn)行。

問題就這樣被猜測解決了。

關(guān)于“docker swarm集群故障與異常怎么解決”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“docker swarm集群故障與異常怎么解決”知識都有一定的了解，大家如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道。