重啟K8S節(jié)點(diǎn)部分pvc不能正常掛載

Tags： 重啟K8S節(jié)點(diǎn)部分pvc不能正常掛載
重啟K8S節(jié)點(diǎn)部分pvc不能正常掛載
===
在本文中重點(diǎn)講一下重啟K8S節(jié)點(diǎn)之后部分pvc不能正常掛載的解決方案；

1. 故障發(fā)生：

??我們一臺(tái)k8s計(jì)算節(jié)點(diǎn)出現(xiàn)故障，強(qiáng)制重啟之后，有一個(gè)gitlab的pod啟動(dòng)的時(shí)候，通過(guò)kubectl describe pods gitlab查看的日志總是有報(bào)錯(cuò)：

Multi-Attach error for volume "pvc-76b54b6c-df46-11e7-a2f0-005056b12f99" Volume is already exclusively attached to one node and can't be attached to another 

2. 故障處理：

查看pv對(duì)應(yīng)哪個(gè)rbd image,這個(gè)命令在安裝kubectl命令的k8s節(jié)點(diǎn)執(zhí)行

kubectl get pv pvc-1557d839-714f-11e9-8d1a-5065f3457c8c -o go-template='{{.spec.rbd.image}}'

根據(jù)上一步輸出的結(jié)果，在ceph節(jié)點(diǎn)上面查看rbd image的watcher，-p指定pool

sudo rbd status kubernetes-dynamic-pvc-199d4a26-714f-11e9-bb25-480fcf482f56 -p kube

根據(jù)輸出的結(jié)果，登錄到那臺(tái)機(jī)器上面，在查看rbd images mapped關(guān)系

sudo rbd showmapped | kubernetes-dynamic-pvc-199d4a26-714f-11e9-bb25-480fcf482f56

最后一步，根據(jù)上一步命令的執(zhí)行結(jié)果，在這臺(tái)機(jī)器上面卸載rdb imags

sudo rbd unmap /dev/rbd8

然后再重啟pod，發(fā)現(xiàn)pvc可以正常掛載了；

博文的更詳細(xì)內(nèi)容請(qǐng)關(guān)注我的個(gè)人微信公眾號(hào) “云時(shí)代IT運(yùn)維”,本公眾號(hào)旨在共享互聯(lián)網(wǎng)運(yùn)維新技術(shù)，新趨勢(shì)； 包括IT運(yùn)維行業(yè)的咨詢，運(yùn)維技術(shù)文檔分享。重點(diǎn)關(guān)注devops、jenkins、zabbix監(jiān)控、kubernetes、ELK、各種中間件的使用，比如redis、MQ等；shell和python等運(yùn)維編程語(yǔ)言；本人從事IT運(yùn)維相關(guān)的工作有十多年。2008年開(kāi)始專職從事Linux/Unix系統(tǒng)運(yùn)維工作；對(duì)運(yùn)維相關(guān)技術(shù)有一定程度的理解。本公眾號(hào)所有博文均是我的實(shí)際工作經(jīng)驗(yàn)總結(jié)，基本都是原創(chuàng)博文。我很樂(lè)意將我積累的經(jīng)驗(yàn)、心得、技術(shù)與大家分享交流！希望和大家在IT運(yùn)維職業(yè)道路上一起成長(zhǎng)和進(jìn)步；