ceph中如何刪除和添加osd節(jié)點(diǎn)

這篇文章主要介紹了ceph中如何刪除和添加osd節(jié)點(diǎn)，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

在ceph中，數(shù)據(jù)是以PG為單位保存在osd中的，一般情況下一個(gè)osd會(huì)對(duì)應(yīng)一塊磁盤，在osd節(jié)點(diǎn)掛掉的情況下，如果osd數(shù)據(jù)盤沒有損壞，可以利用osd數(shù)據(jù)盤對(duì)數(shù)據(jù)進(jìn)行恢復(fù)
現(xiàn)在的情況如下所示，將osd2節(jié)點(diǎn)的osd.8和osd.9都停掉了，相當(dāng)于osd2節(jié)點(diǎn)已經(jīng)掛掉


集群的健康狀況如下：




1　將osd.8,osd.9從crush中刪除，并刪除對(duì)應(yīng)的osd,和auth,host
ceph osd crush rm osd.8 
ceph osd crush rm osd.9
ceph osd rm 8 
ceph osd rm 9
ceph auth del osd.8
ceph auth del osd.9
ceph osd crush rm osd2
將故障節(jié)點(diǎn)和osd從集群中刪除后，新的集群如下圖所示


2 新建osd2節(jié)點(diǎn)
并將數(shù)據(jù)盤掛載到新的osd2節(jié)點(diǎn)，并重建osd
2.1 掛載數(shù)據(jù)盤到臨時(shí)目錄
將數(shù)據(jù)盤掛載到/var/lib/ceph/osd/tmp/mnt目錄下，目錄不存在就新建一個(gè)
mkdir /var/lib/ceph/tmp/mnt
mount /dev/sdb1 /var/lib/ceph/tmp/mnt
讀取/var/lib/ceph/tmp/mnt目錄下的fsid,whoami文件，即該磁盤對(duì)應(yīng)的osd的uuid和osd-num
cat fsid whoami 
f187533d-d3cd-4e40-8416-a93c9080876c
8
2.2 重建osd
讀取到fsid,和osd-num后，可以利用這些信息重建osd,需要讀取/etc/ceph.conf文件，保證這個(gè)文件存在并且和集群中的該文件保持一致
ceph  osd  create f187533d-d3cd-4e40-8416-a93c9080876c 8
如果出現(xiàn)如圖所示的錯(cuò)誤提示，說明沒有找到keyring文件，這是集群之間的認(rèn)證文件
2017-10-16 16:47:15.681089 7f84f1a80700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory
2017-10-16 16:47:15.681315 7f84f1a80700 -1 monclient(hunting): ERROR: missing keyring, cannot use cephx for authentication
2017-10-16 16:47:15.681404 7f84f1a80700  0 librados: client.admin initialization error (2) No such file or directory
Error connecting to cluster: ObjectNotFound


可以從集群的其他節(jié)點(diǎn)（主節(jié)點(diǎn)的/etc/ceph目錄下）上將該文件復(fù)制一份過來，放到/etc/ceph目錄下
scp ceph.client.admin.keyring osd2:/etc/ceph
再次創(chuàng)建osd
ceph  osd  create f187533d-d3cd-4e40-8416-a93c9080876c 8
返回８說明創(chuàng)建成功
新建osd掛載點(diǎn)
mkdir /var/lib/ceph/osd/ceph-8
卸載臨時(shí)掛載目錄
umount /var/lib/ceph/tmp/mnt
掛載數(shù)據(jù)盤到osd目錄
mount /dev/sdb1 /var/lib/ceph/osd/ceph-8
注冊(cè)此 OSD 的密鑰
ceph auth add osd.8 osd 'allow *' mon 'allow rwx' -i /var/lib/ceph/osd/ceph-8/keyring 
added key for osd.8
3 加入集群
將新的節(jié)點(diǎn)加入crushmap
ceph osd crush add-bucket osd2 host
將該接點(diǎn)放到default根下
ceph osd crush move osd2 root=default
osd加入crushmap
ceph osd crush add osd.8 0.00980 host=osd2
這里給osd.8 的權(quán)重是0.00980，該值和集群中其他osd保持已知，權(quán)重不一致可能會(huì)導(dǎo)致pg的狀態(tài)一直處于unclean
現(xiàn)在osd已經(jīng)在集群中了,加入集群的osd就可以接收數(shù)據(jù)了
root@mon1:/etc/ceph# ceph osd tree
ID WEIGHT  TYPE NAME     UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.05878 root default                                    
-2 0.01959     host osd1                                   
 1 0.00980         osd.1      up  1.00000          1.00000 
 3 0.00980         osd.3      up  1.00000          1.00000 
-5 0.01959     host osd3                                   
 4 0.00980         osd.4      up  1.00000          1.00000 
 5 0.00980         osd.5      up  1.00000          1.00000 
-3 0.01959     host osd2                                   
 9 0.00980         osd.9      up  1.00000          1.00000 
 8 0.00980         osd.8    down        0          1.00000 


現(xiàn)在osd.8還處于down狀態(tài)，因?yàn)閛sd.8的進(jìn)程還沒有啟動(dòng)
啟動(dòng)進(jìn)程
systemctl start ceph-osd@8
現(xiàn)在集群的健康狀況和osd分布狀況，如下圖


上圖所示，說明osd節(jié)點(diǎn)恢復(fù)成功。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“ceph中如何刪除和添加osd節(jié)點(diǎn)”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!