Ceph分布式部署教程

這篇文章主要講解了“Ceph分布式部署教程”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“Ceph分布式部署教程”吧！

一 、環(huán)境準(zhǔn)備：

該部署使用3臺(tái)機(jī)器（ubuntu 14.04），兩臺(tái)機(jī)器做osd，一臺(tái)機(jī)器做mon和mds，具體服務(wù)情況如下：

• ceph2（192.168.21.140）：osd.0

• ceph3（192.168.21.141）：osd.1 osd.2

• ceph4（192.168.21.142）：mon mds

• 修改各自的hostname，并能夠通過(guò)hostname來(lái)互相訪問(wèn)。

• 各節(jié)點(diǎn)能夠ssh互相訪問(wèn)而不輸入密碼（通過(guò)ssh-keygen命令）。

二、配置免密碼登陸：

在每個(gè)節(jié)點(diǎn)上：

ssh-keygen -t rsa
touch /root/.ssh/authorized_keys

首先配置ceph2

scp /root/.ssh/id_rsa.pub ceph3:/root/.ssh/id_rsa.pub_ceph2

scp /root/.ssh/id_rsa.pub ceph4:/root/.ssh/id_rsa.pub_ceph2

ssh ceph3 "cat /root/.ssh/id_rsa.pub_ceph2>> /root/.ssh/authorized_keys"

ssh ceph4 "cat /root/.ssh/id_rsa.pub_ceph2 >> /root/.ssh/authorized_keys"

節(jié)點(diǎn)ceph3和ceph4也需要參照上面的命令進(jìn)行配置。

三、安裝ceph 庫(kù)

在每個(gè)節(jié)點(diǎn)上安裝Ceph庫(kù)：

apt-get install ceph ceph-common ceph-mds

顯示ceph 版本信息：

ceph -v

四、在ceph2上創(chuàng)建ceph 配置文件

vim /etc/ceph/ceph.conf

[global]

    max open files = 131072

    auth cluster required = none

    auth service required = none

   auth client required = none

   osd pool default size = 2

[osd]

   osd journal size = 1000

   filestore xattruse omap = true

   osd mkfs type = xfs

   osd mkfs options xfs = -f   #default for xfs is "-f"

   osd mount options xfs = rw,noatime # default mount option is"rw,noatime"

[mon.a]

   host = ceph4

    mon addr = 192.168.21.142:6789



[osd.0]

   host = ceph2
   devs = /dev/sdb



[osd.1]

    host= ceph3
    devs= /dev/sdc

[osd.2]

    host = ceph3
    devs = /dev/sdb


[mds.a]

    host= ceph4

配置文件創(chuàng)建成功之后，還需要拷貝到除純客戶端之外的每個(gè)節(jié)點(diǎn)中（并且后續(xù)也要始終保持一致）：

scp /etc/ceph/ceph.conf ceph3:/etc/ceph/ceph.conf

scp /etc/ceph/ceph.conf ceph4:/etc/ceph/ceph.conf

五、創(chuàng)建數(shù)據(jù)目錄：

在每個(gè)節(jié)點(diǎn)上執(zhí)行

mkdir -p /var/lib/ceph/osd/ceph-0

mkdir -p /var/lib/ceph/osd/ceph-1

mkdir -p /var/lib/ceph/osd/ceph-2

mkdir -p /var/lib/ceph/mon/ceph-a

mkdir -p /var/lib/ceph/mds/ceph-a

六、創(chuàng)建分區(qū)并掛載：

對(duì)于osd所在的節(jié)點(diǎn)ceph2和ceph3，需要對(duì)新分區(qū)進(jìn)行xfs格式化并mount到指定目錄：

ceph2：

mkfs.xfs -f /dev/sdb

mount /dev/sdb /var/lib/ceph/osd/ceph-0

ceph3：

mkfs.xfs -f /dev/sdc

mount /dev/sdc /var/lib/ceph/osd/ceph-1

mkfs.xfs -f /dev/sdb

mount /dev/sdb /var/lib/ceph/osd/ceph-2

七、初始化

注意，每次執(zhí)行初始化之前，都需要在每個(gè)節(jié)點(diǎn)上先停止Ceph服務(wù)，并清空原有數(shù)據(jù)目錄：

/etc/init.d/ceph stop

rm -rf /var/lib/ceph/*/ceph-*/*

然后，就可以在mon所在的節(jié)點(diǎn)ceph4上執(zhí)行初始化了：

sudo mkcephfs -a -c /etc/ceph/ceph.conf -k /etc/ceph/ceph4.keyring

注意，一旦配置文件ceph.conf發(fā)生改變，初始化最好重新執(zhí)行一遍。

八 、啟動(dòng)ceph

在mon所在的節(jié)點(diǎn)ceph4上執(zhí)行：

sudo service ceph -a start

注意，執(zhí)行上面這步時(shí)，可能會(huì)遇到如下提示：

=== osd.0 ===

Mounting xfs onceph5:/var/lib/ceph/osd/ceph-0

Error ENOENT: osd.0 does not exist.  create it before updating the crush map

執(zhí)行如下命令后，再重復(fù)執(zhí)行上面那條啟動(dòng)服務(wù)的命令，就可以解決：

ceph osd create

九 、遇到的坑

• ubuntu不能遠(yuǎn)程通過(guò)root用戶登錄
  修改 vim /etc/ssh/sshd_config  將 PermitEmptyPasswords  修改為no 重啟ssh

• ceph osd tree 看到3個(gè)osd的host同為ubuntu因?yàn)槲沂怯锰摂M機(jī)做的實(shí)驗(yàn)，虛擬機(jī)是clone得到的，因此hostname相同，vim /etc/hostname

• ceph osd tree 看到3個(gè)osd的host同為ceph4在ceph2和ceph3上重啟ceph服務(wù) /etc/init.d/ceph restart

• ceph -s 看到有warning 不是ok

  root@ceph4:/var/lib/ceph/osd# ceph -s
      cluster 57b27255-c63d-4a70-8561-99e76615e10f
       health HEALTH_WARN 576 pgs stuck unclean
       monmap e1: 1 mons at {a=192.168.21.142:6789/0}, election epoch 1, quorum 0 a
       mdsmap e6: 1/1/1 up {0=a=up:active}
       osdmap e57: 3 osds: 3 up, 3 in
        pgmap v108: 576 pgs, 3 pools, 1884 bytes data, 20 objects
              3125 MB used, 12204 MB / 15330 MB avail
                   576 active+remapped

  
  

  解決辦法，在/etc/ceph/ceph.conf 中[global]加入

  osd pool default size = 2

  
  

  推測(cè)應(yīng)該是osd的數(shù)量應(yīng)該大于副本數(shù)，ceph才可以正常運(yùn)行

感謝各位的閱讀，以上就是“Ceph分布式部署教程”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)Ceph分布式部署教程這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！