Proxmox VE6.0.4最新版集群搭建實(shí)錄

鏡像下載地址：https://www.proxmox.com/en/downloads
安裝過(guò)程圖解：
1、

2、

3、

4、

5、

6、

7、

8、

9、瀏覽器WEB登陸控制臺(tái)一覽

ssh登陸上去查看下版本:

這里我們依然創(chuàng)建三個(gè)結(jié)點(diǎn)的集群（PVE1-PVE3,192.168.26.210-212)其它結(jié)點(diǎn)安裝略配置方法一樣。
依然要更新配置下源及系統(tǒng)（看似相同注意版本差異）
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
apt update && apt dist-upgrade

如果要上傳ISO鏡，默認(rèn)的位置展示一下：

開始創(chuàng)建pve集群：
pve1上執(zhí)行：
pvecm create bd-data-center

pve2上執(zhí)行：
root@pve2:~# pvecm add 192.168.26.210

注意需要輸入密碼進(jìn)行通信認(rèn)證。
同樣PVE3上執(zhí)行:
root@pve3:~# pvecm add 192.168.26.210

查看下此時(shí)集群狀態(tài)：任一結(jié)點(diǎn)上執(zhí)行效果一樣（展示兩個(gè)結(jié)點(diǎn)上執(zhí)行的效果）


登陸WEB控制臺(tái)查看下此時(shí)效果：

接著安裝CEPH存儲(chǔ)（三個(gè)結(jié)點(diǎn)分別安裝）



初始化ceph集群網(wǎng)段：pveceph init --network 192.168.26.0/22

此時(shí)若命令查看CEPH狀態(tài)會(huì)報(bào)錯(cuò)：pveceph status

各結(jié)點(diǎn)創(chuàng)建ceph集群存儲(chǔ)Mon監(jiān)控：
pveceph createmon

root@pve2:~# pveceph createmon

root@pve3:~# pveceph createmon

此時(shí)查看CEPH狀態(tài)：

Ansible看下各結(jié)點(diǎn)吧，其實(shí)都一樣的。

創(chuàng)建mgr三個(gè)結(jié)點(diǎn)都需要執(zhí)行
pveceph createmgr #此結(jié)點(diǎn)提示已經(jīng)存在



查看WEB控制臺(tái)此時(shí)集群狀態(tài):


Creating Ceph OSDs
創(chuàng)建Ceph OSDs 存儲(chǔ)（三個(gè)結(jié)點(diǎn)執(zhí)行同樣操作）

root@pve1:~# pveceph createosd /dev/sdb

在PVE1上執(zhí)行后馬上看下WEB控制臺(tái)看下此時(shí)狀態(tài)變化情況


PVE1上磁盤和配置信息變化情況

同樣其它兩個(gè)結(jié)點(diǎn)執(zhí)行
root@pve2:~# pveceph createosd /dev/sdb
root@pve3:~#pveceph createosd /dev/sdb
創(chuàng)建ceph集群存儲(chǔ)資源池ceph osd pool create [資源池名稱] 128 128
root@pve1:~# ceph osd pool create datacenter 128 128



#添加RBD集群存儲(chǔ)

#查看rbd集群存儲(chǔ)配置信息(集群任一結(jié)點(diǎn)查看都一樣）

root@pve1:~# cat /etc/pve/storage.cfg
創(chuàng)建前的效果：


創(chuàng)建后的效果：

添加資源池：dbdata,iscpool,idcpool

HA群組創(chuàng)建：ISCVM,IDCVM


創(chuàng)建虛擬服務(wù)器：

其中遇到的報(bào)錯(cuò)解決方法：
root@pve1:~# ceph health detail

報(bào)錯(cuò)解決方法：ceph osd pool application enable datacenter rbd

高可用狀態(tài)下不能進(jìn)行克隆操作，否則會(huì)出錯(cuò)，出現(xiàn)虛擬機(jī)鎖住，且無(wú)法直接刪除的現(xiàn)象。

無(wú)法刪除：
用命令解鎖之后即可刪除虛擬機(jī)。

root@pve2:~# qm destroy 101
VM is locked (clone)
root@pve2:~# qm unlock 101
root@pve2:~# qm destroy 101
Removing image: 1% complete...
Removing image: 2% complete...

移出高可用狀態(tài)，再進(jìn)行克隆操作：