Proxmox【超融合】實(shí)現(xiàn)低準(zhǔn)入高效構(gòu)建企業(yè)內(nèi)部私有云平臺(tái)，讓企業(yè)輕松步入云時(shí)代

“超融合”這個(gè)概念，可以簡(jiǎn)單理解為：將虛擬計(jì)算平臺(tái)和存儲(chǔ)融合到一起，將每臺(tái)服務(wù)器里面自帶的硬盤組成存儲(chǔ)池，以虛擬化的形式提供數(shù)據(jù)中心所需要的計(jì)算、網(wǎng)絡(luò)、安全以及存儲(chǔ)等IT基礎(chǔ)架構(gòu)。在這里，也講解一下超融合相對(duì)于傳統(tǒng)虛擬化方案的優(yōu)勢(shì)。

橫向與縱向的擴(kuò)展性
顧名思義，橫向擴(kuò)展就是當(dāng)發(fā)現(xiàn)存儲(chǔ)和計(jì)算資源不夠用了，按需添加服務(wù)器即可。比如，當(dāng)用戶的共享存儲(chǔ)寫滿了，用戶不得不花大價(jià)錢去購買一個(gè)新的存儲(chǔ)機(jī)柜，然而此時(shí)存儲(chǔ)機(jī)柜的資源利用率是很低的。而使用超融合方案的用戶，他們只需要投入較少的費(fèi)用去購買一個(gè)新的服務(wù)器加入集群，即可擴(kuò)展存儲(chǔ)空間。
便捷提供多副本，提高數(shù)據(jù)安全
超融合方案可便捷支持2-3個(gè)副本。當(dāng)某些服務(wù)器損壞時(shí)，若采用超融合方案，所需要的數(shù)據(jù)還會(huì)存在對(duì)應(yīng)的副本里，工作還能正常進(jìn)行。而對(duì)比于傳統(tǒng)的共享存儲(chǔ)，用戶想做兩個(gè)副本時(shí)，只好硬著頭皮再買一個(gè)一模一樣的存儲(chǔ)設(shè)備做備份，增加了不少IT投資。
分布式存儲(chǔ)，拉近計(jì)算和存儲(chǔ)的距離
傳統(tǒng)的共享存儲(chǔ)在數(shù)據(jù)讀寫時(shí)，都需要通過網(wǎng)線或光纖進(jìn)行數(shù)據(jù)傳輸。而超融合分布式的存儲(chǔ)在讀數(shù)據(jù)的時(shí)候，基本都是直接讀取本地的副本數(shù)據(jù)，減少數(shù)據(jù)流經(jīng)網(wǎng)線或光纖的時(shí)間，加快數(shù)據(jù)讀取速度。
軟硬件一體化，省錢省力省心
超融合方案所支持的軟硬件一體化，即用戶可以一次性輕松地把云數(shù)據(jù)中心部署好，其中包括服務(wù)器、服務(wù)器虛擬化、存儲(chǔ)虛擬化等虛擬化軟件。對(duì)比不少用戶會(huì)分開購買硬件和軟件，采購成本較高。同時(shí)，軟硬件一體機(jī)在出廠時(shí)已將軟件植入到硬件當(dāng)中，并且已經(jīng)通過兼容測(cè)試，用戶可直接架到機(jī)房，通電并簡(jiǎn)單配置即可使用。
總結(jié)超融合特點(diǎn)及優(yōu)勢(shì)：
? 去中心化：沒有專門的控制節(jié)點(diǎn)，無需考慮控制節(jié)點(diǎn)的單點(diǎn)問題。
? 去集中存儲(chǔ)：傳統(tǒng)的私有云集群架構(gòu)，保障可用性是以共享存儲(chǔ)方式實(shí)現(xiàn)的。但共享存儲(chǔ)本身就是單點(diǎn)，雖然可以以多磁盤冗余已經(jīng)雙控制器的方式提高可用性，但仍然存在IO集中、性能無法提升的困境。
? 更低的建設(shè)成本：去掉昂貴的中心化存儲(chǔ)，磁盤分布到本地物理服務(wù)器，投資成本大幅度降低。
? 在線擴(kuò)容：不停止服務(wù)，對(duì)物理機(jī)配件（內(nèi)存、cpu等）進(jìn)行擴(kuò)容，甚至新增物理節(jié)點(diǎn)。

PVE集群搭建過程簡(jiǎn)述：（3個(gè)結(jié)點(diǎn)PVE1-PVE3:192.168.26.210-212)
1、安裝下載pve官方ISO鏡像安裝即可，操作很簡(jiǎn)單跟著提示下一步即可（如果有特別的存儲(chǔ)配置注意安裝的時(shí)候配置下,也可以后期再進(jìn)行設(shè)置不過相對(duì)可能要繁瑣些）
安裝成功后使用瀏覽器WEB登陸效果：


2、登陸(通過ssh)三個(gè)結(jié)點(diǎn)更新源及系統(tǒng)。
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg
apt update && apt dist-upgrade

3、開始創(chuàng)建集群在pve1上執(zhí)行root@pve1:~# pvecm create pve-cluster

4、在pve2上執(zhí)行root@pve2:~# pvecm add 192.168.26.210注意需要輸入密碼認(rèn)證。


5、同樣在PVE3結(jié)點(diǎn)上執(zhí)行命令root@pve3:~# pvecm add 192.168.26.210同樣需要輸入密碼認(rèn)證

6、集群成功創(chuàng)建查看集群狀態(tài)：三個(gè)結(jié)點(diǎn)任一一個(gè)上面都可以。
root@pve1:~# pvecm status

再切換一個(gè)結(jié)點(diǎn)試下查看狀態(tài)
root@pve2:~# pvecm status

7、回到WEB管理臺(tái)發(fā)現(xiàn)三個(gè)結(jié)點(diǎn)都已經(jīng)出現(xiàn)了（集中中任一結(jié)點(diǎn)都可以）


8、為集群建立可靠的存儲(chǔ)（Ceph存儲(chǔ)，注意三個(gè)集群結(jié)點(diǎn)都需要執(zhí)行）
root@pve3:~# pveceph install --version luminous

9、初始化存儲(chǔ)集群網(wǎng)絡(luò)段，以便進(jìn)行通信，注意需要和PVE集群同網(wǎng)段，否則會(huì)報(bào)錯(cuò)(只需在PVE1結(jié)點(diǎn)上執(zhí)行一次即可）：
root@pve1:~# pveceph init --network 192.168.33.0/24

No active IP found for the requested ceph public network '192.168.33.0/24' on node 'pve1'
換成同網(wǎng)段：
root@pve1:~# pveceph init --network 192.168.26.0/22

10、創(chuàng)建ceph集群存儲(chǔ)Mon監(jiān)控（三個(gè)結(jié)點(diǎn)都需要，不然高可用都無效，實(shí)測(cè)有結(jié)點(diǎn)故障時(shí)會(huì)一直卡住，至到MON結(jié)點(diǎn)恢復(fù)）



11、創(chuàng)建ceph集群存儲(chǔ)mgr(Creating Ceph Manager)同樣需要三個(gè)結(jié)點(diǎn)都安裝不然無法實(shí)現(xiàn)高可用。

pveceph createmgr #但提示已經(jīng)存在，原因是安裝監(jiān)控MON的時(shí)候自動(dòng)已經(jīng)安裝上了。

12、創(chuàng)建Ceph OSDs（Creating Ceph OSDs）同樣三個(gè)結(jié)點(diǎn)都需要執(zhí)行一樣操作。



13、創(chuàng)建集群存儲(chǔ)資源池（Creating Ceph Pools）此操作只需要任一結(jié)點(diǎn)上執(zhí)行即可。
root@pve1:~# ceph osd pool create pvepool 128 128

此時(shí)查看下存儲(chǔ)集群狀態(tài)ceph -s

有報(bào)警：ceph:health_warn clock skew detected on mon的解決辦法
造成集群狀態(tài)health_warn：clock skew detected on mon節(jié)點(diǎn)的原因一般有兩個(gè)，一個(gè)是mon節(jié)點(diǎn)上ntp服務(wù)器未啟動(dòng)，另一個(gè)是ceph設(shè)置的mon的時(shí)間偏差閾值比較小。排查時(shí)也應(yīng)遵循先第一個(gè)原因，后第二個(gè)原因的方式。
修改時(shí)間偏差閾值（記得重啟服務(wù)）
# vi ceph.conf
在global字段下添加：
mon clock drift allowed = 2 mon clock drift warn backoff = 30
# ceph -s
顯示health_ok說明問題解決

14、添加RBD集群存儲(chǔ)（打開瀏覽器登陸WEB控制臺(tái)配置）




注意選擇使用超融合CEPH池。
查看rbd集群存儲(chǔ)配置信息



15、測(cè)試創(chuàng)建虛擬服務(wù)器PVE1上

安裝CENTOS6.6

pve3安裝XP


關(guān)閉其它節(jié)點(diǎn)（節(jié)點(diǎn)1）不影響安裝操作
測(cè)試高可用：先配置




測(cè)試：PVE3關(guān)機(jī)后收到報(bào)警（安裝的時(shí)候配置了郵件地址的）


過兩分鐘還會(huì)收到一封郵件：提示故障已經(jīng)成功轉(zhuǎn)移。

虛擬服務(wù)器已經(jīng)轉(zhuǎn)移
看下WEB平臺(tái)瀏覽的狀態(tài)：

我們恢復(fù)PVE3.
恢復(fù)后自動(dòng)遷移回去了，因?yàn)槠錂?quán)重高些(生產(chǎn)環(huán)環(huán)境不建議直接又回切，根據(jù)需要配置）。

Proxmox中克隆虛擬服務(wù)器


Proxmox中遷移虛擬服務(wù)器（pve3到pve1)

配置spice模擬終端登陸(實(shí)現(xiàn)可以直接使用終端設(shè)置聯(lián)接操作虛擬機(jī)實(shí)現(xiàn)云桌面）：
配置文件中添加內(nèi)容：args: -spice port=61001,disable-ticketing,seamless-migration=on

啟動(dòng)102 虛擬服務(wù)器qm start 102（這里通過命令啟動(dòng)的）也可以通過WEB控制臺(tái)效果一樣。

啟動(dòng)后發(fā)現(xiàn)多開放了一個(gè)端口，配置終端機(jī)聯(lián)接此端口即可聯(lián)接操作服務(wù)器。這里通過VirtViewer軟件模擬登陸。


換臺(tái)服務(wù)器再試（linux)：

同樣需要修改配置文件：
root@pve3:~# cat /etc/pve/qemu-server/101.conf
bootdisk: sata2
cores: 1
ide2: none,media=cdrom
memory: 1024
name: Centos6.6
net0: e1000=26:24:01:00:69:7D,bridge=vmbr0
numa: 0
ostype: l26
sata2: ceph:vm-101-disk-0,size=20G
scsihw: virtio-scsi-pci
smbios1: uuid=73100396-3804-4002-815b-4017d81199a9
sockets: 1
vmgenid: bb0d8fc0-a6c7-4283-81f3-6766c4f150a2
args: -spice port=61002,disable-ticketing,seamless-migration=on
保存退出啟動(dòng)虛擬服務(wù)器

聯(lián)接效果：

需要說明的是終端聯(lián)接的是平臺(tái)服務(wù)器IP加上端口，是基于端口的應(yīng)用，而我們聯(lián)上服務(wù)器后配置的虛擬服務(wù)器上網(wǎng)用的IP地址，因此不要混了，即使我們把網(wǎng)卡禁用了通過終端還是能聯(lián)接的，只是服務(wù)器不能上外網(wǎng)絡(luò)（和其它服務(wù)器通信）看下圖片中效果，和我們平常開啟遠(yuǎn)程訪問是有區(qū)別的。

cd
功能效果暫時(shí)展示到這，其它功能及補(bǔ)充后續(xù)文章再完善，好久沒寫文了，草文堆了一大堆。
參考：https://pve.proxmox.com/pve-docs/chapter-pveceph.html