Proxmox虛擬機(jī)自動(dòng)備份填坑記

作者：田逸（formyz）

問題描述

某項(xiàng)目由兩套proxmox組成，一套運(yùn)行所有的應(yīng)用程序，一臺(tái)運(yùn)行mysql數(shù)據(jù)庫。為了保險(xiǎn)起見，proxmox外掛共享存儲(chǔ)，夜間對(duì)所有的虛擬機(jī)進(jìn)行自動(dòng)備份。

備份是用的一臺(tái)4U服務(wù)器，考慮到容量與成本，用了一臺(tái)舊的4U服務(wù)器，插了好多慢速的sata盤，有效容量達(dá)超過35TB。項(xiàng)目上線后，前半年運(yùn)行都還很正常，隨著業(yè)務(wù)的增加，數(shù)據(jù)量跟著增長(zhǎng)，特別是數(shù)據(jù)庫的數(shù)量及大小。隨之而來的是監(jiān)控系統(tǒng)報(bào)警頻繁，用戶體驗(yàn)變差。而且這個(gè)影響面還挺大的。通過排查，發(fā)現(xiàn)是數(shù)據(jù)庫虛擬機(jī)備份所致。

?

設(shè)定的備份是從凌晨0：30分開始的，基本不能在白天上班前完成，更糟糕的情況，會(huì)延遲到傍晚。數(shù)據(jù)庫的性能IO，引起訪問堵塞，造成一系列的連鎖反應(yīng)，運(yùn)維工作的壓力極大。

?

臨時(shí)措施

為了保證業(yè)務(wù)的正常，同時(shí)也考慮數(shù)據(jù)安全，征用一臺(tái)容量小一點(diǎn)的閑置服務(wù)器（本來是用于其它目的），其硬盤全部為600G的15000轉(zhuǎn)的sas機(jī)械硬盤。將其配置成nfs服務(wù)以后，掛接到proxmox數(shù)據(jù)中心。

設(shè)定好以后，夜里安排人輪流跟蹤，有報(bào)警立即相互通知，還好，未出現(xiàn)堵塞現(xiàn)象。這說明確實(shí)是sata性能太差，導(dǎo)致備份速度太慢所致。觀察一個(gè)星期，如果問題不復(fù)現(xiàn)，就出正式的解決方案。這樣拿數(shù)據(jù)說話，也能得到?jīng)Q策人的支持。

?

方案設(shè)計(jì)

因?yàn)椴皇遣徊铄X那種機(jī)構(gòu)，因此不可能單獨(dú)買一套sas盤的存儲(chǔ)，而棄用現(xiàn)有的低性能存儲(chǔ)。只能在現(xiàn)有這個(gè)存儲(chǔ)上做優(yōu)化，提高其性能。在另外一個(gè)與之無關(guān)的項(xiàng)目中，曾經(jīng)采購過數(shù)臺(tái)阿里云的“高效云盤”來存放計(jì)算密集性的應(yīng)用（java、php、數(shù)據(jù)庫等），用戶訪問量大時(shí)（用戶在線人數(shù)上萬時(shí)），也是老出問題，因而對(duì)這個(gè)事情印象深刻。所謂的高效云盤，就是用ssd緩存后端的sata盤數(shù)據(jù)，性能比裸的sata好不少。數(shù)據(jù)備份沒有應(yīng)用對(duì)應(yīng)磁盤性能那么高的要求，那么借鑒這個(gè)方式，是不是對(duì)備份的整體寫入性能有幫助呢？

?

原系統(tǒng)有一塊ssd，用于安裝操作系統(tǒng)，其它sata用于共享，在底層做成了raid 5。再采購一塊512G的ssd，拔掉一塊sata盤。

?

咨詢硬件供應(yīng)商，并告知當(dāng)前使用raid卡的類型及型號(hào)，得到的答復(fù)是方案可行，并且現(xiàn)有的raid卡可支持ssd緩存，僅僅需要采購一個(gè)硬件緩存加速模塊并支付少許授權(quán)費(fèi)。以前沒有這方面的實(shí)踐，心里沒多少底，但就算達(dá)不到要求，造成的資金損失也不大（ssd可做它用）。

總結(jié)一下，就是在現(xiàn)有基礎(chǔ)上，采購一塊512G的ssd硬盤及一塊raid卡緩存加速模塊，做上配置，即可投入使用。

?

方案實(shí)施

月黑風(fēng)高夜，派一小弟悄聲潛入機(jī)房。關(guān)機(jī)，下架，插入ssd盤，為了方便插入raid 緩存加速模塊，把raid卡摳下來，插好緩存加速模塊后再插回主板。

硬件準(zhǔn)備就緒以后，上架，通電。

?

進(jìn)raid卡設(shè)置界面（在系統(tǒng)引導(dǎo)之前），給sata盤做好raid 5，然后使用菜單，把512G的ssd盤設(shè)置成raid 組的緩存設(shè)備。具體的操作，請(qǐng)參照各廠商的操作手冊(cè)。

設(shè)置完畢以后，繼續(xù)引導(dǎo)，進(jìn)入系統(tǒng)，應(yīng)該看不到做緩存的那個(gè)512G硬盤。

配置nfs共享目錄并啟動(dòng)nfs服務(wù)，然后在proxmox數(shù)據(jù)中心掛接此nfs共享目錄。

?

實(shí)施效果

是騾子是馬，拉出來溜溜才清楚。

先用磁盤性能工具h(yuǎn)dparm及dd等工具測(cè)試，速度確實(shí)比裸sata盤快好幾倍。看看時(shí)間差不多了，把備份時(shí)間提前半小時(shí)，從0：00讓系統(tǒng)自動(dòng)開始備份。相關(guān)人等注意聽著手機(jī)，一有報(bào)警相互通知。

?

早上七點(diǎn)，起來查看備份情況（proxmox管理界面可跟蹤到具體備份到那個(gè)虛擬機(jī)，備份量是多少），完成了將近90%。送了一口氣，等到9點(diǎn)鐘再看，備份完成。

聯(lián)系其他運(yùn)行人員，了解用戶訪問情況，反饋一切正常，未出現(xiàn)以前那種全部卡住的現(xiàn)象。