可照搬實施的商超高可用方案：proxmox + haproxy 等

現(xiàn)狀

存在大量的單點問題：每個門店一個物理服務器，中心機房多個服務器。門店服務器故障，營業(yè)受影響；中心機房服務器故障，門店的非現(xiàn)金業(yè)務（銀行卡刷卡、微信支付、支付寶等）受影響

總體思路

撤銷每個門店的服務器，保證門店網(wǎng)絡的可靠性(多線路接入、4G終端設備等)，服務器集中到中心機房，構(gòu)建更高可用性的數(shù)據(jù)平臺。

基本目標

• 高可用性：最小的停機時間，部分硬件損壞不對正常業(yè)務產(chǎn)生影響。

• 可擴展性：隨業(yè)務增加，可不停止業(yè)務進行容量擴充，也不改變現(xiàn)有的系統(tǒng)架構(gòu)。

• 可視化運維：隨時掌握系統(tǒng)的運行情況，并以集中、直觀的方式進行展示。

• 低成本：充分利用現(xiàn)有資源、合理規(guī)劃，使整個平臺成本可控且滿足實際需求。

  
  

架構(gòu)組成

本方案架構(gòu)由負載均衡、超融合私有云、監(jiān)控平臺以及備份系統(tǒng)組合而成。

? 負載均衡

負責將門店終端的請求按一定的算法，轉(zhuǎn)發(fā)到多個相同的后端應用。負載均衡實際包含三個功能：負載均衡、健康檢查及失敗切換。

• 負載均衡：多個后端分擔負載，以支持更大規(guī)模的訪問及業(yè)務請求；

• 健康檢查：后端服務某一個或者幾個出現(xiàn)故障，負載均衡器會自動把故障系統(tǒng)從轉(zhuǎn)發(fā)隊列里面自動清除；后端服務恢復正常后，其又會自動加入到轉(zhuǎn)發(fā)隊列；

• 失敗切換：負載均衡器是成對出現(xiàn)的，一般設置為一主一備，一旦主負載均衡出現(xiàn)故障，輔助負載均衡自動接替其工作。

? 超融合私有云

三臺或者三臺以上配置較高的物理服務器，組成去中心化的集群、去中心化的存儲，只要組成集群的最小單位存在，整個集群就不會奔潰；運行在物理節(jié)點的虛擬機如果設定了HA（高可用），一旦物理機發(fā)生故障，這些虛擬機將自動漂移到運行正常的其它物理節(jié)點上。

超融合由如下幾個特點：

• 去中心化：沒有專門的控制節(jié)點，無需考慮控制節(jié)點的單點問題。

• 去集中存儲：傳統(tǒng)的私有云集群架構(gòu)，保障可用性是以共享存儲方式實現(xiàn)的。但共享存儲本身就是單點，雖然可以以多磁盤冗余已經(jīng)雙控制器的方式提高可用性，但仍然存在IO集中、性能無法提升的困境。

• 更低的建設成本：去掉昂貴的中心化存儲，磁盤分布到本地物理服務器，投資成本大幅度降低。

• 在線擴容：不停止服務，對物理機配件（內(nèi)存、cpu等）進行擴容，甚至新增物理節(jié)點。

  
  

? 系統(tǒng)監(jiān)控

對主機資源（包括物理節(jié)點、虛擬機節(jié)點）運行狀況進行實時監(jiān)控、對應用或者服務進行實時監(jiān)控，一旦出現(xiàn)故障，能及時有效的告警。

? 數(shù)據(jù)備份

備份包括兩部分，一是對重要的虛擬機進行備份，另一個是對應用數(shù)據(jù)進行備份。虛擬機備份的目的是為了故障的快速恢復，應用數(shù)據(jù)備份是為了數(shù)據(jù)的完整性。

有了上述多重保障措施以后，整個平臺的可用性提高了好幾個量級。考慮到一下幾個場景的故障，我們來進一步進行描述其可用性及可靠性：

• 虛擬機故障。負載均衡發(fā)揮作用，客戶端訪問不受影響，業(yè)務不會中斷。

• 物理機故障。超融合機制發(fā)揮作用，運行其上的應用（包括虛擬機系統(tǒng)）自動漂移，客戶端訪問不受影響，業(yè)務不會中斷。

• 集群整體崩潰。備份系統(tǒng)發(fā)揮作用，重構(gòu)一個新的集群，以網(wǎng)絡方式掛接上備份數(shù)據(jù)，web界面選中備份文件，點擊恢復，坐等虛擬機進行快速恢復。傳統(tǒng)的恢復方式大概是這樣的：重新安裝系統(tǒng)à部署應用環(huán)境à復制備份數(shù)據(jù)到目標系統(tǒng)à導入數(shù)據(jù)à驗證數(shù)據(jù)有效性、完整性à恢復服務。

• 監(jiān)控系統(tǒng)是不眠之眼，一旦故障，立即告警，可通知技術(shù)人員進行及時修復。

基礎設施

• 負載均衡器

獨立的服務器一對，不需要高配置。推薦配置：單cpu，32g內(nèi)存，300G 15000轉(zhuǎn)sas盤（主要數(shù)據(jù)為訪問日志）。

• 超融合私有云

至少四臺物理服務器，數(shù)據(jù)網(wǎng)絡與集群網(wǎng)絡分離，建議萬兆網(wǎng)絡，無條件情況下，也必須保障全千兆。單臺物理服務器具體的配置建議如下：

• Cpu：2顆。單顆核心數(shù)10，多線程。

• 內(nèi)存：至少128G，ddr3也可以，主要根據(jù)主板來定。

• 硬盤：系統(tǒng)盤250G固態(tài)硬盤，數(shù)據(jù)盤4塊或者更多2.4T容量的10000轉(zhuǎn)sas高性能磁盤（sata盤讀寫性能比較差，不建議使用）。

• ?網(wǎng)卡：如果使用萬兆網(wǎng)絡，則需單獨采購網(wǎng)卡及光纖模塊。

  
  

• 數(shù)據(jù)備份

內(nèi)存、cpu低配，磁盤用多塊低速大容量sata盤，備份容量大于其它數(shù)據(jù)之總和。為了減少備份時間，有效利用存儲空間，并不是把所有的數(shù)據(jù)都進行備份，只要能保證系統(tǒng)發(fā)生災難性故障時，能快速對整個系統(tǒng)進行恢復就足夠了。

• 監(jiān)控系統(tǒng)

單物理機，一般配置即可。為保證可靠性，可對整個系統(tǒng)進行自動備份。

主要軟件

• 負載均衡

Keepalived + haproxy

• 超融合私有云

• 系統(tǒng)：debian

• 管理平臺：proxmox VE 5.3

• 存儲：ceph

  
  

• 監(jiān)控系統(tǒng)

• 系統(tǒng)：centos 7

• 管理平臺：centroen 18

  
  

• 備份系統(tǒng)

• 系統(tǒng)：centos 7或者freebsd

• 共享：NFS

  
  

實施步驟

1. 部署超融合私有云

• 初始化集群、創(chuàng)建ceph存儲（監(jiān)視器、OSD、POOL）；

• ?掛接共享存儲，上傳操作系統(tǒng)ISO；

• 創(chuàng)建虛擬機；

• 安裝虛擬機操作系統(tǒng)；

• 虛擬機設置高可用（HA）。

虛擬機能做成模板、能克隆、能手動遷移、遇物理機能自動漂移為合格。

2. 部署應用

• 在虛擬機上安裝所需的應用，檢查無誤后做成模版；

• 用模板克隆虛擬機，啟動后更改其網(wǎng)絡地址等，保證虛擬機的唯一性；

• 導入數(shù)據(jù)；

• 測試服務的正確性。

應用部署由甲方自行完成，乙方配合。

3. 負載均衡

• 安裝系統(tǒng)；

• 安裝軟件；

• 功能配置；

• 功能測試；

  
  

4. 監(jiān)控系統(tǒng)

• 安裝系統(tǒng)；

• 監(jiān)控項配置；

• 模擬故障及故障恢復。

  
  

5. 數(shù)據(jù)備份

• 準備共享空間，并分配好合適的權(quán)限；

• 設定自動備份時間；

• 臨時設定一個比較近的時間點，選取少許虛擬機進行備份；

• 檢查自動備份是否如愿。

• 手動刪掉已經(jīng)備份過的虛擬機，用剛才的數(shù)據(jù)恢復進行測試，檢驗其可靠性及正確性。

項目交付

• 單項功能全部正常：負載均衡、監(jiān)控系統(tǒng)、備份、故障轉(zhuǎn)移等；

• 整體功能正常：終端系統(tǒng)能正常開展各種業(yè)務，如收銀、訂單處理、商品錄入等；

• 技術(shù)培訓：模塊功能講解、風險告知（哪些功能最好不要輕易去嘗試）、虛擬機管控、數(shù)據(jù)備份、監(jiān)控項增加或者減少；

• 免費維護期：自交付之日起三個月。

  
  

需采購硬件

項目實施服務

項目實施需要到現(xiàn)場進行，涉及的費用包括路費、住宿費、餐費。因超融合平臺、負載均衡平臺、監(jiān)控平臺等皆采用開源軟甲，不會產(chǎn)生授權(quán)費用；而運行在平臺之上的各種erp等商業(yè)應用，授權(quán)及費用問題，由項目方自行解決及負責。

預計項目實施周期為兩周。

驗收標準如下：

• 超融合系統(tǒng)

• ?能創(chuàng)建虛擬機并安裝操作系統(tǒng)；

• ?能遷移虛擬機；

• 能創(chuàng)建模板；

• 能從模板創(chuàng)建虛擬機；

• 能對創(chuàng)建好的虛擬機進行克??；

• ?能銷毀虛擬機；

• 能對虛擬機進行備份；

• 能從備份中恢復虛擬機；

• 關(guān)閉物理服務器，運行其上并設定到HA中的虛擬機能自動漂移。

  
  

• 負載均衡

• 健康檢查：關(guān)閉某一個虛擬機或者應用，服務不受影響；

• 失敗切換（一）：關(guān)閉主負載均衡，vip自動漂移，轉(zhuǎn)發(fā)服務不受影響；

• 失敗切換（二）：恢復主負載均衡，vip回到主控負載均衡，轉(zhuǎn)發(fā)服務繼續(xù)進行。

  
  

• 監(jiān)控系統(tǒng)

• ?能正常添加監(jiān)控項；

• ?能進行語法檢查；

• 模擬主機故障，監(jiān)控能實時告警；

• ?模擬服務故障，監(jiān)控能實時告警。