大數(shù)據(jù)存儲解決方案中的分離式與超融合部署

數(shù)據(jù)中心內(nèi)部系統(tǒng)的核心要求是 “穩(wěn)定可靠”，一是指系統(tǒng)在運行過程中有能力提供連續(xù)可靠的服務，長時間無故障運行；二是指當故障發(fā)生之后，有能力快速定位，及時排查，故障范圍不蔓延。

分離式部署的方式，使得系統(tǒng)與云平臺系統(tǒng)相獨立，避免了計算和存儲爭搶 CPU/內(nèi)存/網(wǎng)絡等物理資源，一旦某一方資源需求驟升導致的另一方資源枯竭，從而影響性能并在整個基礎架構(gòu)中產(chǎn)生的漣漪效應；和在超融合部署方式在集群規(guī)模較大后，網(wǎng)絡、硬盤、服務器發(fā)生故障的概率都會增大；以及數(shù)據(jù)重刪、壓縮、加密糾刪碼等功能、故障的自修復和數(shù)據(jù)功能實現(xiàn)都會消耗一定的系統(tǒng)資源，導致性能下降和抖動等問題。

分離式部署相比超融合方式的優(yōu)點：

 如此觀點如果不是出自某廠家或者供應商，也太偏頗了。我覺得簡單看兩種技術適合不同規(guī)模，中小規(guī)模（包括平臺規(guī)模，也包括人力資源規(guī)模）下超融合優(yōu)勢明顯，大規(guī)模分布式存儲優(yōu)勢更大。良好的設計，恰當?shù)钠胶獠攀顷P鍵，沒有一邊倒的絕對優(yōu)勢。 

建議采用超融合式部署模式。

1、從成本上講，超融合式每個服務器既可以做計算資源，又可以做存儲資源，性價比最高。

2、從性能上講，分布式存系統(tǒng)，一般只占用服務器資源的10%左右，還有90%的性能可以使用。而且目前X86服務器的CPU性能越來越高，如果閑置不用，比較可惜，利用率太低。

3、從管理上講，每臺X86物理設備都一樣，方便橫向擴展和管理，每增加一個節(jié)點，就同時增加了計算資源和存儲資源，有利于管理。目前，百度和阿里的云數(shù)據(jù)中心基本都是這么做的。

一、 超融合的概念  

超融合 (Hyper- Converged)目前還沒有一個嚴格的標準定義， 各個廠商和機構(gòu)都有各自的定義，這也說明超融合仍然處于快速發(fā)展演變當中，并未形成統(tǒng)一的標準規(guī)范。 超融合中“超”對應英文“Hyper”，特指虛擬化，對應虛擬化計算架構(gòu)，如 KVM、XEN、Hyper-V 等。這一概念最早源自 Nutanix 等存儲 廠商將 Google/Facebook 等互聯(lián)網(wǎng)廠商采用的計算存儲融合架構(gòu)用于 虛擬化環(huán)境，為企業(yè)客戶提供一種基于 X86 硬件平臺的計算存儲融 合產(chǎn)品或解決方案。按照這個概念，數(shù)據(jù)庫一體機和大數(shù)據(jù)一體機都 不能為超融合的范疇，因為RAC/Hadoop等應用并非運行在虛擬機 之上。此外，超融合架構(gòu)中最根本的變化是存儲，由原先的集中共享 式存儲(SAN/NAS)轉(zhuǎn)向軟件定義存儲，特別是分布式存儲。

超融合中的 “融合”是指計算和存儲部署在同一個節(jié)點上，同時提供計算和存儲能力。融合一般可以分為物理融合和超融合兩種，超融 合是融合的一個子集。物理融合系統(tǒng)中，計算和存儲仍然可以是兩個 獨立的組件，沒有直接的相互依賴關系，共享主機的物理資源。超融 合與物理融合不同在于，重點以虛擬化計算為中心，計算和存儲緊密 相關，存儲由控制器虛擬機(Controller VM，CVM)而非物理機來控 制并將分散的存儲資源形成統(tǒng)一的存儲池，用于創(chuàng)建用戶的應用虛擬機。物理融合與超融合對比如所示。出于性能考慮，超融合架構(gòu)通常 都需要將主機物理設備透傳(Pass Through)給控制器虛機 CVM。

超融合架構(gòu)是基于標準通用的硬件

平臺，通過軟件定義實現(xiàn)計算、存儲、網(wǎng)絡融合，實現(xiàn)以虛擬化為中 心的軟件定義數(shù)據(jù)中心的技術架構(gòu)。要判斷一套系統(tǒng)是否采用超融合 架構(gòu)，主要基于以下幾點 :

(1) 完全軟件定義。獨立于硬件，采用商業(yè)通用標準硬件平臺(如 X86)，完全采用軟件實現(xiàn)計算、存儲、網(wǎng)絡等功能。

(2) 完全虛擬化。以虛擬化計算為中心，計算、存儲、網(wǎng)絡均由 虛擬化引擎統(tǒng)一管理和調(diào)度，軟件定義存儲由虛擬機控制器 CVM 進 行管理。

(3) 完全分布式。橫向擴展的分布式系統(tǒng)，計算、存儲、網(wǎng)絡按 需進行動態(tài)擴展，系統(tǒng)不存在單點故障，采用分布式存儲。

二、 超融合架構(gòu)發(fā)展情況和案例

未來 5 至 10 年新一代數(shù)據(jù)中心基礎架構(gòu)朝著軟件定義和超融合 方向發(fā)展，SAN/NAS 存儲逐漸被軟件定義的存儲所替代。在軟件定 義存儲(SDS)的推動下，超融合將成為數(shù)據(jù)中心基礎架構(gòu)的核心， 并且是軟件定義數(shù)據(jù)中心(SDDC)的未來技術發(fā)展趨勢?；诙喾N 復雜設備的數(shù)據(jù)中心最終會歸一化成以通用服務器加互連網(wǎng)絡的體 系架構(gòu)。在這些通用服務器上部署關鍵的軟件，通過虛擬化的方式實 現(xiàn)計算、存儲資源。然后再在這些虛擬化資源的基礎上部署應用，完 成具體功能。

存儲、計算和網(wǎng)絡的深度融合是未來 IT基礎設施發(fā)展的大趨勢， 超融合架構(gòu)因此成為企業(yè)級客戶的首選，加速業(yè)務系統(tǒng)從傳統(tǒng)架構(gòu)向 云計算架構(gòu)的轉(zhuǎn)型。IDC 的統(tǒng)計報告顯示，2016 年全球超融合市場規(guī) 模預計將增長 94%。另一家市場分析公司 Gartner 預計，2019 年全球 超融合市場的規(guī)模將超過 1000 億美元，有大約 30%安裝在企業(yè)數(shù)據(jù) 中心內(nèi)的存儲陣列都將是部署在軟件定義存儲或者基于 x86 硬件系 統(tǒng)的超融合集成系統(tǒng)架構(gòu)。

2016 年以來，中國超融合市場持續(xù)升溫，越來越多的超融合團隊 逐漸發(fā)展起來。根據(jù)市場研究和咨詢公司 Gartner 在 2016 年 11 月針 對中國超融合市場趨勢發(fā)布的報告，思科、HP、Dell、EMC、NetApp 等老牌服務器和存儲大廠紛紛將技術與產(chǎn)品戰(zhàn)略轉(zhuǎn)向超融合的路線 上來。報告指出，中國一躍成為全球超融合基礎架構(gòu)增速最快的市場，

國內(nèi)的 H3C、華為、Nutanix、聯(lián)想、SmartX、深信服等廠商迅速跟 進了國際主流超融合解決方案。

目前超融合架構(gòu)在國內(nèi)的主要應用案例如下：

政府相關機構(gòu)：中國檢查出版社，中國證監(jiān)會，中國互聯(lián)網(wǎng)信息 中心，中國大連市政府，青海水利，廣州地稅局數(shù)據(jù)庫虛擬化，國家衛(wèi)計委云數(shù)據(jù)中心，湖北省公安廳審計平臺，廈門公安局警務云平臺， 最高法司法統(tǒng)計管理平臺，深圳海關業(yè)務系統(tǒng)，廣東海事局智慧海事 平臺，中國 (西安)絲綢之路研究院，溫州醫(yī)科大學第一附屬醫(yī)院等。

 金融行業(yè)：招商銀行，中銀證券，南京證券，中信銀行等。 制造行業(yè)：東風本田，寶山鋼鐵，中鐵資源集團有限公司等。 IT 企業(yè)：科陸電子，聯(lián)想集團，中國聯(lián)通沃云，中國電信等。 教育行業(yè)：中國地質(zhì)大學，中國科技大學，南開大學，北京郵電大學，北京外交學院，陜西省行政學院等。

三、 超融合架構(gòu)的優(yōu)勢

超融合架構(gòu)迅速發(fā)展的原因是其具有顯著的優(yōu)勢，能夠帶來極高 的客戶價值。超融合架構(gòu)實現(xiàn)了計算、存儲、網(wǎng)絡等資源的統(tǒng)一管理 和調(diào)度，具有更彈性的橫向擴展能力，可以為數(shù)據(jù)中心帶來最優(yōu)的效 率、靈活性、規(guī)模、成本和數(shù)據(jù)保護。使用計算存儲超融合的一體化 平臺，替代了傳統(tǒng)的服務器加集中式存儲的架構(gòu)，使得整個架構(gòu)更清 晰簡單，極大簡化了復雜 IT 系統(tǒng)的設計。

超融合架構(gòu)關鍵特征之一就是易于擴展，最小部署，按需擴容。 超融合廠商宣稱最大集群規(guī)模也差別很大，從數(shù)十到數(shù)千節(jié)點不等， 通常從 3 節(jié)點起配。超融合中計算能力、存儲性能和容量是同步擴容 的，無法滿足現(xiàn)實中單項能力的擴展，有些廠商還對擴容最小單元有 要求，擴展靈活性會受到限制。

集群達到一定規(guī)模后，系統(tǒng)架構(gòu)復雜性就會非線性增加，集群管 理變的更加困難，硬件故障和自修復發(fā)生的概率也會大大增加。因此， 超融合架構(gòu)一般不建議構(gòu)建大集群，如果業(yè)務允許盡量構(gòu)建多個適當 規(guī)模的較小集群，或者采用大集群中構(gòu)建故障域或子資源池的方式。

物理設備透傳給控制虛機，增加了部署配置管理的復雜性。計算和存 儲對硬件平臺的要求都不同，融合后也會一定程度上增加兼容性驗證的復雜性。超融合架構(gòu)下，管理、計算、存儲、高可用通常都需要配置獨立的虛擬網(wǎng)絡，網(wǎng)絡配置也會更加復雜。同時，共享物理資源的 分配、隔離、調(diào)度，這也是額外增加的復雜性。如果出現(xiàn)故障，問題的跟蹤調(diào)試和分析診斷也變得更加困難。

超融合架構(gòu)下的存儲邏輯單元已經(jīng)擁有了很多過去高級存儲才具備的功能，但是在數(shù)據(jù)保護，復制，容災，高可用，這些關系到數(shù)據(jù)存儲層面的需求是超融合廠商不會花精力去關注也無法關注的，同時架構(gòu)本身的局限性帶來的用戶選擇面也比較窄，你無法把超大規(guī)模的計算中心全部塞滿超融合架構(gòu)，用戶對于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的海量增長這種數(shù)據(jù)存儲的異構(gòu)需求不適合全部交給超融合來解決，很多用戶原本希望計算跟存儲分布擴容，或者計算跟存儲占比比較失衡的情況，比如計算資源需求很大，存儲資源需求很小，或者相反的情況全部交給超融合，這樣一股腦全部交給超融合的架構(gòu)設計是相當糟糕的。