存儲和服務(wù)器的三大件(1)

上周末參加了冬瓜哥的存儲和服務(wù)器底層原理架構(gòu)培訓(xùn)課程，又重拾了存儲和服務(wù)器的部分知識。個人言論不代表冬瓜哥及所在公司觀點。

從底層原理實現(xiàn)角度來看，存儲和服務(wù)器的物理硬件本質(zhì)都是三大件：CPU、內(nèi)存和I/O的組合運用。

一、三大件的主流趨勢

在CPU芯片方面，CPU芯片從工藝設(shè)計到流程制造均是高精尖的科技硬實力體現(xiàn)，而我國在這一方面一直在投入重金進行技術(shù)研發(fā)、生態(tài)圈建設(shè)和技術(shù)追趕?，F(xiàn)目前，我國在AI芯片的工藝設(shè)計上，處于和國際同一起跑線的位置，這一塊主要依靠國內(nèi)的寒武紀(jì)等公司的技術(shù)，而在傳統(tǒng)CPU芯片及GPU芯片領(lǐng)域，不管是在芯片設(shè)計還是在工藝制程方面，均至少落后國際技術(shù)2到3代的差距。在于芯片設(shè)計方面，折騰多年終于出了個胡偉武的龍芯。還記得當(dāng)年在學(xué)校的時候，胡偉武的龍芯研究所在重慶江津落戶，我們學(xué)校就暫借了一個教室給胡偉武的安置臨時的龍芯研究所。當(dāng)時的龍芯項目有錢，是所有地×××府爭取的香餑餑，最終重慶江津拿下了，當(dāng)然主要內(nèi)因還是因為當(dāng)時胡偉武的導(dǎo)師，我國計算機事業(yè)的奠基人夏培肅先生是重慶江津人。話歸正傳，在CPU芯片的工藝制程領(lǐng)域，其制造技術(shù)半導(dǎo)體行業(yè)在我國起步晚，底子薄，也缺乏相關(guān)方面的領(lǐng)軍人物和技術(shù)科學(xué)家，比如類似臺灣張忠謀這樣的大將。我國目前主要的龍頭企業(yè)中芯國際，還在以較低良率的28nm量產(chǎn)，40nm制程完全成熟的規(guī)格技術(shù)在進行技術(shù)探索。而按照技術(shù)梯隊，第一梯隊：臺積電、三星、Intel，已經(jīng)掌握了7nm、10nm的高端制程量產(chǎn)技術(shù)，并且在實驗室研究設(shè)計5nm的工藝制程；第二梯隊格羅方德（Global Foundries）、聯(lián)電（UMC）等，在高端10nm、14nm上有小規(guī)模的量產(chǎn)，28nm制程算是完全成熟；中芯國際只能算是第三梯隊的成員了。

在內(nèi)存方面，真正能稱為內(nèi)存制造公司的只有那么幾家。內(nèi)存制造商會在各個生產(chǎn)階段設(shè)計、生產(chǎn)和測試組件和模塊。內(nèi)存模塊由兩塊芯片組成：存儲數(shù)據(jù)的DRAM半導(dǎo)體芯片以及將內(nèi)存芯片與計算機其余部分連接起來的印刷電路板(PCB)。具備生產(chǎn)DRAM芯片能力的半導(dǎo)體制造商分別是Micron 美光、三星、海力士和東芝，這三家占據(jù)了市場上95%的份額。在內(nèi)存產(chǎn)業(yè)方面，國內(nèi)一直動作頻頻，其中具有典型代表便是紫光公司，擁有國家政策與資金的扶持，通過收購和技術(shù)合作，紫光公司終于可以推出市面上主流的內(nèi)存產(chǎn)品了，但是由于制作工藝上落后，良品率極低，無法在數(shù)量上左右市場。而且新的內(nèi)存技術(shù)HBM已經(jīng)出現(xiàn)，目前在市面上流通的主要是HBM 2，AMD在2015年發(fā)布的Fury系列顯卡上，首次商用了第一代HBM技術(shù)，超高的帶寬以及極低的占用面積徹底改變了當(dāng)時的顯卡設(shè)計，隨后NVIDIA也在Tesla P100上采用了HBM 2技術(shù)。相比較現(xiàn)在的DDR內(nèi)存技術(shù)，目前市面上的HBM 2內(nèi)存，核心容量可達8Gb，通過TSV技術(shù)可以實現(xiàn)每個CPU支持64GB HBM2內(nèi)存，每路插槽的帶寬可達2TB/s，而到了HBM 4時代，每個CPU支持的容量可達512GB，帶寬超過8TB/s。而目前的CPU處理器在支持8通道DDR4內(nèi)存的情況下，最高容量才能達到2TB，而且?guī)捴挥?50GB/s，與HBM內(nèi)存相比差距明顯。

在I/O方面，和CPU、內(nèi)存不太一樣的地方，在I/O方面沒有存在任何一家具有壟斷性質(zhì)的公司，主要原因在于I/O模塊和種類太多，任何一家公司都不可能完全的全部生產(chǎn)和設(shè)計制造，必須要設(shè)計出一條普適性的開放標(biāo)準(zhǔn)，所有的I/O廠商根據(jù)標(biāo)準(zhǔn)進行產(chǎn)品生產(chǎn)和適配，這樣才能集成和組合不同的I/O設(shè)備。

服務(wù)器與存儲之間主要通過網(wǎng)絡(luò)I/O和存儲I/O進行聯(lián)動。網(wǎng)絡(luò)I/O方面，毫無疑問以太網(wǎng)君臨天下，目前10GB已經(jīng)是標(biāo)配和量產(chǎn)的規(guī)模了，40GB也在小規(guī)模的試用，100GB也在實驗階段。而存儲I/O方面，I/O規(guī)格和標(biāo)準(zhǔn)種類較多，因此側(cè)重介紹現(xiàn)今熱門和主流的I/O規(guī)格NVMe、PCIe以及SAS。

NVMe（Non-Volatile Memory express）稱為非易失性內(nèi)存主機控制器接口規(guī)范，是一個邏輯設(shè)備接口規(guī)范。簡單地說，NVMe是專門為閃存類存儲設(shè)計的協(xié)議，因為閃存類存儲處理速度遠遠高于傳統(tǒng)協(xié)議傳輸?shù)乃俣?，因此閃存類存儲需要新的協(xié)議去支持高速的存儲處理。NVMe在服務(wù)器與存儲設(shè)備上的應(yīng)用，可分為后端與前端兩種類型，后端的NVMe應(yīng)用是取代SAS協(xié)議，作為SSD或Flash存儲連接控制器的協(xié)議；前端的NVMe應(yīng)用，則是將NVMe嫁接在既有的網(wǎng)絡(luò)傳輸通道上，構(gòu)成外接的NVMe-oF傳輸架構(gòu)。NVMe的后端應(yīng)用已經(jīng)進入成熟期，現(xiàn)目前市面上主要的SSD硬盤的均支持NVMe協(xié)議且已經(jīng)批量的使用，只要我們的電腦主板上集成有PCIe的插槽，就可以接入NVMe的協(xié)議的SSD硬盤或Flash介質(zhì)。但前端應(yīng)用的NVMe-oF架構(gòu)仍在推廣和測試。而且由于前端協(xié)議種類繁多，NVMe均為其做了適配并進行了測試，因此能夠占據(jù)主流的到底是哪一種嫁接方式尚未有定論。因為基于32Gb FC、基于InfiniBand，基于25/50GbE RoCE或iWARP以太網(wǎng)絡(luò)等多種形式的NVMe均具有各自不同的利弊和應(yīng)用場景。

我們詳細來看NVMe在服務(wù)器與存儲設(shè)備在后端上的成熟應(yīng)用。主要分為基于PCIe接口的NVMe SSD和基于PCIe接口的NVMe 后端協(xié)議。

基于PCIe接口的NVMe SSD

NVMe是一種接口規(guī)范或者協(xié)議，SSD硬盤或Flash介質(zhì)通過該協(xié)議和控制器進行通信，因為SSD硬盤或Flash介質(zhì)和通信協(xié)議以及變得更加高效，再使用傳統(tǒng)的SATA接口已經(jīng)不在適應(yīng)高速增長的需求，因此接口也需要相應(yīng)的做出改變，這個改變就是PCIe。

現(xiàn)在主板上的插槽基本上都是PCI插槽或者PCIe插槽。PCI插槽是目前個人電腦中使用最為廣泛的接口，幾乎所有的主板產(chǎn)品上都帶有這種插槽。使用PCI，電腦通過插接不同的擴展卡可以獲得目前電腦能實現(xiàn)的幾乎所有外接功能。而PCIe全稱是“PCI-Express”，是基于PCI的更新升級版本，是最新的總線和接口標(biāo)準(zhǔn)，它原來的名稱為“3GIO”，由英特爾在2000年提出，最后由PCI標(biāo)準(zhǔn)化組織進行標(biāo)準(zhǔn)化并推廣全世界。

現(xiàn)目前服務(wù)器上集成的PCIe插槽都是PCIe3.0規(guī)格，但是存在的一個問題是，服務(wù)器的主板面積和空間有限，所能夠集成的PCIe數(shù)量也是有限的，當(dāng)服務(wù)器的硬盤全部都使用NVMe SSD并使用PCIe通道作為傳輸介質(zhì)時，服務(wù)器主板的PCIe傳輸通道就不夠用了。比如一塊NVMe SSD占用4條PCIe 3.0，一臺標(biāo)準(zhǔn)的2U服務(wù)器插滿24塊NVMe SSD，就占用多達96條PCIe傳輸通道。因此為了解決服務(wù)器主板PCIe資源緊張的問題，PCIe標(biāo)準(zhǔn)化組織就推出了PCIe 4.0規(guī)范，PCIe 4.0單通道傳輸率比PCIe 3.0提高一倍，因為一塊NVMe SSD占用4條PCIe 3.0通道是為了獲得足夠多的傳輸帶寬，因此提高PCIe單通道的傳輸帶寬即可減少NVMe SSD對PCIe通道的占用，在PCIe 4.0規(guī)范下，一塊NVMe SSD只需占用2條PCIe通道接口滿足傳輸帶寬要求?；诖?，PCIe標(biāo)準(zhǔn)化組織發(fā)布公告顯示，將會繼續(xù)推出了PCIe 5.0，可以在PCIe 4.0的基礎(chǔ)上讓單通道的傳輸速率再提高一倍。也就是PCIe 5.0規(guī)范下的單通道的傳輸速率是PCIe 3.0規(guī)范的下的4倍，一塊NVMe SSD只需占用1條PCIe 5.0通道接口滿足傳輸帶寬要求。

基于PCIe接口的NVMe 后端協(xié)議

在存儲系統(tǒng)的體系中，控制器和后端存儲硬盤柜之間的連接采用的是現(xiàn)今主流的SAS-3規(guī)范，也就是具有12Gb SAS技術(shù)標(biāo)準(zhǔn)的SAS接口和協(xié)議。SAS是目前最重要的企業(yè)級存儲I/O規(guī)格之一，也是SSD與外接硬盤柜的標(biāo)準(zhǔn)規(guī)范，在存儲系統(tǒng)的江湖里，SAS已經(jīng)長期統(tǒng)一了所有存儲設(shè)備的后端存儲I/O規(guī)格太長時間。SAS是一種協(xié)議也是一種接口，嚴(yán)格來說是SAS協(xié)議和SAS接口，只不過因為都叫SAS，所以統(tǒng)一使用SAS代指。

由于硬盤介質(zhì)采用SSD，因此如果再采用原來的SAS來連接控制器和硬盤柜之間的I/O傳輸，和直連主機端類似，傳輸通道將無法滿足SSD的需求。因此有人就在嘗試使用基于PCIe的NVMe來替代SAS，并且已經(jīng)有了實質(zhì)性的進展，因此SAS將有可能會被基于PCIe的NVMe替代掉。

SAS標(biāo)準(zhǔn)的起草和發(fā)展略為滯后，SAS-3已經(jīng)面世很多年了，但是SAS-4一直處于難產(chǎn)階段，現(xiàn)在的SAS-4目前還在控制器元件階段，還未實際進入存儲產(chǎn)品應(yīng)用當(dāng)中，而基于PCIe的NVMe已經(jīng)實際的運用于存儲產(chǎn)品當(dāng)中了，可想而知SAS的速度和反應(yīng)，雖然SAS-4的傳輸頻寬比SAS-3提高一倍，單一通道可達24Gb/s，匯聚4條通道便可達到96Gb/s。但是NVMe并不比SAS-4遜色多少，而且SAS還有天生的延遲缺陷，SAS-4的推出恐怕已時不我予。

綜合來看，基于I/O規(guī)格的技術(shù)的一種通用的技術(shù)標(biāo)準(zhǔn)和規(guī)范，國內(nèi)和國際的差距在于產(chǎn)品和模塊的應(yīng)用和研發(fā)上面。舉個例子來說，國內(nèi)目前無法自主實現(xiàn)的機械硬盤，在SSD硬盤時代，由于SSD是基于閃存顆粒實現(xiàn)的，因此在技術(shù)難度上國內(nèi)能夠?qū)崿F(xiàn)并且也能夠推出自主的SSD產(chǎn)品，但是在I/O規(guī)格的標(biāo)準(zhǔn)制定和參與上，國內(nèi)還存在一定的差距。市面上常說：一流的企業(yè)做標(biāo)準(zhǔn)，二流的企業(yè)做品牌，三流的企業(yè)做產(chǎn)品。中國企業(yè)如果要在未來的競爭中占得一席之地，還得參與制定游戲規(guī)則。