精彩繼續(xù) 1.Hyper-V 融合群集網(wǎng)絡(luò)

   一直很想寫這篇博客，與大家探討交流這項(xiàng)技術(shù)， Hyper-V Converged Network，中文我將它翻譯為融合網(wǎng)絡(luò)，后來老王又發(fā)現(xiàn)這項(xiàng)技術(shù)似乎沒有群集的話意義不大，所以加上了群集二字，之前很少看到國(guó)內(nèi)有人寫過這方面的博客，但是在國(guó)外從2012開始已經(jīng)有不少人對(duì)這項(xiàng)新技術(shù)進(jìn)行了嘗試，到Windows Server 2016,Converged Network模型更是支援了RDMA，因此決定寫這篇博客，希望能夠讓更多中國(guó)的微軟ITpro們知道這項(xiàng)技術(shù)，為大家拋磚引玉，內(nèi)容不對(duì)之處歡迎探討指正

    在介紹融合網(wǎng)絡(luò)之前，我想先和大家探討下Windows上面群集網(wǎng)絡(luò)的規(guī)劃，之前幾年老王有幸參與過一些項(xiàng)目的實(shí)施，發(fā)現(xiàn)國(guó)內(nèi)實(shí)施微軟群集的工程師們似乎都并不太在意群集網(wǎng)絡(luò)方面的規(guī)劃，一些小型的場(chǎng)景，甚至就放了一塊網(wǎng)卡，承載群集的所有流量，有的有良心一點(diǎn)會(huì)放兩快卡，一些大型企業(yè)實(shí)施的時(shí)候會(huì)把管理，VM，心跳，存儲(chǔ)，四種分開，這似乎是國(guó)內(nèi)大中型企業(yè)做群集時(shí)候的網(wǎng)絡(luò)標(biāo)配，土豪一點(diǎn)的會(huì)為每種類型的網(wǎng)絡(luò)配置Teaming或者M(jìn)PIO，多通道等技術(shù)

   按照微軟的最佳實(shí)踐來講，微軟建議切割五種群集網(wǎng)絡(luò)，管理，VM，遷移，心跳，存儲(chǔ)，微軟將遷移流量也建議單獨(dú)隔離出來，實(shí)際上我是理解微軟這種考慮的，我猜想微軟總部這樣考慮，也許是考慮到大型場(chǎng)景下，可能是一個(gè)私有云，或者托管很多虛擬機(jī)的虛擬化架構(gòu)，可能會(huì)頻繁進(jìn)行大規(guī)模遷移的場(chǎng)景下，同時(shí)VM也面臨著業(yè)務(wù)上面的大并發(fā)訪問，這時(shí)候可能一組網(wǎng)絡(luò)難以支撐，會(huì)導(dǎo)致某些場(chǎng)景下的性能下降，但其實(shí)根據(jù)老王的觀察，目前國(guó)內(nèi)使用Hyper-V的企業(yè)很少會(huì)達(dá)到微軟這種場(chǎng)景的設(shè)想，通常情況下一組LACP teaming 20GB的流量怎么也hold住VM訪問+遷移流量了，因此國(guó)內(nèi)很少看到單獨(dú)獨(dú)立出遷移網(wǎng)絡(luò)的群集架構(gòu)

  所以國(guó)內(nèi)用戶可能比較常見的就是這種，管理，VM+遷移，心跳，存儲(chǔ)的架構(gòu)，有的公司可能一組LACP teaming 直接把管理，VM，遷移三種放在一起，然后，心跳，存儲(chǔ)，一共三個(gè)群集網(wǎng)絡(luò)，這也是一種國(guó)內(nèi)常見的群集網(wǎng)絡(luò)架構(gòu)。

  這里老王想格外與大家進(jìn)行探討的是里面“心跳” 這種群集網(wǎng)絡(luò)，國(guó)內(nèi)對(duì)于這種類型的群集網(wǎng)絡(luò)通常都叫它心跳網(wǎng)絡(luò)，似乎這個(gè)網(wǎng)絡(luò)只是用做心跳檢測(cè)，其實(shí)并不是這樣，嚴(yán)格來講，這種類型的網(wǎng)絡(luò)應(yīng)該叫做群集通信網(wǎng)絡(luò)，國(guó)外也有人叫它CSV網(wǎng)絡(luò)。

   群集通信網(wǎng)絡(luò)其實(shí)承擔(dān)著3種功能的流量，在2012之后開始發(fā)生了一些變化

   1.運(yùn)行狀況檢測(cè)網(wǎng)絡(luò)，群集大家都知道，所有節(jié)點(diǎn)需要訪問同一個(gè)共享存儲(chǔ)，在群集創(chuàng)建群集角色或群集功能，角色產(chǎn)生的數(shù)據(jù)會(huì)存在共享存儲(chǔ)，然后群集之間會(huì)做運(yùn)行狀況檢測(cè)，為什么要做這個(gè)檢測(cè)呢，就是為了知道其它節(jié)點(diǎn)現(xiàn)在活不活著，例如群集當(dāng)前兩個(gè)節(jié)點(diǎn)，他們每隔一秒都會(huì)通過3343端口和對(duì)方執(zhí)行一次實(shí)際的握手檢測(cè)，每次發(fā)送一個(gè)134 byte的包，除了確認(rèn)對(duì)方在線，對(duì)方也會(huì)確認(rèn)你在線，雙方確認(rèn)完成一次檢測(cè)結(jié)束，當(dāng)檢測(cè)達(dá)到一定閾值，例如默認(rèn)情況下同一子網(wǎng)內(nèi)每隔一秒全網(wǎng)檢測(cè)一次，如果一個(gè)節(jié)點(diǎn)五次檢測(cè)均沒有回應(yīng)則視為該節(jié)點(diǎn)下線，群集其它節(jié)點(diǎn)會(huì)檢查自身群集注冊(cè)表查看該節(jié)點(diǎn)承擔(dān)角色功能，然后進(jìn)行遷移出來，跨子網(wǎng)默認(rèn)也是每隔一秒全網(wǎng)檢測(cè)一次，五次失效視為該節(jié)點(diǎn)下線。如果群集節(jié)點(diǎn)啟用了Hyper-v角色，默認(rèn)本地子網(wǎng)每隔一秒全網(wǎng)檢測(cè)一次，十次失效視為該節(jié)點(diǎn)下線，跨子網(wǎng)每隔一秒全網(wǎng)檢測(cè)一次，二十次次失效視為該節(jié)點(diǎn)下線。在2016里面新增了跨站點(diǎn)的檢測(cè)模式，如果檢測(cè)到群集設(shè)置了站點(diǎn)，則當(dāng)跨站點(diǎn)，跨子網(wǎng)或不跨子網(wǎng)的情況下，跨站點(diǎn)的檢測(cè)策略會(huì)優(yōu)于跨子網(wǎng)的檢測(cè)模式執(zhí)行。

   如上所述，運(yùn)行狀況檢測(cè)網(wǎng)絡(luò)是群集里面很重要的內(nèi)容，通過檢測(cè)結(jié)果來確認(rèn)一個(gè)節(jié)點(diǎn)是否存活，因此對(duì)于該網(wǎng)絡(luò)的質(zhì)量要求極高，可以帶寬不高，但一定要確保質(zhì)量，確保不會(huì)被其它流量干擾，確保不會(huì)出現(xiàn)丟包，否則如果出現(xiàn)丟包或者流量干擾的情況就會(huì)導(dǎo)致群集的運(yùn)行狀況檢測(cè)失去準(zhǔn)確性，本身存活的節(jié)點(diǎn)卻因?yàn)闄z測(cè)不準(zhǔn)確而被下線。

    因此，老王建議，做群集，至少至少應(yīng)該分為兩種網(wǎng)絡(luò)，一塊承擔(dān)管理VM遷移存儲(chǔ)等流量，一塊用于承擔(dān)群集通信網(wǎng)絡(luò)的流量，請(qǐng)注意這種運(yùn)行狀況檢測(cè)是群集內(nèi)的一個(gè)全網(wǎng)檢測(cè)，每個(gè)節(jié)點(diǎn)發(fā)送檢測(cè)時(shí)會(huì)發(fā)給所有節(jié)點(diǎn)，確保群集每個(gè)節(jié)點(diǎn)與節(jié)點(diǎn)之間都能夠知道對(duì)方的狀態(tài)。

 2.群集內(nèi)數(shù)據(jù)庫(kù)同步流量

    上面講到當(dāng)一個(gè)節(jié)點(diǎn)下線時(shí)，群集會(huì)觸發(fā)故障轉(zhuǎn)移操作，其它節(jié)點(diǎn)檢查自身的群集數(shù)據(jù)庫(kù)，查看下線的節(jié)點(diǎn)，承載了什么角色，然后上線該角色，并掛載上該角色依賴的群集組，然后客戶端重新訪問，這是群集最簡(jiǎn)單的一個(gè)故障轉(zhuǎn)移原理，大家可能會(huì)注意到里面有一個(gè)群集數(shù)據(jù)庫(kù)，這個(gè)數(shù)據(jù)庫(kù)和SQL的數(shù)據(jù)庫(kù)，exchange的數(shù)據(jù)庫(kù)都沒關(guān)系，是群集用來存放各個(gè)節(jié)點(diǎn)的狀態(tài)，以及各節(jié)點(diǎn)hosting角色狀態(tài)的一個(gè)數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)主要存在于各群集節(jié)點(diǎn)本身的注冊(cè)表上，如果有磁盤見證的話那么磁盤見證里面也會(huì)存放一份，例如節(jié)點(diǎn)1當(dāng)前在線，它上面運(yùn)行了DHCP角色和文件服務(wù)器角色，當(dāng)前狀態(tài)是在線，或節(jié)點(diǎn)1上面承擔(dān)了HyperV角色，現(xiàn)在上面跑了十臺(tái)虛擬機(jī)，五臺(tái)在線，五臺(tái)離線。

    群集數(shù)據(jù)庫(kù)主要就是記錄這種數(shù)據(jù)，群集配置，群集成員配置，群集資源的添加，創(chuàng)建，啟動(dòng)，刪除，停止，下線等狀態(tài)變化，然后與其他節(jié)點(diǎn)進(jìn)行同步，帶寬使用并不會(huì)很大，但一定要準(zhǔn)確，每個(gè)節(jié)點(diǎn)之間的群集數(shù)據(jù)庫(kù)一定要一致，這是最重要的要求，因此，群集之間各個(gè)節(jié)點(diǎn)需要實(shí)時(shí)的去同步群集數(shù)據(jù)庫(kù)，確保每個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)內(nèi)容一致，這樣當(dāng)有節(jié)點(diǎn)出現(xiàn)下線操作，其它節(jié)點(diǎn)才可以準(zhǔn)確的承擔(dān)他的工作，當(dāng)我們?cè)谌杭袌?zhí)行添加角色，刪除角色，新增群集資源的時(shí)候都會(huì)觸發(fā)數(shù)據(jù)庫(kù)的同步操作，因此一定要確保這個(gè)同步操作是及時(shí)的，準(zhǔn)確的到達(dá)各個(gè)節(jié)點(diǎn)，同樣，這種類型的流量對(duì)網(wǎng)絡(luò)的質(zhì)量要求也很高，它并不需要多高的帶寬，但一定要保證網(wǎng)絡(luò)質(zhì)量。

3.CSV元數(shù)據(jù)更新

   CSV是個(gè)好東西，以前2008時(shí)代沒有CSV，一個(gè)hyper-v集群上面要遷移只能把綁定到群集硬盤的虛擬機(jī)一起遷移，后來有了CSV就方便多了，CSV不像傳統(tǒng)群集磁盤那樣，一次掛載在一個(gè)節(jié)點(diǎn)，故障轉(zhuǎn)移時(shí)需要離線，卸載NTFS保留，再上線，掛載，時(shí)間長(zhǎng)，而且還很不方便。有了CSV之后所有節(jié)點(diǎn)上面都可以訪問到被創(chuàng)建好的CSV卷，按照CSV編排器的順序進(jìn)行訪問就可以，當(dāng)一個(gè)節(jié)點(diǎn)斷電關(guān)機(jī)，另外節(jié)點(diǎn)直接開機(jī)VM就可以上線，不需要再執(zhí)行群集磁盤的卸載上線工作，因?yàn)镃SV卷始終是掛載著的。所謂元數(shù)據(jù)更新，即是說，當(dāng)我們?cè)趩蝹€(gè)節(jié)點(diǎn)上面對(duì)CSV卷里面內(nèi)容進(jìn)行增刪改的時(shí)候，后臺(tái)CSV會(huì)把我們?cè)鰟h改的操作進(jìn)行同步，由東向西，或由北向南，同步的不會(huì)是具體的文件內(nèi)容，只是元數(shù)據(jù)，同樣這種類型的流量對(duì)于質(zhì)量要求很高，并不需要多少帶寬，一旦出現(xiàn)延遲，可能導(dǎo)致的情況就是我們?cè)贑SV上面更新一個(gè)文件執(zhí)行起來很慢才會(huì)進(jìn)行同步，需要額外注意，2012中CSV嚴(yán)重依賴于SMB，如果您使用CSV功能，請(qǐng)一定不要禁止SMB相關(guān)服務(wù)。

   上述三種流量，其實(shí)都包括在我們已知的“心跳網(wǎng)絡(luò)”中 ，不看不知道，一看嚇一跳，一直被我們忽略的心跳卡竟然也承擔(dān)著這么多工作，而且還很重要，通過我的介紹相信大家已經(jīng)有個(gè)基本的了解，對(duì)于群集網(wǎng)絡(luò)規(guī)劃時(shí)，一定要把這種類型的群集通信網(wǎng)絡(luò)單獨(dú)出來，確保它可以獲得最高的質(zhì)量，防止被其它流量干擾，尤其是要和遷移流量隔離開，即是說至少應(yīng)該有兩種群集網(wǎng)絡(luò)。

   通常情況下這種類型的群集通信網(wǎng)絡(luò)對(duì)于網(wǎng)絡(luò)帶寬要求很低很低，甚至10M 100M也可以滿足，但也有一些特別的場(chǎng)景，例如SQL，exchange群集，會(huì)經(jīng)常需要跟蹤application的變化，導(dǎo)致群集數(shù)據(jù)庫(kù)會(huì)很頻繁的更新，一些Hyper-V場(chǎng)景下，經(jīng)常執(zhí)行CSV創(chuàng)建，遷移操作，會(huì)導(dǎo)致CSV元數(shù)據(jù)流量頻繁的進(jìn)行更新，針對(duì)這些場(chǎng)景，老王建議配置單塊1GB卡足夠了，或者2塊1GB卡，做SMB多通道或者Teaming，10GB完全沒必要，屬于浪費(fèi)了，有那么大的帶寬分給虛擬機(jī)遷移和存儲(chǔ)多好，哈哈。

  2012R2時(shí)代也有國(guó)外的專家說過，可以把CSV元數(shù)據(jù)更新的流量從群集通信流量中分割出來，但老王目前還沒看到成功的案例，所以目前姑且我們先認(rèn)為群集通信流量包括運(yùn)行狀況檢測(cè)，群集數(shù)據(jù)庫(kù)更新，CSV元數(shù)據(jù)更新這三種流量。

  OK，上面基礎(chǔ)打好了，下面我們開始今天的重頭戲，融合網(wǎng)絡(luò)，我先不解釋太多，我們先開始進(jìn)入一個(gè)群集環(huán)境，我們?cè)诃h(huán)境中慢慢看請(qǐng)它的真面目

  今天的融合網(wǎng)絡(luò)環(huán)境架構(gòu)如下

  12DC ：80.0.0.1 承擔(dān)域控角色

  ISCSI  50.0.0.99 60.0.0.100 承擔(dān)ISCSI服務(wù)器角色

  HV01 

  四塊網(wǎng)卡，兩快卡組成teaming，通過Convered Network技術(shù)分出三塊卡

  Mgmt  80.0.0.2

  clus  90.0.0.2

  VM    100.0.0.2

  另外兩塊卡做ISCSI MPIO  50.0.0.1 60.0.0.2

  HV02

  四塊網(wǎng)卡，兩快卡組成teaming，通過Convered Network技術(shù)分出三塊卡

  Mgmt  80.0.0.3

  clus  90.0.0.3

  VM    100.0.0.3

  另外兩塊卡做ISCSI MPIO  50.0.0.3 60.0.0.4

  關(guān)于服務(wù)器怎么裝，ISCSI，MPIO怎么配置本文不做說明，我們直接進(jìn)入Convered Network技術(shù)配置的場(chǎng)景中

  首先，現(xiàn)在的場(chǎng)景下，每臺(tái)宿主機(jī)上面可以看到五個(gè)網(wǎng)卡，其中四塊是我們上面說好的，一個(gè)teaming，交換機(jī)獨(dú)立，地址哈希的，名字我們所有節(jié)點(diǎn)上叫vTeam

  真實(shí)場(chǎng)景下我建議大家都配置為L(zhǎng)ACP模式的teaming，兩張10GB，進(jìn)出雙網(wǎng)卡。

  我這里是使用兩張1GB，如果生產(chǎn)環(huán)境建議至少四張1GB或兩張10GB

  文章到這里，還和我們傳統(tǒng)的群集沒什么兩樣，接下來重頭戲來了，一直在說的Convered network到底是怎么回事呢

  老王這里先簡(jiǎn)單介紹一下，簡(jiǎn)單來講，Covered Network就是在Hyper-v父分區(qū)中，基于單個(gè)網(wǎng)卡或teaming，創(chuàng)建出多個(gè)虛擬網(wǎng)絡(luò)適配器，這是2012開始出現(xiàn)的一項(xiàng)新技術(shù)，原來我們一直以為一塊網(wǎng)卡只能對(duì)于出一個(gè)虛擬網(wǎng)絡(luò)適配器，但其實(shí)在2012開始已經(jīng)發(fā)生了改變，我們可以基于Convered Network技術(shù)在一塊網(wǎng)卡或teaming之上建立出多個(gè)虛擬網(wǎng)絡(luò)適配器

  同時(shí)，可以針對(duì)每個(gè)創(chuàng)建出的虛擬網(wǎng)絡(luò)適配器配置IP，QOS，VLAN，是不是很酷，一塊物理網(wǎng)卡，創(chuàng)建出一個(gè)虛擬交換機(jī)，但可以對(duì)應(yīng)出多個(gè)可以配置IP的虛擬網(wǎng)絡(luò)適配器，并且可以配置每個(gè)虛擬網(wǎng)絡(luò)適配器單獨(dú)的QOS，IP，VLAN，這在以前是硬件廠商們的技術(shù)，微軟在2012也在自己的虛擬化平臺(tái)上面進(jìn)行了實(shí)現(xiàn)，話不多說，我們下面就開始實(shí)作

#創(chuàng)建基于vTeam組合創(chuàng)建虛擬交換機(jī)，最小帶寬模式設(shè)置為通過權(quán)重決定，由于我們會(huì)單獨(dú)創(chuàng)建管理用的虛擬網(wǎng)絡(luò)適配器，這里我們先設(shè)置AllowManagementOS為False，如設(shè)置為True會(huì)產(chǎn)生虛擬網(wǎng)絡(luò)適配器

New-VMSwitch -Name vSwitch -NetAdapterName vTeam  -MinimumBandwidthMode Weight -AllowManagementOS $False

#設(shè)置虛擬交換機(jī)默認(rèn)流最小帶寬權(quán)重為20，默認(rèn)情況下虛擬網(wǎng)絡(luò)適配器發(fā)送的任何流量連接到這個(gè)虛擬交換機(jī)，并且沒有分配的最小帶寬將被過濾到這個(gè)桶中，即默認(rèn)如果沒有匹配上其它最小帶寬權(quán)重的流量至多使用默認(rèn)總帶寬百分之20權(quán)重的帶寬

Set-VMSwitch "vSwitch" -DefaultFlowMinimumBandwidthWeight 20

#基于單個(gè)虛擬交換機(jī)創(chuàng)建出mgmt，clus，vm三個(gè)虛擬網(wǎng)絡(luò)適配器

Add-VMNetworkAdapter -ManagementOS -Name "Mgmt" -SwitchName  "vSwitch"

Add-VMNetworkAdapter -ManagementOS -Name "Clus" -SwitchName  "vSwitch"

Add-VMNetworkAdapter -ManagementOS -Name "VM"   -SwitchName  "vSwitch"

#設(shè)置每個(gè)虛擬網(wǎng)絡(luò)適配器至多可以使用總帶寬的權(quán)重，其中VM(VM+Live Migration)最占用流量，我們將流量?jī)?yōu)先分配權(quán)重分配給它，其次權(quán)重分配給管理流量，最少的權(quán)重分配給群集網(wǎng)絡(luò)，MinimumBandwidthWeight值以相對(duì)權(quán)重計(jì)算，范圍在0-100，建議虛擬網(wǎng)絡(luò)適配器所有權(quán)重+默認(rèn)流權(quán)重一共不超過100，超過100后后臺(tái)也將重新平衡權(quán)重計(jì)算，建議設(shè)置所有虛擬網(wǎng)絡(luò)適配器權(quán)重共計(jì)80或70,90，剩余的用100減去留給默認(rèn)流。

Set-VMNetworkAdapter -ManagementOS -Name "Mgmt" -MinimumBandwidthWeight 25

Set-VMNetworkAdapter -ManagementOS -Name "Clus" -MinimumBandwidthWeight 10

Set-VMNetworkAdapter -ManagementOS -Name "VM"   -MinimumBandwidthWeight 45

#在設(shè)置所有虛擬網(wǎng)卡權(quán)重的時(shí)候后面可以添加 -Access -VlanId 參數(shù)，為每個(gè)虛擬網(wǎng)絡(luò)適配器設(shè)立單獨(dú)的Vlan，起到隔離作用

#按照預(yù)定義的配置為每個(gè)虛擬網(wǎng)絡(luò)適配器分配IP地址，注意分配mgmt網(wǎng)卡的DNS為80.0.0.1，Clus網(wǎng)卡取消netbios注冊(cè)

New-NetIPAddress -InterfaceAlias “vEthernet (mgmt)” -IPAddress 80.0.0.2 -PrefixLength “24”

New-NetIPAddress -InterfaceAlias “vEthernet (Clus)” -IPAddress 90.0.0.2 -PrefixLength “24”

New-NetIPAddress -InterfaceAlias “vEthernet (VM)”   -IPAddress 100.0.0.2 -PrefixLength “24”

#確保網(wǎng)卡順序如下，Mgmt作為首要出站網(wǎng)絡(luò)DNS訪問解析

HV02配置同上，不再贅述，配置完成后和HV01一樣，可以看到基于兩塊網(wǎng)卡組成的teaming建立出來的三塊虛擬網(wǎng)卡以及兩塊ISCSI網(wǎng)卡

     到這里大家是不是感覺很奇妙，其實(shí)最初老王猜想這會(huì)是和vmware端口組一樣的技術(shù)那就酷了，虛擬機(jī)接到端口組，每個(gè)端口組可以用不同的網(wǎng)卡，還可以做故障轉(zhuǎn)移容錯(cuò)，VLAN ID，QOS的設(shè)置，微軟這個(gè)，除了每塊虛擬網(wǎng)絡(luò)適配器不能做故障轉(zhuǎn)移其它也都差不多嘛，但當(dāng)做出來后實(shí)際看還是有點(diǎn)區(qū)別，vmware esxi上面的端口組做完之后，虛擬機(jī)直接就可以接入到端口組中，相對(duì)來說效果更加直觀，便于理解

    而微軟的這種融合網(wǎng)絡(luò)創(chuàng)建出來的虛擬網(wǎng)絡(luò)適配器，在單臺(tái)機(jī)器上幾乎看不到什么特別的效果，因?yàn)樘摂M機(jī)還是接到vswitch這個(gè)虛擬交換機(jī)，但是遷移流量走那塊卡，并不知道，單臺(tái)機(jī)器看不出什么，我們只能看到，阿，我們可以基于兩塊網(wǎng)卡做成teaming，然后做出虛擬交換機(jī)，基于這個(gè)虛擬交換機(jī)我們又做出了多塊虛擬網(wǎng)絡(luò)適配器，每個(gè)虛擬網(wǎng)絡(luò)適配器可以配置單獨(dú)的QOS,IP,VLAN ，但是具體怎么切割網(wǎng)絡(luò)流量的，到底用途在哪里，我們到現(xiàn)在為止還看不到顯著的效果，網(wǎng)上很多文章都是做到這里就停了，搞得老王也是一頭霧水，單臺(tái)機(jī)器上面做這樣的架構(gòu)其實(shí)在我看來意義并不大，只是好看而已，做出來了之后實(shí)際上做出來了之后單機(jī)上面并不會(huì)分割流量，除非配合VLAN，host文件等設(shè)定。

    因此，我們來到群集里面就可以看得清楚了，具體群集怎么搭建的步驟，老王這里不做解釋，相信大家都會(huì)的，在群集中我們可以看到添加進(jìn)來的五個(gè)網(wǎng)絡(luò)

   經(jīng)過調(diào)整之后如下圖所示，這下子五塊網(wǎng)卡就各盡啟用了，CLU網(wǎng)卡首要用于群集通信，完成運(yùn)行狀況檢測(cè)，群集數(shù)據(jù)庫(kù)更新，CSV元數(shù)據(jù)更新，一旦CLU網(wǎng)卡不可用，群集會(huì)自動(dòng)路由至其它mgmt或vm卡承擔(dān)群集通信流量，ISCSI01 ISCSI02兩塊網(wǎng)卡為MPIO網(wǎng)絡(luò)，不參與群集通信流量，管理流量，訪問流量，設(shè)置VM網(wǎng)卡為實(shí)時(shí)遷移時(shí)使用網(wǎng)卡，實(shí)際上微軟建議我們可以在這里設(shè)置多塊，例如設(shè)置VM和MGMT，VM網(wǎng)絡(luò)出現(xiàn)故障，還可以使用MGMT完成遷移，或者我們也可以通過powershell，群集會(huì)根據(jù)度量值和優(yōu)先值選擇排名第二位的網(wǎng)絡(luò)用于實(shí)時(shí)遷移，或我們可以添加多個(gè)網(wǎng)絡(luò)，設(shè)置兩個(gè)網(wǎng)絡(luò)接近的度量值，這樣實(shí)時(shí)遷移就會(huì)在兩塊卡直接負(fù)載均衡。

   文章進(jìn)行到這里已經(jīng)接近尾聲了，回想一下我們做了什么呢，我們底層使用了兩張卡做成的teaming，然后基于這組teaming建立虛擬交換機(jī)，再基于虛擬交換機(jī)創(chuàng)建出了三塊虛擬網(wǎng)絡(luò)適配器，并為其指定了單獨(dú)的QOS策略，確保每個(gè)虛擬網(wǎng)絡(luò)適配器在自己帶寬權(quán)重內(nèi)運(yùn)作，不會(huì)干擾到其它網(wǎng)絡(luò)，同時(shí)我們?yōu)槊總€(gè)虛擬網(wǎng)絡(luò)配置了IP地址，并最終加入了群集網(wǎng)絡(luò)，在群集的網(wǎng)絡(luò)模式配合下我們實(shí)現(xiàn)了真正的流量分割，每塊卡實(shí)現(xiàn)了各盡啟用

   老王認(rèn)為這在群集網(wǎng)絡(luò)規(guī)劃時(shí)是一種新的思維，假設(shè)服務(wù)器只有兩個(gè)或四個(gè)口，或者交換機(jī)端口有限，不允許我們六塊卡八塊卡的占用，那么我們完全就可以考慮通過這種融合網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)來節(jié)約端口的成本，又能夠通過QOS技術(shù)對(duì)虛擬出來的網(wǎng)絡(luò)適配器進(jìn)行合理的管控，同時(shí)我們底層是teaming，也可以獲得teaming的容錯(cuò)性，對(duì)于上層的虛擬網(wǎng)絡(luò)適配器，它只知道對(duì)應(yīng)的是虛擬交換機(jī)，虛擬交換機(jī)只知道對(duì)應(yīng)的是teaming，即是說只要teaming沒壞，整套架構(gòu)就可以正常運(yùn)作，一旦teaming里面單塊網(wǎng)卡出現(xiàn)故障，并不會(huì)導(dǎo)致整個(gè)架構(gòu)的癱瘓，只需要再增加網(wǎng)卡進(jìn)來即可，這對(duì)于上層的架構(gòu)都不會(huì)有很大的感知。

   在關(guān)于融合網(wǎng)絡(luò)的架構(gòu)中老王有一個(gè)地方一直沒有提到，為什么ISCSI你要單獨(dú)出來兩快卡，為什么不干脆都通過一組teaming虛擬出來，其實(shí)老王完全可以都放在一組teaming里面，但是我想給大家展示出最理想的的架構(gòu)，經(jīng)過翻閱國(guó)外的資料老王得知，ISCSI這種存儲(chǔ)技術(shù)是不支持NIC teaming的，如果要想獲得ISCSI的MPIO能力，只有單獨(dú)出來兩塊網(wǎng)卡，或者，兩個(gè)ISCSI網(wǎng)卡，分別對(duì)應(yīng)兩個(gè)虛擬交換機(jī)，這樣物理層可以使用MPIO技術(shù)，群集虛擬機(jī)也可以得到。

  另外，NIC teaming技術(shù)在2012時(shí)代也不支援RDMA技術(shù)，如果你的融合群集底層是SOFS架構(gòu)，那么你用了兩塊網(wǎng)卡做成teaming，也將失去RDMA的能力，如果是SMB架構(gòu)，在2012時(shí)代老王建議單獨(dú)出來兩塊10GB卡，不做teaming，充分利用SMB多通道和SMB RDMA技術(shù)。

  當(dāng)然微軟最終也聽從了廣大群眾的呼聲，在2016里面，提供了新的技術(shù)Switch Embedded Teaming，創(chuàng)建出來的虛擬交換機(jī)，將支援融合網(wǎng)絡(luò)中使用RDMA VRSS等技術(shù)

2016融合網(wǎng)絡(luò)新命令示例：

#創(chuàng)建支持RDMA與VRSS功能的Switch Embedded Teaming交換機(jī)

New-VMSwitch -Name CNSwitch -AllowManagementOS $True -NetAdapterName NIC01,NIC02 -EnableEmbeddedTeaming $Tru

#針對(duì)存儲(chǔ)網(wǎng)絡(luò)及遷移虛擬網(wǎng)絡(luò)適配器啟用RDMA

Get-NetAdapterRDMA -Name *Storage* | Enable-NetAdapterRDMA

Get-NetAdapterRDMA -Name *Live-Migration* | Enable-NetAdapterRDMA   

#在vNIC和物理NIC之間設(shè)置關(guān)聯(lián)

Set-VMNetworkAdapterTeamMapping –VMNetworkAdapterName Storage1 –ManagementOS –PhysicalNetAdapterName NIC1

Set-VMNetworkAdapterTeamMapping –VMNetworkAdapterName Storage2 –ManagementOS –PhysicalNetAdapterName NIC2

----------------------------------------------------------------------------

延伸閱讀

----------------------------------------------------------------------------

關(guān)于ISCSI與2012融合網(wǎng)絡(luò)的討論※

https://community.spiceworks.com/topic/314930-iscsi-in-hyper-v-2012-10gb-converged-fabric

https://social.technet.microsoft.com/Forums/windowsserver/en-US/1c23a379-e7d6-4d47-8e21-0963ad931484/iscsi-in-converged-network-scenario?forum=winserverhyperv

http://www.aidanfinn.com/?p=13947

http://www.aidanfinn.com/?p=14509

----------------------------------------------------------------------------

融合網(wǎng)絡(luò)適用場(chǎng)景及示例

http://www.davidmercer.co.uk/windows-2012-r2-hyper-v-converged-network-setup/

http://www.windows-infrastructure.de/hyper-v-converged-network/

https://www.starwindsoftware.com/blog/musings-on-windows-server-converged-networking-storage

----------------------------------------------------------------------------

關(guān)于DefaultFlowMinimumBandwidthAbsolute與 MinimumBandwidthWeight參數(shù)用途及深入解釋※

https://blogs.technet.microsoft.com/meamcs/2012/05/06/converged-fabric-in-windows-server-2012-hyper-v/

https://social.technet.microsoft.com/Forums/windowsserver/en-US/7c265109-b703-4e50-aab0-b7508b32207f/defaultflowminimumbandwidthweight-setvmswitch-question?forum=winserverpowershell

http://www.aidanfinn.com/?p=13891

----------------------------------------------------------------------------

通過SCVMM管理融合網(wǎng)絡(luò)架構(gòu)

https://charbelnemnom.com/2014/05/create-a-converged-network-fabric-in-vmm-2012-r2/

https://www.starwindsoftware.com/blog/how-to-deploy-switch-embedded-teaming-set-using-scvmm-2016

----------------------------------------------------------------------------

2016 Switch Embedded Teaming

http://www.aidanfinn.com/?p=18813

https://technet.microsoft.com/en-us/library/mt403349.aspx

http://www.tech-coffee.net/how-to-deploy-a-converged-network-with-windows-server-2016/

https://community.mellanox.com/docs/DOC-2904

----------------------------------------------------------------------------