WSFC2016 跨群集復(fù)制

   前面兩篇文章中，老王和大家介紹了存儲復(fù)制的功能，在單機對單機，以及延伸群集的實踐，基本上大家可以看出，這是一種基于塊級別的存儲復(fù)制，原生內(nèi)置于Windows Server 2016上面，可以幫助我們實現(xiàn)在單機對單機場景下的災(zāi)備，也可以結(jié)合群集，實現(xiàn)存儲和應(yīng)用結(jié)合，當(dāng)發(fā)生站點級別災(zāi)難的時候，自動轉(zhuǎn)移存儲和應(yīng)用

   對于工程師來說，現(xiàn)在架構(gòu)上又多了一個新的選擇，我們可以不借助設(shè)備，不借助第三方產(chǎn)品，就使用微軟原生的OS實現(xiàn)高可用+災(zāi)難恢復(fù)

  雖然說延伸群集很好，但是仍有一個弊端，即不能直接使用各節(jié)點本地磁盤完成存儲復(fù)制，各站點節(jié)點還必須接入自己站點的存儲，兩個站點需以非對稱共享存儲的方式來完成復(fù)制，老王猜想微軟的本意，就是希望把延伸群集這項功能用于異地站點不同共享存儲，例如北京站點各節(jié)點接入北京站點的存儲，天津站點各節(jié)點接入天津站點的存儲，然后呢，在兩個Site之間做存儲復(fù)制，以實現(xiàn)延伸群集的效果，即便是本地站點存儲和計算節(jié)點全部崩潰，另外一個站點也可以使用

  不過老王猜想應(yīng)該還是群集機制的原因，導(dǎo)致目前延伸群集還不能使用各節(jié)點本地磁盤，因為微軟群集設(shè)計之初就是要求實現(xiàn)群集存儲永久保留，群集數(shù)據(jù)存放共享存儲，以便切換直接掛載，如果直接本地磁盤進入群集磁盤，故障切換上會有一些問題

  雖然說微軟2016有了S2D技術(shù)，可以實現(xiàn)超融合存儲，但是它本質(zhì)上功能和我們講的災(zāi)難恢復(fù)還是有一些區(qū)別，S2D老王認為是存儲+群集結(jié)合起來的一項技術(shù)，我們在群集上面啟用S2D，之后通過一個存儲匯流排把各個節(jié)點的磁盤匯集在一起，但是注意，這里并不是說各節(jié)點的本地磁盤直接就進到群集磁盤，而是在群集存儲里面機箱的區(qū)域可以看到所有節(jié)點的可用磁盤，我們開啟S2D后，可以相當(dāng)于我們邏輯的構(gòu)建了一個存儲機柜，這個存儲機柜里面的存儲是來自各個節(jié)點的磁盤，接下來要怎么用呢，我們還需要在這個邏輯的存儲機柜上面劃分Lun給各個節(jié)點接入，所以我們創(chuàng)建存儲池，虛擬磁盤，實現(xiàn)容錯，分層，緩存，最終交付到群集上面是虛擬磁盤，虛擬磁盤就可以被認作是一個群集磁盤，但是事實上只會顯示一個群集磁盤，即便這個虛擬磁盤是通過邏輯存儲機柜，多個節(jié)點創(chuàng)建出來的。

  所以，在老王看來，S2D是借助于群集，實現(xiàn)了一個邏輯存儲機柜，然后分配存儲給群集應(yīng)用使用，所以這個概念大家可以看到，和我們的存儲復(fù)制還是有一些出入，相對來看，似乎業(yè)界都是通過S2D這樣的超融合架構(gòu)來實現(xiàn)延伸群集

  直接底層S2D邏輯存儲機柜的層面做好站點感知，然后分配給群集，存儲在底層已經(jīng)做好了容錯，微軟為什么沒有實現(xiàn)這種架構(gòu)，老王猜想應(yīng)該是優(yōu)化和機制的問題

  1.當(dāng)前S2D只能做到機架感知和機箱感知，不能做到站點感知，即沒辦法控制數(shù)據(jù)撒到不同站點

  2.S2D對于網(wǎng)絡(luò)性能要求太高，不適用于延伸群集場景

也maybe，過幾個版本微軟會針對于S2D做站點感知的優(yōu)化，到時我們就可以實現(xiàn)超融合延伸群集，或者災(zāi)難恢復(fù)延伸群集

就目前的情況來看，我們只能通過災(zāi)難恢復(fù)來實現(xiàn)延伸群集的效果，那么很多朋友可能會問，為什么延伸群集不能和S2D相結(jié)合一起來用

首先老王認為在微軟生態(tài)環(huán)境中這是兩個解決不同場景的方案

延伸群集，是為了處理跨站點群集，存儲的災(zāi)難恢復(fù)，為兩個站點的存儲實現(xiàn)復(fù)制，確?？梢越邮苷军c級別的災(zāi)難

S2D，     是為了處理存儲設(shè)備昂貴，通過本地磁盤實現(xiàn)群集存儲，通過操作系統(tǒng)軟件實現(xiàn)存儲設(shè)備的管理功能

如果我們使用S2D，在同一個群集內(nèi)并不會顯示兩套存儲，僅會顯示一套存儲，因為S2D是在底層實現(xiàn)的存儲容錯

而延伸群集需要兩套存儲，以實現(xiàn)不同站點的存儲復(fù)制

所以根據(jù)目前這個定位來看，老王認為延伸群集不會和S2D有什么契合點，除非后面的版本有大變化

1. 廢棄當(dāng)前通過存儲復(fù)制機制實現(xiàn)的延伸群集，優(yōu)化S2D站點感知，實現(xiàn)延伸群集

2. 優(yōu)化S2D站點感知，實現(xiàn)兩種延伸群集模型

3. S2D架構(gòu)開通一個click鍵，是否要實現(xiàn)延伸群集，如果是，則不通過底層容錯，而提供兩套存儲，實現(xiàn)存儲復(fù)制

就老王來看，我認為1和3的幾率都不大，2的幾率大一些，反正現(xiàn)在網(wǎng)絡(luò)也不是瓶頸，如果企業(yè)有錢，當(dāng)然可以選擇用S2D實現(xiàn)延伸群集

事實上老王覺得目前這個存儲復(fù)制實現(xiàn)的延伸群集效果也挺好的，對于企業(yè)沒有高級存儲設(shè)備，但是又想實現(xiàn)跨站點的災(zāi)備，通過存儲復(fù)制+群集，可以實現(xiàn)很低的RTO和RPO，災(zāi)難切換的時候?qū)崿F(xiàn)完全自動化，這更是一大優(yōu)勢

那么這是對于延伸群集中存儲復(fù)制，S2D的一些探討，對于Windows Server 2016的存儲復(fù)制來說，我們還有另外一種場景，跨群集復(fù)制，將存儲復(fù)制擴展至群集邊界外

在這種場景中，我們就可以把S2D方案和存儲復(fù)制方案相結(jié)合

前文我們提到過，存儲復(fù)制解決方案對于存儲沒有要求，底層可以是本地SCSI/SATA，ISCSI，Share SAS ，SAN，SDS，對于延伸群集來說，可能是需要非對稱共享存儲的架構(gòu)，要是ISCSI，SAN，JBOD等架構(gòu)，但是對于單機對單機或者群集對群集來說，就沒有這么多說法了，我們可以使用本地磁盤和SDS架構(gòu)，在單機對單機的架構(gòu)中，就相當(dāng)于是，我給你系統(tǒng)OS提供一個存儲，你別管我是怎么來的，只要兩邊大小一致符合要求就可以建立存儲復(fù)制，群集對群集也基本上差不多，可以把一個群集看成一個大主機，兩個群集就是兩個大主機，你別管我這個群集的存儲怎么來的，總之我群集有符合要求的存儲，只要兩個群集的存儲配置都符合要求，就可以進行群集對群集的復(fù)制

這就有很多場景可以玩啦

例如：北京站點群集存儲架構(gòu)是ISCSI，天津站點群集存儲架構(gòu)是S2D，然后針對于兩個群集做存儲復(fù)制，一旦ISCSI主存儲無法正常提供服務(wù)，立刻切換至天津站的提供服務(wù)，或者北京站點采用物理機部署，天津站點采用虛擬機部署，北京站點使用私有云部署群集，然后再在公有云部署群集，本地群集和存儲宕機，公有云里面的群集和存儲可以啟動起來

群集對群集復(fù)制的好處

1.不用額外配置站點感知，如果北京群集都在北京站點，只會是群集內(nèi)故障轉(zhuǎn)移

2.兩個站點的存儲底層架構(gòu)可以不一樣，避免單一類型存儲都出現(xiàn)故障

3.支持同步復(fù)制與異步復(fù)制

4.支持更復(fù)雜的架構(gòu)，例如華北群集和華南群集，華北群集由北京節(jié)點和天津節(jié)點構(gòu)成，華南群集由廣東和深圳節(jié)點構(gòu)成，各站點內(nèi)部分別配置站點故障感知，北京節(jié)點壞了或者天津節(jié)點壞了無關(guān)緊要，應(yīng)用會漂移至同群集的相近站點，如果整個華北地區(qū)群集全部宕機，還可以再華南群集重新啟動群集角色

5.幫助實現(xiàn)群集級別的容災(zāi)，例如如果北京群集配置出現(xiàn)故障，不會影響到天津群集，天津群集可以利用復(fù)制過來的存儲啟動群集角色

6.兩個站點可以使用不同的網(wǎng)絡(luò)架構(gòu)，以實現(xiàn)子網(wǎng)的容錯

群集對群集復(fù)制的壞處

1.需要手動使用命令進行故障轉(zhuǎn)移，無圖形化界面操作

2.故障轉(zhuǎn)移時，需事先在備群集準(zhǔn)備好群集角色，然后重新掛載上存儲

3.針對于文件服務(wù)器，跨群集故障轉(zhuǎn)移后需使用新名稱訪問

跨群集復(fù)制技術(shù)部署需求

1. 各復(fù)制節(jié)點操作系統(tǒng)需要是Windows Server 2016數(shù)據(jù)中心版

2. 至少有四臺服務(wù)器（兩個群集中各兩臺服務(wù)器），支持最多 2 個 64 節(jié)點群集

3. 兩組共享存儲， SAS JBOD、SAN、Share VHDX、S2D或 iSCSI，每個存儲組設(shè)置為僅對每個群集可用

4. 復(fù)制節(jié)點需安裝File Server角色，存儲副本功能，故障轉(zhuǎn)移群集功能

5. Active Directory域環(huán)境，提供復(fù)制過程各節(jié)點的Kerberos驗證

6. 每個復(fù)制群集至少需要兩個磁盤，一個數(shù)據(jù)磁盤，一個日志磁盤

7. 數(shù)據(jù)磁盤和日志磁盤的格式必須為GPT，不支持MBR格式磁盤

8. 兩個群集數(shù)據(jù)磁盤大小與分區(qū)大小必須相同，最大 10TB

9. 兩個群集日志磁盤大小與分區(qū)大小必須相同，最少 8GB

10. 需要為各群集內(nèi)需要被復(fù)制的磁盤分配CSV或文件服務(wù)器角色

11. 存儲復(fù)制使用445端口（SMB - 復(fù)制傳輸協(xié)議），5895端口（WSManHTTP - WMI / CIM / PowerShell的管理協(xié)議），5445端口（iWARP SMB - 僅在使用iWARP RDMA網(wǎng)絡(luò)時需要）

    
    

跨群集復(fù)制規(guī)劃建議

1. 建議為日志磁盤使用SSD，或NVME SSD，存儲復(fù)制首先寫入數(shù)據(jù)至日志磁盤，良好的日志磁盤性能可以幫助提高寫入效率

2. 建議規(guī)劃較大的日志空間，較大的日志允許從較大的中斷中恢復(fù)速度更快，但會消耗空間成本。

3. 為同步復(fù)制場景準(zhǔn)備可靠高速的網(wǎng)絡(luò)帶寬，建議1Gbps起步，最好10Gbps，同步復(fù)制場景，如果帶寬不足，將延遲應(yīng)用程序的寫入請求時間

4. 針對于跨云，跨國，或者遠距離的跨群集復(fù)制，建議使用異步復(fù)制

跨群集復(fù)制可以整合的其它微軟技術(shù)

部署：Nano Server , SCVMM

管理：PS，Azure ASR，WMI，Honolulu，SCOM，OMS，Azure Stack

整合：Hyper-V，Storage Spaces Direct ，Scale-Out File Server，SMB Multichannel，SMB Direct，重復(fù)資料刪除，ReFS，NTFS

微軟跨群集復(fù)制場景實作

本例模擬兩座異地群集相互復(fù)制，北京站點兩個節(jié)點，天津站點兩個節(jié)點，北京站點有一臺DC，也承載ISCSI服務(wù)器角色，北京站點群集使用ISCSI存儲架構(gòu)，天津站點兩個節(jié)點，使用S2D架構(gòu)，分別模擬節(jié)點宕機，站點宕機，站點恢復(fù)后反向復(fù)制。

AD&北京ISCSI

Lan：10.0.0.2 255.0.0.0

ISCSI：30.0.0.2 255.0.0.0

16Server1

MGMT: 10.0.0.3 255.0.0.0 DNS 10.0.0.2

ISCSI：30.0.0.3 255.0.0.0

Heart：18.0.0.3 255.0.0.0

16Server2

MGMT: 10.0.0.4 255.0.0.0 DNS 10.0.0.100

ISCSI：30.0.0.4 255.0.0.0

Heart：18.0.0.4 255.0.0.0

天津站點

16Server3

MGMT: 10.0.0.5 255.0.0.0 DNS 10.0.0.2

S2D：30.0.0.5 255.0.0.0

Heart：19.0.0.5 255.0.0.0

16Server4

MGMT: 10.0.0.6 255.0.0.0 DNS 10.0.0.2

S2D：30.0.0.6 255.0.0.0

Heart：19.0.0.6 255.0.0.0

由于我們采用群集對群集架構(gòu)，因此網(wǎng)絡(luò)上面也更加靈活，例如，心跳網(wǎng)絡(luò)不必都在同一個網(wǎng)段內(nèi)，因為心跳網(wǎng)絡(luò)是群集級別，跨群集了之后即便你在一個網(wǎng)段，另外的群集也不知道，管理網(wǎng)絡(luò)也可以使用不同的子網(wǎng)，例如如果不做多個復(fù)制組，不做多活的話，那么天津的對外網(wǎng)絡(luò)可以設(shè)置在一個安全的網(wǎng)段下，正常不對外提供服務(wù)，再通過網(wǎng)絡(luò)策略限制存儲復(fù)制流量從ISCSI卡到S2D卡，這樣只需要打通兩個群集的存儲流量即可，天津如果有DC，則最好群集可以使用天津站點DC。當(dāng)災(zāi)難發(fā)生時，再把北京的網(wǎng)絡(luò)和天津的管理網(wǎng)絡(luò)打通，讓北京用戶訪問天津的角色

操作流程

1.北京站點接入存儲

2.北京站點創(chuàng)建群集

3.北京站點創(chuàng)建群集角色

4.天津站點接入存儲

5.天津站點創(chuàng)建群集

6.天津站點開啟S2D

7.天津站點創(chuàng)建群集角色

8.分配互相群集權(quán)限

9.創(chuàng)建存儲復(fù)制

10.站點災(zāi)難恢復(fù)

北京站點接入存儲

16server1

16server2

北京站點創(chuàng)建群集，配置群集仲裁為文件共享見證或云見證

北京站點創(chuàng)建文件服務(wù)器群集角色

可以看到，老王這里創(chuàng)建的群集角色是SOFS，這是跨群集復(fù)制和延伸群集的不同點，延伸群集的時候微軟說明負載只是CSV和傳統(tǒng)高可用文件服務(wù)器角色，但是在跨群集復(fù)制時場景又變成了可以支持SOFS，我們都知道SOFS主要強調(diào)的是文件服務(wù)器雙活以及透明故障轉(zhuǎn)移，由于在延伸群集中故障轉(zhuǎn)移需要先存儲切換再轉(zhuǎn)移角色，因此很難實現(xiàn)透明故障轉(zhuǎn)移，在跨群集復(fù)制時，可能由于是兩個群集，所以每個群集內(nèi)部可以部署SOFS，實現(xiàn)群集內(nèi)部的透明故障轉(zhuǎn)移，至于站點故障，則沒辦法完全透明

天津各節(jié)點接入本地存儲，大小隨意，最后我們在群集存儲空間上面會重新創(chuàng)建群集磁盤

16server3

16server4

拿到存儲后，各節(jié)點把磁盤聯(lián)機，初始化為GPT磁盤即可，不要直接對磁盤進行分區(qū)操作，我們需要再通過S2D包上一層才能交付給群集

天津站點創(chuàng)建S2D群集

New-Cluster -Name TJCluster -Node 16Server3,16Server4  -StaticAddress 10.0.0.20 –NoStorage

注：執(zhí)行前確保節(jié)點已符合S2D需求，生產(chǎn)環(huán)境建議執(zhí)行群集驗證

開啟群集S2D功能

Enable-ClusterS2D -CacheState disabled -Autoconfig 0 -SkipEligibilityChecks

如果你是在vmware workstation上面模擬這個實驗，你會發(fā)現(xiàn)開啟S2D的過程會始終卡在這里，沒辦法進行下去，查看日志發(fā)現(xiàn)S2D一直沒辦法識別磁盤

但是到底是什么原因識別不了磁盤呢，vmware虛擬上來的磁盤是SAS總線的，也符合S2D的需求，經(jīng)過一番研究后，老王找到了原因，原來通過vmware虛擬出來的虛擬機沒有Serial Number，而開啟S2D會去找磁盤的這個數(shù)字，找不到，所以磁盤沒辦法被聲明為S2D可用

通過在vmware虛擬機vmx配置文件關(guān)機添加參數(shù)即可

disk.EnableUUID="true"

添加完成后開機可以看到Serial Number已經(jīng)可以正常顯示

配置各節(jié)點磁盤MediaType標(biāo)簽

再次開啟S2D，順利通過，現(xiàn)在我們可以在vmware workstation上面模擬S2D實驗！

創(chuàng)建群集存儲池

新建虛擬磁盤（存儲空間），這里的虛擬磁盤交付出來就是群集磁盤，所以我們要和北京群集的群集磁盤大小確保一致，以便實現(xiàn)存儲復(fù)制

數(shù)據(jù)磁盤

日志磁盤

天津站點配置群集角色

在天津站點任意節(jié)點上授予到北京站點群集的權(quán)限

Grant-SRAccess -ComputerName 16server3 -Cluster BJcluster  

在北京站點任意節(jié)點上授予到天津站點群集的權(quán)限

Grant-SRAccess -ComputerName 16server1 -Cluster TJcluster  

創(chuàng)建群集對群集復(fù)制關(guān)系

New-SRPartnership -SourceComputerName bjcluster -SourceRGName rg01 -SourceVolumeName C:\ClusterStorage\Volume1 -SourceLogVolumeName R: -DestinationComputerName tjcluster -DestinationRGName rg02 -DestinationVolumeName C:\ClusterStorage\Volume1 -DestinationLogVolumeName R:

創(chuàng)建完成復(fù)制關(guān)系后，當(dāng)前天津群集的數(shù)據(jù)磁盤會變成 聯(lián)機(無訪問權(quán)) ，到這里大家需要有這個意識，對于跨群集來說，我們現(xiàn)在把復(fù)制的邊界跨越了群集，因此每個復(fù)制組運作過程中都會有一個群集的數(shù)據(jù)磁盤是待命狀態(tài)，對于待命群集，復(fù)制組內(nèi)磁盤不能被使用，如果部署多個跨群集復(fù)制組，可以實現(xiàn)群集應(yīng)用互為待命。

當(dāng)前文件服務(wù)器群集角色在北京站點提供服務(wù)，所有者節(jié)點為16server1，已經(jīng)有一些數(shù)據(jù)文件

直接斷電16server1，SOFS自動透明故障轉(zhuǎn)移至同站點內(nèi)16server2

存儲復(fù)制繼續(xù)在同站點16server2進行，由此大家可以看出，存儲復(fù)制和Hyper-V復(fù)制一樣，在群集內(nèi)有一個復(fù)制協(xié)調(diào)引擎，通過群集名稱和外面的群集進行復(fù)制，然后再協(xié)調(diào)內(nèi)部由那個節(jié)點進行復(fù)制，一旦某個群集節(jié)點宕機，自動協(xié)調(diào)另外一個節(jié)點參與復(fù)制，區(qū)別在于Hyper-V復(fù)制在群集有顯式的群集角色，存儲復(fù)制的群集角色是隱藏的

接下來模擬北京站點全部發(fā)生災(zāi)難，16server1,16server2全部斷電，這時來到天津站點的群集可以看到，當(dāng)前群集磁盤處于脫機狀態(tài)，并不會自動完成跨群集的故障轉(zhuǎn)移

手動強制跨群集故障轉(zhuǎn)移

Set-SRPartnership -NewSourceComputerName tjcluster -SourceRGName rg02 -DestinationComputerName bjcluster -DestinationRGName rg01 -force

執(zhí)行完成后當(dāng)前數(shù)據(jù)在天津站點可讀

打開數(shù)據(jù)磁盤CSV可以看到北京站點的數(shù)據(jù)被完整復(fù)制過來

實際測試跨服務(wù)器故障轉(zhuǎn)移后，共享文件夾權(quán)限并不會被自動遷移，默認情況下會是未共享狀態(tài)，自行手動共享即可，猜想是跨服務(wù)器轉(zhuǎn)移磁盤的緣故，如果權(quán)限較多，大家可以嘗試下配合權(quán)限遷移能否映射過來，不過事實上，對于這種跨服務(wù)器故障轉(zhuǎn)移的負載，實際生產(chǎn)環(huán)境還是建議以SQL文件，VHDX，VHD文件為主，發(fā)生跨群集故障轉(zhuǎn)移后直接在新群集重新啟動數(shù)據(jù)庫或虛擬機角色。

現(xiàn)在我們完成了跨群集的災(zāi)難恢復(fù)，如果采用網(wǎng)絡(luò)分離的架構(gòu)，把天津站點的訪問公開給北京用戶即可，正如我們之前所說，轉(zhuǎn)移后會使用新的名稱進行訪問

即便這時天津站點再壞掉一個節(jié)點，SOFS也可以透明故障轉(zhuǎn)移至僅存的節(jié)點存活，前提是仲裁配置得當(dāng)

僅剩下一個最后節(jié)點時，存儲復(fù)制會處于暫停狀態(tài)，等待其它節(jié)點恢復(fù)

等待一段時間后，各站點服務(wù)器陸續(xù)修復(fù)完成上線，存儲復(fù)制自動恢復(fù)正常連續(xù)復(fù)制，當(dāng)前主復(fù)制站點為天津站點

如果希望此時繼續(xù)由北京站點恢復(fù)為主站點，可以執(zhí)行反轉(zhuǎn)復(fù)制，把天津站點內(nèi)容復(fù)制回北京站點，主備關(guān)系恢復(fù)

通過三篇對于Windows Server 2016存儲復(fù)制功能的介紹，相信大家對于這項技術(shù)都有了了解，很高興的一點是聽聞有的朋友看了我的博客已經(jīng)開始在實際環(huán)境使用了，存儲復(fù)制技術(shù)是2016存儲的一項主要進步，原生的塊級別復(fù)制，如果節(jié)點很少，不想維護群集的話，可以使用單機對單機場景實現(xiàn)災(zāi)難恢復(fù)，如果希望群集獲得最低的RTO/RPO，可以使用延伸群集功能，獲得自動化的災(zāi)難恢復(fù)，如果希望規(guī)劃更為復(fù)雜的架構(gòu)，針對于不同站點希望使用不同網(wǎng)絡(luò)和存儲架構(gòu)，實現(xiàn)跨群集跨站點級別的災(zāi)難恢復(fù)，現(xiàn)在也可以實現(xiàn)，最終希望大家看了文章后都能有自己的思考