大容量文件服務(wù)器備份方案

公司有一臺文件服務(wù)器，提供給設(shè)計部門，用來存放圖紙，空間10T，已使用容量9.2T，文件約為100萬個。由于文件服務(wù)器使用一臺較為低端的DELL R320加上幾個SATA硬盤做的RAID5，為安全計，需要備份數(shù)據(jù)。

對于備份的方案前期我們也做了一些調(diào)研，比如使用備份一體機還是使用傳統(tǒng)的方案來進行備份。并且對各方面進行了一番對比。

簡單的來講，使用備份一體機，就是使用一臺專門的一體機，只為這10T內(nèi)容進行備份。因為10T的內(nèi)容按照備份速度50MB/s,需要58小時才能備份完成。如果使用原有的備份一體機，那么在這個時間段內(nèi)，其他數(shù)據(jù)的備份可能存在資源沖突。也有可能，10T數(shù)據(jù)備份，加上其他數(shù)據(jù)備份到同一臺，這10T數(shù)據(jù)可能需要3-5天的時間才能完成。所以需要一臺專門的備份一體機來為這10T數(shù)據(jù)備份。

而使用傳統(tǒng)方案，則是使用卷影副本+DFS+WSB。具體是這樣操作：在原有的服務(wù)器上，我們對存放數(shù)據(jù)的10T的卷做了卷影副本，如果空間充足，可以提供多達64個以前的版本。新購買一臺服務(wù)器，可用空間50T，價格約為5.5萬元，數(shù)據(jù)存放劃分兩個區(qū)，一個20T的空間用于存放DFS的已復(fù)制文件夾，另一個30T的空間用于使用WSB進行備份。DFS即分布式文件系統(tǒng)，可以用來抵御因硬件損壞帶來的單點故障（與備份不同），這樣，如果原有的10T服務(wù)器當(dāng)機后，這臺機器依然可以提供給用戶訪問。而數(shù)據(jù)的備份就依靠windows server backup來做了，經(jīng)過測試環(huán)境的檢驗，使用WSB默認設(shè)置，即完全備份-副本備份，其實際上做的備份會進行重復(fù)數(shù)據(jù)刪除或者說實際上做的是增量備份，除第一次全備外，并不會每次備份10個T的數(shù)據(jù)，而只會備份增量的數(shù)據(jù)。通過這個方案，我們可以抵御硬件帶來的單點故障，對于小量的文件恢復(fù)，可以使用卷影副本來恢復(fù)，而如果面對服務(wù)器感染勒索病毒等情況下，還有備份可以還原。當(dāng)然，前提是服務(wù)器需要打好補丁，安裝好正版的殺毒軟件。

兩個方案報給領(lǐng)導(dǎo)，領(lǐng)導(dǎo)決定使用傳統(tǒng)的備份方案。

接下來需要準(zhǔn)備在實驗環(huán)境下進行測試了，主要是考慮到10T的數(shù)據(jù)，進行DFS的初始復(fù)制需要的時間很長。根據(jù)微軟網(wǎng)站上的實驗，1400萬個文件，共10T，進行初始同步花費了24天，微軟網(wǎng)站上把這個形成為一種針對網(wǎng)絡(luò)的***。官方推薦的做法是預(yù)先通過將目標(biāo)服務(wù)器上放置源服務(wù)器上存在的數(shù)據(jù)，并且通過導(dǎo)出DFS數(shù)據(jù)庫，再導(dǎo)入數(shù)據(jù)庫到目標(biāo)服務(wù)器的方式來減少DFS初始同步的問題。

我先把要點捋一下：

一、 在兩臺服務(wù)器上都安裝DFS復(fù)制組件，DFS復(fù)制與DFS命名空間是分開的，可以不安裝DFS命名空間。將源服務(wù)器（10T）加入到復(fù)制組并且創(chuàng)建已復(fù)制文件夾。使之成為初始復(fù)制的主要成員。

二、在源服務(wù)器上導(dǎo)出DFS數(shù)據(jù)庫的克隆

三、使用robocopy將源服務(wù)器（10T）的數(shù)據(jù)拷貝到目標(biāo)服務(wù)器（50T）

四、 在目標(biāo)服務(wù)器上將第二步在源上導(dǎo)入的DFS數(shù)據(jù)庫導(dǎo)入到目標(biāo)服務(wù)器

五、 將目標(biāo)服務(wù)器加入到復(fù)制組

六、進行初次同步

注意問題：

1. 目標(biāo)服務(wù)器不要在最開始的時候加入到已復(fù)制組，需要等到數(shù)據(jù)復(fù)制完成，DFS數(shù)據(jù)庫導(dǎo)入完成后再加入。

2. 目標(biāo)服務(wù)器和源服務(wù)器不要搞混，源服務(wù)器指擁有權(quán)威數(shù)據(jù)的服務(wù)器，它應(yīng)該被設(shè)置成為初始復(fù)制的主服務(wù)器，也稱為上游服務(wù)器；目標(biāo)服務(wù)器是指新服務(wù)器，沒有數(shù)據(jù)的50T服務(wù)器，也稱為下游服務(wù)器。

3. 在下游服務(wù)器上，不要手動創(chuàng)建被同步的文件夾，這兩個文件夾應(yīng)該由robocopy來創(chuàng)建，以免文件HASH存在不一致，導(dǎo)致DFS初始化時間過長。

4. 進行初始復(fù)制的時候，由上游服務(wù)器做為權(quán)威，會去同步下游服務(wù)器。而此時下游服務(wù)器上存在，上游服務(wù)器上不存在的數(shù)據(jù)，會被存放到下游服務(wù)器的dfsrprivate\preexiting這個目錄下。這個目錄是隱藏的，就在你的已同步文件夾里面。顯示隱藏和系統(tǒng)文件即可看到。

5. 可以適當(dāng)調(diào)整暫存文件夾和沖突和已刪除文件夾的大小。建議暫存文件夾至少為4需要同步的最大文件的大小，否則，可能會報錯。

接下來，我們開始實驗

實驗環(huán)境：有兩臺windows server 2012的虛擬機，dc201201 IP:192.168.99.98，充當(dāng)DC以及DFS復(fù)制的上游服務(wù)器； dc201202 IP:192.168.99.99,充當(dāng)DFS復(fù)制的下游服務(wù)器。

實驗?zāi)繕?biāo)：上游服務(wù)器上存在數(shù)千個文件，需要使用預(yù)播的方式存到下游服務(wù)器，以便初次同步能迅速完成。

已復(fù)制文件夾名稱：部門文檔

DFS復(fù)制

一、 在DC201201上安裝AD域服務(wù)，并且將其提升為新林contoso.com中的第一個域的DC

二、 域控安裝完成之后，在兩臺機器上分別安裝DFS復(fù)制這個管理組件。

Install-WindowsFeature –Name Fs-Dfs-Replication -IncludeManagementTools

三、 在兩臺服務(wù)器上分別創(chuàng)建分區(qū)E和F，大約都為50G。在dc201201的E盤創(chuàng)建了部門文檔文件夾，并且放入了4875個文件，大小約為900M。

四、在上游服務(wù)器上創(chuàng)建復(fù)制組，創(chuàng)建一個已復(fù)制文件夾，并指定該文件夾在上游服務(wù)器的物理位置。

驗證：等待DFS復(fù)制的事件日志中出現(xiàn)4112，這表示這臺服務(wù)器DC201201是初始化復(fù)制時的主文件夾。

五、導(dǎo)出上游服務(wù)器的克隆數(shù)據(jù)庫和卷配置的XML文件，它還要求該卷上的任何已復(fù)制文件夾都未處于初始同步階段。

在這一個通PS創(chuàng)建了一個e:\dfsrclone的文件夾，并且將E盤的信息做出了一個克隆，注意，這個并不是真實的數(shù)據(jù)文件的克隆。

在這一步實施的時候，建議讓用戶不要訪問e:\部門文檔上的內(nèi)容，因為這會導(dǎo)致克隆的效率降低。更重要的一點是，在初始復(fù)制完成以前，絕對禁止用戶訪問下游（目標(biāo)）服務(wù)器上的文件。

在克隆數(shù)據(jù)庫的時候，它給出了如何將數(shù)據(jù)和數(shù)據(jù)庫復(fù)制到下游服務(wù)器的命令，按照給出的命令執(zhí)行即可，目標(biāo)可以使用UNC路徑的方式來表示。

五、驗證數(shù)據(jù)庫的導(dǎo)出和上游服務(wù)器初始復(fù)制已經(jīng)準(zhǔn)備好。分別通過日志2402和2002表示。日志2402表示克隆的數(shù)據(jù)庫已經(jīng)導(dǎo)出完成，2002表示初始復(fù)制已經(jīng)在主服務(wù)器上準(zhǔn)備好。

六、將已復(fù)制文件夾內(nèi)的數(shù)據(jù)使用robocopy復(fù)制到下游服務(wù)器。需要特別注意的是，目標(biāo)路徑不能在下游服務(wù)器上手動創(chuàng)建，讓robocopy自動創(chuàng)建即可。

通過robocopy的顯示，共復(fù)制了4875個文件，1002M，花費了21秒。

執(zhí)行的命令

```

Robocopy.exe“e:\部門文檔”“\\dc201202\E$\部門文檔”/ E / B / COPYALL / R：6 / W：5 / MT：64 / XD DfsrPrivate / TEE /LOG+:preseed.log

/E:

```

請勿在卷的根目錄上使用robocopy / MIR選項，不要在下游服務(wù)器上手動創(chuàng)建已復(fù)制的文件夾，也不要運行先前已復(fù)制的robocopy文件（即如果必須重新開始，請刪除目標(biāo)文件夾和文件結(jié)構(gòu)，并真正重新開始）。讓robocopy創(chuàng)建所有文件夾，并在每次運行時通過/ e / b / copyall選項將所有內(nèi)容復(fù)制到下游服務(wù)器。否則，您很可能最終會出現(xiàn)哈希不匹配。

接下來，我們需要將導(dǎo)出的E盤的數(shù)據(jù)庫XML文件通過xcopy復(fù)制到下游服務(wù)器，同時，在這個時候，為了模擬上游服務(wù)器有人使用，復(fù)制了幾個大文件到上游服務(wù)器。

七、驗證文件HASH，驗證兩臺服務(wù)器上的文件的HASH值是否一致，如果HASH一致，則表示這些文件在初始復(fù)制的時候無需再進行同步了。建議在多個目錄下進行比對。

八、在下游服務(wù)器上導(dǎo)入數(shù)據(jù)庫和XML文件，在導(dǎo)入之前，請確保下游服務(wù)器的e:\system volume information\dfsr這個文件夾不存在。

也可以使用以下方法來確保DFSR里不存在任何文件。

1. 創(chuàng)建一個e:\empty的文件夾

2. robocopy "e:\cmpty" "e:\system vloume information\dfsr" /mir

本文略過此步

九、驗證下游服務(wù)器的數(shù)據(jù)庫和XML文件導(dǎo)入是否成功，通過DFS復(fù)制的日志來查看，2412，2416，2404.看到日志2404則表示已經(jīng)完成了導(dǎo)入。

十、 將下游服務(wù)器dc201202加入到復(fù)制組

十一、驗證初始復(fù)制是否成功，需要等待DFS復(fù)制日志4104，請注意，在這里不會出現(xiàn)日志4102.如果在上游導(dǎo)出了克隆后，上游又有數(shù)據(jù)被更改了，那么這些文件將以權(quán)威的方式復(fù)制到下游服務(wù)器。

至此，DFS的復(fù)制工作完成。我們來下游服務(wù)器上看看數(shù)據(jù)是否被復(fù)制過來了。

驗證一下同步功能，在下游服務(wù)器上刪除紅色HDTV01.MKV這個文件，查看上游是否會同步。

驗證結(jié)果是可以同步。

卷影副本

vssadmin add shadowstorage /for=d: /on=e: /maxsize=2GB

1. 卷影副本最多可以支持多達64個以前的版本，如果超過64個，它會自動刪除最前面的版本。

2. 卷影副本不適合大量讀寫的文件，可能導(dǎo)致CPU占用率居高不下

在這里，我準(zhǔn)備的方案是在兩臺機器上都開啟卷影副本。卷影副本占用的空間，我的做法是上游服務(wù)器1T，下游服務(wù)器2T。實驗環(huán)境，都是取10%

首次開啟卷影副本，會自動創(chuàng)建一次。在我的實際環(huán)境中，10T的數(shù)據(jù)空間，將卷影副本放到另外一個1T的空間。保存了64個副本。

提示：卷影副本不能完全當(dāng)成備份使用，特別是你的磁盤空間不足的情況下，如果磁盤被擦寫一次完整的，可能會丟失所有的卷影副本。

備份

安裝windows server backup備份工具，并且進行默認的備份，默認的備份指完全備份，副本備份。下次有時候我再去執(zhí)行非副本方式的備份。

一、在下游服務(wù)器， 通過向?qū)О惭bwsb

在這里，默認的備份頻率是每天一天或者多次，我們可以更改任務(wù)計劃里的back的相關(guān)計劃來調(diào)整頻率。

進行首次備份，然后，添加1G文件，再進行第二次備份。查看兩次備份總共占用的空間大小。

E盤已用空間4.42G，F(xiàn)盤目前占用空間為0.1G

備份第一次后，F(xiàn)盤已用空間為6.02GB

復(fù)制兩個總共1G的文件，到E:\部門文檔

再次執(zhí)行備份，F(xiàn)盤已用空間為6.1G。

通過這個實驗，我們進行了兩次完全備份，第一次占用了6G空間，第二次備份，只占用了0.1G。它并沒有占用兩次備份的數(shù)據(jù)之和的空間。所以說明它是增量備份或者說是進行了重復(fù)數(shù)據(jù)刪除的。（還要去查資料）

數(shù)據(jù)還原：

打開windows server backup,點擊恢復(fù)，可以通過日期來看到備份編錄。

災(zāi)難恢復(fù)

如果哪一天，50T空間的服務(wù)器操作系統(tǒng)故障，重裝了，如何來有效的利用這上面的數(shù)據(jù)呢？

1. 卷影副本：

重裝前的卷影副本有四次，

重裝系統(tǒng)以后的數(shù)據(jù)：

2. 備份的數(shù)據(jù)

重裝系統(tǒng)以前，備份的數(shù)據(jù)有以下幾次

在重裝后的系統(tǒng)啟用WSB的恢復(fù)向?qū)?/p>

請注意上圖，11月2日到6日，數(shù)字加粗了，就表示有備份。這樣，即使是重裝了系統(tǒng)，也可以把原來的卷影副本和備份的數(shù)據(jù)找到。當(dāng)然，由于這個備份的平臺是Windows平臺，一定要考慮好安全問題，一個是即時打補丁，一個是安裝殺毒軟件。 另外一點就是，DFS我們這個實驗中設(shè)置的時實時的同步，也可以選擇為非實時的，即多長時間復(fù)制一次，比如每周二、周六晚上0點到7：00進行復(fù)制，甚至也可以使用robocopy進行復(fù)制。像我原來公司的文件服務(wù)器就是每周三次的robocopy進行的復(fù)制，這樣有一個好處就是萬一哪天原文件服務(wù)器被勒索病毒***，加密了，我還有一個緩沖的時間，這樣至多丟失三天的數(shù)據(jù)。

附全文腳本：（PS的腳本我也不熟悉，除了導(dǎo)出和導(dǎo)出數(shù)據(jù)庫和XML以外，竊以為，其他的都可以通過GUI來實現(xiàn)）

On the upstream DC201201 server:

New-DfsReplicationGroup “VSS” |

New-DfsReplicatedFolder -FolderName “部門文檔” | Add-DfsrMember -ComputerName dc201201

Set-DfsrMembership –GroupName “VSS” -ComputerName dc201201 -ContentPath "E:\部門文檔" -PrimaryMember $True -FolderName “部門文檔” 

Update-DfsrConfigurationFromAD 

Get-WinEvent “Dfs replication”  -MaxEvents 4 | fl 

New-Item -Path “E:\Dfsrclone” -Type Directory 

Export-DfsrClone -Volume E: -Path “E:\Dfsrclone” 

Robocopy.exe “E:\部門文檔”  “\\dc201202\E$\部門文檔” /E /B /COPYALL /R:6 /W:5 /MT:64 /XD DfsrPrivate /TEE /LOG+:preseed.log 

Robocopy.exe E:\Dfsrclone \\dc201202\e$\Dfsrclone

On the downstream DC201202 server (note: you may need to stop the DFSR service to perform the first step; be sure to start it up again so that you can run the import)

RD “E:\System Volume Information\DFSR” –Force -Recurse 

Import-DfsrClone -Volume E: -Path “E:\Dfsrclone” 

Get-WinEvent “Dfs replication”  -MaxEvents 10 | fl 

Add-DfsrMember -GroupName “VSS” -ComputerName “DC201202” | Set-DfsrMembership -FolderName “部門文檔” -ContentPath “E:\部門文檔” 

Add-DfsrConnection -GroupName “VSS” -SourceComputerName “DC201201” -DestinationComputerName “DC201202” 

Update-DfsrConfigurationFromAD DC201201,DC201202 

Get-WinEvent “Dfs replication” -MaxEvents 10 | fl