windows server 2012重復(fù)數(shù)據(jù)刪除

據(jù)MS網(wǎng)站提供的描述，重復(fù)數(shù)據(jù)刪除是在不損害數(shù)據(jù)保真度或者完整性的情況下查找和刪除數(shù)據(jù)中的重復(fù)。通過將文件分段為小的可變大小的塊（32-128KB），識別重復(fù)的塊以及維護每個塊的副本，在更少的空間中存儲更多的數(shù)據(jù)。塊的冗余副本由對單個副本的引用替換。壓縮塊，然后將其組織到System Volume Information文件夾中的特殊容器文件中。

重復(fù)數(shù)據(jù)刪除以后，文件不再存儲為獨立的數(shù)據(jù)流，而是用存根指向存儲在公共塊存儲中的數(shù)據(jù)塊替換它們。這些文件共享塊只存儲一次，就減少了存儲所有文件所需的磁盤空間。在文件的訪問期間，透明的組裝正確的塊以提供數(shù)據(jù)而無需調(diào)用應(yīng)用程序或用戶知道對文件的磁盤轉(zhuǎn)換。這使得管理員能夠?qū)⒅貜?fù)數(shù)據(jù)刪除應(yīng)用于文件，而無需擔心應(yīng)用程序行業(yè)的任何更改或者對訪問這些文件的用戶的影響。

上面的圖是未啟用重復(fù)數(shù)據(jù)刪除的存儲示例，下面是啟用了重復(fù)數(shù)據(jù)刪除后文件的存儲方式。

重復(fù)數(shù)據(jù)刪除的服務(wù)器和卷的要求：

1. 服務(wù)器硬件要能滿足運行windows server 2012的最低條件，如內(nèi)存不能小于4GB。

2. 如果在同一個服務(wù)器的上多個卷運行重復(fù)數(shù)據(jù)刪除，需要進行適當?shù)挠布?guī)劃。一個卷需要1個CPU物理核心以及約350MB的專用內(nèi)存。每小時可以處理大約100GB的數(shù)據(jù)或者每天大約2T的數(shù)據(jù)。重復(fù)數(shù)據(jù)刪除在后臺處理模式下使用25%的系統(tǒng)內(nèi)存。 比如，你有16G系統(tǒng)，則可用于重復(fù)數(shù)據(jù)刪除的內(nèi)存為4G，這樣，內(nèi)存可以支持11個卷運行重復(fù)數(shù)據(jù)刪除，

3.重復(fù)數(shù)據(jù)刪除一次最多支持90個卷；

4. 不能對系統(tǒng)或者啟動卷應(yīng)用重復(fù)數(shù)據(jù)刪除，分區(qū)可以是MBR或者GPT分區(qū)，必須格式化為NTFS格式。

本文，我們通過實驗，簡要的來看看如何實現(xiàn)重復(fù)數(shù)據(jù)的刪除，以及在災(zāi)難發(fā)生時如何恢復(fù)文件的訪問。

一、 安裝重復(fù)數(shù)據(jù)刪除模塊

二、 對某個分區(qū)啟用重復(fù)數(shù)據(jù)刪除

打開服務(wù)器管理器，找到下方的文件和存儲服務(wù)，選中服務(wù)器的某個卷，在卷上配置重復(fù)數(shù)據(jù)刪除。

三、 運行重復(fù)數(shù)據(jù)刪除，我們將對早于0天的文件進行刪除重復(fù)。

實驗環(huán)境中，卷E有五個一樣的文件夾，未重刪以前，占用空間為3.06GB。

對于非系統(tǒng)卷、啟動卷或者已經(jīng)開啟重復(fù)數(shù)據(jù)刪除的卷，還可以運行一個評估工具來查看可以節(jié)省的空間。在本實驗中，我們將這五個文件夾復(fù)制到F:\data，對這個目錄進行重復(fù)數(shù)據(jù)刪除可以節(jié)約空間的評估。

手動觸發(fā)一次重刪工作。

Start-DedupJob –Volume E: –Type Optimization

重刪完成以后，E盤整個空間占用都只有800多M了，而之前只有那五個文件夾就占用了3.06G

我們可以通過下列命令來查看重刪除的效果 get-dedupstatus | format-list

然后，我們再來看看，這五個文件夾，占用的空間大小為0了，也就是說，這些文件并沒有存儲到我們看到的這個位置，而是放到了System Volume Information那里頭了。

至此，我們可以看到，確實是節(jié)約了2.45GB的存儲空間，節(jié)省空間占比接近80%，也印證了那句話：相同的數(shù)據(jù)只存儲一次。 不過windows是對文件進行分塊來對比的，而不是對底層的block對比。

接下來，我們來看看，有一天，OS崩潰了，我們重裝，如何讓數(shù)據(jù)能正常訪問。

為了印證文件是否可以訪問，我準備將重裝后的2012上的，將運行了重復(fù)數(shù)據(jù)刪除的文件夾下的一個文件進行復(fù)制。結(jié)果是無法復(fù)制。

此時，我們應(yīng)該在新裝操作系統(tǒng)的服務(wù)器上，重新安裝重復(fù)數(shù)據(jù)刪除的角色，安裝完成以后，原來那E盤這個卷設(shè)置的重刪的相關(guān)規(guī)則會繼承重裝前的。不需要額外再進行設(shè)置，這樣，數(shù)據(jù)又能夠正常訪問了。

附：微軟重復(fù)數(shù)據(jù)刪除鏈接：https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-R2-and-2012/hh831602(v=ws.11)