AnyShare Family 7是怎樣解決海量小文件備份難題

AnyShare Family 7是怎樣解決海量小文件備份難題，針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

這段時(shí)間，我花了很多時(shí)間研究海量小文件的備份，發(fā)現(xiàn)各種方案都有很大的局限性

我以為這是一個(gè)世界級(jí)的難題，但看了愛(ài)數(shù)7月6日的AnyShare Family 7揭秘會(huì)后，我恍然大悟，原來(lái)解決的思路如此簡(jiǎn)單，但確實(shí)很實(shí)用，確實(shí)幫助AnyShare Family 7的用戶解決大問(wèn)題。

AnyShare Family 7是愛(ài)數(shù)全新的整合、管理、洞察非結(jié)構(gòu)化數(shù)據(jù)的生產(chǎn)力平臺(tái)，其實(shí)就是一個(gè)智能內(nèi)容云平臺(tái)。

AnyShare Family 7包含5大功能模塊，分別是整合業(yè)務(wù)應(yīng)用、內(nèi)容應(yīng)用開發(fā)、文檔管理、團(tuán)隊(duì)協(xié)作和數(shù)據(jù)洞察。

這次發(fā)布的AnyShare Family 7全新版本，相比AnyShare Family 6，有很多功能和性能的提升，比如智能搜索建立索引的時(shí)長(zhǎng)比AnyShare Family 6縮短了5倍。

在整體的架構(gòu)上，AnyShare Family 7也和OpenText一樣，采用了現(xiàn)代化的微服務(wù)體系架構(gòu)，更具有彈性和適應(yīng)性。

但這些都不是我關(guān)注的重點(diǎn)，我還是關(guān)注那個(gè)海量小文件的備份問(wèn)題，因?yàn)槲依Щ筮@些問(wèn)題已經(jīng)很多年了。

愛(ài)數(shù)總裁賀鴻富在AnyShare Family 7揭秘會(huì)上也講了，海量非結(jié)構(gòu)化數(shù)據(jù)帶來(lái)的是海量小文件的管理問(wèn)題。

比如愛(ài)數(shù)自己，有103TB的非結(jié)構(gòu)化數(shù)據(jù)，一共2070萬(wàn)個(gè)文件，平均文件大小是5.21MB。其實(shí)，5MB已經(jīng)不算小文件了，但這是一個(gè)平均數(shù)，小于1MB的文件估計(jì)最少也有幾百萬(wàn)。

AnyShare為了保存這些非結(jié)構(gòu)化數(shù)據(jù)，底層采用了基于Ceph的對(duì)象存儲(chǔ)（也可以是第三方的對(duì)象存儲(chǔ)）。因?yàn)閷?duì)象存儲(chǔ)的扁平架構(gòu)，更加適合保存海量的文件。

但是，如果要采用常規(guī)的方式，對(duì)對(duì)象存儲(chǔ)進(jìn)行備份和恢復(fù)，在文件小于1MB以后，備份和恢復(fù)速度都急劇下降。愛(ài)數(shù)自己的備份軟件如此，市場(chǎng)領(lǐng)導(dǎo)者Commvault的備份軟件也如此。

也就是備份100TB的平均大小為1MB的數(shù)據(jù)，備份和恢復(fù)時(shí)間都需要半個(gè)月左右。這樣的速度，肯定是無(wú)法滿足企業(yè)的RPO/RTO要求的。

但AnyShare Family 7采用全新的備份思路，同樣的數(shù)據(jù)，可以把備份和恢復(fù)的速度提高到僅需要5天左右。

而且關(guān)鍵的是，不僅僅只是速度提升3~4倍，更重要是性能穩(wěn)定，不會(huì)出現(xiàn)抖動(dòng)。也就是說(shuō)，備份和恢復(fù)的速度，到了10MB以后，和文件大小就沒(méi)有關(guān)系了。

從測(cè)試也可以看出，AnyShare Family 7的備份恢復(fù)，對(duì)小文件無(wú)感。10MB以下的文件，備份速度都一致，而且速度穩(wěn)定在250MB/s以上。

為什么愛(ài)數(shù)可以做得這么快？最主要原因就是另辟蹊徑，就是沒(méi)有像其他備份廠商一樣，采用標(biāo)準(zhǔn)的S3協(xié)議來(lái)備份對(duì)象存儲(chǔ)里的小文件。

大家知道，對(duì)象存儲(chǔ)基本都有小文件歸并技術(shù)。也就是說(shuō)，小文件都是歸并為大對(duì)象保存在對(duì)象存儲(chǔ)里面的。小文件歸并有兩個(gè)作用，一是提高文件讀寫的處理效率，第二是提高存儲(chǔ)的空間利用率。

小文件和大對(duì)象的對(duì)應(yīng)關(guān)系，對(duì)象存儲(chǔ)一般采用一個(gè)數(shù)據(jù)庫(kù)來(lái)保存這些元數(shù)據(jù)。當(dāng)你使用標(biāo)準(zhǔn)的S3接口來(lái)訪問(wèn)歸并后的小文件的時(shí)候，通過(guò)保存在數(shù)據(jù)庫(kù)里的元數(shù)據(jù)，可以輕易找到對(duì)應(yīng)的大對(duì)象和相應(yīng)的偏移量，把這個(gè)小文件讀取出來(lái)。

雖然對(duì)象存儲(chǔ)對(duì)小文件進(jìn)行了歸并，但是，備份軟件如果通過(guò)S3來(lái)訪問(wèn)的話，是感覺(jué)不到合并的大對(duì)象的。因此，備份軟件備份和恢復(fù)，還是要處理原始的小文件，而不能直接備份歸并后的大對(duì)象，因?yàn)閭浞蒈浖⒉恢佬∥募痛髮?duì)象的對(duì)應(yīng)關(guān)系。

而愛(ài)數(shù)是做備份軟件起家的，因此，覺(jué)得應(yīng)該采用全新的思路來(lái)解決這個(gè)問(wèn)題。即無(wú)需對(duì)象存儲(chǔ)來(lái)做小文件歸并，而是由AnyShare Family 7在對(duì)象存儲(chǔ)的前面增加對(duì)象存儲(chǔ)（OSS）網(wǎng)關(guān)，由OSS網(wǎng)關(guān)來(lái)進(jìn)行小文件歸并的工作。比如，所有小于10MB的文件，都在OSS網(wǎng)關(guān)進(jìn)行合并，合并成128MB以上的大對(duì)象，再保存在對(duì)象存儲(chǔ)里。當(dāng)然，OSS網(wǎng)關(guān)需要有一個(gè)數(shù)據(jù)庫(kù)來(lái)保存這些對(duì)應(yīng)關(guān)系。

當(dāng)AnyBackup Family 7去備份AnyShare Family 7的時(shí)候，AnyBackup Family 7能夠感知到OSS網(wǎng)關(guān)的存在，只備份歸并后的大對(duì)象，當(dāng)然還有對(duì)應(yīng)的元數(shù)據(jù)。當(dāng)恢復(fù)的時(shí)候，除了恢復(fù)歸并后的大對(duì)象外，也同時(shí)恢復(fù)其對(duì)應(yīng)的元數(shù)據(jù)。這樣，對(duì)于AnyBackup備份軟件來(lái)說(shuō)，根本就感知不到小文件的存在，這就是我們上面看到的一樣，10MB以下的小文件，不管文件大小如何，備份恢復(fù)性能都是一樣的。

妙，實(shí)在是妙。愛(ài)數(shù)充分利用AnyBackup和AnyShare兩個(gè)研發(fā)團(tuán)隊(duì)的合作優(yōu)勢(shì)，完美解決了AnyShare Family 7的海量小文件備份恢復(fù)問(wèn)題。

大家可能擔(dān)心，如果小文件需要修改，怎么辦？因?yàn)橐薷囊粋€(gè)大對(duì)象里面的小文件，還是非常麻煩的。但是，AnyShare作為內(nèi)容管理平臺(tái)，這種情況是非常少的。因?yàn)閮?nèi)容管理基本都是企業(yè)已經(jīng)完成的文檔。當(dāng)然，如果有修改需要也不要緊，因?yàn)閮?nèi)容管理平臺(tái)本身就具有多版本的管理能力，修改后的文件保存為新的版本，這樣就不會(huì)破壞已經(jīng)歸檔的大對(duì)象的穩(wěn)定性。

為了打消大家的顧慮，這次AnyShare Family 7揭秘會(huì)，愛(ài)數(shù)還宣布了一個(gè)高性能備份恢復(fù)保障計(jì)劃。

也就是說(shuō)，不管文件的數(shù)量和大小，AnyShare Family 7的備份和恢復(fù)速度都不小于100MB/s，而且，到明年年底之前，如果有第三方備份軟件備份海量小文件的速度比愛(ài)數(shù)AnyBackup Family 7快的話，那么客戶將免費(fèi)獲得AnyShare Family 7的軟件永久許可。

看來(lái)愛(ài)數(shù)還是非常自信的，不僅承諾了備份恢復(fù)的絕對(duì)速度，也承諾了相對(duì)的PK。愛(ài)數(shù)認(rèn)為從現(xiàn)在開始的一年半時(shí)間內(nèi)，其獨(dú)特的專用備份性能，應(yīng)該無(wú)人可以超越。

雖說(shuō)這是一個(gè)AnyShare Family 7專用的備份解決方案，但確實(shí)幫助AnyShare Family 7在相比其他內(nèi)容管理平臺(tái)來(lái)說(shuō)，有這個(gè)巨大的差異化優(yōu)勢(shì)。因?yàn)?，不是所有的?nèi)容管理廠商都有自己的備份軟件，而且就算有了，可能也沒(méi)有想到這個(gè)思路。

普適的海量小文件的備份世界難題，其實(shí)愛(ài)數(shù)并沒(méi)有解決，因?yàn)檫@個(gè)方案只針對(duì)AnyShare Family 7。但是，對(duì)于使用AnyShare Family 7的用戶來(lái)說(shuō)，這個(gè)就足夠了。AnyShare不僅僅是一個(gè)智能的內(nèi)容云平臺(tái)，而且自帶備份功能，再也不用擔(dān)心海量小文件愈來(lái)愈多帶來(lái)的數(shù)據(jù)保護(hù)難題了。

關(guān)于AnyShare Family 7是怎樣解決海量小文件備份難題問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。