杉巖數(shù)據(jù)媒資CDN視頻存儲(chǔ)解決方案

一、 方案背景

高清、超高清視頻的蓬勃發(fā)展，用戶對(duì)高品質(zhì)視頻體驗(yàn)的渴望，對(duì)網(wǎng)絡(luò)的并發(fā)處理和內(nèi)容平臺(tái)的存儲(chǔ)能力提出了更高的要求。作為產(chǎn)業(yè)鏈的重要一環(huán)，CDN（內(nèi)容分發(fā)網(wǎng)絡(luò)）進(jìn)入規(guī)范發(fā)展快車道。CDN的快速發(fā)展將為內(nèi)容分發(fā)平臺(tái)的建設(shè)和普及提供強(qiáng)有力的支撐。隨著業(yè)務(wù)的不斷拓展，具備橫向擴(kuò)展、彈性自適應(yīng)、支撐海量客戶端并發(fā)訪問的存儲(chǔ)平臺(tái)順應(yīng)超高清視頻時(shí)代的發(fā)展趨勢(shì)。

二、 挑戰(zhàn)

1、 傳統(tǒng)存儲(chǔ)無法滿足源站新型業(yè)務(wù)需求

源站是視頻點(diǎn)播平臺(tái)的核心內(nèi)容庫(kù)，隨著時(shí)間的推移，采購(gòu)的節(jié)目和內(nèi)容越來越多，存儲(chǔ)需要支撐幾十甚至上百PB的內(nèi)容，而受限于機(jī)頭或者架構(gòu)，傳統(tǒng)存儲(chǔ)平臺(tái)并不能存儲(chǔ)所有內(nèi)容，且在面臨需要擴(kuò)容的時(shí)候無法實(shí)現(xiàn)不停機(jī)擴(kuò)容。

2、 傳統(tǒng)數(shù)據(jù)保護(hù)手段存在安全問題

由于容量、架構(gòu)限制等問題，傳統(tǒng)存儲(chǔ)往往采用多套存儲(chǔ)來進(jìn)行數(shù)據(jù)存儲(chǔ)，且每套存儲(chǔ)只能采用RAID等機(jī)制等保障數(shù)據(jù)安全。由于數(shù)據(jù)量越來越大，存儲(chǔ)節(jié)點(diǎn)越來越多，單點(diǎn)故障等問題凸顯。

3、 傳統(tǒng)存儲(chǔ)無法應(yīng)對(duì)海量用戶端的巨大流量壓力

前端用戶的增長(zhǎng)帶來了更高的流量輸出，但傳統(tǒng)模式下后端存儲(chǔ)受限于機(jī)頭，存儲(chǔ)的穩(wěn)定視頻流輸出無法通過擴(kuò)容繼續(xù)提升，為了提高用戶觀看體驗(yàn)，需要CDN和線路等其他環(huán)節(jié)進(jìn)行視頻流加速處理。

4、 傳統(tǒng)存儲(chǔ)無法支持快速索引和視頻后處理需求

傳統(tǒng)存儲(chǔ)不支持索引，不能直接通過索引、緩存、流分裂、組播等技術(shù)，將內(nèi)容發(fā)布或投遞到距離用戶最近的服務(wù)節(jié)點(diǎn)，也無法支持視頻的內(nèi)容分析、內(nèi)容審核、智能生產(chǎn)等視頻智能化處理引擎。

三、 解決方案

CDN視頻存儲(chǔ)解決方案提供源站視頻數(shù)據(jù)的統(tǒng)一存儲(chǔ)平臺(tái)。通過杉巖海量對(duì)象存儲(chǔ)（SandStone MOS）將多臺(tái)服務(wù)器上的本地磁盤整合起來，形成一個(gè)或多個(gè)大規(guī)模存儲(chǔ)資源池，通過多副本和故障域的數(shù)據(jù)安全保護(hù)機(jī)制，保證數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性。

CDN是多讀少寫的應(yīng)用場(chǎng)景，在寫入數(shù)據(jù)時(shí),存儲(chǔ)將數(shù)據(jù)切片均勻、冗余地分布到不同服務(wù)器的不同硬盤上；在讀取數(shù)據(jù)時(shí),從多個(gè)節(jié)點(diǎn)的硬盤同時(shí)讀取，提供高帶寬的穩(wěn)定視頻流，同時(shí)為了滿足前端多并發(fā)的需求，存儲(chǔ)還自帶負(fù)載均衡服務(wù)，不會(huì)出現(xiàn)網(wǎng)絡(luò)瓶頸和卡頓，保證了高品質(zhì)視頻體驗(yàn)。

四、 方案收益

l 分布式數(shù)據(jù)存儲(chǔ)，彈性擴(kuò)展高可靠

采用去中心化的分布式架構(gòu),存儲(chǔ)容量可達(dá)EB級(jí)以上

可按需采購(gòu)，容量與性能隨節(jié)點(diǎn)數(shù)增加線性增長(zhǎng)

多副本、多故障域等多種安全機(jī)制保障數(shù)據(jù)安全

硬件異常時(shí)，啟動(dòng)自動(dòng)化快速數(shù)據(jù)重建機(jī)制

l 視頻優(yōu)化技術(shù)，更快速的視頻訪問體驗(yàn)

大文件數(shù)據(jù)切片存儲(chǔ)，提供多節(jié)點(diǎn)、高帶寬穩(wěn)定視頻流

存儲(chǔ)節(jié)點(diǎn)在線擴(kuò)容，性能輸出呈線性增長(zhǎng)，底層數(shù)據(jù)自動(dòng)分布均衡

視頻流量負(fù)載均衡，支撐前端海量?jī)?nèi)容并發(fā)讀取

l 視頻標(biāo)簽索引，智能視頻處理

內(nèi)置視頻的內(nèi)容分析、內(nèi)容審核、智能生產(chǎn)等視頻智能化處理引擎

自動(dòng)視頻標(biāo)簽處理，更快速、精確地檢索視頻

支持與Hadoop、Spark等大數(shù)據(jù)分析平臺(tái)對(duì)接

l 高兼容性，完美匹配主流CDN平臺(tái)

采用標(biāo)準(zhǔn)S3對(duì)象存儲(chǔ)協(xié)議，可平滑對(duì)接至現(xiàn)有支持S3協(xié)議的業(yè)務(wù)系統(tǒng)

提供RESTFul API、控制臺(tái)以及多種語言的SDK工具包

提供開發(fā)支持服務(wù)，支持點(diǎn)播平臺(tái)快速改造上線