1200服務(wù)器,1000億hits,揭秘新浪數(shù)據(jù)庫

利用碎片化時間查看資訊已經(jīng)成為互聯(lián)網(wǎng)原住民的生活方式，據(jù)大數(shù)據(jù)服務(wù)QuestMobile報告稱：2016年底，綜合資訊行業(yè)規(guī)模已達(dá)5.3億，同比增長率近70%，超過一半的移動網(wǎng)民都在使用新聞App。

　　4月18日，QuestMobile發(fā)布了2017春季報告，新浪新聞App作為新浪網(wǎng)最重要的分支之一，月用戶規(guī)模(月活)達(dá)6056萬，同比增長138.3%，中高消費水平用戶占比75.4%。面對如此體量，新浪網(wǎng)的后端數(shù)據(jù)庫如何支持?在數(shù)據(jù)庫選型上有哪些標(biāo)準(zhǔn)?數(shù)據(jù)安全又如何把控?帶著這些疑問，我們訪問了新浪數(shù)據(jù)庫平臺高級DBA趙景波。

　　趙景波，先后就職于杭州沃趣科技、新浪網(wǎng)，從事Oracle、MySQL、Redis相關(guān)方面的運維工作。目前為新浪數(shù)據(jù)庫平臺高級DBA，主要負(fù)責(zé)新浪數(shù)據(jù)庫平臺Redis自動化運維、kafka運維等相關(guān)方面工作。

　　揭秘新浪網(wǎng)的數(shù)據(jù)庫構(gòu)成

　　據(jù)趙景波介紹，目前新浪網(wǎng)的數(shù)據(jù)庫平臺共有9個主要IDC，1200+服務(wù)器，7k+實例，1000+億 hits/天，總存儲容量1PB+。為了更好的滿足公司業(yè)務(wù)需求，新浪網(wǎng)采取了不同的數(shù)據(jù)庫平臺和數(shù)據(jù)系統(tǒng)服務(wù)平臺來提供相關(guān)的數(shù)據(jù)服務(wù)：

　　·基于MySQL的關(guān)系型數(shù)據(jù)庫存儲服務(wù)

　　·基于Redis的KV存儲服務(wù)

　　·基于Mongodb的文檔存儲服務(wù)

　　·基于Hbase半結(jié)構(gòu)化大數(shù)據(jù)存儲服務(wù)

　　·基于Memcached的緩存服務(wù)

　　·基于mcq和kafaka的消息隊列服務(wù)

　　·zookeeper服務(wù)，業(yè)務(wù)如果有數(shù)據(jù)發(fā)布/訂閱、命名服務(wù)，選舉等需求也可以申請使用。

　　新浪網(wǎng)作為國內(nèi)主流的新聞門戶網(wǎng)站，業(yè)務(wù)場景繁多，不同的業(yè)務(wù)場景是如何進(jìn)行數(shù)據(jù)庫選型的呢?趙景波表示因為MySQL是一個很成熟的產(chǎn)品，其插件式的引擎特性也能滿足大多數(shù)場景要求，再加上它的社區(qū)相當(dāng)活躍，人才儲備也最豐富，所以如果業(yè)務(wù)場景適合會優(yōu)先選擇MySQL。但是如果業(yè)務(wù)場景有某些特殊需求，我們也會考慮其他數(shù)據(jù)庫，例如業(yè)務(wù)場景只是簡單的kv存儲模型、或者業(yè)務(wù)對于響應(yīng)時間要求極高，再或者業(yè)務(wù)需要schemaless類型的數(shù)據(jù)庫以便于業(yè)務(wù)快速開發(fā)迭代等等。

　　目前新浪網(wǎng)平臺不僅提供MySQL服務(wù)，還同時提供MongoDB、Redis、Memcached、Hbase等服務(wù)。趙景波為我們介紹了新浪網(wǎng)內(nèi)部服務(wù)發(fā)布系統(tǒng)的變遷，早年新浪網(wǎng)發(fā)布的新聞都是用MySQL存儲，隨著業(yè)務(wù)發(fā)展，個性化的需求與日俱增，業(yè)務(wù)表結(jié)構(gòu)變更(添加字段)的需求也越來越多，此時MySQL固定schema的存儲模型無法滿足業(yè)務(wù)快速開發(fā)迭代的需求，所以發(fā)布系統(tǒng)的新聞數(shù)據(jù)就從MySQL全部遷移到了MongoDB。另外，新聞推薦push等業(yè)務(wù)對部分接口的響應(yīng)時間要求很高，所以就采用了Redis或者M(jìn)emcached這種內(nèi)存KV緩存來解決業(yè)務(wù)的需求。

　　新浪網(wǎng)如何把控數(shù)據(jù)安全

　　對于互聯(lián)網(wǎng)公司來說，數(shù)據(jù)安全可以說是生命線，據(jù)相關(guān)媒體報告稱僅在2016年前10個月，全球已約有3000起公開的數(shù)據(jù)泄漏事件，22億條記錄被披露，已經(jīng)超過2015年全年。面對如此嚴(yán)峻的數(shù)據(jù)安全的局面，趙景波表示新浪網(wǎng)在數(shù)據(jù)安全性方面有很多硬性規(guī)定，并做了主機維度、業(yè)務(wù)維度和服務(wù)維度的層次劃分。

　　主機維度：制定了相關(guān)標(biāo)準(zhǔn)，給出了主機安全防護(hù)基線要求，主要有身份驗證、訪問控制、入侵防范等，對安裝的軟件、登陸使用的方式等等也都有嚴(yán)格的標(biāo)準(zhǔn)。

　　業(yè)務(wù)維度：規(guī)定了新浪業(yè)務(wù)及應(yīng)用的安全防護(hù)要求，主要約束了應(yīng)用的上傳下載、網(wǎng)站外鏈、惡意代碼、信息加密等。

　　數(shù)據(jù)服務(wù)維度：這一層面的安全性主要體現(xiàn)在數(shù)據(jù)庫備份、存儲可靠性、服務(wù)器資源使用(通過Cgroup隔離)、數(shù)據(jù)庫訪問帳號、SQL注入防范、數(shù)據(jù)加密、數(shù)據(jù)一致性等。

　　·建立了動態(tài)密碼更新機制，對于非常核心的重點業(yè)務(wù)做到了數(shù)據(jù)庫帳號密碼動態(tài)更新，提高安全性;

　　·數(shù)據(jù)庫的賬號只保留了增、刪、改、查的權(quán)限，其他的如truncate、drop等權(quán)限全部回收，大大減少了業(yè)務(wù)方通過此類危險命令誤刪除數(shù)據(jù)的機會;

　　·對內(nèi)部管理數(shù)據(jù)庫的賬號做分級，只有少數(shù)資深高級DBA才有較大的權(quán)限來操作數(shù)據(jù)庫，常規(guī)的DBA也只保有在固定服務(wù)器上的有約束性的權(quán)限

　　·數(shù)據(jù)存儲安全主要做了兩個事情，一個是針對涉密的數(shù)據(jù)，我們對備份的數(shù)據(jù)做了加密，除了對應(yīng)的專職管理員有權(quán)限查看，其他人沒有權(quán)限查看，另外一個就是我們備份的數(shù)據(jù)會存儲到HDFS集群，保障數(shù)據(jù)的可靠性。

　　在業(yè)務(wù)發(fā)展早期，為了更快的滿足業(yè)務(wù)資源申請需求而忽視平臺自身的規(guī)范建設(shè)是很多企業(yè)都面臨或者正在經(jīng)歷的事情。在中國數(shù)據(jù)庫技術(shù)大會(DTCC 2017)上，趙景波會以Redis服務(wù)為例，為我們講述隨著業(yè)務(wù)規(guī)模壯大，新浪網(wǎng)核心業(yè)務(wù)運維遇到了哪些痛點?當(dāng)運維過程暴露出越來越多的問題時，新浪網(wǎng)又是如何去規(guī)范、完善Redis運維平臺的。