BAT都在用的數(shù)據(jù)庫

    在大數(shù)據(jù)高速發(fā)展的今天，數(shù)據(jù)量在不斷的增加，特別是互聯(lián)網(wǎng)web2.0應(yīng)用的興起及云計算所需要的海量存儲和海量計算發(fā)展，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫暴露了很多難以克服的問題，已無法滿足這方面的需求。而非關(guān)系類型的數(shù)據(jù)庫（NoSQL＝Not Only SQL，意即“不僅僅是SQL”）則由于其本身的特點從而得到了非常迅速的發(fā)展，因為它的產(chǎn)生就是為了解決大規(guī)模集合和多重數(shù)據(jù)的存儲和計算方面的大數(shù)據(jù)應(yīng)用難題。
根據(jù)國際數(shù)據(jù)公司IDC檢測統(tǒng)計，2011年全球數(shù)據(jù)總量已達1.8ZB (1ZB 等于1萬億GB),  且數(shù)據(jù)總量增長每兩年翻一番，預(yù)計到2020年全球總量將達到40 ZB,地球上人均數(shù)據(jù)預(yù)計將達到5247GB.據(jù)統(tǒng)計，現(xiàn)在的谷歌搜索引擎每秒使用用戶量已超過200萬，Twitter每天就會生成超過10TB的數(shù)據(jù)，F(xiàn)acebook的數(shù)據(jù)為幾十TB，一些特殊的企業(yè)在每小時就會產(chǎn)生TB級別的數(shù)據(jù)。
但是，如何利用這些數(shù)據(jù) 從中產(chǎn)生最大的商業(yè)價值，是所有公司和機構(gòu)共同面臨的挑戰(zhàn)。這個問題比較復(fù)雜，雖然技術(shù)人員在技能提升和專業(yè)工具的幫助下，對數(shù)據(jù)越來越了解，但由于數(shù)據(jù)的增長速度越來越快，積累量越來越大，公司和機構(gòu)可以利用的數(shù)據(jù)比例正在迅速下降。
    我們知道sql數(shù)據(jù)庫可以存儲數(shù)據(jù)和處理數(shù)據(jù)，但是NOSQL最大的一個優(yōu)勢就是在處理大數(shù)據(jù)這方面，能夠深度處理大數(shù)據(jù)，分析數(shù)據(jù)，從大量的數(shù)據(jù)中獲取有用的資源。

 
而傳統(tǒng)的關(guān)系數(shù)據(jù)庫在大數(shù)據(jù)處理方面就顯得力不從心，暴露出了很多難以克服的問題，例如：
1、對數(shù)據(jù)庫高并發(fā)讀寫的需求

Web2.0應(yīng)用要根據(jù)用戶個性化信息來實時生成動態(tài)頁面和提供動態(tài)信息，所以基本上無法使用動態(tài)頁面靜態(tài)化技術(shù)，因此數(shù)據(jù)庫并發(fā)負載非常高，往往要達到每秒上萬次讀寫請求。關(guān)系數(shù)據(jù)庫應(yīng)付上萬次SQL查詢還勉強頂?shù)米。菓?yīng)付上萬次SQL寫數(shù)據(jù)請求，硬盤IO就已經(jīng)無法承受了。其實對于普通的BBS網(wǎng)站，往往也存在對高并發(fā)寫請求的需求，例如像一些網(wǎng)站的實時統(tǒng)計在線用戶狀態(tài)，記錄熱門帖子的點擊次數(shù)，投票計數(shù)等，因此這是一個相當普遍的需求。

2、對海量數(shù)據(jù)的高效率存儲和訪問的需求

類似Facebook，twitter，F(xiàn)riendfeed這樣的SNS網(wǎng)站，每天用戶產(chǎn)生海量的用戶動態(tài)，以Friendfeed為例，一個月就達到了2.5億條用戶動態(tài)，對于關(guān)系數(shù)據(jù)庫來說，在一張2.5億條記錄的表里面進行SQL查詢，效率是極其低下乃至不可忍受的。再例如大型web網(wǎng)站的用戶登錄系統(tǒng)，例如百度、阿里、騰訊，動輒數(shù)以億計的帳號，關(guān)系數(shù)據(jù)庫也很難應(yīng)付。

3、對數(shù)據(jù)庫的高可擴展性和高可用性的需求

在基于web的架構(gòu)當中，數(shù)據(jù)庫是最難進行橫向擴展的，當一個應(yīng)用系統(tǒng)的用戶量和訪問量與日俱增的時候，你的數(shù)據(jù)庫卻沒有辦法像web server和app server那樣簡單的通過添加更多的硬件和服務(wù)節(jié)點來擴展性能和負載能力。對于很多需要提供24小時不間斷服務(wù)的網(wǎng)站來說，對數(shù)據(jù)庫系統(tǒng)進行升級和擴展是非常痛苦的事情，往往需要停機維護和數(shù)據(jù)遷移，為什么數(shù)據(jù)庫不能通過不斷的添加服務(wù)器節(jié)點來實現(xiàn)擴展呢？
 

因此，數(shù)聚傳媒技術(shù)部門采用了非關(guān)系數(shù)據(jù)庫中的MongoDB來存儲數(shù)據(jù)。MongoDB的優(yōu)點正是傳統(tǒng)的關(guān)系數(shù)據(jù)庫力不能及的。我們利用MongoDB解決了大規(guī)模集合和多重數(shù)據(jù)的存儲和計算方面的大數(shù)據(jù)應(yīng)用難題。
數(shù)聚傳媒擁有精準的人群數(shù)據(jù)庫，強大的人群cookie模型，通過分析，可以直接定位目標受眾；近六千的用戶標簽，讓廣告智能的找用戶；多重優(yōu)化機制，渲染釋放出最佳投放效果，得以構(gòu)建全場景數(shù)據(jù)營銷模式， 最后經(jīng)過智能的算法以及競價原理，實現(xiàn)廣告投放效果最大化；合理的競價模式使得廣告主的廣告投放即精準又有性價比。