鵝廠數(shù)據(jù)庫為聯(lián)合國全球最大規(guī)模的線上對話提供技術(shù)支持！

剛剛，聯(lián)合國在紐約總部正式宣布：騰訊公司成為聯(lián)合國全球合作伙伴，為聯(lián)合國成立75周年提供全面技術(shù)方案。在聯(lián)合國成立75周年的對話系列活動中，騰訊會議將為聯(lián)合國提供在線會議和溝通交流平臺，面向全球公民靈活組織不同規(guī)模的在線會議。而騰訊云Redis和TDSQL為騰訊會議提供了底層數(shù)據(jù)庫支持。

換句話說，鵝廠數(shù)據(jù)庫支持了有史以來最大規(guī)模的聯(lián)合國全球線上對話！

憑借順暢的會議體驗(yàn)和超強(qiáng)的國際化能力，騰訊會議上線兩個月內(nèi)日活躍賬戶就超過了1000萬，不僅是中國最多人使用的視頻會議應(yīng)用，還火速上線了國際版應(yīng)用VooV Meeting，為全球超過100個國家和地區(qū)提供會議能力。

騰訊云Redis：千萬級QPS&無損擴(kuò)容

在騰訊會議請求數(shù)暴增的情況下，作為會議列表緩存、會議信息存儲的Redis數(shù)據(jù)庫也進(jìn)行了快速擴(kuò)展，因?yàn)闃I(yè)務(wù)的特殊性，要求在整個資源擴(kuò)展過程中，騰訊會議服務(wù)始終保持著大規(guī)模的在線運(yùn)行，海量用戶依然能夠高清流暢無卡頓的進(jìn)行會議。 目前大多數(shù)云廠商的Redis數(shù)據(jù)庫在跨機(jī)擴(kuò)容時會連接斷開和1分鐘內(nèi)的業(yè)務(wù)只讀，這導(dǎo)致使用自建及其他云廠商提供的Redis服務(wù)的企業(yè)只能依賴業(yè)務(wù)層實(shí)現(xiàn)平滑擴(kuò)展，或者停服來維護(hù)擴(kuò)展。但是這個難題在騰訊云已經(jīng)迎刃而解。

騰訊云集群架構(gòu)的Redis服務(wù)僅單集群可提供最大4TB存儲容量和10萬-1000萬級別的并發(fā)訪問性能，并且能保障在99.99%的水位線內(nèi)提供1ms響應(yīng)時延，騰訊會議的運(yùn)維人員僅需在控制臺點(diǎn)擊一個按鈕，在半小時以內(nèi)即可高效完成數(shù)十倍規(guī)模的擴(kuò)容，單集群的擴(kuò)容流程后臺處理時間不超過30分鐘，同時保持了100%的系統(tǒng)可用性， 騰訊云Redis是國內(nèi)唯一一款具備無損擴(kuò)容能力的Redis數(shù)據(jù)庫產(chǎn)品。

騰訊云Redis單集群峰值請求超過17億次/分鐘

為實(shí)現(xiàn)無損擴(kuò)容，騰訊云Redis攻克了兩大核心難題。首先解決了社區(qū)遷移工具遷移大Key阻塞系統(tǒng)訪問，甚至是宕機(jī)的問題。騰訊云團(tuán)隊(duì)通過自研的數(shù)據(jù)搬遷工具不但解決了卡頓的問題，數(shù)據(jù)搬遷的速度也得到了成倍的提升；其次解決了需要提供數(shù)據(jù)搬運(yùn)過程中正確的標(biāo)記數(shù)據(jù)狀態(tài)，搬遷后可以重新路由的難題，騰訊云Redis通過自研Proxy定期刷新以及響應(yīng)路由重定向命令解決了數(shù)據(jù)路由的難題。

騰訊云Redis無損擴(kuò)容示意圖

同時，騰訊云Redis支持在全球范圍內(nèi)的多地域部署，為支持騰訊會議上線海外版，騰訊云Redis快速在歐美、日韓、東南亞和中東等地部署了接入點(diǎn)和業(yè)務(wù)邏輯層，進(jìn)行數(shù)據(jù)全球同步。目前有32個可用區(qū)，并在持續(xù)增加中。

騰訊云TDSQL：保姆級的智能精細(xì)化運(yùn)維

隨著騰訊會議走向國際，全天候不定時的來自全球范圍內(nèi)的海量請求要求運(yùn)維人員時刻關(guān)注系統(tǒng)健康情況，快速應(yīng)對各種系統(tǒng)問題，既能實(shí)現(xiàn)對業(yè)務(wù)的精細(xì)化運(yùn)營，也能滿足對大量數(shù)據(jù)庫運(yùn)維需求的快速支持。騰訊云TDSQL通過提供智能運(yùn)營和自動化運(yùn)維體系、故障的自動平滑切換和彈性的水平擴(kuò)展服務(wù)為騰訊會議保駕護(hù)航。

一、智能運(yùn)營和自動化運(yùn)維體系

面對海量的全球用戶增長，作為騰訊會議后端的數(shù)據(jù)庫解決方案之一，TDSQL也面臨著業(yè)務(wù)爆發(fā)式的讀寫考驗(yàn)，需要進(jìn)行擴(kuò)容。擴(kuò)容意味著收到大量的服務(wù)請求，這對數(shù)據(jù)庫來說提供高性能服務(wù)也是至關(guān)重要的。

一條存在性能問題的SQL在初期可能不會引發(fā)任何問題，但隨著業(yè)務(wù)請求的增長，這些慢SQL就像滾雪球一樣越滾越大，一點(diǎn)點(diǎn)蠶食著數(shù)據(jù)庫的性能。同時隨著業(yè)務(wù)的規(guī)模越來越大，從上億條SQL中找出這些性能SQL如同大海撈針。

TDSQL智能DBA診斷系統(tǒng)“扁鵲”很好地解決了這個問題，可以自動抓取存在性能問題的SQL，并進(jìn)行智能分析提供索引優(yōu)化建議，將數(shù)據(jù)庫的性能問題及時扼殺在萌芽當(dāng)中。經(jīng)過優(yōu)化，99%的SQL都消除了性能瓶頸。

“扁鵲”系統(tǒng)是 TDSQL 提供包括數(shù)據(jù)采集、實(shí)時檢測、自動處理、性能檢測與健康評估、SQL性能分析、業(yè)務(wù)診斷等多種智能工具的集合，采用模塊插件化無縫對接各種數(shù)據(jù)庫，在扁鵲的幫助下，DBA可以從日常繁雜的數(shù)據(jù)庫運(yùn)維工作中解脫出來。

“赤兔”平臺從管理員視角提供TDSQL的全部運(yùn)維功能和上百項(xiàng)數(shù)據(jù)庫狀態(tài)監(jiān)控指標(biāo)的展示，讓數(shù)據(jù)庫管理員日常90%以上的操作均可通過界面化完成，同時更方便定位排查問題。“赤兔”和“扁鵲”這一套組合拳既滿足高星級業(yè)務(wù)的精細(xì)化運(yùn)維，又能輕松應(yīng)對大量的普通數(shù)據(jù)庫運(yùn)維需求，更好地幫助用戶降低運(yùn)維成本。

二、故障自動平滑切換，業(yè)務(wù)無感知

海量數(shù)據(jù)使得TDSQL集群規(guī)模越來越大，節(jié)點(diǎn)故障對業(yè)務(wù)的影響越來越敏感，進(jìn)而對TDSQL的容災(zāi)能力提出越來越高的考驗(yàn)。TDSQL的一致性切換保障了在數(shù)次集群節(jié)點(diǎn)故障中均能平滑完成切換，將對業(yè)務(wù)的影響降到最低。

大部分業(yè)務(wù)系統(tǒng)通常都需要用高可用方案來保證系統(tǒng)不間斷運(yùn)行，數(shù)據(jù)庫作為軟件棧的最底層，對數(shù)據(jù)提供持久化和存取服務(wù)，如果高可用做的足夠好，業(yè)務(wù)層的高可用設(shè)計(jì)就可以做的更加輕量和簡單。

TDSQL高可用方案數(shù)據(jù)層的核心是基于自動探活邏輯以及騰訊自研的raft強(qiáng)同步復(fù)制，配合資源的自動調(diào)度實(shí)現(xiàn)自動化容災(zāi)監(jiān)測和秒級切換，保證系統(tǒng)7*24小時不中斷服務(wù)、數(shù)據(jù)零丟失和數(shù)據(jù)的高一致性。

TDSQL的每一個分片都支持基于強(qiáng)同步、強(qiáng)一致的高可用方案，并且對數(shù)據(jù)庫和底層物理設(shè)備提供7X24小時持續(xù)監(jiān)控。發(fā)生故障時，TDSQL將自動重啟數(shù)據(jù)庫及相關(guān)進(jìn)程，如果節(jié)點(diǎn)崩潰無法恢復(fù)，將通過備份文件自動重建節(jié)點(diǎn)。

三、彈性的水平拓展

作為騰訊會議的重要系統(tǒng)基礎(chǔ)支持，隨著流量的持續(xù)暴漲，優(yōu)化之后TDSQL進(jìn)行了一輪快速的數(shù)據(jù)庫機(jī)器水平擴(kuò)容。TDSQL基于分布式架構(gòu)和多租戶方案，天生具有良好的彈性水平擴(kuò)展能力。這意味著數(shù)據(jù)庫實(shí)例的并發(fā)性能、處理能力、存儲容量可線性增長。

在騰訊會議的擴(kuò)容實(shí)踐中，通過TDSQL策略豐富的讀寫分離技術(shù)，數(shù)據(jù)庫層面快速響應(yīng)了持續(xù)增長的容量和性能需求。

為了盡可能的將讀請求分離，進(jìn)一步降低對主節(jié)點(diǎn)的影響，TDSQL通過讀寫賬號分離、災(zāi)備只讀實(shí)例等措施，將純只讀業(yè)務(wù)分離出來，進(jìn)一步降低主節(jié)點(diǎn)的壓力提高整體的吞吐量。最終，25%的復(fù)雜查詢根據(jù)讀寫分離策略發(fā)往只讀實(shí)例，快速達(dá)到降低主節(jié)點(diǎn)的負(fù)載的效果。

支持多種策略的讀寫分離技術(shù)是TDSQL自研演進(jìn)的彈性擴(kuò)容特性之一，TDSQL產(chǎn)品默認(rèn)支持讀寫分離，架構(gòu)中的每個從機(jī)都能支持只讀能力，如果配置有多個從機(jī)，將由 SQL Engine 集群（ SQL Engine ）自動分配到低負(fù)載從機(jī)上，以支撐大型應(yīng)用程序的讀取流量。TDSQL讀寫分離技術(shù)優(yōu)勢在于提供了多種讀寫分離方案，且用戶無需關(guān)注若干從機(jī)是否完全存活，因?yàn)橄到y(tǒng)可根據(jù)策略自動調(diào)度。

除了讀寫分離技術(shù)，TDSQL彈性水平擴(kuò)展包含多種特性，可應(yīng)對不同場景。

最后，TDSQL具備健壯的分布事務(wù)能力支撐，也通過在持續(xù)不斷地進(jìn)行性能優(yōu)化。SQLEngine作為協(xié)調(diào)節(jié)點(diǎn)，無狀態(tài)，幾乎可以無限制地進(jìn)行水平擴(kuò)容。數(shù)據(jù)庫的各個SET作為數(shù)據(jù)節(jié)點(diǎn)，一方面存儲正常的業(yè)務(wù)數(shù)據(jù)，同時也采用hash路由的方式存儲所有的全局事務(wù)日志，整體來看，各個模塊都是可以水平擴(kuò)展的，能滿足業(yè)務(wù)層幾乎無限制的水平庫容需求。

另外，針對分布式事務(wù)比較棘手的分布式鎖的問題，TDSQL采取實(shí)時的鎖診斷視圖措施，也具備全局的死鎖檢測，消除業(yè)務(wù)層鎖的各種問題。

從提供會議列表緩存、會議信息存儲，到后端智能運(yùn)維、自動故障切換、業(yè)務(wù)無感知快速擴(kuò)容，在騰訊云數(shù)據(jù)庫的支撐下，騰訊會議可輕松應(yīng)對服務(wù)請求的持續(xù)增長，持續(xù)不間斷地為用戶提供清晰、流暢的會議、直播服務(wù)，并實(shí)現(xiàn)精細(xì)化業(yè)務(wù)系統(tǒng)運(yùn)營。

聯(lián)合國，我們來了！

相關(guān)閱讀

騰訊會議用戶暴漲，Redis集群如何實(shí)現(xiàn)無縫擴(kuò)容？

特惠體驗(yàn)云數(shù)據(jù)庫