遇見未來 | 對話朱賢文：PostgreSQL是一匹即將發(fā)力的黑馬

在2017年的DB-Engine的年度數(shù)據(jù)庫榜單上，PostgreSQL以其超過其他341個受監(jiān)控數(shù)據(jù)庫管理系統(tǒng)的受歡迎程度居于榜首，被評為年度DBMS。其總體排名也超過MongoDB，在其流行程度上排名第四。

PostgreSQL是DB領(lǐng)域的一匹黑馬，之前一直默默活在MySQL的陰影之下，今年隨著 10.0版本的發(fā)布，Declarative Partitioning的引入，改進(jìn)的查詢并行性，邏輯復(fù)制和同步復(fù)制的Quorum Commit ，PostgreSQL 10 的影響力在不斷的增強(qiáng)。

今天我們有幸邀請到了PostgreSQL的專家朱賢文老師，為我們分享PostgreSQL的核心技術(shù)、發(fā)展現(xiàn)狀及未來方向。

我們是一個創(chuàng)業(yè)團(tuán)隊，現(xiàn)階段不到20人，我們專注在PostgreSQL數(shù)據(jù)庫的商業(yè)解決方案及和技術(shù)服務(wù)，產(chǎn)品和方案；比如集群、容災(zāi)、備份，咨詢等。 

我們有一套自研的專門用于數(shù)據(jù)庫的高性能私有云系統(tǒng)，支持PostgreSQL和Oracle數(shù)據(jù)庫高效可靠地運(yùn)行。

實(shí)在不敢當(dāng)專家的稱號，我只是對PostgreSQL熟悉一點(diǎn)罷了。

PostgreSQL是一個非常先進(jìn)的、有很多高級特征、企業(yè)級功能非常豐富的開源數(shù)據(jù)庫，在金融、銀行、電信、生產(chǎn)制造等行業(yè)有非常多的成功案例。

PostgreSQL的發(fā)展歷程

PostgreSQL的前身是美國國防部與UC Berkeley大學(xué)合作的一個研究項(xiàng)目，叫Ingres，起源于1973年；1985年研究項(xiàng)目終止，隨后開源，并且命名叫Postgre，隨后又改名為Postgre95；1996年因?yàn)榧尤肓送暾腟QL92標(biāo)準(zhǔn)支持，為了強(qiáng)調(diào)對SQL的支持，所以更名為PostgreSQL，這個名字一直沿用到現(xiàn)在。到目前為止，其連續(xù)活躍的開發(fā)歷史已超過32年，算上Ingres時期的開發(fā)歷史，項(xiàng)目實(shí)際上接近45年連續(xù)開發(fā)。

PostgreSQL的發(fā)展，經(jīng)歷了幾個重要的版本

• 從8.0開始，逐漸增加了眾多的企業(yè)功能，包括寫日志，表分區(qū)，物理同步復(fù)制，物理異步復(fù)制，邏輯復(fù)制，在線熱備份，并行查詢。

• 目前最新版本為10.1，完善了表分區(qū)和hash表功能。

PostgreSQL的特點(diǎn)

• PostgreSQL數(shù)據(jù)庫的跨平臺特性非常強(qiáng)，支持幾乎所有的操作系統(tǒng)和CPU硬件平臺，如AIX,HPUX,Linux,BSD,Windows等。

• PostgreSQL的開發(fā)是由社區(qū)驅(qū)動的，各種高級先進(jìn)的特性主要來自于用戶的反饋和需求；社區(qū)的成員來自于全球的商業(yè)公司，高校，研究機(jī)構(gòu)等，開發(fā)和發(fā)行過程非常嚴(yán)謹(jǐn)，產(chǎn)品代碼質(zhì)量非常高。目前國內(nèi)有很多公司基于PostgreSQL數(shù)據(jù)庫開發(fā)自己的商業(yè)產(chǎn)品。

還有一些明顯的特點(diǎn)包括：比如非常豐富的數(shù)據(jù)類型，豐富的開發(fā)接口和編程語言的支持，豐富的索引類型，很多的企業(yè)級高級特性等等，都能夠滿足絕大多數(shù)企業(yè)級應(yīng)用的要求。

PostgreSQL的發(fā)展

PostgreSQL數(shù)據(jù)庫的支持跟商業(yè)數(shù)據(jù)庫一樣，從6.3開始，每一個發(fā)行版本社區(qū)都會支持5年，這個傳統(tǒng)從1998年開始，馬上也進(jìn)行了20年了。

從國內(nèi)使用情況來看，現(xiàn)在PostgreSQL的影響力越來越強(qiáng)，越來越多的專業(yè)用戶將PostgreSQL用在他們的業(yè)務(wù)系統(tǒng)中，比如中國平安，中國移動，聯(lián)通，互聯(lián)網(wǎng)包括去哪兒，騰訊，阿里。

從生態(tài)區(qū)和支持這個方面來說是越來越完善，現(xiàn)在有華為，騰訊，阿里以及我們成都文武信息在內(nèi)的專業(yè)公司，對其提供商業(yè)支持和服務(wù)，并且基于它開發(fā)自己的高性能數(shù)據(jù)庫。

PostgreSQL 10版本中，新的特性比較多，下面只列出部分，詳細(xì)的部分可以參考官方Wiki：https://wiki.postgresql.org/wiki/New_in_postgres_10

• 大數(shù)據(jù)處理：原生分區(qū)，并行執(zhí)行，F(xiàn)DW下發(fā)/push-down，更快的查詢支持；

• 復(fù)制和很橫向擴(kuò)張：邏輯復(fù)制，同步復(fù)制實(shí)現(xiàn)Quorum Commit-類Raft的部分功能,臨時復(fù)制slots支持，連接層的failover和routing，加強(qiáng)的物理復(fù)制；

• 系統(tǒng)管理：pg_receivewal支持壓縮，pg_stat_activity有了專門的后臺處理進(jìn)程等；

• SQL功能：Identity Columns，Crash Safe,Replicable HashIndexes,Transition Tables for Triggers；

• XML和JSON：支持XMLTable,JSON和JSONB的全文搜索

個人認(rèn)為PostgreSQL適合對性能、可靠性、業(yè)務(wù)連續(xù)性要求非常高的企業(yè)級OLTP應(yīng)用，以及小規(guī)模OLAP應(yīng)用，比如數(shù)據(jù)量小于50T的OLAP系統(tǒng)。

現(xiàn)在國內(nèi)可以參考的案例還是非常多，比如平安集團(tuán)有1500多個實(shí)例部署；樂友母嬰用品店，核心的數(shù)據(jù)庫系統(tǒng)是一個接近10T的PostgreSQL在線數(shù)據(jù)庫支撐全國的業(yè)務(wù)；除此外，還有探探、去哪兒網(wǎng)、百度地圖等，都有很大的PostgreSQL部署量，高效可靠地支撐業(yè)務(wù)系統(tǒng)；還有一些傳統(tǒng)行業(yè)，如浙江移動，湖北移動，中國聯(lián)通等。

根據(jù)我知道的信息，市場對PostgreSQL數(shù)據(jù)庫的需求一直都是高速增長的，增長的量主要集中在兩個方面：

• 一方面是新建的對可靠性、業(yè)務(wù)連續(xù)性要求高的OLTP系統(tǒng)，越來越多的用戶將PostgreSQL作為優(yōu)先選擇的數(shù)據(jù)庫；

• 另一方面是數(shù)據(jù)量小于50T的小型OLAP業(yè)務(wù)系統(tǒng)，很多用于會優(yōu)先選擇PostgreSQL作為分析引擎。

這種需求最近一兩年表現(xiàn)尤為明顯。

• 第一種跟其它數(shù)據(jù)庫的高可用架構(gòu)基本上一樣，就是采用共享存儲模式，數(shù)據(jù)庫存放在共享存儲上；一臺主機(jī)，一臺備機(jī)；正常情況下，主機(jī)連接存儲啟動數(shù)據(jù)庫對外提供服務(wù)；當(dāng)主機(jī)故障，備機(jī)接管存儲，并且啟動數(shù)據(jù)庫，繼續(xù)對外提供服務(wù)；這種架構(gòu)的好處就是數(shù)據(jù)是專門的存儲提供保護(hù)，不用擔(dān)心丟失，切換服務(wù)的時間需要集群管理軟件決定，一般來說基本中就可以完成切換；

  
  

• 第二種是基于流復(fù)制的高可用架構(gòu)，這里面有幾個發(fā)展的階段，

（1）第一個階段是基于對PostgreSQL WAL日志文件的復(fù)制，這個方式目前基本上很少用了；大致的工作原理是集群內(nèi)一個主庫一個備庫，當(dāng)WAL日志歸檔后，這個文件同時拷貝到備庫；備庫始終處于恢復(fù)狀態(tài)，接收到主機(jī)拷貝過來的WAL日志文件，立即恢復(fù)到備機(jī)；當(dāng)主機(jī)宕機(jī)，備庫立即切換模式，恢復(fù)成主庫對外服務(wù)；

（2）第二個階段是物理復(fù)制—--流復(fù)制，主庫正常工作，所有提交的事務(wù)除了寫在本地的WAL日志文件，同時還會將數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)絺鋷臁Ｍㄟ^控制對網(wǎng)絡(luò)上數(shù)據(jù)傳輸時間的確認(rèn)，可以分為異步復(fù)制和同步復(fù)制，這兩種復(fù)制方式會涉及SLA定義的RTO和RPO等指標(biāo)，同時也涉及到系統(tǒng)性能。

（3）目前的階段是物理流復(fù)制方式比較豐富的階段。在以前的復(fù)制方式上，對同步復(fù)制的控制手段很少；現(xiàn)階段不僅可以控制集群內(nèi)有多少臺同步復(fù)制，而且可以控制數(shù)據(jù)提交成功的確認(rèn)方式，例如在多少個同步復(fù)制節(jié)點(diǎn)提交成功、以什么樣的方式在同步節(jié)點(diǎn)上提交成功，first n, any n等比較細(xì)粒度的控制復(fù)制成功時確認(rèn)信息的行為；同時也可以比較細(xì)粒度地控制復(fù)制過程中的性能，比如發(fā)送到備庫的buffer確認(rèn)，還是備庫寫入wal確認(rèn)，還是備庫需要replay確認(rèn)等……

• 第三種是邏輯復(fù)制。邏輯復(fù)制的好處比較多，比如可以跨平臺跨操作系統(tǒng)，可以控制需要復(fù)制的表而不是整個庫進(jìn)行部分?jǐn)?shù)據(jù)的復(fù)制，比如用于OLAP分析系統(tǒng)的數(shù)據(jù)同步；也可以用于做不停機(jī)的業(yè)務(wù)系統(tǒng)升級。

另外說一點(diǎn)就是PostgreSQL可用的高可用方案比較豐富，有開源的方案比如pgpool，也有一些商業(yè)的解決方案，比如我們公司的ECOX系統(tǒng)。客戶在設(shè)計和選用高可用方案的時候，嚴(yán)謹(jǐn)?shù)纳a(chǎn)系統(tǒng)最好要購買專業(yè)的服務(wù)。我們是國內(nèi)比較好的服務(wù)團(tuán)隊并且能提供完整的解決方案跟相關(guān)技術(shù)。

PostgreSQL不像MySQL數(shù)據(jù)庫那樣有很多存儲引擎。PostgreSQL只有一種存儲引擎，對事務(wù)處理非常嚴(yán)謹(jǐn)嚴(yán)肅，主要用于高性能的OLTP業(yè)務(wù)場景。同時也可以用于小型的OLAP分析型業(yè)務(wù)場景。

PostgreSQL數(shù)據(jù)庫，不像我們常用的Oracle數(shù)據(jù)庫，如果參數(shù)設(shè)置得當(dāng)，應(yīng)用設(shè)計也比較好，這種情況下其實(shí)不需要太多的維護(hù)；

對于PostgreSQL來說，反而是需要將精力放在存儲子系統(tǒng)的可靠性，備份等方面。

存儲子系統(tǒng)的可靠性需要仔細(xì)地設(shè)計，因?yàn)樗粌H關(guān)乎系統(tǒng)性能，也關(guān)乎數(shù)據(jù)本身存放的可靠性。如果是嚴(yán)謹(jǐn)?shù)纳虡I(yè)應(yīng)用，建議優(yōu)先選用可靠的存儲系統(tǒng)和文件系統(tǒng)；我們作為有豐富實(shí)施經(jīng)驗(yàn)的專業(yè)廠商，我們會推薦用戶優(yōu)先選用ZFS，特別是原生的ZFS，這個領(lǐng)域我們有完整的方案。

相對于其它數(shù)據(jù)庫而言，PostgreSQL的優(yōu)勢是非常明顯的，比如：

• 有龐大的潛在的開發(fā)群體、運(yùn)維群體和完整的生態(tài)；因?yàn)镺racle的生態(tài)系統(tǒng)非常完善和成熟，熟悉Oracle技能的人遷移到PostgreSQL數(shù)據(jù)庫上的學(xué)習(xí)曲線非常平滑，成本非常低。根據(jù)我自己的經(jīng)驗(yàn)，基本上2周時間可成。

• 有大量的銀行、電信、保險、政府等行業(yè)的關(guān)鍵業(yè)務(wù)應(yīng)用案例和知名客戶。

• 有豐富的開發(fā)接口和開發(fā)語言支持，豐富的數(shù)據(jù)類型，支持傳統(tǒng)的關(guān)系型數(shù)據(jù)和非關(guān)系型數(shù)據(jù)。對GIS非常好，對JSON,JSONB,XMLTable支持非常好。

• 非常豐富的fdw擴(kuò)展，幾乎可以支持所有的外部數(shù)據(jù)源和數(shù)據(jù)庫。

• 非常先進(jìn)的企業(yè)級特性，比如復(fù)制，分區(qū)，在線熱備份，非常豐富的索引、函數(shù)等。

• 非常優(yōu)秀的跨平臺、跨操作系統(tǒng)支持。支持幾乎所有的硬件平臺和操作系統(tǒng)。大到mainframe，小到嵌入式系統(tǒng)。

• 高品質(zhì)的代碼，優(yōu)雅的設(shè)計，非常長時間的、持續(xù)活躍的開發(fā)歷史。

• 每個發(fā)行版本都能獲得為期5年的產(chǎn)品支持。

當(dāng)然也有需要完善的地方，比如：

• 宣傳不到位，現(xiàn)在還有很多用戶不清楚、甚至不知道PostgreSQL是一個生么樣的數(shù)據(jù)庫。（這一點(diǎn)會導(dǎo)致用戶選用技術(shù)線路失誤，從而導(dǎo)致后面的應(yīng)用系統(tǒng)開發(fā)和維護(hù)成本很高。）所以應(yīng)該加強(qiáng)PostgreSQL數(shù)據(jù)庫的培訓(xùn)和宣傳。

• 國內(nèi)從事PostgreSQL的服務(wù)商比較少，高質(zhì)量的專業(yè)服務(wù)商更少。

• 技術(shù)上目前還不支持塊級別的增量備份和恢復(fù)（這個功能已經(jīng)在線路圖上，很快會有）

OceanBase是一個非常有特點(diǎn)的數(shù)據(jù)庫，全新的設(shè)計，也在高性能，高可靠性方面有比較好的表現(xiàn)，17年雙11表現(xiàn)的每秒處理26萬多筆交易的威力（性能）大家也見識過了。

OceanBase的主從數(shù)據(jù)庫

在傳統(tǒng)的數(shù)據(jù)庫主從架構(gòu)中，比如（Active）DataGuard，主庫對外提供全功能的讀寫服務(wù)，從庫對外提供只讀服務(wù)，主庫到從庫通過流復(fù)制技術(shù)使數(shù)據(jù)保持同步；

在OceanBase中，也有主和從的概念，復(fù)制也是主到從，與傳統(tǒng)數(shù)據(jù)庫不一樣的是這個數(shù)據(jù)庫的主、從概念是建立在分區(qū)表的分區(qū)上，每個表有多個分區(qū)，所有節(jié)點(diǎn)都可以有全部或者部分分區(qū)，分區(qū)有多個副本，分布在集群內(nèi)的其它節(jié)點(diǎn)上，副本可以看作是是從，只接收主上面的日志，并且回放到內(nèi)存里，一個可以讀寫的分區(qū)就是一個主；一個主可以有多從，確保數(shù)據(jù)有多份拷貝，主到從的日志傳輸通過Paxos協(xié)議完成，確保數(shù)據(jù)可以正確傳輸?shù)狡渌?jié)點(diǎn)；

整個集群對外來看，所有節(jié)點(diǎn)都是讀寫的、全功能的，比傳統(tǒng)數(shù)據(jù)庫優(yōu)勢明顯，因?yàn)槎嗷睿?a title="負(fù)載均衡" target="_blank" href="http://www.kemok4.com/slb/">負(fù)載均衡可以實(shí)現(xiàn)比較好，可以用低廉的硬件實(shí)現(xiàn)高性能、高可靠的系統(tǒng)；

仔細(xì)觀察集群內(nèi)部，由很多表的不同分區(qū)及它們的副本構(gòu)成非常多的主從復(fù)制，所有的日志數(shù)據(jù)復(fù)制基于Paxso協(xié)議，能夠保證任何節(jié)點(diǎn)損壞都不會有數(shù)據(jù)丟失的危險（當(dāng)然節(jié)點(diǎn)壞掉的個數(shù)不能大于節(jié)點(diǎn)總數(shù)的一半）。

OceanBase另外一個比較有意思的設(shè)計就是類似于傳統(tǒng)數(shù)據(jù)庫中的check_point的處理，傳統(tǒng)數(shù)據(jù)庫的check_point時間根據(jù)負(fù)載和SLA的一些要求，一般保持在幾分鐘到半個小時之間，數(shù)據(jù)庫要做一次check_point，以確保數(shù)據(jù)庫的數(shù)據(jù)一致性；而OceanBase數(shù)據(jù)庫把傳統(tǒng)數(shù)據(jù)庫類似check_point功能的操作周期做得非常長，比如一天做一次數(shù)據(jù)整合（類似于傳統(tǒng)數(shù)據(jù)庫的check_point操作）；這樣做有好處，就是對SSD這種新型電子磁盤的壽命有幫助，因?yàn)閷SD的操作都是大片大片的、整塊地刪除、寫入，盡量避免SSD內(nèi)部的寫放大，這個設(shè)計的前提是基于服務(wù)器有非常大的內(nèi)存配置，比如256G、甚至1T，現(xiàn)在的機(jī)器內(nèi)存配置都比較大，很容易配置大內(nèi)存的集群，那么把數(shù)據(jù)庫的data buffer做到足夠大，數(shù)據(jù)庫所有的操作都在內(nèi)存里，相當(dāng)于一個準(zhǔn)內(nèi)存數(shù)據(jù)庫，比操作磁盤的IO要快很多；通過這些設(shè)計，非常合理地避免了全分布式、高可靠、高性能并發(fā)和mvcc之間的矛盾。

OceanBase的設(shè)計非常聰明，它的出現(xiàn)的確給了我耳目一新的感覺，不管是技術(shù)上的創(chuàng)新，架構(gòu)上的創(chuàng)新，技術(shù)來源，都是值得大大地給一個贊，說到技術(shù)創(chuàng)新、架構(gòu)創(chuàng)新，我們的鴻鵠彩云系統(tǒng)就是為高性能數(shù)據(jù)庫業(yè)務(wù)設(shè)計的，里面也有很多可以讓人感覺耳目一新的技術(shù)創(chuàng)新的點(diǎn)，希望更多的人可以嘗試試用；

當(dāng)然一個新事物的出現(xiàn)需要一個時間完善和成長／成熟的過程，對于OceanBase來說目前也需要有完善的地方，比如技術(shù)上與現(xiàn)有的用的廣泛的Oracle的兼容性，跨庫交易等，關(guān)鍵行業(yè)的成功的應(yīng)用案例等，讓我們多給它一些時間，多給一些耐心；（當(dāng)然我對OceanBase的了解也比較有限，可能有很多技術(shù)特點(diǎn)沒有講到，請包涵）

從數(shù)據(jù)本身來說，真實(shí)世界里生產(chǎn)的95%以上的數(shù)據(jù)都是關(guān)系型的，只有很少的數(shù)據(jù)是非關(guān)系型的。

所謂的NoSQL是Google在很多年提出來的處理大數(shù)據(jù)的一個技術(shù)方案，主要使用的思想就是Map/Reduce，學(xué)過數(shù)據(jù)庫的人都應(yīng)該了解，這項(xiàng)技術(shù)實(shí)際上在上個世紀(jì)60年代，在大型機(jī)上處理大量計算常用的技術(shù)思想。

Google最終推出了自己的Spanner數(shù)據(jù)庫，結(jié)果是非常明顯的，Google自己都不用NoSQL，而回到傳統(tǒng)的SQL這個線路上面來，所以未來還會向SQL這個方向走。

PostgreSQL未來還是會持續(xù)、活躍地開發(fā)高品質(zhì)的軟件，并且根據(jù)市場需要提供滿足市場的技術(shù)特性；國內(nèi)的市場也會普及和成熟，用戶也會接納并且廣泛地使用PostgreSQL數(shù)據(jù)庫、并且從中受益。

應(yīng)對海量數(shù)據(jù)的實(shí)施處理，可以選用高性能硬件，MPP架構(gòu)的技術(shù)；以后也會有基于內(nèi)存的MPP，甚至用GPU加速運(yùn)算的數(shù)據(jù)庫；但是最終還是需要看用戶本身的需求和業(yè)務(wù)特點(diǎn)，根據(jù)這些進(jìn)行有針對性的設(shè)計和實(shí)施，以滿足這類需求。

跨界與融合、機(jī)遇與挑戰(zhàn)、個人與企業(yè)、現(xiàn)在與未來。讓各行業(yè)、企業(yè)，以及每一個向未來而努力的人，聽見時代最前沿的聲音，見證成長！