Zookeeper與paxos算法

一、 zookeeper是什么

官方說辭：Zookeeper 分布式服務(wù)框架是Apache Hadoop 的一個子項(xiàng)目，它主要是用來解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問題，如：統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等。

好抽象，我們改變一下方式，先看看它都提供了哪些功能，然后再看看使用它的這些功能能做點(diǎn)什么。

二、 zookeeper提供了什么

簡單的說，zookeeper=文件系統(tǒng)+通知機(jī)制。

1、 文件系統(tǒng)

Zookeeper維護(hù)一個類似文件系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)：

每個子目錄項(xiàng)如 NameService 都被稱作為 znode，和文件系統(tǒng)一樣，我們能夠自由的增加、刪除znode，在一個znode下增加、刪除子znode，唯一的不同在于znode是可以存儲數(shù)據(jù)的。

有四種類型的znode：

• 1、PERSISTENT-持久化目錄節(jié)點(diǎn)

客戶端與zookeeper斷開連接后，該節(jié)點(diǎn)依舊存在

• 2、 PERSISTENT_SEQUENTIAL-持久化順序編號目錄節(jié)點(diǎn)

客戶端與zookeeper斷開連接后，該節(jié)點(diǎn)依舊存在，只是Zookeeper給該節(jié)點(diǎn)名稱進(jìn)行順序編號

• 3、EPHEMERAL-臨時目錄節(jié)點(diǎn)

客戶端與zookeeper斷開連接后，該節(jié)點(diǎn)被刪除

• 4、EPHEMERAL_SEQUENTIAL-臨時順序編號目錄節(jié)點(diǎn)

客戶端與zookeeper斷開連接后，該節(jié)點(diǎn)被刪除，只是Zookeeper給該節(jié)點(diǎn)名稱進(jìn)行順序編號

2、 通知機(jī)制

客戶端注冊監(jiān)聽它關(guān)心的目錄節(jié)點(diǎn)，當(dāng)目錄節(jié)點(diǎn)發(fā)生變化（數(shù)據(jù)改變、被刪除、子目錄節(jié)點(diǎn)增加刪除）時，zookeeper會通知客戶端。

就這么簡單，下面我們看看能做點(diǎn)什么呢？

三、 我們能用zookeeper做什么

1、 命名服務(wù)

這個似乎最簡單，在zookeeper的文件系統(tǒng)里創(chuàng)建一個目錄，即有唯一的path。在我們使用tborg無法確定上游程序的部署機(jī)器時即可與下游程序約定好path，通過path即能互相探索發(fā)現(xiàn)，不見不散了。

2、 配置管理

程序總是需要配置的，如果程序分散部署在多臺機(jī)器上，要逐個改變配置就變得困難。好吧，現(xiàn)在把這些配置全部放到zookeeper上去，保存在 Zookeeper 的某個目錄節(jié)點(diǎn)中，然后所有相關(guān)應(yīng)用程序?qū)@個目錄節(jié)點(diǎn)進(jìn)行監(jiān)聽，一旦配置信息發(fā)生變化，每個應(yīng)用程序就會收到 Zookeeper 的通知，然后從 Zookeeper 獲取新的配置信息應(yīng)用到系統(tǒng)中就好。

3、 集群管理

所謂集群管理無在乎兩點(diǎn)：是否有機(jī)器退出和加入、選舉master。

對于第一點(diǎn)，所有機(jī)器約定在父目錄GroupMembers下創(chuàng)建臨時目錄節(jié)點(diǎn)，然后監(jiān)聽父目錄節(jié)點(diǎn)的子節(jié)點(diǎn)變化消息。一旦有機(jī)器掛掉，該機(jī)器與zookeeper的連接斷開，其所創(chuàng)建的臨時目錄節(jié)點(diǎn)被刪除，所有其他機(jī)器都收到通知：某個兄弟目錄被刪除，于是，所有人都知道：它上船了。新機(jī)器加入也是類似，所有機(jī)器收到通知：新兄弟目錄加入，highcount又有了。

對于第二點(diǎn)，我們稍微改變一下，所有機(jī)器創(chuàng)建臨時順序編號目錄節(jié)點(diǎn)，每次選取編號最小的機(jī)器作為master就好。

4、 分布式鎖

有了zookeeper的一致性文件系統(tǒng)，鎖的問題變得容易。鎖服務(wù)可以分為兩類，一個是保持獨(dú)占，另一個是控制時序。

對于第一類，我們將zookeeper上的一個znode看作是一把鎖，通過createznode的方式來實(shí)現(xiàn)。所有客戶端都去創(chuàng)建 /distribute_lock 節(jié)點(diǎn)，最終成功創(chuàng)建的那個客戶端也即擁有了這把鎖。廁所有言：來也沖沖，去也沖沖，用完刪除掉自己創(chuàng)建的distribute_lock 節(jié)點(diǎn)就釋放出鎖。

對于第二類， /distribute_lock 已經(jīng)預(yù)先存在，所有客戶端在它下面創(chuàng)建臨時順序編號目錄節(jié)點(diǎn)，和選master一樣，編號最小的獲得鎖，用完刪除，依次方便。

5、隊(duì)列管理

兩種類型的隊(duì)列：

• 1、 同步隊(duì)列，當(dāng)一個隊(duì)列的成員都聚齊時，這個隊(duì)列才可用，否則一直等待所有成員到達(dá)。

• 2、隊(duì)列按照 FIFO 方式進(jìn)行入隊(duì)和出隊(duì)操作。

第一類，在約定目錄下創(chuàng)建臨時目錄節(jié)點(diǎn)，監(jiān)聽節(jié)點(diǎn)數(shù)目是否是我們要求的數(shù)目。

第二類，和分布式鎖服務(wù)中的控制時序場景基本原理一致，入列有編號，出列按編號。

終于了解完我們能用zookeeper做什么了，可是作為一個程序員，我們總是想狂熱了解zookeeper是如何做到這一點(diǎn)的，單點(diǎn)維護(hù)一個文件系統(tǒng)沒有什么難度，可是如果是一個集群維護(hù)一個文件系統(tǒng)保持?jǐn)?shù)據(jù)的一致性就非常困難了。

四、 分布式與數(shù)據(jù)復(fù)制

Zookeeper作為一個集群提供一致的數(shù)據(jù)服務(wù)，自然，它要在所有機(jī)器間做數(shù)據(jù)復(fù)制。數(shù)據(jù)復(fù)制的好處：

1、 容錯
一個節(jié)點(diǎn)出錯，不致于讓整個系統(tǒng)停止工作，別的節(jié)點(diǎn)可以接管它的工作；

2、提高系統(tǒng)的擴(kuò)展能力
把負(fù)載分布到多個節(jié)點(diǎn)上，或者增加節(jié)點(diǎn)來提高系統(tǒng)的負(fù)載能力；

3、提高性能
讓客戶端本地訪問就近的節(jié)點(diǎn)，提高用戶訪問速度。

從客戶端讀寫訪問的透明度來看，數(shù)據(jù)復(fù)制集群系統(tǒng)分下面兩種：

• 1、寫主(WriteMaster) 對數(shù)據(jù)的修改提交給指定的節(jié)點(diǎn)。讀無此限制，可以讀取任何一個節(jié)點(diǎn)。這種情況下客戶端需要對讀與寫進(jìn)行區(qū)別，俗稱讀寫分離；

• 2、寫任意(Write Any)對數(shù)據(jù)的修改可提交給任意的節(jié)點(diǎn)，跟讀一樣。這種情況下，客戶端對集群節(jié)點(diǎn)的角色與變化透明。

對zookeeper來說，它采用的方式是寫任意。通過增加機(jī)器，它的讀吞吐能力和響應(yīng)能力擴(kuò)展性非常好，而寫，隨著機(jī)器的增多吞吐能力肯定下降（這也是它建立observer的原因），而響應(yīng)能力則取決于具體實(shí)現(xiàn)方式，是延遲復(fù)制保持最終一致性，還是立即復(fù)制快速響應(yīng)。

我們關(guān)注的重點(diǎn)還是在如何保證數(shù)據(jù)在集群所有機(jī)器的一致性，這就涉及到paxos算法。

五、 數(shù)據(jù)一致性與paxos算法

據(jù)說Paxos算法的難理解與算法的知名度一樣令人敬仰，所以我們先看如何保持?jǐn)?shù)據(jù)的一致性，這里有個原則就是：

在一個分布式數(shù)據(jù)庫系統(tǒng)中，如果各節(jié)點(diǎn)的初始狀態(tài)一致，每個節(jié)點(diǎn)都執(zhí)行相同的操作序列，那么他們最后能得到一個一致的狀態(tài)。

Paxos算法解決的什么問題呢，解決的就是保證每個節(jié)點(diǎn)執(zhí)行相同的操作序列。好吧，這還不簡單，master維護(hù)一個全局寫隊(duì)列，所有寫操作都必須放入這個隊(duì)列編號，那么無論我們寫多少個節(jié)點(diǎn)，只要寫操作是按編號來的，就能保證一致性。沒錯，就是這樣，可是如果master掛了呢。

Paxos算法通過投票來對寫操作進(jìn)行全局編號，同一時刻，只有一個寫操作被批準(zhǔn)，同時并發(fā)的寫操作要去爭取選票，只有獲得過半數(shù)選票的寫操作才會被批準(zhǔn)（所以永遠(yuǎn)只會有一個寫操作得到批準(zhǔn)），其他的寫操作競爭失敗只好再發(fā)起一輪投票，就這樣，在日復(fù)一日年復(fù)一年的投票中，所有寫操作都被嚴(yán)格編號排序。編號嚴(yán)格遞增，當(dāng)一個節(jié)點(diǎn)接受了一個編號為100的寫操作，之后又接受到編號為99的寫操作（因?yàn)榫W(wǎng)絡(luò)延遲等很多不可預(yù)見原因），它馬上能意識到自己數(shù)據(jù)不一致了，自動停止對外服務(wù)并重啟同步過程。任何一個節(jié)點(diǎn)掛掉都不會影響整個集群的數(shù)據(jù)一致性（總2n+1臺，除非掛掉大于n臺）。

總結(jié)一下，數(shù)據(jù)一致性是如何保證的？是投票投出來的，幸福也是一樣啊。

文末彩蛋

針對于上面所涉及到的知識點(diǎn)我總結(jié)出了有1到5年開發(fā)經(jīng)驗(yàn)的程序員在面試中涉及到的絕大部分架構(gòu)面試題及答案做成了文檔和架構(gòu)視頻資料免費(fèi)分享給大家（包括Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并發(fā)等架構(gòu)技術(shù)資料），希望能幫助到您面試前的復(fù)習(xí)且找到一個好的工作，也節(jié)省大家在網(wǎng)上搜索資料的時間來學(xué)習(xí)，也可以關(guān)注我一下以后會有更多干貨分享。

資料獲取方式 QQ群搜索“708-701-457” 備注“51CTO” 即可免費(fèi)領(lǐng)取