Redis高可用分布式集群

一，高可用

高可用（High Availability），是當(dāng)一臺(tái)服務(wù)器停止服務(wù)后，對(duì)于業(yè)務(wù)及用戶毫無(wú)影響。 停止服務(wù)的原因可能由于網(wǎng)卡、路由器、機(jī)房、CPU負(fù)載過(guò)高、內(nèi)存溢出、自然災(zāi)害等不可預(yù)期的原因?qū)е?，在很多時(shí)候也稱單點(diǎn)問題。

（1）解決單點(diǎn)問題主要有2種方式：

• 主備方式

這種通常是一臺(tái)主機(jī)、一臺(tái)或多臺(tái)備機(jī)，在正常情況下主機(jī)對(duì)外提供服務(wù)，并把數(shù)據(jù)同步到備機(jī)，當(dāng)主機(jī)宕機(jī)后，備機(jī)立刻開始服務(wù)。

Redis HA中使用比較多的是keepalived，它使主機(jī)備機(jī)對(duì)外提供同一個(gè)虛擬IP，客戶端通過(guò)虛擬IP進(jìn)行數(shù)據(jù)操作，正常期間主機(jī)一直對(duì)外提供服務(wù)，宕機(jī)后VIP自動(dòng)漂移到備機(jī)上。

優(yōu)點(diǎn)是對(duì)客戶端毫無(wú)影響，仍然通過(guò)VIP操作。

缺點(diǎn)也很明顯，在絕大多數(shù)時(shí)間內(nèi)備機(jī)是一直沒使用，被浪費(fèi)著的。

• 主從方式

這種采取一主多從的辦法，主從之間進(jìn)行數(shù)據(jù)同步。 當(dāng)Master宕機(jī)后，通過(guò)選舉算法(Paxos、Raft)從slave中選舉出新Master繼續(xù)對(duì)外提供服務(wù)，主機(jī)恢復(fù)后以slave的身份重新加入。

主從另一個(gè)目的是進(jìn)行讀寫分離，這是當(dāng)單機(jī)讀寫壓力過(guò)高的一種通用型解決方案。 其主機(jī)的角色只提供寫操作或少量的讀，把多余讀請(qǐng)求通過(guò)負(fù)載均衡算法分流到單個(gè)或多個(gè)slave服務(wù)器上。

缺點(diǎn)是主機(jī)宕機(jī)后，Slave雖然被選舉成新Master了，但對(duì)外提供的IP服務(wù)地址卻發(fā)生變化了，意味著會(huì)影響到客戶端。 解決這種情況需要一些額外的工作，在當(dāng)主機(jī)地址發(fā)生變化后及時(shí)通知到客戶端，客戶端收到新地址后，使用新地址繼續(xù)發(fā)送新請(qǐng)求。

（2）數(shù)據(jù)同步

無(wú)論是主備還是主從都牽扯到數(shù)據(jù)同步的問題，這也分2種情況：

• 同步方式：當(dāng)主機(jī)收到客戶端寫操作后，以同步方式把數(shù)據(jù)同步到從機(jī)上，當(dāng)從機(jī)也成功寫入后，主機(jī)才返回給客戶端成功，也稱數(shù)據(jù)強(qiáng)一致性。 很顯然這種方式性能會(huì)降低不少，當(dāng)從機(jī)很多時(shí)，可以不用每臺(tái)都同步，主機(jī)同步某一臺(tái)從機(jī)后，從機(jī)再把數(shù)據(jù)分發(fā)同步到其他從機(jī)上，這樣提高主機(jī)性能分擔(dān)同步壓力。 在Redis中是支持這楊配置的，一臺(tái)master，一臺(tái)slave，同時(shí)這臺(tái)salve又作為其他slave的master。

• 異步方式：主機(jī)接收到寫操作后，直接返回成功，然后在后臺(tái)用異步方式把數(shù)據(jù)同步到從機(jī)上。 這種同步性能比較好，但無(wú)法保證數(shù)據(jù)的完整性，比如在異步同步過(guò)程中主機(jī)突然宕機(jī)了，也稱這種方式為數(shù)據(jù)弱一致性。

Redis主從同步采用的是異步方式，因此會(huì)有少量丟數(shù)據(jù)的危險(xiǎn)。還有種弱一致性的特例叫最終一致性，這塊詳細(xì)內(nèi)容可參見CAP原理及一致性模型。

（3）方案選擇

keepalived方案配置簡(jiǎn)單、人力成本小，在數(shù)據(jù)量少、壓力小的情況下推薦使用。 如果數(shù)據(jù)量比較大，不希望過(guò)多浪費(fèi)機(jī)器，還希望在宕機(jī)后，做一些自定義的措施，比如報(bào)警、記日志、數(shù)據(jù)遷移等操作，推薦使用主從方式，因?yàn)楹椭鲝拇钆涞囊话氵€有個(gè)管理監(jiān)控中心。

宕機(jī)通知這塊，可以集成到客戶端組件上，也可單獨(dú)抽離出來(lái)。 Redis官方Sentinel支持故障自動(dòng)轉(zhuǎn)移、通知等，詳情見低成本高可用方案設(shè)計(jì)(四)。

邏輯圖：

二，分布式

分布式(distributed), 是當(dāng)業(yè)務(wù)量、數(shù)據(jù)量增加時(shí)，可以通過(guò)任意增加減少服務(wù)器數(shù)量來(lái)解決問題。

集群時(shí)代

至少部署兩臺(tái)Redis服務(wù)器構(gòu)成一個(gè)小的集群，主要有2個(gè)目的：

高可用性：在主機(jī)掛掉后，自動(dòng)故障轉(zhuǎn)移，使前端服務(wù)對(duì)用戶無(wú)影響。

讀寫分離：將主機(jī)讀壓力分流到從機(jī)上。

可在客戶端組件上實(shí)現(xiàn)負(fù)載均衡，根據(jù)不同服務(wù)器的運(yùn)行情況，分擔(dān)不同比例的讀請(qǐng)求壓力。

邏輯圖：

三，分布式集群時(shí)代

當(dāng)緩存數(shù)據(jù)量不斷增加時(shí)，單機(jī)內(nèi)存不夠使用，需要把數(shù)據(jù)切分不同部分，分布到多臺(tái)服務(wù)器上。

可在客戶端對(duì)數(shù)據(jù)進(jìn)行分片，數(shù)據(jù)分片算法詳見C#一致性Hash詳解、C#之虛擬桶分片。

邏輯圖：

大規(guī)模分布式集群時(shí)代

當(dāng)數(shù)據(jù)量持續(xù)增加時(shí)，應(yīng)用可根據(jù)不同場(chǎng)景下的業(yè)務(wù)申請(qǐng)對(duì)應(yīng)的分布式集群。 這塊最關(guān)鍵的是緩存治理這塊，其中最重要的部分是加入了代理服務(wù)。 應(yīng)用通過(guò)代理訪問真實(shí)的Redis服務(wù)器進(jìn)行讀寫，這樣做的好處是：

避免越來(lái)越多的客戶端直接訪問Redis服務(wù)器難以管理，而造成風(fēng)險(xiǎn)。

在代理這一層可以做對(duì)應(yīng)的安全措施，比如限流、授權(quán)、分片。

避免客戶端越來(lái)越多的邏輯代碼，不但臃腫升級(jí)還比較麻煩。

代理這層無(wú)狀態(tài)的，可任意擴(kuò)展節(jié)點(diǎn)，對(duì)于客戶端來(lái)說(shuō)，訪問代理跟訪問單機(jī)Redis一樣。

目前樓主公司使用的是客戶端組件和代理兩種方案并存，因?yàn)橥ㄟ^(guò)代理會(huì)影響一定的性能。 代理這塊對(duì)應(yīng)的方案實(shí)現(xiàn)有Twitter的Twemproxy和豌豆莢的codis。

邏輯圖：

四，總結(jié)

分布式緩存再向后是云服務(wù)緩存，對(duì)使用端完全屏蔽細(xì)節(jié)，各應(yīng)用自行申請(qǐng)大小、流量方案即可，如淘寶OCS云服務(wù)緩存。

分布式緩存對(duì)應(yīng)需要的實(shí)現(xiàn)組件有：

一個(gè)緩存監(jiān)控、遷移、管理中心。

一個(gè)自定義的客戶端組件，上圖中的SmartClient。

一個(gè)無(wú)狀態(tài)的代理服務(wù)。

N臺(tái)服務(wù)器。

文末彩蛋：

針對(duì)于上面涉及到的知識(shí)點(diǎn)我總結(jié)出了有1到5年開發(fā)經(jīng)驗(yàn)的程序員在面試中涉及到的絕大部分架構(gòu)面試題及答案做成了文檔和架構(gòu)視頻資料免費(fèi)分享給大家（包括Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并發(fā)等架構(gòu)技術(shù)資料），希望能幫助到您面試前的復(fù)習(xí)且找到一個(gè)好的工作，也節(jié)省大家在網(wǎng)上搜索資料的時(shí)間來(lái)學(xué)習(xí)，也可以關(guān)注我一下以后會(huì)有更多干貨分享。

資料獲取方式 QQ群搜索“708-701-457” 備注“51CTO” 即可免費(fèi)領(lǐng)取