記一次 Redis Cluster 宕機(jī)引發(fā)的事故

一、演練過程

Redis 集群環(huán)境：

1. 測試環(huán)境：

Redis Cluster 配置 ：Redis 3主 3從 一共6個節(jié)點(diǎn)。

2. 預(yù)發(fā)環(huán)境：

Redis Cluster 配置 ：Redis 3主 3從 一共6個節(jié)點(diǎn)。

下面是我們操作的時間線:

• 第一天

程序運(yùn)行中關(guān)閉任意一臺從節(jié)點(diǎn)，測試一天均無異常。

• 第二天

程序運(yùn)行中關(guān)閉任意一臺從節(jié)點(diǎn)，程序未發(fā)現(xiàn)異常，測試一天未發(fā)現(xiàn)異常。

• 第三天

預(yù)發(fā)環(huán)境有應(yīng)用發(fā)版，出現(xiàn)異常程序無法啟動。

……

二、問題描述

首先說明幾個前提：

1. 測試與預(yù)發(fā)環(huán)境目前關(guān)閉的都是任意一臺Redis從節(jié)點(diǎn)。

2. 測試環(huán)境經(jīng)過反復(fù)測試無問題才開始關(guān)閉預(yù)發(fā)環(huán)境節(jié)點(diǎn)。

3. 預(yù)發(fā)環(huán)境重啟被關(guān)閉的Redis節(jié)點(diǎn)后異常消失。

4. 連接Redis客戶端使用的是Java語言中使用范圍較廣的Jedis。

那么為什么測試環(huán)境在經(jīng)過反復(fù)測試沒有問題，到預(yù)發(fā)環(huán)境會出現(xiàn)問題？

三、原理

分析問題前先簡單解釋下Redis Cluster實(shí)現(xiàn)原理。簡單來說Redis

場景

操作（多節(jié)點(diǎn)均同時操作）

Redis寫總量

Redis讀總量

錯誤量

總耗時(s)

錯誤率

程序運(yùn)行中

關(guān)主（關(guān)任一主）

100000

100000

3084

100

0.031

關(guān)主（關(guān)任一主）

100000

100000

1482

102

0.015

關(guān)主（關(guān)任一主）

100000

100000

3053

97.6

0.031

關(guān)從（關(guān)任一從）

100000

100000

0

109.2

0

關(guān)從（關(guān)任一從）

100000

100000

0

90.1

0

關(guān)從（關(guān)任一從）

100000

100000

0

88.9

0

主從一起關(guān)（關(guān)任一對）

100000

100000

32613

210.1

0.326

主從一起關(guān)（關(guān)任一對）

100000

100000

29148

169.8

0.291

主從一起關(guān)（關(guān)任一對）

100000

100000

32410

173.7

0.324

所有主全關(guān)

100000

100000

100000

353.4

1

所有從全關(guān)

100000

100000

0

87.7

0

只留一臺主

100000

100000

100000

357.1

1

表1

從測試結(jié)果看，集群Master的選舉過程是由Master參與選舉的。

1. 如果半數(shù)以上 Master 處于關(guān)閉狀態(tài)那么整個集群處于不可用狀態(tài)。

2. 關(guān)閉任意一對主從節(jié)點(diǎn)會導(dǎo)致部分（大約為整個集群的1/3）失敗。

3. 關(guān)閉任意一主，會導(dǎo)致部分寫操作失敗，是由于從節(jié)點(diǎn)不能執(zhí)行寫操作，在Slave升級為Master期間會有少量的失敗。

4. 關(guān)閉從節(jié)點(diǎn)對于整個集群沒有影響