學(xué)習(xí)Redis Cluster并手動(dòng)搭建集群

Redis Cluster采用虛擬槽分區(qū)，所有的鍵根據(jù)哈希函數(shù)映射到0~16383整數(shù)槽內(nèi)，計(jì)算公式：slot=CRC16(key)&16383。槽是集群內(nèi)數(shù)據(jù)管理和遷移的基本單位。采用大范圍槽的主要目的是為了方便數(shù)據(jù)拆分和集群擴(kuò)展。每個(gè)節(jié)點(diǎn)會(huì)負(fù)責(zé)一定數(shù)據(jù)的槽，如下圖所示：

當(dāng)集群有5個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)平均大約負(fù)載3276個(gè)槽。由于采用高質(zhì)量的哈希算法，每個(gè)槽所映射的數(shù)據(jù)通常比較均勻，將數(shù)據(jù)平均劃分到5個(gè)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)分區(qū)。每一個(gè)節(jié)點(diǎn)負(fù)責(zé)維護(hù)一部分槽以及槽所映射的鍵值數(shù)據(jù)，如下圖所示：

Redis虛擬槽分區(qū)的特點(diǎn)：

解耦數(shù)據(jù)和節(jié)點(diǎn)之間的關(guān)系，簡(jiǎn)化了節(jié)點(diǎn)擴(kuò)容和收縮難度。

節(jié)點(diǎn)自身維護(hù)槽的映射關(guān)系，不需要客戶端或者代理服務(wù)維護(hù)槽分區(qū)元數(shù)據(jù)。

支持節(jié)點(diǎn)、槽、鍵之間的映射查詢，用于數(shù)據(jù)路由、在線伸縮等場(chǎng)景。

數(shù)據(jù)分區(qū)是分布式存儲(chǔ)的核心，理解和靈活運(yùn)用數(shù)據(jù)分區(qū)規(guī)則對(duì)于掌握Redis Cluster非常有幫助。

集群功能限制

Redis集群相對(duì)單機(jī)的功能上存在一些限制，需要開(kāi)發(fā)人頁(yè)提前了解，在使用時(shí)做好規(guī)避。限制如下：

1)key批量操作支持有限。如mset、mget，目前只支持具有相同slot值的key執(zhí)行批量操作。對(duì)于映射為不同slot值的key由于執(zhí)行mget、mset等操作可能存在于多個(gè)節(jié)點(diǎn)上因此不被支持。

2)key事務(wù)操作支持有限。同理只支持多key在同一節(jié)點(diǎn)上的事務(wù)操作，當(dāng)多個(gè)key分布在不同的節(jié)點(diǎn)上時(shí)無(wú)法使用事務(wù)功能。

3)key作為數(shù)據(jù)分區(qū)的最小粒度，因此不能將一個(gè)大的鍵值對(duì)象如hash、list等映射到不同的節(jié)點(diǎn)。

4)不支持多數(shù)據(jù)庫(kù)空間。單機(jī)下的Redis可以支持16個(gè)數(shù)據(jù)庫(kù)，集群模式下只能使用一個(gè)數(shù)據(jù)庫(kù)空間，即db0。

5)復(fù)制結(jié)構(gòu)只支持一層，從節(jié)點(diǎn)只能復(fù)制主節(jié)點(diǎn)，不支持嵌套樹(shù)狀復(fù)制結(jié)構(gòu)。

搭建集群

下面開(kāi)始搭建集群工作，需要以下三個(gè)步驟：

1)準(zhǔn)備節(jié)點(diǎn)

2)節(jié)點(diǎn)握手

3)分配槽

準(zhǔn)備節(jié)點(diǎn)

節(jié)點(diǎn)規(guī)劃，使用三臺(tái)機(jī)器，第臺(tái)機(jī)器上部署兩個(gè)Redis實(shí)例，分別為一主一從。

redis_1 192.168.56.120
redis_2 192.168.56.121
redis_3 192.168.56.122

Redis集群一般由多個(gè)節(jié)點(diǎn)組成，節(jié)點(diǎn)數(shù)據(jù)至少為6個(gè)才能保證組成完整高可用的集群。每個(gè)節(jié)點(diǎn)需要開(kāi)啟配置cluster-enabled yes，讓Redis運(yùn)行在集群模式下。建議為集群內(nèi)所有節(jié)點(diǎn)統(tǒng)一目錄，一般劃分三個(gè)目錄：conf、data、log，分別存放配置、數(shù)據(jù)和日志相關(guān)文件。把6個(gè)節(jié)點(diǎn)配置統(tǒng)一放在conf目錄下，集群相關(guān)配置如下：

#節(jié)點(diǎn)端口
port 6379
#開(kāi)啟集群模式
cluster-enabled yes
#節(jié)點(diǎn)超時(shí)時(shí)間，單位毫秒
cluster-node-timeout 15000
#集群內(nèi)部配置文件
cluster-config-file "nodes-6379.conf"

其他配置和單機(jī)模式一致即可，配置文件命名規(guī)則redis-{port}.conf，準(zhǔn)備好配置后啟動(dòng)所有節(jié)點(diǎn)，命令如下：

#redis_1
redis-server conf/redis-6379.conf &
redis-server conf/redis-6380.conf &
#redis_2
redis-server conf/redis-6379.conf &
redis-server conf/redis-6380.conf &
#redis_3
redis-server conf/redis-6379.conf &
redis-server conf/redis-6380.conf &

檢查節(jié)點(diǎn)是日志是否正確，內(nèi)容如下

5200:M 05 Apr 11:28:18.931 * No cluster configuration found, I'm 383261e3f0053f74c953bd07ceee36a4b5795bc3
......                                             
Redis 4.0.13 (00000000/0) 64 bit
Running in cluster mode
Port: 6380
PID: 5200
.......
5200:M 05 Apr 11:28:18.943 * Ready to accept connections

redis_1上的6379節(jié)點(diǎn)啟動(dòng)成功，第一次啟動(dòng)時(shí)如果沒(méi)有集群配置文件，它會(huì)自動(dòng)創(chuàng)建一份，文件名稱(chēng)采用cluster-config-file參數(shù)項(xiàng)控制，建議采用node-{port}.conf格式定義，通過(guò)使用端口號(hào)區(qū)分不同節(jié)點(diǎn)，防止同一機(jī)器下多個(gè)節(jié)點(diǎn)彼此覆蓋，造成集群信息異常。如果啟動(dòng)時(shí)存在集群配置文件，節(jié)點(diǎn)會(huì)使用配置文件內(nèi)容初始化集群信息，啟動(dòng)過(guò)程如下圖：

集群模式的Redis除了原有的配置文件之外又加了一份集群配置文件。當(dāng)集群節(jié)點(diǎn)信息發(fā)生變化，如添加節(jié)點(diǎn)、節(jié)點(diǎn)下線、故障轉(zhuǎn)移等。節(jié)點(diǎn)會(huì)自動(dòng)保存集群狀態(tài)到配置文件中。需要注意的是，Redis自動(dòng)維護(hù)集群配置文件，不要手動(dòng)修改，防止節(jié)點(diǎn)重啟時(shí)產(chǎn)生集群信息錯(cuò)亂。

如redis_3的6379實(shí)例首次啟動(dòng)后生成集群配置如下：

[redis@redis_3 ~]$ cat data/nodes-6379.conf 

275753d11365feabb366170b940bca4b8486bbd7 :0@0 myself,master - 0 0 0 connected

vars currentEpoch 0 lastVoteEpoch 0

文件內(nèi)容記錄了集群初始狀態(tài)，這里最重要的是節(jié)點(diǎn)ID，它是一個(gè)40位16進(jìn)制字符串，用于標(biāo)準(zhǔn)集群內(nèi)一個(gè)節(jié)點(diǎn)，之后很多集群操作都要借助于節(jié)點(diǎn)ID來(lái)完成。需要注意的是，節(jié)點(diǎn)IDeas不同于運(yùn)行IDeas。節(jié)點(diǎn)IDeas在集群初始化時(shí)只創(chuàng)建一次，節(jié)點(diǎn)重啟時(shí)會(huì)加載集群配置文件進(jìn)行重用，而Redis的運(yùn)行IDeas每次重啟都 會(huì)變化。在redis_3的6379節(jié)點(diǎn)上執(zhí)行cluster nodes命令獲取集群節(jié)點(diǎn)狀態(tài)：

127.0.0.1:6380> cluster nodes

d54639285709a65bb8ca331f26d4fe1b1c8c73ca :6380@16380 myself,master - 0 0 0 connected

每個(gè)節(jié)點(diǎn)目前只能識(shí)別出自己的節(jié)點(diǎn)信息。我們啟動(dòng)6個(gè)節(jié)點(diǎn)，但每個(gè)節(jié)點(diǎn)彼此不知道對(duì)方的存在，下面通過(guò)節(jié)點(diǎn)握手讓6個(gè)節(jié)點(diǎn)彼此建議聯(lián)系從而組成一個(gè)集群。

節(jié)點(diǎn)握手

節(jié)點(diǎn)握手是批一批運(yùn)行在集群模式下的節(jié)點(diǎn)通過(guò)Gossip協(xié)議彼此通信，達(dá)到感知對(duì)方的過(guò)程。節(jié)點(diǎn)握手是集群彼此通信的第一步，由客戶端發(fā)起命令：cluster meet {ip} {port}，如下圖所示

圖中執(zhí)行的命令是：cluster meet 127.0.0.1 6380讓節(jié)點(diǎn)6379和6380進(jìn)行握手通信。cluster meet命令是一個(gè)異步命令，執(zhí)行之后立刻返回。內(nèi)部發(fā)起與目標(biāo)節(jié)點(diǎn)進(jìn)行握手通信，如圖所示

1)節(jié)點(diǎn)6379本地創(chuàng)建6380節(jié)點(diǎn)信息對(duì)象，并發(fā)送meet消息。

2)節(jié)點(diǎn)6380接受到meet消息后，保存6379節(jié)點(diǎn)信息并回復(fù)pong消息。

3)之后節(jié)點(diǎn)6379和6380彼此定期通過(guò)ping/pong消息進(jìn)行正常的節(jié)點(diǎn)通信。

這里的meet、ping、pong消息是Gossip協(xié)議通信的載體，之后的節(jié)點(diǎn)通信部分做進(jìn)一步介紹，它的主要作用是節(jié)點(diǎn)彼此交換狀態(tài)數(shù)據(jù)信息。6379和6380節(jié)點(diǎn)通過(guò)meet命令彼此建議通信之后集群結(jié)構(gòu)如圖：

執(zhí)行完cluster meet后，可以通過(guò)cluster nodes看到兩個(gè)實(shí)例都檢查到了對(duì)方的存在

[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6379
redis_1:6379> cluster meet 192.168.56.120 6380
OK
redis_1:6379> cluster nodes
383261e3f0053f74c953bd07ceee36a4b5795bc3 192.168.56.120:6380@16380 master - 0 1554440139158 1 connected
ceaf2ccb751978b7334ddeca474da3d6b7aac99b 192.168.56.120:6379@16379 myself,master - 0 0 0 connected
redis_1:6379> exit
[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6380
redis_1:6380> cluster nodes
ceaf2ccb751978b7334ddeca474da3d6b7aac99b 192.168.56.120:6379@16379 master - 0 1554440152934 0 connected
383261e3f0053f74c953bd07ceee36a4b5795bc3 192.168.56.120:6380@16380 myself,master - 0 0 1 connected
redis_1:6380>

使用如下命令把其他節(jié)點(diǎn)加入集群，只需要在集群內(nèi)任意節(jié)點(diǎn)執(zhí)行cluster meet命令加入新節(jié)點(diǎn)，握手狀態(tài)會(huì)通過(guò)消息在集群內(nèi)傳播，這樣其他節(jié)點(diǎn)會(huì)自動(dòng)發(fā)現(xiàn)新節(jié)點(diǎn)并發(fā)起握手流程。最后執(zhí)行cluster nodes命令確認(rèn)6個(gè)節(jié)點(diǎn)都彼此感知并組成了集群：

[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6379
redis_1:6379> cluster meet 192.168.56.121 6379
OK
redis_1:6379> cluster meet 192.168.56.121 6380
OK
redis_1:6379> cluster meet 192.168.56.122 6379
OK
redis_1:6379> cluster meet 192.168.56.122 6380
OK
redis_1:6379> cluster nodes
275753d11365feabb366170b940bca4b8486bbd7 192.168.56.122:6379@16379 master - 0 1554440316783 4 connected
383261e3f0053f74c953bd07ceee36a4b5795bc3 192.168.56.120:6380@16380 master - 0 1554440316000 1 connected
ceaf2ccb751978b7334ddeca474da3d6b7aac99b 192.168.56.120:6379@16379 myself,master - 0 1554440315000 5 connected
d54639285709a65bb8ca331f26d4fe1b1c8c73ca 192.168.56.122:6380@16380 master - 0 1554440316000 0 connected
ca4f05809dc9a9eda4292a33b994b4e2aab13033 192.168.56.121:6380@16380 master - 0 1554440317000 3 connected
a85bbb17a3f559d18d7f5059f14ffd9f6ba48ee1 192.168.56.121:6379@16379 master - 0 1554440315000 2 connected

握手完成后集群的狀態(tài)如下圖：

節(jié)點(diǎn)建議握手之后集群還不能正常工作，這里集群處理下線狀態(tài)，所有的數(shù)據(jù)讀寫(xiě)都被禁止。通過(guò)如下命令可以看到：

redis_2:6379> set hello world
(error) CLUSTERDOWN Hash slot not served

通過(guò)cluster info 命令可以獲取集群當(dāng)前狀態(tài)：

redis_2:6379> cluster info
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:0
cluster_current_epoch:5
cluster_my_epoch:2
cluster_stats_messages_ping_sent:315
cluster_stats_messages_pong_sent:314
cluster_stats_messages_meet_sent:3
cluster_stats_messages_sent:632
cluster_stats_messages_ping_received:312
cluster_stats_messages_pong_received:318
cluster_stats_messages_meet_received:2
cluster_stats_messages_received:632

從輸出內(nèi)容可以看到，被分配的槽(cluster_slots_assigned)是0，由于目前所有的槽沒(méi)有分配節(jié)點(diǎn)，因此集群無(wú)法完成槽到節(jié)點(diǎn)的映射。只有當(dāng)16384個(gè)槽全部分配給節(jié)點(diǎn)后，集群才進(jìn)入在線狀態(tài)。

分配槽

Redis集群把所有的數(shù)據(jù)映射到16384個(gè)槽中。每個(gè)key會(huì)映射為一個(gè)固定的槽，只有當(dāng)節(jié)點(diǎn)分配了槽，才響應(yīng)和這些槽相關(guān)聯(lián)的鍵命令。通過(guò)cluster addslots命令為節(jié)點(diǎn)分配槽。這些利用bash特性批量設(shè)置槽(slots)，命令如下：

[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6379 cluster addslots {0..5461}
OK
[redis@redis_1 ~]$ redis-cli -h redis_2 -p 6379 cluster addslots {5462..10922}
OK
[redis@redis_1 ~]$ redis-cli -h redis_3 -p 6379 cluster addslots {10923..16383}
OK

把16384個(gè)slot平均分配給redis_1/2/3的6379三個(gè)節(jié)點(diǎn)。執(zhí)行cluster info查看集群狀態(tài)如下所示：

[redis@redis_1 ~]$ redis-cli -h redis_2 -p 6379 cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:5
cluster_my_epoch:2
cluster_stats_messages_ping_sent:1062
cluster_stats_messages_pong_sent:1067
cluster_stats_messages_meet_sent:3
cluster_stats_messages_sent:2132
cluster_stats_messages_ping_received:1065
cluster_stats_messages_pong_received:1065
cluster_stats_messages_meet_received:2
cluster_stats_messages_received:2132

當(dāng)前集群狀態(tài)是OK，集群進(jìn)入在線狀態(tài)。所有的槽都已經(jīng)分配給節(jié)點(diǎn)，執(zhí)行cluster nodes命令可以看到節(jié)點(diǎn)和槽的分配關(guān)系：

[redis@redis_1 ~]$ redis-cli -h redis_2 -p 6379 cluster nodes
a85bbb17a3f559d18d7f5059f14ffd9f6ba48ee1 192.168.56.121:6379@16379 myself,master - 0 1554441448000 2 connected 5462-10922
ceaf2ccb751978b7334ddeca474da3d6b7aac99b 192.168.56.120:6379@16379 master - 0 1554441448455 5 connected 0-5461
ca4f05809dc9a9eda4292a33b994b4e2aab13033 192.168.56.121:6380@16380 master - 0 1554441449000 3 connected
383261e3f0053f74c953bd07ceee36a4b5795bc3 192.168.56.120:6380@16380 master - 0 1554441450000 1 connected
d54639285709a65bb8ca331f26d4fe1b1c8c73ca 192.168.56.122:6380@16380 master - 0 1554441450491 0 connected
275753d11365feabb366170b940bca4b8486bbd7 192.168.56.122:6379@16379 master - 0 1554441449470 4 connected 10923-16383

目前還有三個(gè)節(jié)點(diǎn)沒(méi)有使用，作為一個(gè)完整的集群，每個(gè)負(fù)責(zé)處理槽的節(jié)點(diǎn)應(yīng)該具有從節(jié)點(diǎn)，保證當(dāng)它出現(xiàn)故障時(shí)可以自動(dòng)進(jìn)行故障轉(zhuǎn)移。集群模式下，Redis節(jié)點(diǎn)角色分為主節(jié)點(diǎn)和從節(jié)點(diǎn)。首次啟動(dòng)的節(jié)點(diǎn)和被分配槽的節(jié)點(diǎn)都是主節(jié)點(diǎn)，從節(jié)點(diǎn)負(fù)責(zé)復(fù)制主節(jié)點(diǎn)槽信息和相關(guān)的數(shù)據(jù)。使用cluster replicate {nodeID}命令讓一個(gè)節(jié)點(diǎn)成為從節(jié)點(diǎn)。其中命令執(zhí)行必須在對(duì)應(yīng)的從節(jié)點(diǎn)上執(zhí)行，nodeID是要復(fù)制主節(jié)點(diǎn)的節(jié)點(diǎn)ID，命令如下：

[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6380 cluster replicate a85bbb17a3f559d18d7f5059f14ffd9f6ba48ee1
OK
[redis@redis_1 ~]$ redis-cli -h redis_2 -p 6380 cluster replicate 275753d11365feabb366170b940bca4b8486bbd7
OK
[redis@redis_1 ~]$ redis-cli -h redis_3 -p 6380 cluster replicate ceaf2ccb751978b7334ddeca474da3d6b7aac99b
OK

復(fù)制(replication)完成后，整個(gè)集群的結(jié)構(gòu)如圖

到此為止，我們依照Redis協(xié)議手動(dòng)建立一個(gè)集群。它由6個(gè)節(jié)點(diǎn)構(gòu)成，3個(gè)主節(jié)點(diǎn)負(fù)責(zé)處理槽和相關(guān)數(shù)據(jù)，3個(gè)從節(jié)點(diǎn)負(fù)責(zé)故障轉(zhuǎn)移。

博文內(nèi)容主要參考《Redis開(kāi)發(fā)與運(yùn)維》一書(shū)。