Redis由淺入深深深深深剖析

前言

常用的SQL數(shù)據(jù)庫的數(shù)據(jù)都是存在磁盤中的，雖然在數(shù)據(jù)庫底層也做了對(duì)應(yīng)的緩存來減少數(shù)據(jù)庫的IO壓力，但由于數(shù)據(jù)庫的緩存一般是針對(duì)查詢的內(nèi)容，而且粒度也比較小，一般只有表中的數(shù)據(jù)沒有發(fā)生變動(dòng)的時(shí)候，數(shù)據(jù)庫的緩存才會(huì)產(chǎn)生作用，但這并不能減少業(yè)務(wù)邏輯對(duì)數(shù)據(jù)庫的增刪改操作的IO壓力，因此緩存技術(shù)應(yīng)運(yùn)而生，該技術(shù)實(shí)現(xiàn)了對(duì)熱點(diǎn)數(shù)據(jù)的高速緩存，可以大大緩解后端數(shù)據(jù)庫的壓力。

主流應(yīng)用架構(gòu)

客戶端在對(duì)數(shù)據(jù)庫發(fā)起請(qǐng)求時(shí)，先到緩存層查看是否有所需的數(shù)據(jù)，如果緩存層存有客戶端所需的數(shù)據(jù)，則直接從緩存層返回，否則進(jìn)行穿透查詢，對(duì)數(shù)據(jù)庫進(jìn)行查詢，如果在數(shù)據(jù)庫中查詢到該數(shù)據(jù)，則將該數(shù)據(jù)回寫到緩存層，以便下次客戶端再次查詢能夠直接從緩存層獲取數(shù)據(jù)。

緩存中間件 -- Memcache和Redis的區(qū)別

• Memcache:代碼層類似Hash

• 1.支持簡單數(shù)據(jù)類型

• 2.不支持?jǐn)?shù)據(jù)持久化存儲(chǔ)

• 3.不支持主從

• 4.不支持分片

• Redis

• 1.數(shù)據(jù)類型豐富

• 2.支持?jǐn)?shù)據(jù)磁盤持久化存儲(chǔ)

• 3.支持主從

• 4.支持分片

為什么Redis能這么快

Redis的效率很高，官方給出的數(shù)據(jù)是100000+QPS(query per second),這是因?yàn)椋?/p>

1.Redis完全基于內(nèi)存，絕大部分請(qǐng)求是純粹的內(nèi)存操作，執(zhí)行效率高。

2.Redis使用單進(jìn)程單線程模型的(K,V)數(shù)據(jù)庫，將數(shù)據(jù)存儲(chǔ)在內(nèi)存中，存取均不會(huì)受到硬盤IO的限制，因此其執(zhí)行速度極快，另外單線程也能處理高并發(fā)請(qǐng)求，還可以避免頻繁上下文切換和鎖的競爭，如果想要多核運(yùn)行也可以啟動(dòng)多個(gè)實(shí)例。

3.數(shù)據(jù)結(jié)構(gòu)簡單，對(duì)數(shù)據(jù)操作也簡單，Redis不使用表，不會(huì)強(qiáng)制用戶對(duì)各個(gè)關(guān)系進(jìn)行關(guān)聯(lián)，不會(huì)有復(fù)雜的關(guān)系限制，其存儲(chǔ)結(jié)構(gòu)就是鍵值對(duì)，類似于HashMap，HashMap最大的優(yōu)點(diǎn)就是存取的時(shí)間復(fù)雜度為O(1)。

4.Redis使用多路I/O復(fù)用模型，為非阻塞IO（非阻塞IO會(huì)另寫一篇解釋，可以先行百度）。

注：Redis采用的I/O多路復(fù)用函數(shù)：epoll/kqueue/evport/select

選用策略：

1.因地制宜，優(yōu)先選擇時(shí)間復(fù)雜度為O(1)的I/O多路復(fù)用函數(shù)作為底層實(shí)現(xiàn)。

2.由于select要遍歷每一個(gè)IO，所以其時(shí)間復(fù)雜度為O(n)，通常被作為保底方案。

3.基于react設(shè)計(jì)模式監(jiān)聽I/O事件。

Redis的數(shù)據(jù)類型

• String

• 最基本的數(shù)據(jù)類型，其值最大可存儲(chǔ)512M，二進(jìn)制安全（Redis的String可以包含任何二進(jìn)制數(shù)據(jù)，包含jpg對(duì)象等）。

注：如果重復(fù)寫入key相同的鍵值對(duì)，后寫入的會(huì)將之前寫入的覆蓋。

Hash

String元素組成的字典，適用于存儲(chǔ)對(duì)象。

List

列表，按照String元素插入順序排序。其順序?yàn)?span >后進(jìn)先出。由于其具有棧的特性，所以可以實(shí)現(xiàn)如“最新消息排行榜”這類的功能。

Set

String元素組成的無序集合，通過哈希表實(shí)現(xiàn)（增刪改查時(shí)間復(fù)雜度為O(1)），不允許重復(fù)。

另外，當(dāng)我們使用smembers遍歷set中的元素時(shí)，其順序也是不確定的，是通過hash運(yùn)算過后的結(jié)果。Redis還對(duì)集合提供了求交集、并集、差集等操作，可以實(shí)現(xiàn)如同共同關(guān)注，共同好友等功能。

Sorted Set

通過分?jǐn)?shù)來為集合中的成員進(jìn)行從小到大的排序。

• 更高級(jí)的Redis類型

• 用于計(jì)數(shù)的HyperLogLog、用于支持存儲(chǔ)地理位置信息的Geo。

從海量Key里查詢出某一個(gè)固定前綴的Key

• 假設(shè)redis中有十億條key，如何從這么多key中找到固定前綴的key？

• 方法1：使用KEYS [pattern]：查找所有符合給定模式pattern的key

• 使用keys [pattern]指令可以找到所有符合pattern條件的key，但是keys會(huì)一次性返回所有符合條件的key，所以會(huì)造成redis的卡頓，假設(shè)redis此時(shí)正在生產(chǎn)環(huán)境下，使用該命令就會(huì)造成隱患，另外如果一次性返回所有key，對(duì)內(nèi)存的消耗在某些條件下也是巨大的。 例：

• keys test* //返回所有以test為前綴的key

• 方法2：使用SCAN cursor [MATCH pattern] [COUNT count]

• cursor：游標(biāo) MATCH pattern：查詢key的條件 count：返回的條數(shù) SCAN是一個(gè)基于游標(biāo)的迭代器，需要基于上一次的游標(biāo)延續(xù)之前的迭代過程。SCAN以0作為游標(biāo)，開始一次新的迭代，直到命令返回游標(biāo)0完成一次遍歷。此命令并不保證每次執(zhí)行都返回某個(gè)給定數(shù)量的元素，甚至?xí)祷?個(gè)元素，但只要游標(biāo)不是0，程序都不會(huì)認(rèn)為SCAN命令結(jié)束，但是返回的元素?cái)?shù)量大概率符合count參數(shù)。另外，SCAN支持模糊查詢。 例：

• SCAN 0 MATCH test* COUNT 10 //每次返回10條以test為前綴的key

如何通過Redis實(shí)現(xiàn)分布式鎖

• 分布式鎖

• 分布式鎖是控制分布式系統(tǒng)之間共同訪問共享資源的一種鎖的實(shí)現(xiàn)。如果一個(gè)系統(tǒng)，或者不同系統(tǒng)的不同主機(jī)之間共享某個(gè)資源時(shí)，往往需要互斥，來排除干擾，滿足數(shù)據(jù)一致性。

• 分布式鎖需要解決的問題如下：

• 1.互斥性：任意時(shí)刻只有一個(gè)客戶端獲取到鎖，不能有兩個(gè)客戶端同時(shí)獲取到鎖。

• 2.安全性：鎖只能被持有該鎖的客戶端刪除，不能由其它客戶端刪除。

• 3.死鎖：獲取鎖的客戶端因?yàn)槟承┰蚨礄C(jī)繼而無法釋放鎖，其它客戶端再也無法獲取鎖而導(dǎo)致死鎖，此時(shí)需要有特殊機(jī)制來避免死鎖。

• 4.容錯(cuò)：當(dāng)各個(gè)節(jié)點(diǎn)，如某個(gè)redis節(jié)點(diǎn)宕機(jī)的時(shí)候，客戶端仍然能夠獲取鎖或釋放鎖。

• 如何使用redis實(shí)現(xiàn)分布式鎖

• 使用SETNX實(shí)現(xiàn)

• SETNX key value:如果key不存在，則創(chuàng)建并賦值。該命令時(shí)間復(fù)雜度為O(1)，如果設(shè)置成功，則返回1，否則返回0。

• 由于SETNX指令操作簡單，且是原子性的，所以初期的時(shí)候經(jīng)常被人們作為分布式鎖，我們在應(yīng)用的時(shí)候，可以在某個(gè)共享資源區(qū)之前先使用SETNX指令，查看是否設(shè)置成功，如果設(shè)置成功則說明前方?jīng)]有客戶端正在訪問該資源，如果設(shè)置失敗則說明有客戶端正在訪問該資源，那么當(dāng)前客戶端就需要等待。但是如果真的這么做，就會(huì)存在一個(gè)問題，因?yàn)?span >SETNX是長久存在的，所以假設(shè)一個(gè)客戶端正在訪問資源，并且上鎖，那么當(dāng)這個(gè)客戶端結(jié)束訪問時(shí)，該鎖依舊存在，后來者也無法成功獲取鎖，這個(gè)該如何解決呢？

• 由于SETNX并不支持傳入EXPIRE參數(shù)，所以我們可以直接使用EXPIRE指令來對(duì)特定的key來設(shè)置過期時(shí)間。

用法：EXPIRE key seconds

• 程序：

RedisService?redisService?=?SpringUtils.getBean(RedisService.class);
long?status?=?redisService.setnx(key,"1");
if(status?==?1){
?redisService.expire(key,expire);
?doOcuppiedWork();
}

• 這段程序存在的問題:假設(shè)程序運(yùn)行到第二行出現(xiàn)異常，那么程序來不及設(shè)置過期時(shí)間就結(jié)束了，則key會(huì)一直存在，等同于鎖一直被持有無法釋放。出現(xiàn)此問題的根本原因?yàn)椋?span >原子性得不到滿足。

• 解決：從Redis2.6.12版本開始，我們就可以使用Set操作，將Setnx和expire融合在一起執(zhí)行，具體做法如下。

SET?KEY?value?[EX?seconds]?[PX?milliseconds]?[NX|XX]

• EX second:設(shè)置鍵的過期時(shí)間為second秒。

• PX millisecond:設(shè)置鍵的過期時(shí)間為millisecond毫秒。

• NX：只在鍵不存在時(shí)，才對(duì)鍵進(jìn)行設(shè)置操作。

• XX:只在鍵已經(jīng)存在時(shí)，才對(duì)鍵進(jìn)行設(shè)置操作。

• 注：SET操作成功完成時(shí)才會(huì)返回OK，否則返回nil。

• 有了SET我們就可以在程序中使用類似下面的代碼實(shí)現(xiàn)分布式鎖了：

RedisService?redisService?=?SpringUtils.getBean(RedisService.class);
String?result?=?redisService.set(lockKey,requestId,SET_IF_NOT_EXIST,SET_WITH_EXPIRE_TIME,expireTime);
if("OK.equals(result)"){
?doOcuppiredWork();
}

如何實(shí)現(xiàn)異步隊(duì)列

• 使用Redis中的List作為隊(duì)列

• 使用上文所說的Redis的數(shù)據(jù)結(jié)構(gòu)中的List作為隊(duì)列 Rpush生產(chǎn)消息，LPOP消費(fèi)消息。

• 此時(shí)我們可以看到，該隊(duì)列是使用rpush生產(chǎn)隊(duì)列，使用lpop消費(fèi)隊(duì)列。在這個(gè)生產(chǎn)者-消費(fèi)者隊(duì)列里，當(dāng)lpop沒有消息時(shí)，證明該隊(duì)列中沒有元素，并且生產(chǎn)者還沒有來得及生產(chǎn)新的數(shù)據(jù)。

• 缺點(diǎn)：lpop不會(huì)等待隊(duì)列中有值之后再消費(fèi)，而是直接進(jìn)行消費(fèi)。

• 彌補(bǔ)：可以通過在應(yīng)用層引入Sleep機(jī)制去調(diào)用LPOP重試。

• 使用BLPOP key [key...] timeout

• BLPOP key [key ...] timeout:阻塞直到隊(duì)列有消息或者超時(shí)。

• 缺點(diǎn)：按照此種方法，我們生產(chǎn)后的數(shù)據(jù)只能提供給各個(gè)單一消費(fèi)者消費(fèi)能否實(shí)現(xiàn)生產(chǎn)一次就能讓多個(gè)消費(fèi)者消費(fèi)呢？

• pub/sub：主題訂閱者模式

• 發(fā)送者（pub）發(fā)送消息，訂閱者（sub）接收消息。 訂閱者可以訂閱任意數(shù)量的頻道

• pub/sub模式的缺點(diǎn)：

• 消息的發(fā)布是無狀態(tài)的，無法保證可達(dá)。對(duì)于發(fā)布者來說，消息是“即發(fā)即失”的，此時(shí)如果某個(gè)消費(fèi)者在生產(chǎn)者發(fā)布消息時(shí)下線，重新上線之后，是無法接收該消息的，要解決該問題需要使用專業(yè)的消息隊(duì)列，如kafka...此處不再贅述。

Redis持久化

• 什么是持久化

• 持久化，即將數(shù)據(jù)持久存儲(chǔ)，而不因斷電或其它各種復(fù)雜外部環(huán)境影響數(shù)據(jù)的完整性。由于Redis將數(shù)據(jù)存儲(chǔ)在內(nèi)存而不是磁盤中，所以內(nèi)存一旦斷電，Redis中存儲(chǔ)的數(shù)據(jù)也隨即消失，這往往是用戶不期望的，所以Redis有持久化機(jī)制來保證數(shù)據(jù)的安全性。

• Redis如何做持久化

• Redis目前有兩種持久化方式，即RDB和AOF，RDB是通過保存某個(gè)時(shí)間點(diǎn)的全量數(shù)據(jù)快照實(shí)現(xiàn)數(shù)據(jù)的持久化，當(dāng)恢復(fù)數(shù)據(jù)時(shí)，直接通過rdb文件中的快照，將數(shù)據(jù)恢復(fù)。

• RDB(快照)持久化:保存某個(gè)時(shí)間點(diǎn)的全量數(shù)據(jù)快照

• RDB持久化會(huì)在某個(gè)特定的間隔保存那個(gè)時(shí)間點(diǎn)的全量數(shù)據(jù)的快照。 RDB配置文件: redis.conf:

?save?900?1?#在900s內(nèi)如果有1條數(shù)據(jù)被寫入，則產(chǎn)生一次快照。
?save?300?10?#在300s內(nèi)如果有10條數(shù)據(jù)被寫入，則產(chǎn)生一次快照
?save?60?10000?#在60s內(nèi)如果有10000條數(shù)據(jù)被寫入，則產(chǎn)生一次快照
?stop-writes-on-bgsave-error?yes?
?#stop-writes-on-bgsave-error?：
?如果為yes則表示，當(dāng)備份進(jìn)程出錯(cuò)的時(shí)候，
?主進(jìn)程就停止進(jìn)行接受新的寫入操作，這樣是為了保護(hù)持久化的數(shù)據(jù)一致性的問題。

• RDB的創(chuàng)建與載入

• SAVE:阻塞Redis的服務(wù)器進(jìn)程，直到RDB文件被創(chuàng)建完畢。SAVE命令很少被使用，因?yàn)槠鋾?huì)阻塞主線程來保證快照的寫入，由于Redis是使用一個(gè)主線程來接收所有客戶端請(qǐng)求，這樣會(huì)阻塞所有客戶端請(qǐng)求。

• BGSAVE:該指令會(huì)Fork出一個(gè)子進(jìn)程來創(chuàng)建RDB文件，不阻塞服務(wù)器進(jìn)程，子進(jìn)程接收請(qǐng)求并創(chuàng)建RDB快照，父進(jìn)程繼續(xù)接收客戶端的請(qǐng)求。子進(jìn)程在完成文件的創(chuàng)建時(shí)會(huì)向父進(jìn)程發(fā)送信號(hào)，父進(jìn)程在接收客戶端請(qǐng)求的過程中，在一定的時(shí)間間隔通過輪詢來接收子進(jìn)程的信號(hào)。我們也可以通過使用lastsave指令來查看bgsave是否執(zhí)行成功，lastsave可以返回最后一次執(zhí)行成功bgsave的時(shí)間。

• 自動(dòng)化觸發(fā)RDB持久化的方式

• 1.根據(jù)redis.conf配置里的SAVE m n 定時(shí)觸發(fā)（實(shí)際上使用的是BGSAVE）

• 2.主從復(fù)制時(shí)，主節(jié)點(diǎn)自動(dòng)觸發(fā)。

• 3.執(zhí)行Debug Reload

• 4.執(zhí)行Shutdown且沒有開啟AOF持久化。

• BGSAVE的原理

• 啟動(dòng)：

• 1.檢查是否存在子進(jìn)程正在執(zhí)行AOF或者RDB的持久化任務(wù)。如果有則返回false。

• 2.調(diào)用Redis源碼中的rdbSaveBackground方法，方法中執(zhí)行fork()產(chǎn)生子進(jìn)程執(zhí)行rdb操作。

• 3.關(guān)于fork()中的Copy-On-Write

• fork()在linux中創(chuàng)建子進(jìn)程采用Copy-On-Write（寫時(shí)拷貝技術(shù)），即如果有多個(gè)調(diào)用者同時(shí)要求相同資源（如內(nèi)存或磁盤上的數(shù)據(jù)存儲(chǔ)），他們會(huì)共同獲取相同的指針指向相同的資源，直到某個(gè)調(diào)用者試圖修改資源的內(nèi)容時(shí)，系統(tǒng)才會(huì)真正復(fù)制一份專用副本給調(diào)用者，而其它調(diào)用者所見到的最初的資源仍然保持不變。

• RDB持久化方式的缺點(diǎn)

• 1.內(nèi)存數(shù)據(jù)全量同步，數(shù)據(jù)量大的狀況下，會(huì)由于I/O而嚴(yán)重影響性能。

• 2.可能會(huì)因?yàn)镽edis宕機(jī)而丟失從當(dāng)前至最近一次快照期間的數(shù)據(jù)。

• AOF(Append-Only-File)持久化:保存寫狀態(tài)

• AOF持久化是通過保存Redis的寫狀態(tài)來記錄數(shù)據(jù)庫的。相對(duì)RDB來說，RDB持久化是通過備份數(shù)據(jù)庫的狀態(tài)來記錄數(shù)據(jù)庫，而AOF持久化是備份數(shù)據(jù)庫接收到的指令。

• 1.AOF記錄除了查詢以外的所有變更數(shù)據(jù)庫狀態(tài)的指令。

• 2.以增量的形式追加保存到AOF文件中。

• 開啟AOF持久化

• 1.打開redis.conf配置文件,將appendonly屬性改為yes。

• 2.修改appendfsync屬性，該屬性可以接收三種參數(shù)，分別是always,everysec,no,always表示總是即時(shí)將緩沖區(qū)內(nèi)容寫入AOF文件當(dāng)中，everysec表示每隔一秒將緩沖區(qū)內(nèi)容寫入AOF文件，no表示將寫入文件操作交由操作系統(tǒng)決定，一般來說，操作系統(tǒng)考慮效率問題，會(huì)等待緩沖區(qū)被填滿再將緩沖區(qū)數(shù)據(jù)寫入AOF文件中。

?appendonly?yes
?#appendsync?always
?appendfsync?everysec
?#?appendfsync?no

• 日志重寫解決AOF文件不斷增大的問題

• 隨著寫操作的不斷增加，AOF文件會(huì)越來越大。假設(shè)遞增一個(gè)計(jì)數(shù)器100次，如果使用RDB持久化方式，我們只要保存最終結(jié)果100即可，而AOF持久化方式需要記錄下這100次遞增操作的指令，而事實(shí)上要恢復(fù)這條記錄，只需要執(zhí)行一條命令就行，所以那一百條命令實(shí)際可以精簡為一條。Redis支持這樣的功能，在不中斷前臺(tái)服務(wù)的情況下，可以重寫AOF文件，同樣使用到了COW（寫時(shí)拷貝）。重寫過程如下：

• 1.調(diào)用fork()，創(chuàng)建一個(gè)子進(jìn)程。

• 2.子進(jìn)程把新的AOF寫到一個(gè)臨時(shí)文件里，不依賴原來的AOF文件。

• 3.主進(jìn)程持續(xù)將新的變動(dòng)同時(shí)寫到內(nèi)存和原來的AOF里。

• 4.主進(jìn)程獲取子進(jìn)程重寫AOF的完成信號(hào)，往新AOF同步增量變動(dòng)。

• 5.使用新的AOF文件替換掉舊的AOF文件。

• AOF和RDB的優(yōu)缺點(diǎn)

• RDB優(yōu)點(diǎn)：全量數(shù)據(jù)快照，文件小，恢復(fù)快。

• RDB缺點(diǎn)：無法保存最近一次快照之后的數(shù)據(jù)。

• AOF優(yōu)點(diǎn)：可讀性高，適合保存增量數(shù)據(jù)，數(shù)據(jù)不易丟失。

• AOF缺點(diǎn)：文件體積大，恢復(fù)時(shí)間長。

• RDB-AOF混合持久化方式

• redis4.0之后推出了此種持久化方式，RDB作為全量備份，AOF作為增量備份，并且將此種方式作為默認(rèn)方式使用。

• 在上述兩種方式中，RDB方式是將全量數(shù)據(jù)寫入RDB文件，這樣寫入的特點(diǎn)是文件小，恢復(fù)快，但無法保存最近一次快照之后的數(shù)據(jù)，AOF則將redis指令存入文件中，這樣又會(huì)造成文件體積大，恢復(fù)時(shí)間長等弱點(diǎn)。

• 在RDB-AOF方式下，持久化策略首先將緩存中數(shù)據(jù)以RDB方式全量寫入文件，再將寫入后新增的數(shù)據(jù)以AOF的方式追加在RDB數(shù)據(jù)的后面，在下一次做RDB持久化的時(shí)候?qū)OF的數(shù)據(jù)重新以RDB的形式寫入文件。這種方式既可以提高讀寫和恢復(fù)效率，也可以減少文件大小，同時(shí)可以保證數(shù)據(jù)的完整性。在此種策略的持久化過程中，子進(jìn)程會(huì)通過管道從父進(jìn)程讀取增量數(shù)據(jù)，在以RDB格式保存全量數(shù)據(jù)時(shí)，也會(huì)通過管道讀取數(shù)據(jù)，同時(shí)不會(huì)造成管道阻塞?？梢哉f，在此種方式下的持久化文件，前半段是RDB格式的全量數(shù)據(jù)，后半段是AOF格式的增量數(shù)據(jù)。此種方式是目前較為推薦的一種持久化方式。

Redis數(shù)據(jù)的恢復(fù)

• RDB和AOF文件共存情況下的恢復(fù)流程

• 從圖可知，Redis啟動(dòng)時(shí)會(huì)先檢查AOF是否存在，如果AOF存在則直接加載AOF，如果不存在AOF，則直接加載RDB文件。

Pineline

Pipeline和Linux的管道類似，它可以讓Redis批量執(zhí)行指令。

Redis基于請(qǐng)求/響應(yīng)模型，單個(gè)請(qǐng)求處理需要一一應(yīng)答。如果需要同時(shí)執(zhí)行大量命令，則每條命令都需要等待上一條命令執(zhí)行完畢后才能繼續(xù)執(zhí)行，這中間不僅僅多了RTT,還多次使用了系統(tǒng)IO。Pipeline由于可以批量執(zhí)行指令，所以可以節(jié)省多次IO和請(qǐng)求響應(yīng)往返的時(shí)間。但是如果指令之間存在依賴關(guān)系，則建議分批發(fā)送指令。

Redis的同步機(jī)制

• 主從同步原理

• Redis一般是使用一個(gè)Master節(jié)點(diǎn)來進(jìn)行寫操作，而若干個(gè)Slave節(jié)點(diǎn)進(jìn)行讀操作，Master和Slave分別代表了一個(gè)個(gè)不同的RedisServer實(shí)例，另外定期的數(shù)據(jù)備份操作也是單獨(dú)選擇一個(gè)Slave去完成，這樣可以最大程度發(fā)揮Redis的性能，為的是保證數(shù)據(jù)的弱一致性和最終一致性。另外，Master和Slave的數(shù)據(jù)不是一定要即時(shí)同步的，但是在一段時(shí)間后Master和Slave的數(shù)據(jù)是趨于同步的，這就是最終一致性。

• 全同步過程

• 1.Slave發(fā)送sync命令到Master。

• 2.Master啟動(dòng)一個(gè)后臺(tái)進(jìn)程，將Redis中的數(shù)據(jù)快照保存到文件中。

• 3.Master將保存數(shù)據(jù)快照期間接收到的寫命令緩存起來。

• 4.Master完成寫文件操作后，將該文件發(fā)送給Slave。

• 5.使用新的AOF文件替換掉舊的AOF文件。

• 6.Master將這期間收集的增量寫命令發(fā)送給Slave端。

• 增量同步過程

• 1.Master接收到用戶的操作指令，判斷是否需要傳播到Slave。

• 2.將操作記錄追加到AOF文件。

• 3.將操作傳播到其它Slave：1.對(duì)齊主從庫；2.往響應(yīng)緩存寫入指令。

• 4.將緩存中的數(shù)據(jù)發(fā)送給Slave。

• Redis Sentinel（哨兵）

• 主從模式弊端：當(dāng)Master宕機(jī)后，Redis集群將不能對(duì)外提供寫入操作。Redis Sentinel可解決這一問題。

• 解決主從同步Master宕機(jī)后的主從切換問題：

• 1.監(jiān)控：檢查主從服務(wù)器是否運(yùn)行正常。

• 2.提醒：通過API向管理員或者其它應(yīng)用程序發(fā)送故障通知。

• 3.自動(dòng)故障遷移：主從切換（在Master宕機(jī)后，將其中一個(gè)Slave轉(zhuǎn)為Master，其他的

• Slave從該節(jié)點(diǎn)同步數(shù)據(jù)）。

Redis集群

• 原理：如何從海量數(shù)據(jù)里快速找到所需？

• 分片

• 按照某種規(guī)則去劃分?jǐn)?shù)據(jù)，分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上。通過將數(shù)據(jù)分到多個(gè)Redis服務(wù)器上，來減輕單個(gè)Redis服務(wù)器的壓力。

• 一致性Hash算法

• 既然要將數(shù)據(jù)進(jìn)行分片，那么通常的做法就是獲取節(jié)點(diǎn)的Hash值，然后根據(jù)節(jié)點(diǎn)數(shù)求模，但這樣的方法有明顯的弊端，當(dāng)Redis節(jié)點(diǎn)數(shù)需要?jiǎng)討B(tài)增加或減少的時(shí)候，會(huì)造成大量的Key無法被命中。所以Redis中引入了一致性Hash算法。該算法對(duì)2^32 取模，將Hash值空間組成虛擬的圓環(huán)，整個(gè)圓環(huán)按順時(shí)針方向組織，每個(gè)節(jié)點(diǎn)依次為0、1、2...2^32-1，之后將每個(gè)服務(wù)器進(jìn)行Hash運(yùn)算，確定服務(wù)器在這個(gè)Hash環(huán)上的地址，確定了服務(wù)器地址后，對(duì)數(shù)據(jù)使用同樣的Hash算法，將數(shù)據(jù)定位到特定的Redis服務(wù)器上。如果定位到的地方?jīng)]有Redis服務(wù)器實(shí)例，則繼續(xù)順時(shí)針尋找，找到的第一臺(tái)服務(wù)器即該數(shù)據(jù)最終的服務(wù)器位置。

• Hash環(huán)的數(shù)據(jù)傾斜問題

• Hash環(huán)在服務(wù)器節(jié)點(diǎn)很少的時(shí)候，容易遇到服務(wù)器節(jié)點(diǎn)不均勻的問題，這會(huì)造成數(shù)據(jù)傾斜，數(shù)據(jù)傾斜指的是被緩存的對(duì)象大部分集中在Redis集群的其中一臺(tái)或幾臺(tái)服務(wù)器上。

• 如上圖，一致性Hash算法運(yùn)算后的數(shù)據(jù)大部分被存放在A節(jié)點(diǎn)上，而B節(jié)點(diǎn)只存放了少量的數(shù)據(jù)，久而久之A節(jié)點(diǎn)將被撐爆。

• 針對(duì)這一問題，可以引入虛擬節(jié)點(diǎn)解決。簡單地說，就是為每一個(gè)服務(wù)器節(jié)點(diǎn)計(jì)算多個(gè)Hash，每個(gè)計(jì)算結(jié)果位置都放置一個(gè)此服務(wù)器節(jié)點(diǎn)，稱為虛擬節(jié)點(diǎn)，可以在服務(wù)器IP或者主機(jī)名后放置一個(gè)編號(hào)實(shí)現(xiàn)。

• 例如上圖：將NodeA和NodeB兩個(gè)節(jié)點(diǎn)分為Node A#1-A#3 NodeB#1-B#3。

結(jié)語

這篇準(zhǔn)(tou)備(lan)了相當(dāng)久的時(shí)間，因?yàn)橛行〇|西總感覺自己拿不準(zhǔn)不敢往上寫，差點(diǎn)自閉，就算現(xiàn)在發(fā)出來了也感覺有很多地方是需要改動(dòng)的。如果有同學(xué)覺得哪里寫的不對(duì)勁的，評(píng)論區(qū)或者私聊我...嗯，我不要你覺得，我要我覺得。