Redis中熱點(diǎn)Key如何產(chǎn)生的

這篇文章主要介紹了Redis中熱點(diǎn)Key如何產(chǎn)生的，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

熱點(diǎn)Key產(chǎn)生的原因

1、用戶(hù)消費(fèi)的數(shù)據(jù)遠(yuǎn)大于生產(chǎn)的數(shù)據(jù)

熱key問(wèn)題就是某個(gè)瞬間有大量的請(qǐng)求去訪(fǎng)問(wèn)redis上某個(gè)固定的key，導(dǎo)致緩存擊穿，請(qǐng)求都打到了DB上，壓垮了緩存服務(wù)和DB服務(wù)，從而影響到應(yīng)用服務(wù)可用的可用性。

最常見(jiàn)的就是微博的熱搜，比如XX明星結(jié)婚/出軌。那么關(guān)于XX明星的Key就會(huì)瞬間增大，就會(huì)出現(xiàn)熱數(shù)據(jù)問(wèn)題。微博也時(shí)不時(shí)的來(lái)個(gè)崩潰。

同理，被大量刊發(fā)、瀏覽的熱點(diǎn)新聞、熱點(diǎn)評(píng)論、明星直播等，這些典型的讀多寫(xiě)少的場(chǎng)景也會(huì)產(chǎn)生熱點(diǎn)問(wèn)題。

2、請(qǐng)求分片集中，超過(guò)單Server的性能極限

在服務(wù)端讀數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)時(shí)，往往會(huì)對(duì)數(shù)據(jù)進(jìn)行分片切分，此過(guò)程中會(huì)在某一主機(jī) Server上對(duì)相應(yīng)的Key進(jìn)行訪(fǎng)問(wèn)，當(dāng)訪(fǎng)問(wèn)超過(guò)Server極限時(shí)，就會(huì)導(dǎo)致熱點(diǎn)Key問(wèn)題的產(chǎn)生。

熱點(diǎn)Key問(wèn)題的危害

1、流量集中，達(dá)到物理網(wǎng)卡上限。

當(dāng)某一熱點(diǎn) Key 的請(qǐng)求在某一主機(jī)上超過(guò)該主機(jī)網(wǎng)卡上限時(shí)，由于流量的過(guò)度集中，會(huì)導(dǎo)致服務(wù)器中其它服務(wù)無(wú)法進(jìn)行。

2、請(qǐng)求過(guò)多，緩存分片服務(wù)被打垮。

如果熱點(diǎn)過(guò)于集中，熱點(diǎn) Key 的緩存過(guò)多，超過(guò)目前的緩存容量時(shí)，就會(huì)導(dǎo)致緩存分片服務(wù)被打垮現(xiàn)象的產(chǎn)生。

3、DB 擊穿，引起業(yè)務(wù)雪崩。

當(dāng)緩存服務(wù)崩潰后，此時(shí)再有請(qǐng)求產(chǎn)生，會(huì)緩存到后臺(tái) DB 上，由于DB 本身性能較弱，在面臨大請(qǐng)求時(shí)很容易發(fā)生請(qǐng)求穿透現(xiàn)象，會(huì)進(jìn)一步導(dǎo)致雪崩現(xiàn)象，嚴(yán)重影響設(shè)備的性能。

熱點(diǎn)key的發(fā)現(xiàn)

1、憑借業(yè)務(wù)經(jīng)驗(yàn)，進(jìn)行預(yù)估哪些是熱key

其實(shí)這個(gè)方法還是挺有可行性的。比如某商品在做秒殺，那這個(gè)商品的key就可以判斷出是熱key。缺點(diǎn)很明顯，并非所有業(yè)務(wù)都能預(yù)估出哪些key是熱key。

2、在客戶(hù)端進(jìn)行收集

這個(gè)方式就是在操作redis之前，加入一行代碼進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。那么這個(gè)數(shù)據(jù)統(tǒng)計(jì)的方式有很多種，也可以是給外部的通訊系統(tǒng)發(fā)送一個(gè)通知信息。缺點(diǎn)就是對(duì)客戶(hù)端代碼造成入侵。

3、在Proxy層做收集

有些集群架構(gòu)是下面這樣的，Proxy可以是Twemproxy，是統(tǒng)一的入口?？梢栽赑roxy層做收集上報(bào)，但是缺點(diǎn)很明顯，并非所有的redis集群架構(gòu)都有proxy。

4、用redis自帶命令

• monitor命令：該命令可以實(shí)時(shí)抓取出redis服務(wù)器接收到的命令，然后寫(xiě)代碼統(tǒng)計(jì)出熱key是啥。當(dāng)然，也有現(xiàn)成的分析工具可以給你使用，比如redis-faina。但是該命令在高并發(fā)的條件下，有內(nèi)存增暴增的隱患，還會(huì)降低redis的性能。

• hotkeys參數(shù)：redis 4.0.3提供了redis-cli的熱點(diǎn)key發(fā)現(xiàn)功能，執(zhí)行redis-cli時(shí)加上–hotkeys選項(xiàng)即可。但是該參數(shù)在執(zhí)行的時(shí)候，如果key比較多，執(zhí)行起來(lái)比較慢。

5、自己抓包評(píng)估

Redis客戶(hù)端使用TCP協(xié)議與服務(wù)端進(jìn)行交互，通信協(xié)議采用的是RESP。自己寫(xiě)程序監(jiān)聽(tīng)端口，按照RESP協(xié)議規(guī)則解析數(shù)據(jù)，進(jìn)行分析。缺點(diǎn)就是開(kāi)發(fā)成本高，維護(hù)困難，有丟包可能性。

以上五種方案，各有優(yōu)缺點(diǎn)。根據(jù)自己業(yè)務(wù)場(chǎng)景進(jìn)行抉擇即可。

熱點(diǎn)Key的解決方案

1、利用二級(jí)緩存

比如利用ehcache、spring cache，甚至是一個(gè)HashMap都可以。在你發(fā)現(xiàn)熱key以后，把熱key加載到系統(tǒng)的JVM中。

針對(duì)這種熱key請(qǐng)求，會(huì)直接從jvm中取，而不會(huì)走到redis層。

假設(shè)此時(shí)有十萬(wàn)個(gè)針對(duì)同一個(gè)key的請(qǐng)求過(guò)來(lái),如果沒(méi)有本地緩存，這十萬(wàn)個(gè)請(qǐng)求就直接懟到同一臺(tái)redis上了。
現(xiàn)在假設(shè)，你的應(yīng)用層有50臺(tái)機(jī)器，OK，你也有jvm緩存了。這十萬(wàn)個(gè)請(qǐng)求平均分散開(kāi)來(lái)，每個(gè)機(jī)器有2000個(gè)請(qǐng)求，會(huì)從JVM中取到value值，然后返回?cái)?shù)據(jù)。避免了十萬(wàn)個(gè)請(qǐng)求懟到同一臺(tái)redis上的情形。

2、讀寫(xiě)分離

讀寫(xiě)分離就是將同為 Write 的請(qǐng)求發(fā)送到 Master 模塊內(nèi)，而將 Read 的請(qǐng)求發(fā)送至 ReadOnly 模塊。

而模塊中的只讀節(jié)點(diǎn)還可以進(jìn)一步擴(kuò)充，把這個(gè)key，在多個(gè)redis上都存一份不。有熱key請(qǐng)求進(jìn)來(lái)的時(shí)候，我們就在有備份的redis上隨機(jī)選取一臺(tái)，進(jìn)行訪(fǎng)問(wèn)取值，返回?cái)?shù)據(jù)。從而有效解決熱點(diǎn)讀的問(wèn)題。

讀寫(xiě)分離同時(shí)具有可以靈活擴(kuò)容讀熱點(diǎn)能力、可以存儲(chǔ)大量熱點(diǎn)Key、對(duì)客戶(hù)端友好等優(yōu)點(diǎn)。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Redis中熱點(diǎn)Key如何產(chǎn)生的”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!