溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

解決緩存雪崩、擊穿、穿透的方法是什么

發(fā)布時間:2021-10-13 13:50:59 來源:億速云 閱讀:119 作者:iii 欄目:編程語言

本篇內(nèi)容介紹了“解決緩存雪崩、擊穿、穿透的方法是什么”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!

一.緩存雪崩

緩存雪崩一般指的是有大量的key在同一時間失效,此時有大量的請求同時發(fā)送至數(shù)據(jù)庫,導(dǎo)致數(shù)據(jù)庫壓力突然增大,數(shù)據(jù)庫發(fā)生宕機(jī)。

解決方案:

  1. 首先我們可以避免給大量數(shù)據(jù)設(shè)置同一過期時間。我們可以在用命令EXPIRE命令給每一條數(shù)據(jù)設(shè)置時間的時候,給這些數(shù)據(jù)多設(shè)置一個隨機(jī)(1-3分鐘)的隨機(jī)時間,這樣下來不同的數(shù)據(jù)有不同的過期時間,保證了數(shù)據(jù)在同一時間不會過期。

  2. 除了設(shè)置過期時間,還可以使用服務(wù)降級,來應(yīng)對緩存雪崩。所謂的服務(wù)降級就是當(dāng)發(fā)生緩存雪崩的時候采用不同處理機(jī)制,

當(dāng)業(yè)務(wù)應(yīng)用訪問的是非核心數(shù)據(jù)(比如一些電商的一些屬性)時,通過暫停從緩存中查詢這些數(shù)據(jù),而是自定義一些預(yù)定的數(shù)據(jù),空值或者錯誤信息。

當(dāng)業(yè)務(wù)應(yīng)用訪問的時核心數(shù)據(jù)(比如電商品的價格庫存)時,我們允許查詢緩存,如果緩存沒有命中,可以查詢數(shù)據(jù)庫通過數(shù)據(jù)庫查詢數(shù)據(jù)。

這樣一來,只有一部分查詢核心數(shù)據(jù)會發(fā)送到數(shù)據(jù)庫,減輕了數(shù)據(jù)庫的壓力。

除了大量數(shù)據(jù)同時過期還有一種方案會導(dǎo)致緩存雪崩,那就是Redis發(fā)生了宕機(jī),沒有辦法處理請求,這樣一下子請求全部到了數(shù)據(jù)庫層,從而發(fā)生緩存雪崩。

一般來說Redis的處理請求量能達(dá)到數(shù)萬級別,而數(shù)據(jù)庫的處理請求能夠達(dá)到數(shù)千級別。Redis是數(shù)據(jù)庫的10倍多,當(dāng)發(fā)生Redis宕機(jī)的時候,可以想象數(shù)10倍的請求發(fā)送至數(shù)據(jù)庫,數(shù)據(jù)庫肯定會導(dǎo)致宕機(jī)。
此時,如果Redis宕機(jī)了,我們要通過其他方案來對應(yīng)緩存雪崩。解決方案如下:
1.是在業(yè)務(wù)系統(tǒng)中做服務(wù)熔斷或請求限流機(jī)制。
服務(wù)熔斷講的是,當(dāng)發(fā)生緩存雪崩時,為了防止引發(fā)連鎖的數(shù)據(jù)庫崩潰,甚至是整個系統(tǒng)崩潰,我們可以暫停對緩存的訪問。通俗的來說就是通過停止緩存服務(wù),當(dāng)請求過來,我們不去處理請求,等到Redis服務(wù)恢復(fù)之后,再去處理請求,這樣當(dāng)大量請求發(fā)送時,可以保證數(shù)據(jù)的正常運(yùn)行。
在業(yè)務(wù)運(yùn)行的時間,我們可以通過服務(wù)器查看負(fù)載,緩存和數(shù)據(jù)庫cpu占有率和內(nèi)存利用率和訪問請求的數(shù)量。當(dāng)數(shù)據(jù)庫所在的服務(wù)器請求量突然增加,此時就發(fā)生了緩存雪崩,我們可以啟動服務(wù)熔斷,暫停用戶的訪問,從而減低數(shù)據(jù)庫的訪問量。
這樣下來對數(shù)據(jù)庫可以起到很好的保護(hù),對于業(yè)務(wù)來說造成了極大的影響。為了盡可能減少對業(yè)務(wù)的影響,我們可以采取限流的操作,通俗的來說限流操作,比如業(yè)務(wù)層每秒有一萬的訪問量,此時Redis服務(wù)發(fā)生熔斷訪問的數(shù)量太多,可以進(jìn)行訪問限流,這時候我們只讓每秒一千個請求操作數(shù)據(jù)庫,可以避免較大數(shù)量的請求直接去請求數(shù)據(jù)庫,造成數(shù)據(jù)庫宕機(jī)。
2.是在服務(wù)中搭建Redis的可靠集群,當(dāng)主節(jié)點(diǎn)發(fā)生宕機(jī)時,此時選擇一個從節(jié)點(diǎn)來作為新的主節(jié)點(diǎn),繼續(xù)提供服務(wù),這樣有效的避免了緩存發(fā)生宕機(jī)時導(dǎo)致緩存雪崩問題。

二.緩存擊穿

  1. 緩存擊穿指的是,針對一個請求非常頻繁的請求熱點(diǎn)數(shù)據(jù),當(dāng)沒有辦法在緩存中進(jìn)行處理,緊接著,訪問該熱點(diǎn)數(shù)據(jù)的請求,全部請求到數(shù)據(jù)庫,導(dǎo)致數(shù)據(jù)庫壓力倍增,影響其他業(yè)務(wù)的運(yùn)行。緩存擊穿的解決方案比較直接,對于特別頻繁的數(shù)據(jù)請求,我們不要設(shè)置過期時間,這樣對于熱點(diǎn)數(shù)據(jù)的訪問在Redis中進(jìn)行,而Redis的高性能可以很好的處理并發(fā)訪問。

三.緩存穿透

緩存穿透指的是數(shù)據(jù)不在Redis,也不在數(shù)據(jù)庫中,導(dǎo)致請求緩存時沒有數(shù)據(jù),發(fā)生緩存確實,在去訪問數(shù)據(jù)庫,發(fā)現(xiàn)數(shù)據(jù)庫中也沒有數(shù)據(jù)。緩存相當(dāng)于沒有設(shè)置一樣,應(yīng)用也無法從數(shù)據(jù)庫中讀取消息,這樣一來緩存相當(dāng)于沒有一樣,如果有大量的數(shù)據(jù)訪問,會給數(shù)據(jù)帶來巨大的壓力。

緩存穿透會發(fā)生在什么情況下,一般來說有兩種情況:

業(yè)務(wù)層操作失誤,緩存的數(shù)據(jù)和數(shù)據(jù)庫的數(shù)據(jù)被誤刪了,因此數(shù)據(jù)庫和緩存中都沒有數(shù)據(jù)。

惡意攻擊:專門訪問數(shù)據(jù)庫沒有的數(shù)據(jù)。

解決方案主要有三種:
1.緩存空值或者缺省值。
一旦發(fā)生緩存穿透,我們可以針對查詢的數(shù)據(jù),在Redis中緩存一個空值或是和業(yè)務(wù)層協(xié)商確定的缺省值。緊接著,應(yīng)用發(fā)送的后續(xù)請求再進(jìn)行查詢時,就可以直接從Redis中讀取空值和缺省值,返回給業(yè)務(wù),避免了請求都到數(shù)據(jù)庫層,保持了數(shù)據(jù)庫的正常運(yùn)行。
2.使用布隆過濾器,快速地判斷數(shù)據(jù)是否存在,避免從數(shù)據(jù)庫中查詢。
布隆過濾器的原理解釋。布隆過濾器是由初始值為0的數(shù)據(jù)和N個哈希函數(shù)組成,可以快速地判斷數(shù)據(jù)是否存在。我們想要標(biāo)記某個數(shù)據(jù)可以通過三個操作完成標(biāo)記。
第一使用N個哈希函數(shù),分別計算這個數(shù)據(jù)的哈希值,得到N個哈希值。
第二把這個哈希值對應(yīng)的N個哈希值對應(yīng)bit數(shù)組的長度取模,得到每個哈希值所在數(shù)據(jù)中的位置。
第三我們把哈希值對應(yīng)二點(diǎn)數(shù)組中bit為設(shè)置為1,這就完成了在布隆過濾器中的數(shù)據(jù)標(biāo)記。
3.在請求入口的前端進(jìn)行請求檢測。緩存穿透的一個原因是有大量的惡意請求訪問不存在的數(shù)據(jù),一個有效的方案就是將所訪問的請求進(jìn)行合法的檢測,把惡意的請求直接過濾,不讓請求到達(dá)緩存和數(shù)據(jù)庫層。這樣就不會出現(xiàn)緩存穿透。

這三大問題的應(yīng)對方案總結(jié)到如下表格。

問題原因解決方案緩存雪崩

大量數(shù)據(jù)同時過期

緩存服務(wù)器宕機(jī)

給緩存設(shè)置過期時間加隨機(jī)時間,避免大量數(shù)據(jù)同一時間過期

服務(wù)降級

服務(wù)熔斷,請求限流

Redis緩存主存集群

緩存擊穿訪問熱點(diǎn)數(shù)據(jù)不存在或者過期

不給熱點(diǎn)數(shù)據(jù)設(shè)置過期時間,一致保留

緩存擊穿緩存和數(shù)據(jù)庫中都沒有的數(shù)據(jù)進(jìn)行訪問

緩存空值或缺省值

使用布隆過濾器快速判斷

請求入口前端對請求合法性檢查

盡可能地利用以下的方案:

  • 針對緩存雪崩,合理的設(shè)置熱點(diǎn)key的過期時間,要搭建緩存高可靠的集群。

  • 針對緩存擊穿,在緩存訪問非常頻繁的熱點(diǎn)數(shù)據(jù)時,不要設(shè)置過期時間。

  • 針對緩存穿透,提前在前端接口入口出對請求進(jìn)行檢測,規(guī)范數(shù)據(jù)庫的刪除操作,避免數(shù)據(jù)誤刪。利用布隆過濾器。

“解決緩存雪崩、擊穿、穿透的方法是什么”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI