Redis中如何實(shí)現(xiàn)限流策略

這篇文章將為大家詳細(xì)講解有關(guān)Redis中如何實(shí)現(xiàn)限流策略，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

一、簡單的限流

基本原理

當(dāng)系統(tǒng)處理能力有限，如何組織計(jì)劃外的請求對系統(tǒng)施壓。首先我們先看下一些簡單的限流策略，防止暴力攻擊。比如要對IP訪問，沒5s只能訪問10次，超過進(jìn)行攔截。

如上圖，一般使用滑動窗口來統(tǒng)計(jì)區(qū)間時(shí)間內(nèi)的訪問次數(shù)。 使用 zset 記錄 IP 訪問次數(shù)，每個(gè) IP 通過 key 保存下來，score 保存當(dāng)前時(shí)間戳，value 唯一用時(shí)間戳或者UUID來實(shí)現(xiàn)

代碼實(shí)現(xiàn)

public class RedisLimiterTest {
    private Jedis jedis;

    public RedisLimiterTest(Jedis jedis) {
        this.jedis = jedis;
    }

    /**
     * @param ipAddress Ip地址
     * @param period    特定的時(shí)間內(nèi)，單位秒
     * @param maxCount  最大允許的次數(shù)
     * @return
     */
    public boolean isIpLimit(String ipAddress, int period, int maxCount) {
        String key = String.format("ip:%s", ipAddress);
        // 毫秒時(shí)間戳
        long currentTimeMillis = System.currentTimeMillis();
        Pipeline pipe = jedis.pipelined();
        // redis事務(wù)，保證原子性
        pipe.multi();
        // 存放數(shù)據(jù)，value 和 score 都使用毫秒時(shí)間戳
        pipe.zadd(key, currentTimeMillis, "" + UUID.randomUUID());
        // 移除窗口區(qū)間所有的元素
        pipe.zremrangeByScore(key, 0, currentTimeMillis - period * 1000);
        // 獲取時(shí)間窗口內(nèi)的行為數(shù)量
        Response<Long> count = pipe.zcard(key);
        // 設(shè)置 zset 過期時(shí)間，避免冷用戶持續(xù)占用內(nèi)存，這里寬限1s
        pipe.expire(key, period + 1);
        // 提交事務(wù)
        pipe.exec();
        pipe.close();
        // 比較數(shù)量是否超標(biāo)
        return count.get() > maxCount;
    }

    public static void main(String[] args) {
        Jedis jedis = new Jedis("localhost", 6379);
        RedisLimiterTest limiter = new RedisLimiterTest(jedis);
        for (int i = 1; i <= 20; i++) {
            // 驗(yàn)證IP  10秒鐘之內(nèi)只能訪問5次
            boolean isLimit = limiter.isIpLimit("222.73.55.22", 10, 5);
            System.out.println("訪問第" + i + "次, 結(jié)果：" + (isLimit ? "限制訪問" : "允許訪問"));
        }
    }
}

執(zhí)行結(jié)果

訪問第1次, 結(jié)果：允許訪問
訪問第2次, 結(jié)果：允許訪問
訪問第3次, 結(jié)果：允許訪問
訪問第4次, 結(jié)果：允許訪問
訪問第5次, 結(jié)果：允許訪問
訪問第6次, 結(jié)果：限制訪問
訪問第7次, 結(jié)果：限制訪問
... ...

缺點(diǎn)：要記錄時(shí)間窗口所有的行為記錄，量很大，比如，限定60s內(nèi)不能超過100萬次這種場景，不太適合這樣限流，因?yàn)闀拇罅康膬Υ婵臻g。

二、漏斗限流

基本原理

• 漏斗的容量是限定的，如果滿了，就裝不進(jìn)去了。

• 如果將漏嘴放開，水就會往下流，流走一部分之后，就又可以繼續(xù)往里面灌水。

• 如果漏嘴流水的速率大于灌水的速率，那么漏斗永遠(yuǎn)都裝不滿。

• 如果漏嘴流水速率小于灌水的速率，那么一旦漏斗滿了，灌水就需要暫停并等待漏斗騰空。

示例代碼

public class FunnelLimiterTest {

    static class Funnel {
        int capacity; // 漏斗容量
        float leakingRate; // 漏嘴流水速率
        int leftQuota; // 漏斗剩余空間
        long leakingTs; // 上一次漏水時(shí)間

        public Funnel(int capacity, float leakingRate) {
            this.capacity = capacity;
            this.leakingRate = leakingRate;
            this.leftQuota = capacity;
            this.leakingTs = System.currentTimeMillis();
        }

        void makeSpace() {
            long nowTs = System.currentTimeMillis();
            long deltaTs = nowTs - leakingTs; // 距離上一次漏水過去了多久
            int deltaQuota = (int) (deltaTs * leakingRate); // 騰出的空間 = 時(shí)間*漏水速率
            if (deltaQuota < 0) { // 間隔時(shí)間太長，整數(shù)數(shù)字過大溢出
                this.leftQuota = capacity;
                this.leakingTs = nowTs;
                return;
            }
            if (deltaQuota < 1) { // 騰出空間太小 就等下次，最小單位是1
                return;
            }
            this.leftQuota += deltaQuota; // 漏斗剩余空間 = 漏斗剩余空間 + 騰出的空間
            this.leakingTs = nowTs;
            if (this.leftQuota > this.capacity) { // 剩余空間不得高于容量
                this.leftQuota = this.capacity;
            }
        }

        boolean watering(int quota) {
            makeSpace();
            if (this.leftQuota >= quota) { // 判斷剩余空間是否足夠
                this.leftQuota -= quota;
                return true;
            }
            return false;
        }
    }

    // 所有的漏斗
    private Map<String, Funnel> funnels = new HashMap<>();

    /**
     * @param capacity    漏斗容量
     * @param leakingRate 漏嘴流水速率 quota/s
     */
    public boolean isIpLimit(String ipAddress, int capacity, float leakingRate) {
        String key = String.format("ip:%s", ipAddress);
        Funnel funnel = funnels.get(key);
        if (funnel == null) {
            funnel = new Funnel(capacity, leakingRate);
            funnels.put(key, funnel);
        }
        return !funnel.watering(1); // 需要1個(gè)quota
    }

    public static void main(String[] args) throws Exception{
        FunnelLimiterTest limiter = new FunnelLimiterTest();
        for (int i = 1; i <= 50; i++) {
            // 每1s執(zhí)行一次
            Thread.sleep(1000);
            // 漏斗容量是2 ，漏嘴流水速率是0.5每秒，
            boolean isLimit = limiter.isIpLimit("222.73.55.22", 2, (float)0.5/1000);
            System.out.println("訪問第" + i + "次, 結(jié)果：" + (isLimit ? "限制訪問" : "允許訪問"));
        }
    }
}

執(zhí)行結(jié)果

訪問第1次, 結(jié)果：允許訪問    # 第1次，容量剩余2，執(zhí)行后1
訪問第2次, 結(jié)果：允許訪問    # 第2次，容量剩余1，執(zhí)行后0
訪問第3次, 結(jié)果：允許訪問    # 第3次，由于過了2s, 漏斗流水剩余1個(gè)空間，所以容量剩余1，執(zhí)行后0
訪問第4次, 結(jié)果：限制訪問    # 第4次，過了1s, 剩余空間小于1， 容量剩余0
訪問第5次, 結(jié)果：允許訪問    # 第5次，由于過了2s, 漏斗流水剩余1個(gè)空間，所以容量剩余1，執(zhí)行后0
訪問第6次, 結(jié)果：限制訪問    # 以此類推...
訪問第7次, 結(jié)果：允許訪問
訪問第8次, 結(jié)果：限制訪問
訪問第9次, 結(jié)果：允許訪問
訪問第10次, 結(jié)果：限制訪問

• 我們觀察 Funnel 對象的幾個(gè)字段，我們發(fā)現(xiàn)可以將 Funnel 對象的內(nèi)容按字段存儲到一個(gè) hash 結(jié)構(gòu)中，灌水的時(shí)候?qū)?hash 結(jié)構(gòu)的字段取出來進(jìn)行邏輯運(yùn)算后，再將新值回填到 hash 結(jié)構(gòu)中就完成了一次行為頻度的檢測。

• 但是有個(gè)問題，我們無法保證整個(gè)過程的原子性。從 hash 結(jié)構(gòu)中取值，然后在內(nèi)存里運(yùn)算，再回填到 hash 結(jié)構(gòu)，這三個(gè)過程無法原子化，意味著需要進(jìn)行適當(dāng)?shù)募渔i控制。而一旦加鎖，就意味著會有加鎖失敗，加鎖失敗就需要選擇重試或者放棄。

• 如果重試的話，就會導(dǎo)致性能下降。如果放棄的話，就會影響用戶體驗(yàn)。同時(shí)，代碼的復(fù)雜度也跟著升高很多。這真是個(gè)艱難的選擇，我們該如何解決這個(gè)問題呢？Redis-Cell 救星來了！

Redis-Cell

Redis 4.0 提供了一個(gè)限流 Redis 模塊，它叫 redis-cell。該模塊也使用了漏斗算法，并提供了原子的限流指令。 該模塊只有1條指令cl.throttle，它的參數(shù)和返回值都略顯復(fù)雜，接下來讓我們來看看這個(gè)指令具體該如何使用。

> cl.throttle key:xxx 15 30 60 1

• 15 : 15 capacity 這是漏斗容量

• 30 60 : 30 operations / 60 seconds 這是漏水速率

• 1 : need 1 quota (可選參數(shù)，默認(rèn)值也是1)

> cl.throttle laoqian:reply 15 30 60
1) (integer) 0   # 0 表示允許，1表示拒絕
2) (integer) 15  # 漏斗容量capacity
3) (integer) 14  # 漏斗剩余空間left_quota
4) (integer) -1  # 如果拒絕了，需要多長時(shí)間后再試(漏斗有空間了，單位秒)
5) (integer) 2   # 多長時(shí)間后，漏斗完全空出來(left_quota==capacity，單位秒)

在執(zhí)行限流指令時(shí)，如果被拒絕了，就需要丟棄或重試。cl.throttle 指令考慮的非常周到，連重試時(shí)間都幫你算好了，直接取返回結(jié)果數(shù)組的第四個(gè)值進(jìn)行 sleep 即可，如果不想阻塞線程，也可以異步定時(shí)任務(wù)來重試。

關(guān)于“Redis中如何實(shí)現(xiàn)限流策略”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。