如何開發(fā)一個高性能的redis cluster proxy

本篇文章為大家展示了如何開發(fā)一個高性能的redis cluster proxy，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

背    景

redis cluster簡介

Redis cluster是redis官方提供集群方案，設計上采用非中心化的架構(gòu)，節(jié)點之間通過gossip協(xié)議交換互相的狀態(tài)，redis cluster使用數(shù)據(jù)分片的方式來構(gòu)建集群，集群內(nèi)置了16384個哈希槽，每個key都屬于這16384這個哈希槽中的一個，通過crc16算法計算哈希值，再取余可得每個key歸屬的哈希槽；redis cluster支持動態(tài)加入新節(jié)點，動態(tài)遷移slot，自動的故障轉(zhuǎn)移等。

Redis cluster的架構(gòu)要求客戶端需要直接與redis集群中的每個節(jié)點建立連接，并且當出現(xiàn)新增節(jié)點加入、節(jié)點宕機failover、slot遷移等事件時，客戶端需要能夠通過redis cluster協(xié)議去更新本地的slot映射表，并且能處理ASK/MOVE語義，因此，我們一般稱實現(xiàn)了redis cluster協(xié)議的客戶端為smart redis client。

Redis cluster最多可以構(gòu)建超過100個主節(jié)點的集群（超過之后gossip協(xié)議開銷過大，且可能引起集群不穩(wěn)定），按照單節(jié)點10G容量（單實例內(nèi)存過大可能導致性能下降），單集群最多可以支撐1T左右的容量。

問    題

Redis cluster有很多優(yōu)點（比如可以構(gòu)建大容量集群，性能好，擴縮容靈活），但是當一些項目工程期望從redis遷移到redis cluster時，客戶端卻面臨著大量的改造工作，與此同時帶來的是需要大量的測試工作以及引入的新風險，這對于一些穩(wěn)定運行的線上工程代價無疑是巨大的。

需    求

為了更方便的將業(yè)務遷移到redis cluster，最期望的是客戶端SDK的API完全兼容redis/redis-cluster，spring提供的RedisTemplate是一個很好實現(xiàn)，但是對于沒有使用SpringRedisTemplate的項目，很多客戶端實現(xiàn)的redis和redis-cluster訪問API是不一致的（比如Java中流行的Jedis），這無形中提高了遷移工作的工作量和復雜性，此時redis cluster proxy是不錯的選擇，有了proxy，就可以像操作單實例redis一樣操作redis cluster，客戶端程序就不需要做任何的修改。 

當然，增加一層proxy，必然會導致性能有一定程度的下降，但是proxy作為無狀態(tài)的服務，理論上可以水平擴展，并且由于proxy層的存在減少了后端redis server的連接數(shù)，在某些極限場景下甚至能提高redis集群整體的吞吐量。此外，基于proxy，我們還可以做很多額外的事情：

• 比如可以在proxy層做分片邏輯，這樣當單集群的redis cluster不滿足需求（內(nèi)存/QPS）時，就可以通過proxy層實現(xiàn)透明的同時訪問多個redis cluster集群。

• 再比如可以在proxy層做雙寫邏輯，這樣在遷移或者拆分緩存類型的redis時，就不需要使用redis-migrate-tool之類的工具進行全量遷移，而只需要按需雙寫，即可完成遷移。

• 此外因為proxy實現(xiàn)了redis協(xié)議，因此可以在proxy層利用其它存儲介質(zhì)實現(xiàn)redis相關命令，從而可以模擬成redis對外服務。一個典型的場景就是冷熱分離存儲。

  功    能

介于上述各種原因和需求，我們基于netty開發(fā)了camellia-redis-proxy這樣一個中間件，支持如下特性：

• 支持設置密碼

• 支持代理到普通redis，也支持代理到redis cluster

• 支持配置自定義的分片邏輯（可以代理到多個redis/redis-cluster集群）

• 支持配置自定義的雙寫邏輯（服務器會識別命令的讀寫屬性，配置雙寫之后寫命令會同時發(fā)往多個后端）

• 支持外部插件，從而可以復用協(xié)議解析模塊（當前包括camellia-redis-proxy-hbase插件，實現(xiàn)了zset命令的冷熱分離存儲）

• 支持在線變更配置（需引入camellia-dashboard）

• 支持多個業(yè)務邏輯共享一套proxy集群，如：A業(yè)務配置轉(zhuǎn)發(fā)規(guī)則1，B業(yè)務配置轉(zhuǎn)發(fā)規(guī)則2（需要在建立redis連接時通過client命令設置業(yè)務類型）

• 對外提供了一個spring-boot-starter，3行代碼即可快速搭建一個proxy集群

當然，還有另外一個方案，可以將proxy節(jié)點注冊到zk/Eureka/Consul等注冊中心，客戶端通過拉取和監(jiān)聽proxy的列表，然后再向訪問單節(jié)點redis一樣訪問每個proxy即可。以Jedis為例，僅需將JedisPool替換為封裝了注冊發(fā)現(xiàn)邏輯的RedisProxyJedisPool，即可像訪問普通redis一樣使用proxy了，此時，部署架構(gòu)圖如下：

應用場景

• 需要從redis遷移到redis-cluster，但是客戶端代碼不方便修改

• 客戶端直連redis-cluster，導致cluster服務器連接過多，導致服務器性能下降

• 單個redis/redis-cluster集群容量/QPS不滿足業(yè)務需求，使用camellia-redis-proxy的分片功能

• 緩存類redis/redis-cluster集群拆分遷移，使用camellia-redis-proxy的雙寫功能

• 使用雙寫功能進行redis/redis-cluster的災備

• 混合使用分片和雙寫功能的一些業(yè)務場景

• 基于camellia-redis-proxy的插件功能，開發(fā)自定義插件

Redis cluster作為官方推薦的集群方案，越來越多的項目已經(jīng)或正在遷移到redis cluster，camellia-redis-proxy正是在這樣的背景下誕生的；特別的，如果你是一個Java開發(fā)者，camellia還提供了CamelliaRedisTemplate這樣的方案，CamelliaRedisTemplate擁有和普通Jedis一致的API，提供了mget/mset/pipeline等原生JedisCluster不支持的特性，且提供了和camellia-redis-proxy功能一致的分片/雙寫等特性。

上述內(nèi)容就是如何開發(fā)一個高性能的redis cluster proxy，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業(yè)資訊頻道。