您好,登錄后才能下訂單哦!
這篇文章主要介紹了Redis優(yōu)化實例分析的相關(guān)知識,內(nèi)容詳細(xì)易懂,操作簡單快捷,具有一定借鑒價值,相信大家閱讀完這篇Redis優(yōu)化實例分析文章都會有所收獲,下面我們一起來看看吧。
key的一般都是采用字符串,而字符串的底層數(shù)據(jù)結(jié)構(gòu)為SDS,SDS 結(jié)構(gòu)中會包含字符串長度、分配空間大小等元數(shù)據(jù)信息,當(dāng)key字符串的長度增加時,SDS中的元數(shù)據(jù)也會占用更多內(nèi)存空間,為了減少key的占用空間,我們可用根據(jù)業(yè)務(wù)名來使用相應(yīng)的英文縮寫來表示。例如user用u表示,message 用m來表示。
我們既要注意key的長度,同時也需要關(guān)注value的大小,Redis是使用單線程讀寫數(shù)據(jù),bigkey 的讀寫操作會阻塞線程,降低Redis的處理效率。
我們可以通過--bigkey的命令來查看Redis中所占用的bigkey的信息,具體的命令如下:
redis-cli -h 127.0.0.1 -p 6379 -a 'xxx' --bigkeys
從上述圖所示,我們可以查看到Redis中的key占用了32098個bytes,需要進(jìn)行相關(guān)優(yōu)化的。
建議:
如果key為string類型,建議value的存放值的大小為10KB左右。
如果key為List/Hash/Set/ZSet類型,建議存放元素的的數(shù)量控制在1萬以下。
Redis提供了豐富的數(shù)據(jù)類型,對于存放的內(nèi)存也做了相關(guān)優(yōu)化。關(guān)乎數(shù)據(jù)結(jié)果的相關(guān)知識,可以參考之前的文章。
例如:String和set在存儲int數(shù)據(jù)時,會采用整數(shù)編碼存儲。Hash、ZSet在元素數(shù)量比較少時,會采用壓縮列表(ziplist)存儲,在存儲比較多的數(shù)據(jù)時,才會轉(zhuǎn)換為哈希表和跳表。
Redis中的字符串都是使用二進(jìn)制安全的字節(jié)數(shù)組來保存的,所以我們可以把業(yè)務(wù)的序列化成二進(jìn)制寫入Redis,但是采用不同的序列化,所占用的空間大少不一樣。比如使用protostuff的序列化比java內(nèi)置的序列化效率更高,占用空間更少。針對json和xml數(shù)據(jù)格式的,可以采用gzip或者snappy算法對數(shù)據(jù)進(jìn)行壓縮存儲,從而節(jié)省空間。
我們根據(jù)業(yè)務(wù)的數(shù)據(jù)量提前預(yù)估內(nèi)存大小,從而避免Redis的內(nèi)存持續(xù)膨脹,導(dǎo)致占用過多資源。
關(guān)于如何設(shè)置淘汰策略,需要集合實際的業(yè)務(wù)特性來選擇:
volatile-lru / allkeys-lru:優(yōu)先保留最近訪問過的數(shù)據(jù)
volatile-lfu / allkeys-lfu:優(yōu)先保留訪問次數(shù)最頻繁的數(shù)據(jù)
volatile-ttl :優(yōu)先淘汰即將過期的數(shù)據(jù)
volatile-random / allkeys-random:隨機(jī)淘汰數(shù)據(jù)
Redis單實例的內(nèi)存大小建議設(shè)置在2~6GB之間。因為無論是RDB快照,還是主從集群進(jìn)行數(shù)據(jù)同步,都能很快完成,不會阻塞正常請求的處理。
頻繁的新增修改會導(dǎo)致內(nèi)存碎片的增多,因此需要及時清理內(nèi)存碎片。
Redis提供了Info memory命令可以查看內(nèi)存使用信息,具體如下:
說明:
used_memory_rss是操作系統(tǒng)實際分配給 Redis的物理內(nèi)存空間。
used_memory 是 Redis 為了保存數(shù)據(jù)實際申請使用的空間。
mem_fragmentation_ratio=used_memory_rss/ used_memory
mem_fragmentation_ratio 大于1但小于1.5。這種情況是合理的。
mem_fragmentation_ratio大于1.5 這表明內(nèi)存碎片率已經(jīng)超過了50%。一般情況下,這個時候,我們就需要采取一些措施來降低內(nèi)存碎片率了。具體的內(nèi)存清理措施,將在后續(xù)的文章中進(jìn)行講解。
KEYS 按照key內(nèi)容進(jìn)行匹配,返回符合匹配條件的鍵值對,該命令需要對Redis的全局哈希表進(jìn)行全表掃描,嚴(yán)重阻塞 Redis主線程。
FLUSHALL 刪除Redis實例上的所有數(shù)據(jù),如果數(shù)據(jù)量很大,會嚴(yán)重阻塞Redis主線程。
FLUSHDB,刪除當(dāng)前數(shù)據(jù)庫中的數(shù)據(jù),如果數(shù)據(jù)量很大,會阻塞Redis主線程。
我們需要在線上要禁用這些命令。具體的做法是,管理員采用rename-command命令在配置文件中對這些命令進(jìn)行重命名,讓客戶端無法使用這些命令。
對于集合類型的來說,在未清楚集合數(shù)據(jù)大小的情況下,慎用查詢集合中的全量數(shù)據(jù),例如Hash的HetALL、Set的SMEMBERS命令、LRANGE key 0 -1 或者ZRANGE key 0 -1等命令,因為這些命令會對Hash或者Set類型的底層數(shù)據(jù)進(jìn)行全量掃描,當(dāng)集合數(shù)據(jù)量比較大時,會阻塞Redis的主線程。
優(yōu)化建議:
當(dāng)元素數(shù)據(jù)量較多時,可以用SSCAN、HSCAN 命令分批返回集合中的數(shù)據(jù),減少對主線程的阻塞。
Redis執(zhí)行復(fù)雜度過高的命令,會消耗更多的 CPU 資源,導(dǎo)致主線程中的其它請求只能等待。常見的復(fù)雜命令如下:SORT、SINTER、SINTERSTORE、ZUNIONSTORE、ZINTERSTORE 等聚合類命令。
優(yōu)化建議:
當(dāng)需要執(zhí)行排序、交集、并集操作時,可以在客戶端完成,避免讓Redis進(jìn)行過多計算,從而影響Redis性能。
Redis通常用于保存熱數(shù)據(jù)。熱數(shù)據(jù)一般都有使用的時效性。所以,在數(shù)據(jù)保存時,根據(jù)業(yè)務(wù)使用數(shù)據(jù)的時長,合理的設(shè)置數(shù)據(jù)的過期時間。否則寫入Redis的數(shù)據(jù)會一直占用內(nèi)存,如果數(shù)據(jù)持續(xù)增增長,會達(dá)到機(jī)器的內(nèi)存上限,造成內(nèi)存溢出,導(dǎo)致服務(wù)崩潰。
當(dāng)我們需要一次性操作多個key時,可以使用批量命令來處理,批量命令可以減少客戶端與服務(wù)端的來回網(wǎng)絡(luò)IO次數(shù)。
String或者Hash類型可以使用 MGET/MSET替代 GET/SET,HMGET/HMSET替代HGET/HSET
其它數(shù)據(jù)類型使用Pipeline命令,一次性打包發(fā)送多個命令到服務(wù)端執(zhí)行。
redisTemplate.executePipelined(new RedisCallback<String>() { @Override public String doInRedis(RedisConnection connection) throws DataAccessException { for (int i = 0; i < 5; i++) { connection.set(("test:" + i).getBytes(), "test".getBytes()); } return null; } });
不同的業(yè)務(wù)線來部署 Redis 實例,這樣當(dāng)其中一個實例發(fā)生故障時,不會影響到其它業(yè)務(wù)。
業(yè)務(wù)上根據(jù)實際情況采用主從、哨兵、集群方案,避免單點(diǎn)故障,影響業(yè)務(wù)的正常使用。
針對主從環(huán)境,我們需要合理設(shè)置相關(guān)參數(shù),具體內(nèi)容如下:
合理的設(shè)置repl-backlog參數(shù):如果repl-backlog設(shè)置過小,當(dāng)寫流量比較大的場景下,主從復(fù)制中斷可能會引發(fā)全量復(fù)制數(shù)據(jù)的風(fēng)險。
合理設(shè)置slave client-output-buffer-limit:當(dāng)從庫復(fù)制發(fā)生問題時,過小的 buffer會導(dǎo)致從庫緩沖區(qū)溢出,從而導(dǎo)致復(fù)制中斷。
關(guān)于“Redis優(yōu)化實例分析”這篇文章的內(nèi)容就介紹到這里,感謝各位的閱讀!相信大家對“Redis優(yōu)化實例分析”知識都有一定的了解,大家如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。