溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

總結(jié)一次kafka的consumer消費(fèi)能力很低的處理方案

發(fā)布時間：2020-07-25 06:15:44 來源：網(wǎng)絡(luò) 閱讀：714 作者：兜里有佩 欄目：編程語言

問題

項目使用spring-kafka操作消費(fèi)kafka
近期出現(xiàn)消費(fèi)速度變慢，consumer消費(fèi)一條數(shù)據(jù)平均需要200ms的時間，并且頻繁發(fā)生，consumer會停止消費(fèi)十幾秒。

日志分析

以下為日志記錄，consumer會時長從消費(fèi)組中掉出再重新加入

o.a.k.c.c.i.AbstractCoordinator:542 - Marking the coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) dead for group group.id 
o.a.k.c.c.i.AbstractCoordinator:505 - Discovered coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) for group group.id. 
o.a.k.c.c.i.ConsumerCoordinator:292 - Revoking previously assigned partitions [topic-12] for group group.id 
o.a.k.c.c.i.AbstractCoordinator:326 - (Re-)joining group group.id 
o.a.k.c.c.i.AbstractCoordinator$SyncGroupResponseHandler:434 - Successfully joined group group.id with generation 12182 
o.a.k.c.c.i.ConsumerCoordinator:231 - Setting newly assigned partitions [topic-12] for group group.id

解決方案

kafka服務(wù)配置文件server.properties提高系統(tǒng)配置參數(shù)

#Broker處理消息的最大線程數(shù)
num.network.threads=cpu核數(shù)加1
#Broker處理磁盤IO的線程數(shù)
num.io.threads=cpu核數(shù)2倍，最大不超過3倍

備份并重啟kafka服務(wù)

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手