溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

kafka一直在導(dǎo)致無法消費(fèi)該怎么辦

發(fā)布時間:2021-12-14 15:29:38 來源:億速云 閱讀:386 作者:柒染 欄目:大數(shù)據(jù)

本篇文章給大家分享的是有關(guān)kafka一直在導(dǎo)致無法消費(fèi)該怎么辦,小編覺得挺實用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。

版本 : kafka_2.12-2.4.0kafka一直在rebalance,導(dǎo)致無法消費(fèi)。comsumer報錯如下:

kafka一直在導(dǎo)致無法消費(fèi)該怎么辦

server端:

kafka一直在導(dǎo)致無法消費(fèi)該怎么辦

配置:

max.block.ms =60000

auto.commit.interval.ms =30000

enable.auto.commit =true

max.poll.interval.ms =500000

max.poll.records =300

session.timeout.ms =10000

heartbeat.interval.ms =3000

原因是:auto.commit.interval.ms 這個30秒不行,少于30秒,默認(rèn)是5秒(如果提交失敗,則這個間隔時間的消息都會重新消費(fèi))。
引起的原因其實很簡單,kafka客戶端默認(rèn)超時時間是30秒,如果消費(fèi)者沒有響應(yīng),就會觸發(fā)重新平衡。

完善后的配置:

auto.commit.interval.ms=15000

rebalance.backoff.ms=2000

max.poll.interval.ms=300000

max.poll.records=300

其實Kafka這幾個配置,主要看業(yè)務(wù)流量采取相應(yīng)的配置會好一點,并不是默認(rèn)值就是最適合的。比如說業(yè)務(wù)處理數(shù)據(jù)的時間長、數(shù)據(jù)量太大這些都是業(yè)務(wù)場景。

以上就是kafka一直在導(dǎo)致無法消費(fèi)該怎么辦,小編相信有部分知識點可能是我們?nèi)粘9ぷ鲿姷交蛴玫降摹OM隳芡ㄟ^這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI