怎么查看Kafka的Topic消費(fèi)情況

這篇文章主要介紹了怎么查看Kafka的Topic消費(fèi)情況，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1.文檔編寫(xiě)目的

在我們的應(yīng)用程序消費(fèi)Kafka的Topic消息時(shí)，我們會(huì)關(guān)注Topic中消息總量以及消費(fèi)情況，那接下來(lái)Fayson就主要介紹下如何在CDH集群中使用命令行的方式查看Topic的消費(fèi)情況。

• 本次Fayson的測(cè)試環(huán)境為

1.CM和CDH版本為5.15

2.Redhat7.4

3.Kafka 0.10.2+kafka2.2.0

2.命令行查看

在Kafka的腳本里提供了kafka-run-class.sh的腳本，使用該腳本查看Consumer組內(nèi)消費(fèi)Topic的Offset情況。

1.在命令行執(zhí)行如下命令查看指定Topic及ConsumerGroup的消費(fèi)情況

[root@cdh01 bin]# kafka-run-class kafka.tools.ConsumerOffsetChecker --zookeeper cdh01.fayson.com:2181 --group test --topic kafka_kudu_topic_offset_3

第一次執(zhí)行查看到kafka_kudu_topic_offset_3的testgroup組各個(gè)Partition的Offset消費(fèi)情況以及每個(gè)Partition的總消息量。

2.kafka_kudu_topic_offset_3的Topic發(fā)送600條消息，再次執(zhí)行命令查看消費(fèi)情況

此時(shí)沒(méi)有消費(fèi)的應(yīng)用運(yùn)行，可以看到Offset的數(shù)據(jù)未發(fā)生變化，而logSize的數(shù)據(jù)量有增加，每個(gè)partition的數(shù)量增加200條，剛好為我發(fā)送的消息數(shù)量。

3.啟動(dòng)消費(fèi)程序消費(fèi)Topic的消息，再次執(zhí)行命令查看消費(fèi)情況

在消費(fèi)應(yīng)用運(yùn)行時(shí)，每個(gè)Partition的Offset數(shù)據(jù)發(fā)生變化，此時(shí)的Offset的數(shù)據(jù)與logSize的數(shù)據(jù)一致，在應(yīng)用日志中也無(wú)新的消息接收，說(shuō)明Topic的消息已被testgroup組消費(fèi)完。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“怎么查看Kafka的Topic消費(fèi)情況”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!