kafka如何查詢topic列表和topic下的消息

這篇文章主要介紹kafka如何查詢topic列表和topic下的消息 ，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

使用Kafka經(jīng)常碰到需要查看topic是否創(chuàng)建，或是查看topic下的數(shù)據(jù)。

最開(kāi)始想直接找可視化工具進(jìn)行查看就找到了Kafka tool 然后發(fā)現(xiàn)鏈接數(shù)據(jù)較少的環(huán)境確實(shí)比較好用，但是如果topic或topic下的數(shù)據(jù)較多就會(huì)直接卡死，導(dǎo)致無(wú)法打開(kāi)。

Kafka tool 的簡(jiǎn)單使用

首先去官網(wǎng)下載 Kafka tool ：https://www.kafkatool.com/

無(wú)腦下一步進(jìn)行安裝。安裝完成后進(jìn)行新建鏈接操作

因?yàn)閿?shù)據(jù)在Kafka都是byte所以要配置byte轉(zhuǎn)string才能更方便的查看

在 tools --> settings --> Topics

然后選中想要查看的topic在properties中配置key和message為string

然后進(jìn)入topic下的分區(qū)進(jìn)行查看，點(diǎn)擊綠色查詢按鈕即可查看

如果數(shù)據(jù)量較少可以使用這個(gè)工具進(jìn)行查看，但是數(shù)據(jù)太多回直接卡死

使用Kafka命令腳本查看

由于我們公司Kafka是部署在docker中所以需要先進(jìn)入Kafka容器，然后進(jìn)入opt/kafka/bin/目錄下，Kafka腳本命令都在這個(gè)目錄下

查看kafka topic列表

kafka-topics.sh -list --zookeeper zookeeper地址:端口

從頭開(kāi)始查看kafka topic下的數(shù)據(jù)

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --from-beginning

按照偏移量查看topic下數(shù)據(jù)

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --offset latest --partition 0

# --offset設(shè)置偏移量 latest代表最后 ，可以設(shè)置區(qū)間，不設(shè)置結(jié)尾的話默認(rèn)為查詢到latest(最后)
# --partition 設(shè)置分區(qū) 使用偏移量查詢時(shí)一定要設(shè)置分區(qū)才能查詢

清除Kafka topic下所有消息

kafka-topics.sh --zookeeper zookeeper地址:端口 --delete --topic topic_name

以上是“kafka如何查詢topic列表和topic下的消息 ”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！