0022-如何永久刪除Kafka的Topic

溫馨提示：要看高清無碼套圖，請使用手機打開并單擊圖片放大查看。

1.問題描述

使用kafka-topics --delete命令刪除topic時并沒有真正的刪除，而是把topic標記為：“marked for deletion”，導致重新創(chuàng)建相同名稱的Topic時報錯“already exists”。

2.問題復現(xiàn)

1.登錄Kafka集群所在的服務(wù)器，創(chuàng)建一個test的topic

[root@cdh2 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

2.查看新創(chuàng)建的topic

[root@cdh2 ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181

3.通過如下命令刪除新建的topic

[root@cdh2 ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

此處顯示“Topic test is marked for deletion”

4.嘗試重新創(chuàng)建一個test的Topic

[root@cdh2 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

提示該Topic已存在，說明在第3步操作的刪除并沒有真正的將Topic刪除。

3.問題原因

默認情況下Kafka是禁用了刪除Topic的操作，所以在執(zhí)行Topic刪除的時候只是將刪除的Topic標記為“marked for deletion”狀態(tài)。可以通過修改Kafka服務(wù)的配置參數(shù)啟用。

4.解決方法

4.1方法1

在kafka服務(wù)配置delete.topic.enable=false的情況下，如果需要永久刪除topic則需要做如下操作：

• 通過kafka命令刪除相應的topic
• 在zookeeper中刪除相應的topic
• 在topic所在的broker節(jié)點上刪除topic的log數(shù)據(jù)

操作如下：

1.查看topic的描述信息，命令如下

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

上圖標注部分為topic對應的數(shù)據(jù)存放節(jié)點

2.通過kafka命令刪除，命令如下：

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.通過zookeeper客戶端刪除topic，命令如下

zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181

ls /brokers/topics

rmr /brokers/topics/test

注：標紅部分為topic的名稱

4.登錄到第1步中列出的對應節(jié)點的topic的log數(shù)據(jù)目錄，此處我們Kafka的log.dirs目錄配置為/var/local/kakfa，執(zhí)行命令

[ec2-user@ip-172-31-9-186 data]$ sudo rm -rf test-0/

5.驗證是否生效

創(chuàng)建一個名稱為“test”的Topic，可以正常創(chuàng)建

注意：此處將topic為test的日志目錄（/var/local/kafka/test-0）刪除后，新創(chuàng)建的topic為test的日志目錄不存在，重啟Kafka服務(wù)后正常，目錄能正常顯示。

4.2方法2

在Kafka服務(wù)已配置delete.topic.enable=true的情況下，永久刪除topic需要做如下操作：

• 使用kafka命令刪除topic

操作如下：

1. 刪除前數(shù)據(jù)查看：

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

各個數(shù)據(jù)節(jié)點的信息：

Zookeeper信息：

2.通過kafka命令刪除需要刪除的topic，命令如下

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.查看Zookeeper客戶端topic信息

[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics

4.查看brober節(jié)點上topic的日志數(shù)據(jù)

5.刪除后成功后，驗證是否能創(chuàng)建名稱為test的Topic

注意：

如果Kafka服務(wù)配置了delete.topic.enable=true，直接通過命令行刪除，未能刪除Topic則可以通過zookeeper-client來進行刪除。

如果Kafka服務(wù)未配置delete.topic.enable=true，直接通過delete命令刪除topic，刪除時只會將topic標記為“marked for deletion”，然后通過zookeeper-client進行刪除是不會刪除topic的data.log數(shù)據(jù)目錄的，需要將相應的broker服務(wù)器上的data.log目錄下相應的topic目錄刪除，data.log目錄獲取，可以通過CM界面查看：

建議：Kafka服務(wù)開啟delete.topic.enable=true，開啟方式如下：

開啟后需要重啟Kafka服務(wù)。

醉酒鞭名馬，少年多浮夸！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數(shù)據(jù)玩的花！
溫馨提示：要看高清無碼套圖，請使用手機打開并單擊圖片放大查看。

歡迎關(guān)注Hadoop實操，第一時間，分享更多Hadoop干貨，喜歡請關(guān)注分享。

原創(chuàng)文章，歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明：轉(zhuǎn)載自微信公眾號Hadoop實操