kafka broker Leader -1引起spark Streaming不能消費(fèi) 已解決

一、問題描述：

Kafka生產(chǎn)集群中有一臺(tái)機(jī)器cdh-003由于物理故障原因掛掉了，并且系統(tǒng)起不來了，使得線上的spark Streaming實(shí)時(shí)任務(wù)不能正常消費(fèi)，重啟實(shí)時(shí)任務(wù)都不行。查看kafka topic狀態(tài)，發(fā)現(xiàn)broker Leader出現(xiàn)-1的情況，如下圖

二、問題分析

Kafka Broker Leader 為-1，表示有partition在選舉Leader的時(shí)候失敗了，因此引起了消費(fèi)該Topic的實(shí)時(shí)任務(wù)都出現(xiàn)了異常，經(jīng)過排除發(fā)現(xiàn)掛掉的cdh-003機(jī)器正好是broker id為257。(但為何192沒有被選舉為leader呢？？)

?

三、解決方法:修改kafka元數(shù)據(jù)，手動(dòng)指定kakfa Leader。

kafka partition狀態(tài)信息存在Zookeeper上，我的環(huán)境目錄是 /kafka/brokers/topics/，具體操作如下：

1、查看leader為-1的partition狀態(tài)

[zk: localhost:2181(CONNECTED) 2] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":-1,"version":1,"leader_epoch":96,"isr":[257]}

2、強(qiáng)制修改partition leader為192

[zk: localhost:2181(CONNECTED) 3] set /kafka/brokers/topics/mds001/partitions/1/state {"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

3、查看修改是否成功

[zk: localhost:2181(CONNECTED) 4] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

[zk: localhost:2181(CONNECTED) 5]

4、重啟Kafka服務(wù) （必須重啟，我最開始就是沒有重啟，使得SS消費(fèi)依然不正常）

5、重啟Spark Streaming實(shí)時(shí)任務(wù)，此時(shí)消費(fèi)正常，則完美解決