Kafka集群配置以及集群管理工具Kafka Manager安裝的示例分析

小編給大家分享一下Kafka集群配置以及集群管理工具Kafka Manager安裝的示例分析，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

我們使用如下三臺(tái)機(jī)器搭建Kafka集群,此文檔在我們已經(jīng)安裝了zookeeper集群的前提下有效，文章中zookeeper全部使用zk縮寫表示

192.168.1.96
192.168.1.45
192.168.1.34

下面操作在不說明的情況下都是在96這臺(tái)機(jī)器上做的操作

• 下載Kafka

wget http://apache.fayea.com/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

• 解壓Kafka

tar xzvf kafka_2.11-0.9.0.1.tgz

• 修改配置文件 config/server.properties

broker.id=0
advertised.host.name=192.168.1.96
log.dirs=/data/store/log/kafka-logs
zookeeper.connect=192.168.1.96:2181,192.168.1.45:2181,192.168.1.34:2181/kafka
1、 broker.id 每臺(tái)集群機(jī)器唯一，從0開始遞增，待我們把kafka同步到其他機(jī)器上之后需要修改每臺(tái)機(jī)器的這個(gè)ID
2、 如下圖所示，它的意思是我們可以在zookeeper.connect最后指定一個(gè)chroot地址，當(dāng)然不是必須的，默認(rèn)使用的是根目錄，修改這個(gè)等于指定了kafka集群需要存儲(chǔ)在zk的數(shù)據(jù)目錄，但是我們需要在集群啟動(dòng)前在zk中手動(dòng)建立這樣一個(gè)目錄 

3、 advertised.host.name 配置成當(dāng)前服務(wù)器的ip，如果沒有配置，默認(rèn)值是java.net.InetAddress.getCanonicalHostName()當(dāng)時(shí)我沒有修改這個(gè)值，在本地測試的時(shí)候出現(xiàn)了連接超時(shí)問題，而且在kafka manager里面查看broker的ip都是localhost，修改之后則為具體的ip地址，估計(jì)是和getCanonicalHostName()有關(guān)，這個(gè)問題留待以后考證啦.. 
4、 如何創(chuàng)建這個(gè)chroot路徑呢?使用如下命令連接到任意一臺(tái)zk服務(wù)器

bin/zkCli.sh
create /kafka ''

• 同步kafka到其他機(jī)器上,并且修改config/server.properties里面的broker.id,別忘記了

scp -r kafka_2.11-0.9.0.1 192.168.1.34:/data/strawbird/kafka_2.11-0.9.0.1
scp -r kafka_2.11-0.9.0.1 192.168.1.45:/data/strawbird/kafka_2.11-0.9.0.1

• 分別啟動(dòng)三臺(tái)機(jī)器的kafka

bin/kafka-server-start.sh config/server.properties &

安裝Kafka Manager

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
//下面這步操作真的是要等很久，耐心等待吧，不瞞您說，我這這里一共花了2752s，所以....呵呵噠
sbt clean dist
cd target/universal/ //在universal目錄下我們可以看到如下兩個(gè)文件

 

 

//解壓上圖中的zip文件
unzip kafka-manager-1.3.0.8.zip
cd kafka-manager-1.3.0.8
//修改conf/application.properties中科院為kafka-manager.zkhosts的值

//啟動(dòng)kafka manager
bin/kafka-manager
//啟動(dòng)之后、默認(rèn)啟動(dòng)的端口是9000，所以我們?cè)跒g覽器訪問這個(gè)地址 http://192.168.1.96:9000,然后自己添加一個(gè)集群 大致可以看到如下的信息

看完了這篇文章，相信你對(duì)“Kafka集群配置以及集群管理工具Kafka Manager安裝的示例分析”有了一定的了解，如果想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！