kafka1.0.0集群搭建

一、環(huán)境準(zhǔn)備
1、軟件
zookeeper3.4.11 https://www.apache.org/dyn/closer.cgi/zookeeper/
kafka1.0.0 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz
java8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、硬件
? 機(jī)器：10.205.104.55
? 機(jī)器：10.205.102.52
? 機(jī)器：10.205.105.33
二、安裝
jdk安裝略
1、統(tǒng)一目錄/opt

2、安裝zookeeper（三臺機(jī)器同樣操作）
cp conf/zoo_sample.cfg zoo.cfg
grep ^[^#] conf/zoo.cfg

添加機(jī)器id到 dataDir=/opt/zookeeper-3.4.11/data目錄下的myid文件中
機(jī)器：10.205.104.55 寫1
機(jī)器：10.205.102.52 寫2
機(jī)器：10.205.105.33 寫3

每臺機(jī)器都是同樣的配置
啟動(dòng)zookeeper
bin/zkServer.sh start
檢驗(yàn)

3、安裝kafka（每臺機(jī)器broker.id不同。這里依此是0，1，2）
每臺機(jī)器依此配置

啟動(dòng)kafka（每臺都啟動(dòng)）
bin/kafka-server-start.sh config/server-1.properties &
校驗(yàn)

創(chuàng)建topic
bin/kafka-topics.sh --create --zookeeper 10.205.104.55:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
查看topic信息
bin/kafka-topics.sh --describe --zookeeper 10.205.104.55:2181 --topic my-replicated-topic

推送信息
bin/kafka-console-producer.sh --broker-list 10.205.104.55:9092 --topic my-replicated-topic
消費(fèi)信息
bin/kafka-console-consumer.sh --bootstrap-server 10.205.104.55:9092 --from-beginning --topic my-replicated-topic
安裝完畢
最后送上優(yōu)化文章：kafka參數(shù)配置優(yōu)化