如何利用安裝zookeeper的三臺(tái)服務(wù)器做KAFKA集群

這篇文章主要介紹了如何利用安裝zookeeper的三臺(tái)服務(wù)器做KAFKA集群，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

一、利用安裝zookeeper的三臺(tái)服務(wù)器做KAFKA集群。

1.1 下載kafka_2.9.2-0.8.1

下載地址：https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz

分別在三臺(tái)服務(wù)器創(chuàng)建kafka目錄并且下載kafka壓縮包

#mkdir /usr/local/kafka

#tar –zxvf kafka_2.9.2-0.8.1.tar.gz

1.2  創(chuàng)建log文件夾

#mkdir /usr/local/kafka/kafkalogs

1.3 配置kafka

#cd /usr/local/kafka/kafka_2.9.2-0.8.1/config

#vi server.properties  修改項(xiàng)如下：

broker.id=0      //當(dāng)前機(jī)器在集群中的唯一標(biāo)識(shí)

port=9092       //kafka對(duì)外提供服務(wù)的tcp端口

host.name=10.211.55.7   //主機(jī)IP地址

log.dirs=/usr/local/kafka/kafkalogs    //log存放目錄

message.max.byte=5048576     //kafka一條消息容納的消息最大為多少

default.replication.factor=2   //每個(gè)分區(qū)默認(rèn)副本數(shù)量

replica.fetch.max.bytes=5048576  

zookeeper.connect=10.211.55.7:2181, 10.211.55.8:2181, 10.211.55.9:2181

4.4 啟動(dòng)kafka

# ./kafka-server-start.sh  -daemon ../config/server.properties   //后臺(tái)啟動(dòng)運(yùn)行

4.5 問(wèn)題解決

[root@master ~]# /export/kafka/bin/kafka-console-producer.sh  --broker-list 10.14.2.201:9092,10.14.2.202:9092,10.14.2.203:9092,10.14.2.204:9092    --topic test

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".

 SLF4J: Defaulting to no-operation (NOP) logger implementation

 SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

 # /export/kafka/bin/kafka-console-consumer.sh --zookeeper  10.14.2.201:2181,10.14.2.202:2181,10.14.2.203:2181,10.14.2.204:2181  --topic test --from-beginning

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".

 SLF4J: Defaulting to no-operation (NOP) logger implementation

 SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

解決方法：

 下載slf4j-1.7.6.zip

 http://www.slf4j.org/dist/slf4j-1.7.6.zip

 解壓

 unzip slf4j-1.7.6.zip

 把slf4j-nop-1.7.6.jar 包復(fù)制到kafka libs目錄下面

 cd slf4j-1.7.6

 cp slf4j-nop-1.7.6.jar  /export/kafka/libs/

二、KAFKA集群驗(yàn)證

2.1 創(chuàng)建topic

#./kafka-topics.sh --create --zookeeper 10.211.55.7:2181 --replication-factor 1 --partitions 1 --topic test

2.2 查看topic

# ./kafka-topics.sh --list --zookeeper 10.211.55.7:2181

2.3 開啟發(fā)送者并發(fā)送消息

#./kafka-console-producer.sh --broker-list 10.211.55.7:9092 --topic test

2.4 開啟消費(fèi)者并接收消息

#./kafka-console-consumer.sh --zookeeper 10.211.55.8:2181 --topic test --from-beginning

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“如何利用安裝zookeeper的三臺(tái)服務(wù)器做KAFKA集群”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!