kafka-2安裝實(shí)戰(zhàn)篇

了解好kafka的基礎(chǔ)概念之后，可以開始動(dòng)手，

環(huán)境：centos7,

官方教程

http://kafka.apache.org/quickstart#quickstart_download

安裝java環(huán)境,安裝jdk(推薦，也省事）

Centos ：

yum -y update

yum -y install java

Ubuntu ：

sudo apt-get update

sudo apt-get install java

或者也可以通過(guò)源碼手動(dòng)安裝（如果上面的執(zhí)行了，這一步到重啟環(huán)境變量，可以直接跳過(guò)了）

http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

tar zxvf jdk-8u65-linux-x64.tar.gz

mv jdk1.8.0_65 java

mv java /java

#設(shè)置環(huán)境變量，生效

vi .bash_profile

JAVA_HOME=/java

PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME PATH

#重新啟動(dòng)環(huán)境變量，使配置生效

source .bash_profile 

下載kafka

https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz

> tar -xzf kafka_2.11-0.10.2.0.tgz

> cd kafka_2.11-0.10.2.0

啟動(dòng)zookeeper服務(wù)

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

#可以通過(guò)ps aux | grep zookeeper

查看起來(lái)沒(méi)有

#編輯kafka配置變量，幾個(gè)重要的設(shè)置

vim config/server.properties
num.partitions = 10   #設(shè)置partitions數(shù)量，在客戶端消費(fèi)時(shí)指定多少個(gè)線程并發(fā)
listeners=PLAINTEXT://192.168.1.200:9092     #設(shè)置本機(jī)的監(jiān)聽ip及端口，如果為127.0.0.1那從其他機(jī)器上將連接不了，需要把192.168.1.200(我的ip)設(shè)置成你自己本機(jī)的真實(shí)ip
#設(shè)置日志的保存時(shí)間，是按byt保存還是按照時(shí)間，超過(guò)的會(huì)自動(dòng)刪除
log.retention.bytes=1073741824
log.retention.hours=168
zookeeper.connect=localhost:2181#本地監(jiān)聽的zookeeper端口，默認(rèn)即可

啟動(dòng)kafka

bin/kafka-server-start.sh config/server.properties

vim /etc/iptables.startup

#增加

-A KAFKA -p tcp -m tcp --dport 10050 -j ACCEPT

#重啟，生效

iptables-restore < /etc/iptables.startup

#查看list

iptables -L

#設(shè)置完成后在本地telnet下本機(jī)的10050通么，通的話再?gòu)钠渌麢C(jī)器telnet測(cè)試下

#如果需要重啟kafka或者zookeeper，執(zhí)行下面kill命令，再重新執(zhí)行上面啟動(dòng)命令就可以了

ps -ef | grep kafka |awk '{print $2}'|xargs kill -9