Kafka安裝步驟

Kafka是由Java編寫的一個開源流處理平臺，因為它強大的動作流數(shù)據(jù)處理功能而備受大數(shù)據(jù)開發(fā)者的歡迎。因而作為大數(shù)據(jù)的開發(fā)者，掌握Kafka也就掌握了大數(shù)據(jù)最重要的一項核心技術(shù)。本文是一篇新手入門Kafka的安裝教程，下面小編將手把手結(jié)合圖片詳細(xì)的指導(dǎo)大家安裝Kafka。

1、認(rèn)識Kafka

Kakfa 是一個分布式的基于發(fā)布/訂閱模式的消息隊列（message queue），所謂的消息隊列是指一個用戶要注冊信息，當(dāng)用戶信息寫入數(shù)據(jù)庫后，后面還有一些其他流程，比如發(fā)送短信，則需要等這些流程處理完成后，再返回給用戶。Kafka 的基礎(chǔ)架構(gòu)主要有 broker、生產(chǎn)者、消費者組構(gòu)成，當(dāng)前還包括 ZooKeeper。目前Kakfa主要應(yīng)用于大數(shù)據(jù)的實時處理領(lǐng)域。

2、 安裝 Kafka

步驟一：Kafka 的安裝只需要解壓安裝包就可以完成安裝。

tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/

步驟二： 查看配置文件。

[root@es1 config]# pwd

/usr/local/kafka/config

[root@es1 config]# ll

total 84

-rw-r--r--. 1 root root  906 Feb  8  2019 connect-console-sink.properties

-rw-r--r--. 1 root root  909 Feb  8  2019 connect-console-source.properties

-rw-r--r--. 1 root root 5321 Feb  8  2019 connect-distributed.properties

-rw-r--r--. 1 root root  883 Feb  8  2019 connect-file-sink.properties

-rw-r--r--. 1 root root  881 Feb  8  2019 connect-file-source.properties

-rw-r--r--. 1 root root 1111 Feb  8  2019 connect-log4j.properties

-rw-r--r--. 1 root root 2262 Feb  8  2019 connect-standalone.properties

-rw-r--r--. 1 root root 1221 Feb  8  2019 consumer.properties

-rw-r--r--. 1 root root 4727 Feb  8  2019 log4j.properties

-rw-r--r--. 1 root root 1925 Feb  8  2019 producer.properties

-rw-r--r--. 1 root root 6865 Jan 16 22:00 server-1.properties

-rw-r--r--. 1 root root 6865 Jan 16 22:00 server-2.properties

-rw-r--r--. 1 root root 6873 Jan 16 03:57 server.properties

-rw-r--r--. 1 root root 1032 Feb  8  2019 tools-log4j.properties

-rw-r--r--. 1 root root 1169 Feb  8  2019 trogdor.conf

-rw-r--r--. 1 root root 1023 Feb  8  2019 zookeeper.properties

（3）修改配置文件 server.properties。

設(shè)置 broker.id 這個是 Kafka 集群區(qū)分每個節(jié)點的唯一標(biāo)志符。

步驟三：設(shè)置 Kafka 的數(shù)據(jù)存儲路徑。

步驟四：設(shè)置是否可以刪除 topic，默認(rèn) Kafka 的 topic 是不允許刪除的。

步驟五：Kafka 的數(shù)據(jù)保留的時間，默認(rèn)是 7 天。

步驟六：Log 文件最大的大小，如果 log 文件超過 1 G 會創(chuàng)建一個新的文件。

步驟七：Kafka 連接的 ZooKeeper 的地址和連接 Kafka 的超時時間。

步驟八：默認(rèn)的 partition 的個數(shù)。

步驟九：安裝成功，啟動 Kafka，每個 Kakfa 節(jié)點都需要手動啟動，下面的方式阻塞的方式啟動。

如何安裝Kafka？相信大家看完新手安裝Kafka教程指導(dǎo)，對于這個問題應(yīng)該已經(jīng)有了自己的答案。當(dāng)然安裝Kafka只是第一步，要想更加深入學(xué)習(xí)大數(shù)據(jù)的相關(guān)技術(shù)，可以來億速云報名相關(guān)課程。