如何徹底弄清楚kafka各版本的差異

我自己用了 kafka 也挺久的了，關(guān)于kafka的版本規(guī)則，各個大版本的升級究竟做了哪些優(yōu)化等，并沒有特別的關(guān)注。小編打算做一個比較詳細的整理。

1、版本命名規(guī)則

1.x之后，kafka 全面啟用三位數(shù)的命名規(guī)則。也就是說，以前的版本都是這樣色的，

• 0.8.2.2

• 0.9.0.1

• 0.10.0.0

后來1·x之后，kafka 全面啟用了三位數(shù)版本規(guī)則，如果下圖所示，

新的版本規(guī)則，即 “大版本-小版本-patch版本“ 比較符合主流。

我們現(xiàn)在看到的 kafka 版本通常是這樣的，

• kafka_2.11-2.2.0

前面部分2.11其實是scala的版本（kafka是scala編寫的），后面三位就是真正的 kafka 版本。

2、幾個主要的里程碑

0.8.2版本

• 為了提高吞吐量，producer 都以異步批量的方式發(fā)送消息到 broker 節(jié)點。

• consumer 的消費偏移位置 offset 由原來的保存在 zookeeper 改為保存在 kafka 本身。

0.9版本

• 增加安全相關(guān)特性，客戶端連接 kafka 可以使用ssl或者sasl進行驗證。

• 增加 kafka connect 模塊

• 新的 consumer api

1.0.0版本

• 支持 java 9

• 增強 stream api

• 引入了線程協(xié)議，便于升級

2.0.0版本

• 最低支持 java8

• 棄用多處 scala 相關(guān)的依賴，java 成主流

2.2.0

• 默認的consumer group id 由 "" 改為 null。

• bin\kafka-topic.sh 支持指定 --bootstrap-server，代替原來的--zookeeper。

3、關(guān)于客戶端版本

kafka 支持多個語言的客戶端api，我只關(guān)注 java 客戶端。maven 的工程我們一般這樣引入 kafka 客戶端，

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.10.2.0</version>
        </dependency>

這種會引入兩個依賴jar，分別是

• kafka-clients-0.10.2.0.jar

• kafka_2.11-0.10.2.0.jar

前者是官方推薦的java客戶端，后者是scala客戶端。調(diào)用方式有所不同。如果確定不使用 scala api，也可以用下面這種方式只包含java版本的客戶端。

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.2.0</version>
        </dependency>

一個原則是，盡量保持客戶端版本和服務(wù)器上運行的server版本一致。