Kafka性能調(diào)優(yōu)

  Kafka的配置詳盡、復(fù)雜，想要進(jìn)行全面的性能調(diào)優(yōu)需要掌握大量信息，這里只記錄一下我在日常工作使用中走過的坑和經(jīng)驗(yàn)來對kafka集群進(jìn)行優(yōu)化常用的幾點(diǎn)。

1.JVM的優(yōu)化

  java相關(guān)系統(tǒng)自然離不開JVM的優(yōu)化。首先想到的肯定是Heap Size的調(diào)整。

vim bin/kafka-server-start.sh     
調(diào)整KAFKA_HEAP_OPTS="-Xmx16G -Xms16G”的值

推薦配置：一般HEAP SIZE的大小不超過主機(jī)內(nèi)存的50%。

2.網(wǎng)絡(luò)和ios操作線程配置優(yōu)化：

# broker處理消息的最大線程數(shù)
num.network.threads=9
# broker處理磁盤IO的線程數(shù)
num.io.threads=16

推薦配置：

num.network.threads主要處理網(wǎng)絡(luò)io，讀寫緩沖區(qū)數(shù)據(jù)，基本沒有io等待，配置線程數(shù)量為cpu核數(shù)加1。

num.io.threads主要進(jìn)行磁盤io操作，高峰期可能有些io等待，因此配置需要大些。配置線程數(shù)量為cpu核數(shù)2倍，最大不超過3倍。

3.socket server可接受數(shù)據(jù)大小(防止OOM異常)：

socket.request.max.bytes=2147483600

推薦配置：

根據(jù)自己業(yè)務(wù)數(shù)據(jù)包的大小適當(dāng)調(diào)大。這里取值是int類型的，而受限于java int類型的取值范圍又不能太大：

java int的取值范圍為（-2147483648~2147483647），占用4個字節(jié)（-2的31次方到2的31次方-1，不能超出，超出之后報(bào)錯：org.apache.kafka.common.config.ConfigException: Invalid value 8589934592 for configuration socket.request.max.bytes: Not a number of type INT。

4.log數(shù)據(jù)文件刷盤策略

# 每當(dāng)producer寫入10000條消息時，刷數(shù)據(jù)到磁盤
log.flush.interval.messages=10000
# 每間隔1秒鐘時間，刷數(shù)據(jù)到磁盤
log.flush.interval.ms=1000

推薦配置：

為了大幅度提高producer寫入吞吐量，需要定期批量寫文件。一般無需改動，如果topic的數(shù)據(jù)量較小可以考慮減少log.flush.interval.ms和log.flush.interval.messages來強(qiáng)制刷寫數(shù)據(jù)，減少可能由于緩存數(shù)據(jù)未寫盤帶來的不一致。推薦配置分別message 10000，間隔1s。

5.日志保留策略配置

# 日志保留時長
log.retention.hours=72
# 段文件配置
log.segment.bytes=1073741824

推薦配置：

日志建議保留三天，也可以更短；段文件配置1GB，有利于快速回收磁盤空間，重啟kafka加載也會加快（kafka啟動時是單線程掃描目錄(log.dir)下所有數(shù)據(jù)文件）。如果文件過小，則文件數(shù)量比較多。

6.replica復(fù)制配置

num.replica.fetchers=3
replica.fetch.min.bytes=1
replica.fetch.max.bytes=5242880

推薦配置：

  每個follow從leader拉取消息進(jìn)行同步數(shù)據(jù)，follow同步性能由這幾個參數(shù)決定，分別為:

拉取線程數(shù)(num.replica.fetchers):fetcher配置多可以提高follower的I/O并發(fā)度，單位時間內(nèi)leader持有更多請求，相應(yīng)負(fù)載會增大，需要根據(jù)機(jī)器硬件資源做權(quán)衡，建議適當(dāng)調(diào)大；

最小字節(jié)數(shù)(replica.fetch.min.bytes):一般無需更改，默認(rèn)值即可；

最大字節(jié)數(shù)(replica.fetch.max.bytes)：默認(rèn)為1MB，這個值太小，推薦5M，根據(jù)業(yè)務(wù)情況調(diào)整

最大等待時間(replica.fetch.wait.max.ms):follow拉取頻率，頻率過高，leader會積壓大量無效請求情況，無法進(jìn)行數(shù)據(jù)同步，導(dǎo)致cpu飆升。配置時謹(jǐn)慎使用，建議默認(rèn)值，無需配置。

7.分區(qū)數(shù)量配置

num.partitions=5

推薦配置：

默認(rèn)partition數(shù)量1，如果topic在創(chuàng)建時沒有指定partition數(shù)量，默認(rèn)使用此值。Partition的數(shù)量選取也會直接影響到Kafka集群的吞吐性能，配置過小會影響消費(fèi)性能，建議改為5。