kafka參數(shù)配置broker是什么意思

這篇文章給大家分享的是有關(guān)kafka參數(shù)配置broker是什么意思的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

#唯一標(biāo)識(shí)在集群中的ID，要求是正數(shù)。

broker.id=0

#服務(wù)端口，默認(rèn)9092

port=9092

#監(jiān)聽地址，不設(shè)為所有地址

host.name=debugo01

# 處理網(wǎng)絡(luò)請(qǐng)求的最大線程數(shù)

num.network.threads=2

# 處理磁盤I/O的線程數(shù)

num.io.threads=8

# 一些后臺(tái)線程數(shù)

background.threads = 4

# 等待IO線程處理的請(qǐng)求隊(duì)列最大數(shù)

queued.max.requests = 500

#  socket的發(fā)送緩沖區(qū)（SO_SNDBUF）

socket.send.buffer.bytes=1048576

# socket的接收緩沖區(qū) (SO_RCVBUF) 

socket.receive.buffer.bytes=1048576

# socket請(qǐng)求的最大字節(jié)數(shù)。為了防止內(nèi)存溢出，message.max.bytes必然要小于

socket.request.max.bytes = 104857600

############################# Topic #############################

# 每個(gè)topic的分區(qū)個(gè)數(shù)，更多的partition會(huì)產(chǎn)生更多的segment file

num.partitions=2

# 是否允許自動(dòng)創(chuàng)建topic ，若是false，就需要通過命令創(chuàng)建topic

auto.create.topics.enable =true

# 一個(gè)topic ，默認(rèn)分區(qū)的replication個(gè)數(shù) ，不能大于集群中broker的個(gè)數(shù)。

default.replication.factor =1

# 消息體的最大大小，單位是字節(jié)

message.max.bytes = 1000000

############################# ZooKeeper #############################

# Zookeeper quorum設(shè)置。如果有多個(gè)使用逗號(hào)分割

zookeeper.connect=debugo01:2181,debugo02,debugo03

# 連接zk的超時(shí)時(shí)間

zookeeper.connection.timeout.ms=1000000

# ZooKeeper集群中l(wèi)eader和follower之間的同步實(shí)際

zookeeper.sync.time.ms = 2000

############################# Log #############################

#日志存放目錄，多個(gè)目錄使用逗號(hào)分割

log.dirs=/var/log/kafka

# 當(dāng)達(dá)到下面的消息數(shù)量時(shí)，會(huì)將數(shù)據(jù)flush到日志文件中。默認(rèn)10000

#log.flush.interval.messages=10000

# 當(dāng)達(dá)到下面的時(shí)間(ms)時(shí)，執(zhí)行一次強(qiáng)制的flush操作。interval.ms和interval.messages無論哪個(gè)達(dá)到，都會(huì)flush。默認(rèn)3000ms

#log.flush.interval.ms=1000

# 檢查是否需要將日志flush的時(shí)間間隔

log.flush.scheduler.interval.ms = 3000

# 日志清理策略（delete|compact）

log.cleanup.policy = delete

# 日志保存時(shí)間 (hours|minutes)，默認(rèn)為7天（168小時(shí)）。超過這個(gè)時(shí)間會(huì)根據(jù)policy處理數(shù)據(jù)。bytes和minutes無論哪個(gè)先達(dá)到都會(huì)觸發(fā)。

log.retention.hours=168

# 日志數(shù)據(jù)存儲(chǔ)的最大字節(jié)數(shù)。超過這個(gè)時(shí)間會(huì)根據(jù)policy處理數(shù)據(jù)。

#log.retention.bytes=1073741824

# 控制日志segment文件的大小，超出該大小則追加到一個(gè)新的日志segment文件中（-1表示沒有限制）

log.segment.bytes=536870912

# 當(dāng)達(dá)到下面時(shí)間，會(huì)強(qiáng)制新建一個(gè)segment

log.roll.hours = 24*7

# 日志片段文件的檢查周期，查看它們是否達(dá)到了刪除策略的設(shè)置（log.retention.hours或log.retention.bytes）

log.retention.check.interval.ms=60000

# 是否開啟壓縮

log.cleaner.enable=false

# 對(duì)于壓縮的日志保留的最長時(shí)間

log.cleaner.delete.retention.ms = 1 day

# 對(duì)于segment日志的索引文件大小限制

log.index.size.max.bytes = 10 * 1024 * 1024

#y索引計(jì)算的一個(gè)緩沖區(qū)，一般不需要設(shè)置。

log.index.interval.bytes = 4096

############################# replica #############################

# partition management controller 與replicas之間通訊的超時(shí)時(shí)間

controller.socket.timeout.ms = 30000

# controller-to-broker-channels消息隊(duì)列的尺寸大小

controller.message.queue.size=10

# replicas響應(yīng)leader的最長等待時(shí)間，若是超過這個(gè)時(shí)間，就將replicas排除在管理之外

replica.lag.time.max.ms = 10000

# 是否允許控制器關(guān)閉broker ,若是設(shè)置為true,會(huì)關(guān)閉所有在這個(gè)broker上的leader，并轉(zhuǎn)移到其他broker

controlled.shutdown.enable = false

# 控制器關(guān)閉的嘗試次數(shù)

controlled.shutdown.max.retries = 3

# 每次關(guān)閉嘗試的時(shí)間間隔

controlled.shutdown.retry.backoff.ms = 5000

# 如果relicas落后太多,將會(huì)認(rèn)為此partition relicas已經(jīng)失效。而一般情況下,因?yàn)榫W(wǎng)絡(luò)延遲等原因,總會(huì)導(dǎo)致replicas中消息同步滯后。如果消息嚴(yán)重滯后,leader將認(rèn)為此relicas網(wǎng)絡(luò)延遲較大或者消息吞吐能力有限。在broker數(shù)量較少,或者網(wǎng)絡(luò)不足的環(huán)境中,建議提高此值.

replica.lag.max.messages = 4000

#leader與relicas的socket超時(shí)時(shí)間

replica.socket.timeout.ms= 30 * 1000

# leader復(fù)制的socket緩存大小

replica.socket.receive.buffer.bytes=64 * 1024

# replicas每次獲取數(shù)據(jù)的最大字節(jié)數(shù)

replica.fetch.max.bytes = 1024 * 1024

# replicas同leader之間通信的最大等待時(shí)間，失敗了會(huì)重試

replica.fetch.wait.max.ms = 500

# 每一個(gè)fetch操作的最小數(shù)據(jù)尺寸,如果leader中尚未同步的數(shù)據(jù)不足此值,將會(huì)等待直到數(shù)據(jù)達(dá)到這個(gè)大小

replica.fetch.min.bytes =1

# leader中進(jìn)行復(fù)制的線程數(shù)，增大這個(gè)數(shù)值會(huì)增加relipca的IO

num.replica.fetchers = 1

# 每個(gè)replica將最高水位進(jìn)行flush的時(shí)間間隔

replica.high.watermark.checkpoint.interval.ms = 5000

# 是否自動(dòng)平衡broker之間的分配策略

auto.leader.rebalance.enable = false

# leader的不平衡比例，若是超過這個(gè)數(shù)值，會(huì)對(duì)分區(qū)進(jìn)行重新的平衡

leader.imbalance.per.broker.percentage = 10

# 檢查leader是否不平衡的時(shí)間間隔

leader.imbalance.check.interval.seconds = 300

# 客戶端保留offset信息的最大空間大小

offset.metadata.max.bytes = 1024

感謝各位的閱讀！關(guān)于“kafka參數(shù)配置broker是什么意思”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！