溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

【kafka】自定義分區(qū)規(guī)則

發(fā)布時間：2020-04-02 17:42:01 來源：網(wǎng)絡(luò) 閱讀：2210 作者：君子遠(yuǎn)小人 欄目：大數(shù)據(jù)

（一）生產(chǎn)者生成數(shù)據(jù)的數(shù)據(jù)，按自定義key做hashcode進(jìn)行分區(qū)

1.Kafka中可以將Topic從物理上劃分成一個或多個分區(qū)(Partition)

  每個分區(qū)在物理上對應(yīng)一個文件夾，以"topicName_partitionIndex"方式命名

  文件夾下存儲這個分區(qū)的所有消息(.log)和索引(.index)文件

# 例如Topic:test0320,使用了3個分區(qū),2個副本
186           187           188
----------    ----------    ----------
test0320-0    test0320-0    test0320-1
test0320-2    test0320-1    test0320-2

2.生產(chǎn)者在生產(chǎn)數(shù)據(jù)的時候，可以為每條消息自定義Key規(guī)則，這樣消息被發(fā)送到broker時，會根據(jù)分區(qū)規(guī)則選擇被存儲到哪一個分區(qū)中

3.分區(qū)規(guī)則就是實現(xiàn)了kafka.producer.Partitioner接口的類












向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手