溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Kafka的消息記錄留存策略及配置是怎樣的

發(fā)布時間：2021-12-15 10:47:33 來源：億速云 閱讀：142 作者：柒染 欄目：大數(shù)據(jù)

本篇文章為大家展示了Kafka的消息記錄留存策略及配置是怎樣的，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

broker中的幾個重要配置項

  • log.retention.check.interval.ms

  • log.retention.hours

  • log.segment.bytes

  • log.roll.hours

消息記錄留存執(zhí)行基本邏輯

  • kafka的消息存放在segment文件中

  • kafka處理過期數(shù)據(jù)的操作對象是segment，處理方式為壓縮或刪除，或壓縮與刪除聯(lián)合

  1. 寫入數(shù)據(jù)

  • 1.1 當前partition收到producer第一條要記錄的消息, 如果沒有segment，則kafka會新建segment

  • 1.2 檢查要寫入的segment最后一條插入數(shù)據(jù)的時間戳: 如果大小大于log.segment.bytes配置的大小，則不再寫入，并創(chuàng)建新的segment，并將寫入游標指向新建的segment

  • 1.3 檢查要寫入的segment文件的大小: 如果segment的創(chuàng)建時間距當前時間大于log.roll.hours配置的時間，則不再寫入，并創(chuàng)建新的segment，并將寫入游標指向新建的segment

  • 1.4 寫入數(shù)據(jù)到segment文件

  1. 定時檢查并處理過期segment文件

  • 2.1 kafka根據(jù)log.retention.check.interval.ms配置項發(fā)起定時任務: 定時檢查所有的segment

  • 2.2 檢查segment是否符合執(zhí)行過期處理的條件，如果segment最近時間戳距現(xiàn)在時間大于log.retention.hours配置時間，則會刪除該segment文件

上述內容就是Kafka的消息記錄留存策略及配置是怎樣的，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業(yè)資訊頻道。

向AI問一下細節(jié)

免責聲明：本站發(fā)布的內容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經查實，將立刻刪除涉嫌侵權內容。

AI
助
手