怎么實(shí)現(xiàn)Kafka的消息持久化

本篇內(nèi)容介紹了“怎么實(shí)現(xiàn)Kafka的消息持久化”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1、Kafka消息持久性概述

    Kakfa依賴文件系統(tǒng)來(lái)存儲(chǔ)和緩存消息。對(duì)于硬盤的傳統(tǒng)觀念是硬盤總是很慢，基于文件系統(tǒng)的架構(gòu)能否提供優(yōu)異的性能？實(shí)際上硬盤的快慢完全取決于使用方式。同時(shí) Kafka 基于 JVM 內(nèi)存有以下缺點(diǎn)：

• 對(duì)象的內(nèi)存開銷非常高，通常是要存儲(chǔ)的數(shù)據(jù)的兩倍甚至更高

• 隨著堆內(nèi)數(shù)據(jù)的增加，GC的速度越來(lái)越慢

實(shí)際上磁盤線性寫入的性能遠(yuǎn)遠(yuǎn)大于任意位置寫的性能，線性讀寫由操作系統(tǒng)進(jìn)行了大量?jī)?yōu)化（read-ahead、write-behind 等技術(shù)），甚至比隨機(jī)的內(nèi)存讀寫更快。所以與常見的數(shù)據(jù)緩存在內(nèi)存中然后刷到硬盤的設(shè)計(jì)不同，Kafka 直接將數(shù)據(jù)寫到了文件系統(tǒng)的日志中：

• 寫操作：將數(shù)據(jù)順序追加到文件中

• 讀操作：從文件中讀取

    這樣實(shí)現(xiàn)的好處：

• 讀操作不會(huì)阻塞寫操作和其他操作，數(shù)據(jù)大小不對(duì)性能產(chǎn)生影響

• 硬盤空間相對(duì)于內(nèi)存空間容量限制更小

• 線性訪問(wèn)磁盤，速度快，可以保存更長(zhǎng)的時(shí)間，更穩(wěn)定

2、Kafka的持久化原理解析

一個(gè)Topic 被分成多 Partition，每個(gè) Partition 在存儲(chǔ)層面是一個(gè) append-only 日志文件，屬于一個(gè) Partition 的消息都會(huì)被直接追加到日志文件的尾部，每條消息在文件中的位置稱為 offset（偏移量）。

如下圖所示，我們之前創(chuàng)建了mytopic1，具有三個(gè)分區(qū)。我們可以到對(duì)應(yīng)的日志目錄下進(jìn)行查看。

Kafka日志分為index與log（如上圖所示），兩個(gè)成對(duì)出現(xiàn)：index文件存儲(chǔ)元數(shù)據(jù)，log存儲(chǔ)消息。索引文件元數(shù)據(jù)指向?qū)?yīng)log文件中message的遷移地址；例如2,128指log文件的第2條數(shù)據(jù)，偏移地址為128；而物理地址（在index文件中指定）+ 偏移地址可以定位到消息。
我們可以使用Kafka自帶的工具來(lái)查看log日志文件中的數(shù)據(jù)信息：

“怎么實(shí)現(xiàn)Kafka的消息持久化”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！