Kafka中怎么保證消息不丟失重復(fù)

Kafka中怎么保證消息不丟失重復(fù)，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

• 消費(fèi)端重復(fù)消費(fèi)：

• 建立去重表

• 消費(fèi)端丟失數(shù)據(jù)：

• 關(guān)閉自動(dòng)提交offset，處理完之后受到移位

• 生產(chǎn)端重復(fù)發(fā)送：

• 這個(gè)不重要，消費(fèi)端消費(fèi)之前從去重表中判重就可以

• 生產(chǎn)端丟失數(shù)據(jù)：

• 1、異步方式緩沖區(qū)滿了，就阻塞在那，等著緩沖區(qū)可用，不能清空緩沖區(qū)

• 2、發(fā)送消息之后回調(diào)函數(shù)，發(fā)送成功就發(fā)送下一條，

• 發(fā)送失敗就記在日志里，等著定時(shí)腳本（定時(shí)器）來掃描

• （發(fā)送失敗可能并不真的發(fā)送失敗，只是沒收到反饋，定時(shí)腳本可能會(huì)重發(fā)）

• 解決策略:

如何保證有序（同步發(fā)送能保證順序）：

• 同步發(fā)送模式：發(fā)出消息后，必須阻塞等待收到通知后，才發(fā)送下一條消息

• 異步發(fā)送模式：一直往緩沖區(qū)寫，然后一把寫到隊(duì)列中去

• 兩者都是各有利弊：

• 同步發(fā)送模式雖然吞吐量小，但是發(fā)一條收到確認(rèn)后再發(fā)下一條，既能保證不丟失消息，又能保證順序

kafka數(shù)據(jù)丟失原因：

1. 有3種狀態(tài)（0（不需要等待確認(rèn)）、1（leader確認(rèn)）、-1（all確認(rèn)））保證消息被安全生產(chǎn)，

• 在配置狀態(tài)為1（只保證寫入leader成功的話），如果剛好leader partition掛了，數(shù)據(jù)就會(huì)丟失

2. 使用異步模式的時(shí)候，當(dāng)緩存區(qū)滿了，

• 如果配置狀態(tài)為0（還沒收到確認(rèn)的情況下，緩沖池一滿，就清空緩沖池里的消息），數(shù)據(jù)就會(huì)被立馬丟棄掉

3. 如果配置狀態(tài)為-1

• 由于ISR可能會(huì)縮小到僅包含一個(gè)Replica，所以設(shè)置參數(shù)為all并不能一定避免數(shù)據(jù)丟失

在數(shù)據(jù)生產(chǎn)時(shí)避免數(shù)據(jù)丟失的方法：

• 只要能避免上述兩種情況，那么就可以保證消息不會(huì)被丟失。

• 
  

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝您對(duì)億速云的支持。