Kafka生產(chǎn)者ack機(jī)制的原理是什么

這篇文章主要介紹“Kafka生產(chǎn)者ack機(jī)制的原理是什么”，在日常操作中，相信很多人在Kafka生產(chǎn)者ack機(jī)制的原理是什么問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Kafka生產(chǎn)者ack機(jī)制的原理是什么”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

分區(qū)副本

Kafka的topic是可以分區(qū)的，并且可以為分區(qū)配置多個(gè)副本，改配置可以通過replication.factor參數(shù)實(shí)現(xiàn). Kafka中的分區(qū)副本包括兩種類型：領(lǐng)導(dǎo)者副本（Leader Replica）和追隨者副本（Follower Replica)，每個(gè)分區(qū)在創(chuàng)建時(shí)都要選舉一個(gè)副本作為領(lǐng)導(dǎo)者副本，其余的副本自動(dòng)變?yōu)樽冯S者副本. 在 Kafka 中，追隨者副本是不對(duì)外提供服務(wù)的，也就是說，任何一個(gè)追隨者副本都不能響應(yīng)消費(fèi)者和生產(chǎn)者的讀寫請(qǐng)求. 所有的請(qǐng)求都必須由領(lǐng)導(dǎo)者副本來處理. 換句話說，所有的讀寫請(qǐng)求都必須發(fā)往領(lǐng)導(dǎo)者副本所在的 Broker，由該 Broker 負(fù)責(zé)處理. 追隨者副本不處理客戶端請(qǐng)求，它唯一的任務(wù)就是從領(lǐng)導(dǎo)者副本異步拉取消息，并寫入到自己的提交日志中，從而實(shí)現(xiàn)與領(lǐng)導(dǎo)者副本的同步.

Kafka默認(rèn)的副本因子是3，即每個(gè)分區(qū)只有1個(gè)leader副本和2個(gè)follower副本.具體如下圖所示：

上面提到生產(chǎn)者客戶端僅寫入Leader broker，跟隨者異步復(fù)制數(shù)據(jù)。由于Kafka是一個(gè)分布式系統(tǒng)，必然會(huì)存在與 Leader 不能實(shí)時(shí)同步的風(fēng)險(xiǎn)，所以需要一種方法來判斷這些追隨者是否跟上了領(lǐng)導(dǎo)者的步伐, 即追隨者是否同步了最新的數(shù)據(jù).換句話說，Kafka 要明確地告訴我們，追隨者副本到底在什么條件下才算與 Leader 同步？這就是下面所要說的ISR同步副本機(jī)制.

同步副本(In-sync replicas)

In-sync replica(ISR)稱之為同步副本，ISR中的副本都是與Leader進(jìn)行同步的副本，所以不在該列表的follower會(huì)被認(rèn)為與Leader是不同步的. 那么，ISR中存在是什么副本呢？首先可以明確的是：Leader副本總是存在于ISR中. 而follower副本是否在ISR中，取決于該follower副本是否與Leader副本保持了“同步”.

尖叫提示：對(duì)于"follower副本是否與Leader副本保持了同步"的理解如下：

(1)上面所說的同步不是指完全的同步，即并不是說一旦follower副本同步滯后與Leader副本，就會(huì)被踢出ISR列表.

(2)Kafka的broker端有一個(gè)參數(shù)replica.lag.time.max.ms, 該參數(shù)表示follower副本滯后與Leader副本的最長(zhǎng)時(shí)間間隔，默認(rèn)是10秒.  這就意味著，只要follower副本落后于leader副本的時(shí)間間隔不超過10秒，就可以認(rèn)為該follower副本與leader副本是同步的，所以哪怕當(dāng)前follower副本落后于Leader副本幾條消息，只要在10秒之內(nèi)趕上Leader副本，就不會(huì)被踢出出局.

（3）如果follower副本被踢出ISR列表，等到該副本追上了Leader副本的進(jìn)度，該副本會(huì)被再次加入到ISR列表中，所以ISR是一個(gè)動(dòng)態(tài)列表，并不是靜態(tài)不變的。

如上圖所示：Broker3上的partition1副本超過了規(guī)定時(shí)間，未與Leader副本同步，所以被踢出ISR列表，此時(shí)的ISR為[1,3].

acks確認(rèn)機(jī)制

acks參數(shù)指定了必須要有多少個(gè)分區(qū)副本收到消息，生產(chǎn)者才認(rèn)為該消息是寫入成功的，這個(gè)參數(shù)對(duì)于消息是否丟失起著重要作用，該參數(shù)的配置具體如下：

• acks=0，表示生產(chǎn)者在成功寫入消息之前不會(huì)等待任何來自服務(wù)器的響應(yīng).  換句話說，一旦出現(xiàn)了問題導(dǎo)致服務(wù)器沒有收到消息，那么生產(chǎn)者就無從得知，消息也就丟失了. 改配置由于不需要等到服務(wù)器的響應(yīng)，所以可以以網(wǎng)絡(luò)支持的最大速度發(fā)送消息，從而達(dá)到很高的吞吐量。

• acks=1，表示只要集群的leader分區(qū)副本接收到了消息，就會(huì)向生產(chǎn)者發(fā)送一個(gè)成功響應(yīng)的ack，此時(shí)生產(chǎn)者接收到ack之后就可以認(rèn)為該消息是寫入成功的. 一旦消息無法寫入leader分區(qū)副本(比如網(wǎng)絡(luò)原因、leader節(jié)點(diǎn)崩潰),生產(chǎn)者會(huì)收到一個(gè)錯(cuò)誤響應(yīng)，當(dāng)生產(chǎn)者接收到該錯(cuò)誤響應(yīng)之后，為了避免數(shù)據(jù)丟失，會(huì)重新發(fā)送數(shù)據(jù).這種方式的吞吐量取決于使用的是異步發(fā)送還是同步發(fā)送.

  尖叫提示：如果生產(chǎn)者收到了錯(cuò)誤響應(yīng)，即便是重新發(fā)消息，還是會(huì)有可能出現(xiàn)丟數(shù)據(jù)的現(xiàn)象. 比如，如果一個(gè)沒有收到消息的節(jié)點(diǎn)成為了新的Leader，消息就會(huì)丟失.

• acks =all,表示只有所有參與復(fù)制的節(jié)點(diǎn)(ISR列表的副本)全部收到消息時(shí)，生產(chǎn)者才會(huì)接收到來自服務(wù)器的響應(yīng). 這種模式是最高級(jí)別的，也是最安全的，可以確保不止一個(gè)Broker接收到了消息. 該模式的延遲會(huì)很高.

最小同步副本

上面提到，當(dāng)acks=all時(shí)，需要所有的副本都同步了才會(huì)發(fā)送成功響應(yīng)到生產(chǎn)者. 其實(shí)這里面存在一個(gè)問題：如果Leader副本是唯一的同步副本時(shí)會(huì)發(fā)生什么呢？此時(shí)相當(dāng)于acks=1.所以是不安全的.

Kafka的Broker端提供了一個(gè)參數(shù)min.insync.replicas,該參數(shù)控制的是消息至少被寫入到多少個(gè)副本才算是"真正寫入",該值默認(rèn)值為1，生產(chǎn)環(huán)境設(shè)定為一個(gè)大于1的值可以提升消息的持久性. 因?yàn)槿绻礁北镜臄?shù)量低于該配置值，則生產(chǎn)者會(huì)收到錯(cuò)誤響應(yīng)，從而確保消息不丟失.

Case 1

如下圖，當(dāng)min.insync.replicas=2且acks=all時(shí)，如果此時(shí)ISR列表只有[1,2],3被踢出ISR列表，只需要保證兩個(gè)副本同步了，生產(chǎn)者就會(huì)收到成功響應(yīng).

Case 2

如下圖，當(dāng)min.insync.replicas=2，如果此時(shí)ISR列表只有[1],2和3被踢出ISR列表，那么當(dāng)acks=all時(shí)，則不能成功寫入數(shù)；當(dāng)acks=0或者acks=1可以成功寫入數(shù)據(jù).

Case 3

這種情況是很容易引起誤解的，如果acks=all且min.insync.replicas=2，此時(shí)ISR列表為[1,2,3],那么還是會(huì)等到所有的同步副本都同步了消息，才會(huì)向生產(chǎn)者發(fā)送成功響應(yīng)的ack.因?yàn)閙in.insync.replicas=2只是一個(gè)最低限制，即同步副本少于該配置值，則會(huì)拋異常，而acks=all，是需要保證所有的ISR列表的副本都同步了才可以發(fā)送成功響應(yīng). 如下圖所示：

到此，關(guān)于“Kafka生產(chǎn)者ack機(jī)制的原理是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！