到底什么是Kafka架構(gòu)設(shè)計(jì)的任督二脈

今天就跟大家聊聊有關(guān)到底什么是Kafka架構(gòu)設(shè)計(jì)的任督二脈，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

到底什么是 Kafka 架構(gòu)設(shè)計(jì)的任督二脈?

把握住了這個(gè)關(guān)鍵點(diǎn)，我相信你將能更好地理解 Kafka 的架構(gòu)設(shè)計(jì)，進(jìn)而順藤摸瓜地掌握 Kafka 的核心技術(shù)方案。

1. Kafka 的技術(shù)難點(diǎn)究竟在哪?

前一篇文章《扒開 Kafka 的神秘面紗》 交代了兩個(gè)關(guān)鍵信息：

• 1、Kafka 為實(shí)時(shí)日志流而生，要處理的并發(fā)和數(shù)據(jù)量非常大。可見，Kafka  本身就是一個(gè)高并發(fā)系統(tǒng)，它必然會(huì)遇到高并發(fā)場景下典型的三高挑戰(zhàn)：高性能、高可用和高擴(kuò)展。

• 2、為了簡化實(shí)現(xiàn)的復(fù)雜度，Kafka  最終采用了很巧妙的消息模型：它將所有消息進(jìn)行了持久化存儲(chǔ)，讓消費(fèi)者自己各取所需，想取哪個(gè)消息，想什么時(shí)候取都行，只需要傳遞一個(gè)消息的 offset  進(jìn)行拉取即可。

最終 Kafka 將自己退化成了一個(gè)「存儲(chǔ)系統(tǒng)」。因此，海量消息的存儲(chǔ)問題就是 Kafka 架構(gòu)設(shè)計(jì)中的最大技術(shù)難點(diǎn)。

2. Kafka 架構(gòu)設(shè)計(jì)的任督二脈

下面我們再接著分析下：Kafka 究竟是如何解決存儲(chǔ)問題的?

面對海量數(shù)據(jù)，單機(jī)的存儲(chǔ)容量和讀寫性能肯定有限，大家很容易想到一種存儲(chǔ)方案：對數(shù)據(jù)進(jìn)行分片存儲(chǔ)。這種方案在我們實(shí)際工作中也非常常見：

• 1、比如數(shù)據(jù)庫設(shè)計(jì)中，當(dāng)單表的數(shù)據(jù)量達(dá)到幾千萬或者上億時(shí)，我們會(huì)將它拆分成多個(gè)庫或者多張表。

• 2、比如緩存設(shè)計(jì)中，當(dāng)單個(gè) Redis 實(shí)例的數(shù)據(jù)量達(dá)到幾十個(gè) G 引發(fā)性能瓶頸時(shí)，我們會(huì)將單機(jī)架構(gòu)改成分片集群架構(gòu)。

類似的拆分思想在 HDFS、ElasticSearch 等中間件中都能看到。

Kafka 也不例外，它同樣采用了這種水平拆分方案。在 Kafka 的術(shù)語中，拆分后的數(shù)據(jù)子集叫做  Partition(分區(qū))，各個(gè)分區(qū)的數(shù)據(jù)合集即全量數(shù)據(jù)。

我們再來看下 Kafka 中的 Partition 具體是如何工作的?舉一個(gè)很形象的例子，如果我們把「Kafka」類比成「高速公路」：

• 1、當(dāng)大家聽到京廣高速的時(shí)候，知道這是一條從北京到廣州的高速路，這是邏輯上的叫法，可以理解成 Kafka 中的 Topic(主題)。

• 2、一條高速路通常會(huì)有多個(gè)車道進(jìn)行分流，每個(gè)車道上的車都是通往一個(gè)目的地的(屬于同一個(gè)Topic)，這里所說的車道便是 Partition。

這樣，一條消息的流轉(zhuǎn)路徑就如下圖所示，先走主題路由，然后走分區(qū)路由，最終決定這條消息該發(fā)往哪個(gè)分區(qū)。

其中分區(qū)路由可以簡單理解成一個(gè) Hash  函數(shù)，生產(chǎn)者在發(fā)送消息時(shí)，完全可以自定義這個(gè)函數(shù)來決定分區(qū)規(guī)則。如果分區(qū)規(guī)則設(shè)定合理，所有消息將均勻地分配到不同的分區(qū)中。

通過這樣兩層關(guān)系，最終在 Topic 之下，就有了一個(gè)新的劃分單位：Partition。先通過 Topic 對消息進(jìn)行邏輯分類，然后通過  Partition 進(jìn)一步做物理分片，最終多個(gè) Partition 又會(huì)均勻地分布在集群中的每臺(tái)機(jī)器上，從而很好地解決了存儲(chǔ)的擴(kuò)展性問題。

因此，Partition 是 Kafka 最基本的部署單元。本文之所以將 Partition 稱作 Kafka  架構(gòu)設(shè)計(jì)的任督二脈，基于下面兩點(diǎn)原因：

• 1、Partition 是存儲(chǔ)的關(guān)鍵所在，MQ「一發(fā)一存一消費(fèi)」的核心流程必然圍繞它展開。

• 2、Kafka 高并發(fā)設(shè)計(jì)中最難的三高問題都能和 Partition 關(guān)聯(lián)起來。

因此，以 Partition 作為根，能很自然地聯(lián)想出 Kafka 架構(gòu)設(shè)計(jì)中的各個(gè)知識(shí)點(diǎn)，形成可靠的知識(shí)體系。

下面，請大家繼續(xù)跟著我的思路，以 Partition 為線索，對 Kafka 的宏觀架構(gòu)進(jìn)行解析。

3. Kafka的宏觀架構(gòu)設(shè)計(jì)

接下來，我們再看看 Partition 的分布式能力究竟是如何實(shí)現(xiàn)的?它又是怎么和 Kafka 的整體架構(gòu)關(guān)聯(lián)起來的?

前面講過 Partition 是 Topic 之下的一個(gè)劃分單位，它是 Kafka 最基本的部署單元，它將決定 Kafka 集群的組織方式。

假設(shè)現(xiàn)在有兩個(gè) Topic，每個(gè) Topic 都設(shè)置了兩個(gè) Partition，如果 Kafka 集群是兩臺(tái)機(jī)器，部署架構(gòu)將會(huì)是下面這樣：

可以看到：同一個(gè) Topic 的兩個(gè) Partition 分布在不同的消息服務(wù)器上，能做到消息的分布式存儲(chǔ)了。但是對于 Kafka  這個(gè)高并發(fā)系統(tǒng)來說，僅存儲(chǔ)可擴(kuò)展還不夠，消息的拉取也必須并行才行，否則會(huì)遇到極大的性能瓶頸。

那我們再看看消費(fèi)端，它又是如何跟 Partition 結(jié)合并做到并行處理的?

從消費(fèi)者來看，首先要滿足兩個(gè)基本訴求：

1、廣播消費(fèi)能力：同一個(gè) Topic 可以被多個(gè)消費(fèi)者訂閱，一條消息能夠被消費(fèi)多次。

2、集群消費(fèi)能力：當(dāng)消費(fèi)者本身也是集群時(shí)，每一條消息只能分發(fā)給集群中的一個(gè)消費(fèi)者進(jìn)行處理。

為了滿足這兩點(diǎn)要求，Kafka 引出了消費(fèi)組的概念，每個(gè)消費(fèi)者都有一個(gè)對應(yīng)的消費(fèi)組，組間進(jìn)行廣播消費(fèi)，組內(nèi)進(jìn)行集群消費(fèi)。此外，Kafka 還限定了：每個(gè)  Partition 只能由消費(fèi)組中的一個(gè)消費(fèi)者進(jìn)行消費(fèi)。

最終的消費(fèi)關(guān)系如下圖所示：假設(shè)主題 A 共有 4 個(gè)分區(qū)，消費(fèi)組 2 只有兩個(gè)消費(fèi)者，最終這兩個(gè)消費(fèi)組將平分整個(gè)負(fù)載，各自消費(fèi)兩個(gè)分區(qū)的消息。

如果要加快消息的處理速度，該如何做呢?也很簡單，向消費(fèi)組 2 中增加新的消費(fèi)者即可，Kafka 將以 Partition 為單位重新做負(fù)載均衡。當(dāng)增加到  4 個(gè)消費(fèi)者時(shí)，每個(gè)消費(fèi)者僅需處理 1 個(gè) Partition，處理速度將提升兩倍。

到這里，存儲(chǔ)可擴(kuò)展、消息并行處理這兩個(gè)難題都解決了。但是高并發(fā)架構(gòu)設(shè)計(jì)上，還遺留了一個(gè)很重要的問題：那就是高可用設(shè)計(jì)。

在 Kafka 集群中，每臺(tái)機(jī)器都存儲(chǔ)了一些 Partition，一旦某臺(tái)機(jī)器宕機(jī)，上面的數(shù)據(jù)不就丟失了嗎?

此時(shí)，你一定會(huì)想到對消息進(jìn)行持久化存儲(chǔ)，但是持久化只能解決一部分問題，它只能確保機(jī)器重啟后，歷史數(shù)據(jù)不丟失。但在機(jī)器恢復(fù)之前，這部分?jǐn)?shù)據(jù)將一直無法訪問。這對于高并發(fā)系統(tǒng)來說，是無法忍受的。

所以 Kafka 必須具備故障轉(zhuǎn)移能力才行，當(dāng)某臺(tái)機(jī)器宕機(jī)后仍然能保證服務(wù)可用。

如果大家去分析任何一個(gè)高可靠的分布式系統(tǒng)，比如 ElasticSearch、Redis Cluster，其實(shí)它們都有一套多副本的冗余機(jī)制。

沒錯(cuò)，Kafka 正是通過 Partition 的多副本機(jī)制解決了高可用問題。在 Kafka 集群中，每個(gè) Partition  都有多個(gè)副本，同一分區(qū)的不同副本中保存的是相同的消息。

副本之間是 “一主多從” 的關(guān)系，其中 leader 副本負(fù)責(zé)讀寫請求，follower 副本只負(fù)責(zé)和 leader 副本同步消息，當(dāng) leader  副本發(fā)生故障時(shí)，它才有機(jī)會(huì)被選舉成新的 leader 副本并對外提供服務(wù)，否則一直是待命狀態(tài)。

現(xiàn)在，我假設(shè) Kafka 集群中有 4 臺(tái)服務(wù)器，主題 A 和主題 B 都有兩個(gè) Partition，且每個(gè) Partition  各有兩個(gè)副本，那最終的多副本架構(gòu)將如下圖所示：

很顯然，這個(gè)集群中任何一臺(tái)機(jī)器宕機(jī)，都不會(huì)影響 Kafka 的可用性，數(shù)據(jù)仍然是完整的。

理解了上面這些內(nèi)容，最后我們再反過來看下 Kafka 的整體架構(gòu)：

• 1、Producer：生產(chǎn)者，負(fù)責(zé)創(chuàng)建消息，然后投遞到 Kafka 集群中，投遞時(shí)需要指定消息所屬的 Topic，同時(shí)確定好發(fā)往哪個(gè)  Partition。

• 2、Consumer：消費(fèi)者，會(huì)根據(jù)它所訂閱的 Topic 以及所屬的消費(fèi)組，決定從哪些 Partition 中拉取消息。

• 3、Broker：消息服務(wù)器，可水平擴(kuò)展，負(fù)責(zé)分區(qū)管理、消息的持久化、故障自動(dòng)轉(zhuǎn)移等。

• 4、Zookeeper：負(fù)責(zé)集群的元數(shù)據(jù)管理等功能，比如集群中有哪些 broker 節(jié)點(diǎn)以及 Topic，每個(gè) Topic 又有哪些 Partition  等。

很顯然，在 Kafka 整體架構(gòu)中，Partition 是發(fā)送消息、存儲(chǔ)消息、消費(fèi)消息的紐帶。吃透了它，再去理解整體架構(gòu)，脈絡(luò)會(huì)更加清晰。

以 Partition 為切入點(diǎn)，從宏觀角度解析了 Kafka 的整體架構(gòu)，再簡單總結(jié)：

• 1、Kafka 通過巧妙的模型設(shè)計(jì)，將自己退化成一個(gè)海量消息的存儲(chǔ)系統(tǒng)。

• 2、為了解決存儲(chǔ)的擴(kuò)展性問題，Kafka 對數(shù)據(jù)進(jìn)行了水平拆分，引出了 Partition(分區(qū))，這是 Kafka 部署的基本單元，同時(shí)也是 Kafka  并發(fā)處理的最小粒度。

• 3、對于一個(gè)高并發(fā)系統(tǒng)來說，還需要做到高可用，Kafka 通過 Partition 的多副本冗余機(jī)制進(jìn)行故障轉(zhuǎn)移，確保了高可靠。

看完上述內(nèi)容，你們對到底什么是Kafka架構(gòu)設(shè)計(jì)的任督二脈有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。