Kafka特性有哪些

這篇文章給大家分享的是有關(guān)Kafka特性有哪些的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

Kafka誕生：由 linked-in 開源

kafka-即是解決這類問題的一個框架，它實現(xiàn)了生產(chǎn)者和消費者之間的無縫連接。

kafka-高產(chǎn)出的分布式消息系統(tǒng)(A high-throughput distributed messaging system)

Kafka特性：它形容自己的設(shè)計是獨一無二的，先看一下它有如何過人之處：

• 快：單個kafka服務(wù)每秒可處理數(shù)以千計客戶端發(fā)來的幾百MB數(shù)據(jù)。

• 可擴展性：一個單一集群可作為一個大數(shù)據(jù)處理中樞，集中處理各種類型業(yè)務(wù)

• 持久化：消息被持久化到磁盤（可處理TB數(shù)據(jù)級別數(shù)據(jù)但仍保持極高數(shù)據(jù)處理效率），并且有備份容錯機制

• 分布式：著眼于大數(shù)據(jù)領(lǐng)域，支持分布式，集群可處理每秒百萬級別消息

• 實時性：生產(chǎn)出的消息可立即被消費者消費

     我們可以看到，每個Partition中的消息都是有序的，生產(chǎn)的消息被不斷追加到Partition log上，其中的每一個消息都被賦予了一個唯一的offset值。

     Kafka集群會保存所有的消息，不管消息有沒有被消費；我們可以設(shè)定消息的過期時間，只有過期的數(shù)據(jù)才會被自動清除以釋放磁盤空間。比如我們設(shè)置消息過期時間為2天，那么這2天內(nèi)的所有消息都會被保存到集群中，數(shù)據(jù)只有超過了兩天才會被清除。

     Kafka需要維持的元數(shù)據(jù)只有一個--消費消息在Partition中的offset值，Consumer每消費一個消息，offset就會加1。其實消息的狀態(tài)完全是由Consumer控制的，Consumer可以跟蹤和重設(shè)這個offset值，這樣的話Consumer就可以讀取任意位置的消息。

     把消息日志以Partition的形式存放有多重考慮，第一，方便在集群中擴展，每個Partition可以通過調(diào)整以適應(yīng)它所在的機器，而一個topic又可以有多個Partition組成，因此整個集群就可以適應(yīng)任意大小的數(shù)據(jù)了；第二就是可以提高并發(fā)，因為可以以Partition為單位讀寫了。

分布式：

     這些Partitions分布在集群的每一臺server上，而每一個Partition在集群中都可以有多個備份，這個備份數(shù)量是可配置的。

     每個Partition都有一個leader server，而其他備份的server都稱為followers，只有l(wèi)eader服務(wù)器才會處理這個Partition上所有的讀寫請求，而其它followers則被動的復(fù)制leader上的數(shù)據(jù)。如果一個leader掛掉了，followers中的一個服務(wù)器則會自動升級為leader。因此，其實集群中的每個服務(wù)器都扮演著一個Partition的leader服務(wù)器，和其它Partition的follower服務(wù)器。

Producers:

     Producer可以根據(jù)自己的選擇發(fā)布消息到一個主題，Producer也可以自己決定把消息發(fā)布到這個主題的哪個Partition，當然我們可以選擇API提供的簡單的分區(qū)選擇算法，也可以自己去實現(xiàn)一個分區(qū)選擇算法。

Consumers:

     消息傳遞通常由兩種模式，queuing（隊列）和publish-subscribe （發(fā)布-訂閱）

• queuing：每個Consumer從消息隊列中取走一個消息

• pub-scrib:消息被廣播到每個Consumer     

     Kafka通過提供了一個對Consumer的抽象來同時實現(xiàn)這兩種模式-ConsumerGroup。Consumer實例需要給自己指定一個ConsumerGroup的名字，如果所有的實例都用同一個ConsumerGroup名字，那么這些Consumer就會以queuing的模式工作；如果所有的實例分別用的不同的ConsumerGroup名字，那么它們就以public-subscribe模式工作。

如下圖所示：含兩臺server的集群一共有p0~p3四個Partition，兩個Consumer Group，在Group內(nèi)部是以queuing的模式消費Partition，在Group之間是以pub-scrib模式消費。

消息順序性：

     Kafka是如何確保消息消費的順序性的呢？前面講到過Partition，消息在一個Partition中的順序是有序的，但是Kafka只保證消息在一個Partition中有序，如果要想使整個topic中的消息有序，那么一個topic僅設(shè)置一個Partition即可。

感謝各位的閱讀！關(guān)于“Kafka特性有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！