Kafka的資源隔離是什么

這期內(nèi)容當中小編將會給大家?guī)碛嘘PKafka的資源隔離是什么，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Kafka的資源隔離是什么

　　之前由于業(yè)務的復雜性和規(guī)模不大，大數(shù)據(jù)平臺對于Kafka集群的劃分比較簡單。于是，一段時間以后導致公司業(yè)務數(shù)據(jù)混雜在一起，某一個業(yè)務主題存在的不合理使用都有可能導致某些Broker負載過重，影響到其他正常的業(yè)務，甚至某些Broker的故障會出現(xiàn)影響整個集群，導致全公司業(yè)務不可用的風險。

針對以上的問題，在集群改造上做了兩方面實踐：

　　按功能屬性拆分獨立的集群

　　集群內(nèi)部Topic粒度的資源隔離

　　集群拆分

　　按照功能維度拆分多個Kafka物理集群，進行業(yè)務隔離，降低運維復雜度。

　　以目前最重要的埋點數(shù)據(jù)使用來說,目前拆分為三類集群，各類集群的功能定義如下：

　　Log集群：各端的埋點數(shù)據(jù)采集后會優(yōu)先落地到該集群,所以這個過程不能出現(xiàn)由于Kafka問題導致采集中斷，這對Kafka可用性要求很高。因此該集群不會對外提供訂閱，保證消費方可控；同時該集群業(yè)務也作為離線采集的源頭，數(shù)據(jù)會通過Camus組件按小時時間粒度dump到HDFS中，這部分數(shù)據(jù)參與后續(xù)的離線計算。

　　全量訂閱集群：該集群Topic中的絕大部分數(shù)據(jù)是從Log集群實時同步過來的。上面我們提到了Log集群的數(shù)據(jù)是不對外的，因此全量集群就承擔了消費訂閱的職責。目前主要是用于平臺內(nèi)部的實時任務中，來對多個業(yè)務線的數(shù)據(jù)分析并提供分析服務。

　　個性定制集群：之前提到過，我們可以根據(jù)業(yè)務方需求來拆分、合并數(shù)據(jù)日志源，同時我們還支持定制化Topic，該集群只需要提供分流后Topic的落地存儲。

　　資源隔離

　　Topic的流量大小是集群內(nèi)部進行資源隔離的重要依據(jù)。例如，我們在業(yè)務中埋點日志量較大的兩個數(shù)據(jù)源分別是后端埋點數(shù)據(jù)源server-event和端上的埋點mobile-event數(shù)據(jù)源，我們要避免存儲兩個數(shù)據(jù)的主題分區(qū)分配到集群中同一個Broker上的節(jié)點。通過在不同Topic進行物理隔離，就可以避免Broker上的流量發(fā)生傾斜。

上述就是小編為大家分享的Kafka的資源隔離是什么了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業(yè)資訊頻道。