溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析

發(fā)布時(shí)間：2021-12-15 10:29:51 來(lái)源：億速云 閱讀：226 作者：柒染 欄目：大數(shù)據(jù)

Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

Cruise Control是一個(gè)Kafka負(fù)載平衡組件，可以在大型Kafka集群中安裝使用。在添加或刪除Kafka代理時(shí)，Cruise Control可以根據(jù)特定條件自動(dòng)平衡分區(qū)。  
Cruise Control的體系結(jié)構(gòu)由負(fù)載監(jiān)控器、分析器、異常檢測(cè)器和執(zhí)行器組成，如下圖所示。  Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析

 
負(fù)載監(jiān)控器
基于標(biāo)準(zhǔn)Kafka指標(biāo)和資源指標(biāo)生成集群工作負(fù)載模型，以利用磁盤(pán)、CPU、字節(jié)輸入速率和字節(jié)輸出速率。  將集群模型輸入到異常檢測(cè)器和分析器中。  

 
分析儀
根據(jù)用戶提供的優(yōu)化目標(biāo)以及來(lái)自Load Monitor的集群工作負(fù)載模型，生成優(yōu)化建議。  可以設(shè)定硬目標(biāo)和軟目標(biāo)。  必須實(shí)現(xiàn)硬目標(biāo)，而如果達(dá)到硬目標(biāo)，則軟目標(biāo)將無(wú)法實(shí)現(xiàn)。  如果優(yōu)化結(jié)果違反了硬目標(biāo)，則優(yōu)化將失敗。  

 
異常檢測(cè)器
負(fù)責(zé)檢測(cè)以下異常：  

異?，F(xiàn)象
原因
結(jié)果
Broker失敗
非空Broker崩潰或離開(kāi)集群。
Cruise Control通過(guò)刪除故障的broker來(lái)修復(fù)集群。
違反目標(biāo)
優(yōu)化被違反。
如果啟用了自我修復(fù)，Cruise Control會(huì)自動(dòng)分析工作負(fù)載并執(zhí)行優(yōu)化建議。
磁盤(pán)故障
非空磁盤(pán)死亡。
如果啟用了自我修復(fù)功能，則Cruise Control會(huì)將所有脫機(jī)副本移至正常代理。
指標(biāo)異常
收集的指標(biāo)異常。
可能會(huì)先降級(jí)，如果異常仍然存在，請(qǐng)根據(jù)      self.healing.slow.brokers.removal.enabled配置刪除速度慢的broker 。


執(zhí)行器
執(zhí)行優(yōu)化建議，執(zhí)行建議時(shí)可以安全地中斷它。  執(zhí)行始終是資源感知的過(guò)程。  

 
檢索指標(biāo)
Cruise Control使用Kafka存儲(chǔ)和檢索其指標(biāo)，該指標(biāo)由Metric Fetcher讀取。  
在負(fù)載監(jiān)視器中，Metric Fetcher Manager負(fù)責(zé)協(xié)調(diào)所有采樣任務(wù)：Metric采樣任務(wù)，Bootstrap任務(wù)和線性模型訓(xùn)練任務(wù)。
每個(gè)采樣任務(wù)都由配置數(shù)量的Metric Fetcher線程執(zhí)行。每個(gè)Metric Fetcher線程使用一個(gè)可插入的Metric Sampler來(lái)獲取樣本。每個(gè)Metric Fetcher都在集群中分配了幾個(gè)分區(qū)以獲取樣本。指標(biāo)標(biāo)準(zhǔn)樣本由指標(biāo)標(biāo)準(zhǔn)樣本聚合器組織，該指標(biāo)標(biāo)準(zhǔn)聚合器根據(jù)指標(biāo)標(biāo)準(zhǔn)樣本的時(shí)間戳將每個(gè)指標(biāo)標(biāo)準(zhǔn)樣本放入工作負(fù)載快照中。
集群工作負(fù)載模型是負(fù)載監(jiān)視器的主要輸出。集群工作負(fù)載模型反映了集群的當(dāng)前副本分配，并提供了移動(dòng)分區(qū)或副本的接口。分析器使用這些接口來(lái)生成優(yōu)化解決方案。
樣本存儲(chǔ)區(qū)存儲(chǔ)指標(biāo)標(biāo)準(zhǔn)和訓(xùn)練樣本以供將來(lái)使用。
借助指標(biāo)標(biāo)準(zhǔn)采樣器，您可以將Cruise Control部署到各種環(huán)境并與現(xiàn)有的指標(biāo)標(biāo)準(zhǔn)系統(tǒng)一起使用。
在Cloudera環(huán)境中使用Cruise Control時(shí)，將  HttpMetricsReporter 指標(biāo)報(bào)告給Cloudera Manager時(shí)間序列數(shù)據(jù)庫(kù)。結(jié)果，可以使用Cloudera Manager讀取Kafka指標(biāo)。

看完上述內(nèi)容，你們掌握Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手