SRM常見用例和架構(gòu)有哪些

這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)SRM常見用例和架構(gòu)有哪些，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Streams Replication Manager（SRM）是一種企業(yè)級復(fù)制解決方案，可實(shí)現(xiàn)容錯(cuò)、可擴(kuò)展且健壯的跨集群Kafka主題復(fù)制。SRM提供了動態(tài)更改配置的功能，并使Topic屬性在高性能的集群之間保持同步。SRM還提供了自定義擴(kuò)展，可促進(jìn)安裝、管理和監(jiān)視，從而使SRM成為針對任務(wù)關(guān)鍵型工作負(fù)載而構(gòu)建的完整復(fù)制解決方案。本文主要討論SRM的主要用例和用例的實(shí)現(xiàn)架構(gòu)。

了解SRM的主要用例。

Apache Kafka已成為企業(yè)數(shù)據(jù)管道的重要組成部分，并用于跟蹤點(diǎn)擊流事件數(shù)據(jù)、收集日志、收集指標(biāo)并成為基于微服務(wù)的體系結(jié)構(gòu)中的企業(yè)數(shù)據(jù)總線。Kafka支持內(nèi)部復(fù)制以支持集群中的數(shù)據(jù)可用性。但是，隨著基于Kafka的應(yīng)用程序變得至關(guān)重要，企業(yè)要求數(shù)據(jù)可用性和持久性保證跨越整個(gè)集群和站點(diǎn)故障。

對于以下用例，跨集群和站點(diǎn)的數(shù)據(jù)復(fù)制是關(guān)鍵：

災(zāi)難恢復(fù)

 跨集群復(fù)制的常見企業(yè)用例是在存在集群或數(shù)據(jù)中心范圍的中斷的情況下保證業(yè)務(wù)連續(xù)性。

匯總分析

聚合可能來自多個(gè)數(shù)據(jù)中心的多個(gè)流傳輸管道中的數(shù)據(jù)，以運(yùn)行批處理分析作業(yè)，從而提供整個(gè)企業(yè)的整體視圖。

分析后的數(shù)據(jù)部署

這與聚合用例相反，在聚合用例中，一個(gè)集群（例如聚合集群）中由分析應(yīng)用程序生成的數(shù)據(jù)可能會廣播到多個(gè)集群中，可能跨數(shù)據(jù)中心傳播，以供最終用戶使用。

隔離

由于性能或安全性原因，需要在不同環(huán)境之間復(fù)制數(shù)據(jù)以隔離訪問。在許多部署中，攝取集群與消耗集群是隔離的。

地理位置接近

在要求低延遲的地理分布的訪問模式中，復(fù)制用于將數(shù)據(jù)移近訪問位置。

云遷移

隨著越來越多的企業(yè)擁有內(nèi)部部署和云服務(wù)，可以使用Kafka復(fù)制將數(shù)據(jù)遷移到公共云或私有云，再遷移回來。

法律與合規(guī)

與隔離用例非常相似，策略驅(qū)動的復(fù)制用于限制集群中可訪問的數(shù)據(jù)以滿足法律和法規(guī)遵從性要求。

Kafka的高可用性部署必須能夠在單個(gè)集群完全中斷的情況下幸免于難，同時(shí)繼續(xù)處理事件而不會丟失數(shù)據(jù)。使用SRM，您可以實(shí)施高可用性的Apache Kafka部署，該部署遵循活動/備用或活動/活動模型。

主備架構(gòu)

在活動/備用方案中，您將設(shè)置兩個(gè)Kafka集群并配置SRM以在兩個(gè)集群之間雙向復(fù)制主題。VIP或負(fù)載平衡器指導(dǎo)您的生產(chǎn)者將消息提取到正在從中讀取消費(fèi)者組的活動集群中。

圖1.主用 /備用架構(gòu)標(biāo)準(zhǔn)操作

如果發(fā)生災(zāi)難，VIP或負(fù)載平衡器會將生產(chǎn)者引導(dǎo)到備用集群。您可以輕松地遷移您的消費(fèi)者組，以開始從備用集群中讀取數(shù)據(jù)，或者如果最終的消費(fèi)者延遲對于您的用例而言是可接受的，則只需等到還原主集群即可。

當(dāng)主集群關(guān)閉時(shí)，您的生產(chǎn)者仍然可以提取?；謴?fù)主集群后，SRM會自動處理兩個(gè)集群的同步，從而使故障回復(fù)變得無縫。

圖2.主用 /備用架構(gòu)集群故障

當(dāng)現(xiàn)有的具有已建立策略的災(zāi)難恢復(fù)站點(diǎn)已經(jīng)可用時(shí)，實(shí)施主動/備用架構(gòu)是合理的選擇，并且您的目標(biāo)包括在災(zāi)難期間不丟失接收功能，并在災(zāi)難恢復(fù)站點(diǎn)中進(jìn)行備份。

主動/主動架構(gòu)

在主動/主動方案中，可以將生產(chǎn)者負(fù)載平衡到主集群或輔助集群。SRM配置為在兩個(gè)集群之間雙向復(fù)制主題。之所以使該架構(gòu)成為主動/主動架構(gòu)，是因?yàn)槟F(xiàn)在擁有讓消費(fèi)者同時(shí)從兩個(gè)集群中讀取的事實(shí)，基本上就像跨集群的消費(fèi)者群體一樣。萬一發(fā)生災(zāi)難，VIP或負(fù)載均衡器會將生產(chǎn)者定向到輔助集群，并且輔助集群消費(fèi)者組仍然可以處理消息。當(dāng)主集群關(guān)閉時(shí)，您的生產(chǎn)者仍然可以接收并且您的消費(fèi)者仍然可以處理消息。這將導(dǎo)致停機(jī)時(shí)間為零，并在發(fā)生災(zāi)難時(shí)一旦主集群恢復(fù)聯(lián)機(jī)，自動進(jìn)行故障轉(zhuǎn)移。

圖1.主動/主動架構(gòu)

跨數(shù)據(jù)中心復(fù)制

SRM的跨數(shù)據(jù)中心復(fù)制體系結(jié)構(gòu)示例。

某些應(yīng)用程序不僅需要在一個(gè)數(shù)據(jù)中心或一個(gè)可用性區(qū)域內(nèi)具有本地高可用性，而且還必須在整個(gè)數(shù)據(jù)中心內(nèi)都具有高可用性。您可以使用SRM在不同數(shù)據(jù)中心的Kafka集群之間設(shè)置復(fù)制，從而使消息可用于每個(gè)數(shù)據(jù)中心的消費(fèi)者。

如果主數(shù)據(jù)中心發(fā)生故障，負(fù)載均衡器會將您的生產(chǎn)者引導(dǎo)到本地?cái)?shù)據(jù)中心或最近的數(shù)據(jù)中心。SRM配置為在所有數(shù)據(jù)中心之間復(fù)制主題。如果您使用兩個(gè)以上的數(shù)據(jù)中心，則將SRM配置為創(chuàng)建“復(fù)制圈”，以確保單個(gè)數(shù)據(jù)中心故障（例如，下例中的us-north）不會停止其余集群之間的復(fù)制。

圖1.跨數(shù)據(jù)中心復(fù)制架構(gòu)

本地到云遷移和Kafka版本升級

用于SRM的本地到云和Kafka版本升級示例架構(gòu)。

如果您有要遷移到云的本地Apache Kafka集群，則不僅必須遷移消費(fèi)者和生產(chǎn)者，還必須將主題及其消息遷移到新的基于云的集群。

通過SRM設(shè)置復(fù)制后，只需要將消費(fèi)者指向新的代理，即可開始處理來自云集群的消息。這種方法可確保將本地Kafka集群中保留的歷史數(shù)據(jù)遷移到云集群，從而使您可以直接從云中重放消息，而不必返回到本地集群。

圖1.本地集群遷移。SRM復(fù)制消息時(shí)，生產(chǎn)者和消費(fèi)者正在使用本地集群。

將集群，生產(chǎn)者和消費(fèi)者遷移到云后，就可以使用SRM改變復(fù)制方向，并將本地集群用作DR集群。

生產(chǎn)者和消費(fèi)者已遷移到云集群，并且本地集群用于災(zāi)難恢復(fù)。

圖2.集群遷移到云

如果必須將Kafka集群升級到較新版本，并且無法就地升級，則可以使用相同的遷移方法來配置新集群，在遷移生產(chǎn)者和消費(fèi)者之前，可以使用SRM復(fù)制所有現(xiàn)有的主題和消息。與新集群進(jìn)行交互。

匯總分析

SRM的聚合分析架構(gòu)示例。

SRM可用于聚合可能來自多個(gè)數(shù)據(jù)中心的多個(gè)流傳輸管道中的數(shù)據(jù)，以運(yùn)行批處理分析作業(yè)，從而提供整個(gè)企業(yè)的整體視圖。

圖1.分析匯總

上述就是小編為大家分享的SRM常見用例和架構(gòu)有哪些了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道。