溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

RocketMQ升級到主從切換的方法教程

發(fā)布時(shí)間：2021-09-29 16:43:57 來源：億速云 閱讀：190 作者：iii 欄目：大數(shù)據(jù)

這篇文章主要介紹“RocketMQ升級到主從切換的方法教程”，在日常操作中，相信很多人在RocketMQ升級到主從切換的方法教程問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”RocketMQ升級到主從切換的方法教程”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

1、RocketMQ DLedger 多副本即主從切換核心配置參數(shù)詳解

其主要的配置參數(shù)如下所示：

  • enableDLegerCommitLog 是否啟用 DLedger，即是否啟用 RocketMQ 主從切換，默認(rèn)值為 false。如果需要開啟主從切換，則該值需要設(shè)置為 true 。

  • dLegerGroup 節(jié)點(diǎn)所屬的 raft 組，建議與 brokerName 保持一致，例如 broker-a。

  • dLegerPeers 集群節(jié)點(diǎn)信息，示例配置如下：n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913，多個(gè)節(jié)點(diǎn)用英文冒號隔開，單個(gè)條目遵循 legerSlefId-ip:端口，這里的端口用作 dledger 內(nèi)部通信。

  • dLegerSelfId 當(dāng)前節(jié)點(diǎn)id。取自 legerPeers 中條目的開頭，即上述示例中的 n0，并且特別需要強(qiáng)調(diào)，只能第一個(gè)字符為英文，其他字符需要配置成數(shù)字。

  • storePathRootDir DLedger 日志文件的存儲根目錄，為了能夠支持平滑升級，該值與 storePathCommitLog 設(shè)置為不同的目錄。

2、搭建主從同步環(huán)境

首先先搭建一個(gè)傳統(tǒng)意義上的主從同步架構(gòu)，往集群中灌一定量的數(shù)據(jù)，然后升級到 DLedger 集群。

在 Linux 服務(wù)器上搭建一個(gè) rocketmq 主從同步集群我想不是一件很難的事情，故本文就不會詳細(xì)介紹按照過程，只貼出相關(guān)配置。

實(shí)驗(yàn)環(huán)境的部署結(jié)構(gòu)采取 一主一次，其部署圖如下： RocketMQ升級到主從切換的方法教程

下面我就重點(diǎn)貼一下 broker 的配置文件。 220 上的 broker 配置文件如下：

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
brokerIP1=192.168.0.220
brokerIP2=192.168.0.220
namesrvAddr=192.168.0.221:9876;192.168.0.220:9876
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store
storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false

221 上 broker 的配置文件如下：

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 1
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH
brokerIP1=192.168.0.221
brokerIP2=192.168.0.221
namesrvAddr=192.168.0.221:9876;192.168.0.220:9876
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store
storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false

相關(guān)的啟動命令如下：

nohup bin/mqnamesrv  /dev/null  2>&1 &
nohup bin/mqbroker -c conf/broker.conf  /dev/null  2>&1 &

安裝后的集群信息如圖所示： RocketMQ升級到主從切換的方法教程

3、主從同步集群升級到DLedger

3.1 部署架構(gòu)

DLedger 集群至少需要3臺機(jī)器，故搭建 DLedger 還需要再引入一臺機(jī)器，其部署結(jié)構(gòu)圖如下： RocketMQ升級到主從切換的方法教程

從主從同步集群升級到 DLedger 集群，用戶最關(guān)心的還是升級后的集群是否能夠兼容原先的數(shù)據(jù)，即原先存儲在消息能否能被消息消費(fèi)者消費(fèi)端，甚至于能否查詢到。 為了方便后續(xù)驗(yàn)證，首先我使用下述程序向 mq 集群中添加了一篇方便查詢的消息（設(shè)置消息的key）。

public class Producer {
    public static void main(String[] args) throws MQClientException, InterruptedException {
        DefaultMQProducer producer = new DefaultMQProducer("producer_dw_test");
        producer.setNamesrvAddr("192.168.0.220:9876;192.168.0.221:9876");
        producer.start();
        for(int i =600000; i < 600100; i ++) {
            try {
                Message msg = new Message("topic_dw_test_by_order_01",null , "m" + i,("Hello RocketMQ" + i ).getBytes(RemotingHelper.DEFAULT_CHARSET));
                SendResult sendResult = producer.send(msg);
               //System.out.printf("%s%n", sendResult);
            } catch (Exception e) {
                e.printStackTrace();
                Thread.sleep(1000);
            }
        }
        producer.shutdown();
        System.out.println("end");
    }
}

消息的查詢結(jié)果示例如下： RocketMQ升級到主從切換的方法教程

3.2 升級步驟

Step1：將 192.168.0.220 的 rocketmq 拷貝到 192.168.0.222，可以使用如下命令進(jìn)行操作。在 192.168.0.220 上敲如下命令：

 scp -r rocketmq-all-4.5.2-bin-release/ root@192.168.0.222:/opt/application/rocketmq-all-4.5.2-bin-release

> 溫馨提示：示例中由于版本是一樣，實(shí)際過程中，版本需要升級，故需先下載最新的版本，然后將老集群中的 store 目錄完整的拷貝到新集群的 store 目錄。

Step2：依次在三臺服務(wù)器的 broker.conf 配置文件中添加與 dledger 相關(guān)的配置屬性。

192.168.0.220 broker配置文件如下：

brokerClusterName = DefaultCluster
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
brokerIP1=192.168.0.220
brokerIP2=192.168.0.220
namesrvAddr=192.168.0.221:9876;192.168.0.220:9876
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store
storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
# 與 dledger 相關(guān)的屬性
enableDLegerCommitLog=true
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store/dledger_store
dLegerGroup=broker-a
dLegerPeers=n0-192.168.0.220:40911;n1-192.168.0.221:40911;n2-192.168.0.222:40911
dLegerSelfId=n0

192.168.0.221 broker配置文件如下：

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 1
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH
brokerIP1=192.168.0.221
brokerIP2=192.168.0.221
namesrvAddr=192.168.0.221:9876;192.168.0.220:9876
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store
storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
# 與dledger 相關(guān)的配置屬性
enableDLegerCommitLog=true
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store/dledger_store
dLegerGroup=broker-a
dLegerPeers=n0-192.168.0.220:40911;n1-192.168.0.221:40911;n2-192.168.0.222:40911
dLegerSelfId=n1

192.168.0.222 broker配置文件如下：

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
brokerIP1=192.168.0.222
brokerIP2=192.168.0.222
namesrvAddr=192.168.0.221:9876;192.168.0.220:9876
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store
storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
# 與 dledger 相關(guān)的配置
enableDLegerCommitLog=true
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store/dledger_store
dLegerGroup=broker-a
dLegerPeers=n0-192.168.0.220:40911;n1-192.168.0.221:40911;n2-192.168.0.222:40911
dLegerSelfId=n2

> 溫馨提示：legerSelfId 分別為 n0、n1、n2。在真實(shí)的生產(chǎn)環(huán)境中，broker配置文件中的 storePathRootDir、storePathCommitLog 盡量使用單獨(dú)的根目錄，這樣判斷其磁盤使用率時(shí)才不會相互影響。

Step3：將 store/config 下的 所有文件拷貝到 dledger store 的 congfig 目錄下。

cd /opt/application/rocketmq-all-4.5.2-bin-release/store/
cp config/* dledger_store/config/

> 溫馨提示：該步驟按照各自按照時(shí)配置的目錄進(jìn)行復(fù)制即可。

Step4：依次啟動三臺 broker。

nohup bin/mqbroker -c conf/broker.conf  /dev/null  2>&1 &

如果啟動成功，則在 rocketmq-console 中看到的集群信息如下： RocketMQ升級到主從切換的方法教程

3.3 驗(yàn)證消息發(fā)送與消息查找

首先我們先驗(yàn)證升級之前的消息是否能查詢到，那我們還是查找key 為 m600000 的消息，查找結(jié)果如圖所示： RocketMQ升級到主從切換的方法教程

然后我們來測試一下消息發(fā)送。測試代碼如下：

public class Producer {
    public static void main(String[] args) throws MQClientException, InterruptedException {
        DefaultMQProducer producer = new DefaultMQProducer("producer_dw_test");
        producer.setNamesrvAddr("192.168.0.220:9876;192.168.0.221:9876");
        producer.start();
        for(int i =600200; i < 600300; i ++) {
            try {
                Message msg = new Message("topic_dw_test_by_order_01",null , "m" + i,("Hello RocketMQ" + i ).getBytes(RemotingHelper.DEFAULT_CHARSET));
                SendResult sendResult = producer.send(msg);
                System.out.printf("%s%n", sendResult);
            } catch (Exception e) {
                e.printStackTrace();
                Thread.sleep(1000);
            }
        }
        producer.shutdown();
        System.out.println("end");
    }
}

執(zhí)行結(jié)果如下： RocketMQ升級到主從切換的方法教程

再去控制臺查詢一下消息，其結(jié)果也表明新的消息也能查詢到。 RocketMQ升級到主從切換的方法教程

最后我們再來驗(yàn)證一下主節(jié)點(diǎn)宕機(jī)，消息發(fā)送是否會受影響。

在消息發(fā)送的過程中，去關(guān)閉主節(jié)點(diǎn)，其截圖如下： RocketMQ升級到主從切換的方法教程RocketMQ升級到主從切換的方法教程RocketMQ升級到主從切換的方法教程

再來看一下集群的狀態(tài)：

RocketMQ升級到主從切換的方法教程

等待該復(fù)制組重新完成主服務(wù)器選舉后，即可繼續(xù)處理消息發(fā)送。

> 溫馨提示：由于本示例是一主一從，故在選舉期間，消息不可用，但在真實(shí)的生產(chǎn)環(huán)境上，其部署架構(gòu)是多主主從，即一個(gè)復(fù)制組在 leader 選舉期間，其他復(fù)制組可以接替該復(fù)制組完成消息的發(fā)送，實(shí)現(xiàn)消息服務(wù)的高可用。

與 DLedger 相關(guān)的日志，默認(rèn)存儲在 broker_default.log 文件中。

到此，關(guān)于“RocketMQ升級到主從切換的方法教程”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

向AI問一下細(xì)節(jié)
推薦閱讀：
  1. RocketMQ
  2. MySQL之主從切換

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手