溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Rocket順序消息的最佳實(shí)踐是怎樣的

發(fā)布時(shí)間:2021-12-23 16:40:55 來源:億速云 閱讀:150 作者:柒染 欄目:大數(shù)據(jù)

這篇文章將為大家詳細(xì)講解有關(guān)Rocket順序消息的最佳實(shí)踐是怎樣的,文章內(nèi)容質(zhì)量較高,因此小編分享給大家做個(gè)參考,希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

順序消息

順序消息缺陷

發(fā)送順序消息無法利用集群Fail Over特性消費(fèi),順序消息的并行度依賴于隊(duì)列數(shù)量,存在隊(duì)列熱點(diǎn)問題,個(gè)別隊(duì)列由于哈希不均導(dǎo)致消息過多,消費(fèi)速度跟不上,產(chǎn)生消息堆積問題遇到消息失敗的消息,無法跳過,當(dāng)前隊(duì)列消費(fèi)暫停。

原理

produce在發(fā)送消息的時(shí)候,把消息發(fā)到同一個(gè)隊(duì)列(queue)中,消費(fèi)者注冊(cè)消息監(jiān)聽器為MessageListenerOrderly,這樣就可以保證消費(fèi)端只有一個(gè)線程去消費(fèi)消息。
注意:把消息發(fā)到同一個(gè)隊(duì)列(queue),不是同一個(gè)topic,默認(rèn)情況下一個(gè)topic包括4個(gè)queue 

擴(kuò)展

可以通過實(shí)現(xiàn)發(fā)送消息的隊(duì)列選擇器方法,實(shí)現(xiàn)部分順序消息。
舉例:比如一個(gè)數(shù)據(jù)庫(kù)通過MQ來同步,只需要保證每個(gè)表的數(shù)據(jù)是同步的就可以。解析binlog,將表名作為隊(duì)列選擇器的參數(shù),這樣就可以保證每個(gè)表的數(shù)據(jù)到同一個(gè)隊(duì)列里面,從而保證表數(shù)據(jù)的順序消費(fèi)。 

最佳實(shí)踐 

Producer

  • Topic
    一個(gè)應(yīng)用盡可能用一個(gè)Topic,消息子類型用tags來標(biāo)識(shí),tags可以由應(yīng)用自由設(shè)置。只有發(fā)送消息設(shè)置了tags,消費(fèi)方在訂閱消息時(shí),才可以利用tagsbroker做消息過濾。

  • key
    每個(gè)消息在業(yè)務(wù)層面的唯一標(biāo)識(shí)碼,要設(shè)置到 keys 字段,方便將來定位消息丟失問題。服務(wù)器會(huì)為每個(gè)消息創(chuàng)建索引(哈希索引),應(yīng)用可以通過 topic,key來查詢這條消息內(nèi)容,以及消息被誰消費(fèi)。由于是哈希索引,請(qǐng)務(wù)必保證key 盡可能唯一,這樣可以避免潛在的哈希沖突。


//訂單Id
String orderId= "20034568923546";
message.setKeys(orderId);


  • 日志
    消息發(fā)送成功或者失敗,要打印消息日志,務(wù)必要打印 send resultkey 字段。

  • send
    send消息方法,只要不拋異常,就代表發(fā)送成功。但是發(fā)送成功會(huì)有多個(gè)狀態(tài),在sendResult里定義。
    SEND_OK:消息發(fā)送成功
    FLUSH_DISK_TIMEOUT:消息發(fā)送成功,但是服務(wù)器刷盤超時(shí),消息已經(jīng)進(jìn)入服務(wù)器隊(duì)列,只有此時(shí)服務(wù)器宕機(jī),消息才會(huì)丟失
    FLUSH_SLAVE_TIMEOUT:消息發(fā)送成功,但是服務(wù)器同步到Slave時(shí)超時(shí),消息已經(jīng)進(jìn)入服務(wù)器隊(duì)列,只有此時(shí)服務(wù)器宕機(jī),消息才會(huì)丟失
    SLAVE_NOT_AVAILABLE:消息發(fā)送成功,但是此時(shí)slave不可用,消息已經(jīng)進(jìn)入服務(wù)器隊(duì)列,只有此時(shí)服務(wù)器宕機(jī),消息才會(huì)丟失

Consumer

  • 冪等
    RocketMQ使用的消息原語是At Least Once,所以consumer可能多次收到同一個(gè)消息,此時(shí)務(wù)必做好冪等。

  • 日志
    消費(fèi)時(shí)記錄日志,以便后續(xù)定位問題。

  • 批量消費(fèi)
    盡量使用批量方式消費(fèi)方式,可以很大程度上提高消費(fèi)吞吐量。

關(guān)于Rocket順序消息的最佳實(shí)踐是怎樣的就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI