SpringBoot：RabbitMQ 延遲隊(duì)列

SpringBoot 是為了簡化 Spring 應(yīng)用的創(chuàng)建、運(yùn)行、調(diào)試、部署等一系列問題而誕生的產(chǎn)物，自動(dòng)裝配的特性讓我們可以更好的關(guān)注業(yè)務(wù)本身而不是外部的XML配置，我們只需遵循規(guī)范，引入相關(guān)的依賴就可以輕易的搭建出一個(gè) WEB 工程

初探RabbitMQ消息隊(duì)列中介紹了RabbitMQ的簡單用法，順帶提及了下延遲隊(duì)列的作用。所謂延時(shí)消息就是指當(dāng)消息被發(fā)送以后，并不想讓消費(fèi)者立即拿到消息，而是等待指定時(shí)間后，消費(fèi)者才拿到這個(gè)消息進(jìn)行消費(fèi)。

延遲隊(duì)列

延遲隊(duì)列能做什么？

• 訂單業(yè)務(wù)： 在電商/點(diǎn)餐中，都有下單后 30 分鐘內(nèi)沒有付款，就自動(dòng)取消訂單。
• 短信通知： 下單成功后 60s 之后給用戶發(fā)送短信通知。
• 失敗重試： 業(yè)務(wù)操作失敗后，間隔一定的時(shí)間進(jìn)行失敗重試。

這類業(yè)務(wù)的特點(diǎn)就是：非實(shí)時(shí)的，需要延遲處理，需要進(jìn)行失敗重試。一種比較笨的方式是采用定時(shí)任務(wù)，輪訓(xùn)數(shù)據(jù)庫，方法簡單好用，但性能底下，在高并發(fā)情況下容易弄死數(shù)據(jù)庫，間隔時(shí)間不好設(shè)置，時(shí)間過大，影響精度，過小影響性能，而且做不到按超時(shí)的時(shí)間順序處理。另一種就是用Java中的DelayQueue 位于java.util.concurrent包下，本質(zhì)是由PriorityQueue和BlockingQueue實(shí)現(xiàn)的阻塞優(yōu)先級隊(duì)列。，這玩意最大的問題就是不支持分布式與持久化

RabbitMQ 實(shí)現(xiàn)思路

RabbitMQ隊(duì)列本身是沒有直接實(shí)現(xiàn)支持延遲隊(duì)列的功能，但可以通過它的Time-To-Live Extensions 與 Dead Letter Exchange 的特性模擬出延遲隊(duì)列的功能。

Time-To-Live Extensions

RabbitMQ支持為隊(duì)列或者消息設(shè)置TTL（time to live 存活時(shí)間）。TTL表明了一條消息可在隊(duì)列中存活的最大時(shí)間。當(dāng)某條消息被設(shè)置了TTL或者當(dāng)某條消息進(jìn)入了設(shè)置了TTL的隊(duì)列時(shí)，這條消息會(huì)在TTL時(shí)間后死亡成為Dead Letter。如果既配置了消息的TTL，又配置了隊(duì)列的TTL，那么較小的那個(gè)值會(huì)被取用。

Dead Letter Exchange

死信交換機(jī)，上文中提到設(shè)置了 TTL 的消息或隊(duì)列最終會(huì)成為Dead Letter。如果為隊(duì)列設(shè)置了Dead Letter Exchange（DLX），那么這些Dead Letter就會(huì)被重新發(fā)送到Dead Letter Exchange中，然后通過Dead Letter Exchange路由到其他隊(duì)列，即可實(shí)現(xiàn)延遲隊(duì)列的功能。

導(dǎo)入依賴

在 pom.xml 中添加 spring-boot-starter-amqp的依賴

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-amqp</artifactId>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.46</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

屬性配置

在 application.properties 文件中配置rabbitmq相關(guān)內(nèi)容，值得注意的是這里配置了手動(dòng)ACK的開關(guān)

spring.rabbitmq.username=battcn
spring.rabbitmq.password=battcn
spring.rabbitmq.host=192.168.0.133
spring.rabbitmq.port=5672
spring.rabbitmq.virtual-host=/
# 手動(dòng)ACK 不開啟自動(dòng)ACK模式,目的是防止報(bào)錯(cuò)后未正確處理消息丟失 默認(rèn) 為 none
spring.rabbitmq.listener.simple.acknowledge-mode=manual

具體編碼

定義隊(duì)列

如果手動(dòng)創(chuàng)建過或者RabbitMQ中已經(jīng)存在該隊(duì)列那么也可以省略下述代碼…

package com.battcn.config;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.connection.CachingConnectionFactory;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.util.HashMap;
import java.util.Map;

/**
 * RabbitMQ配置
 *
 * @author Levin
 * @since 2018/4/11 0011
 */
@Configuration
public class RabbitConfig {

    private static final Logger log = LoggerFactory.getLogger(RabbitConfig.class);

    @Bean
    public RabbitTemplate rabbitTemplate(CachingConnectionFactory connectionFactory) {
        connectionFactory.setPublisherConfirms(true);
        connectionFactory.setPublisherReturns(true);
        RabbitTemplate rabbitTemplate = new RabbitTemplate(connectionFactory);
        rabbitTemplate.setMandatory(true);
        rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> log.info("消息發(fā)送成功:correlationData({}),ack({}),cause({})", correlationData, ack, cause));
        rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> log.info("消息丟失:exchange({}),route({}),replyCode({}),replyText({}),message:{}", exchange, routingKey, replyCode, replyText, message));
        return rabbitTemplate;
    }

    /**
     * 延遲隊(duì)列 TTL 名稱
     */
    private static final String REGISTER_DELAY_QUEUE = "dev.book.register.delay.queue";
    /**
     * DLX，dead letter發(fā)送到的 exchange
     * TODO 此處的 exchange 很重要,具體消息就是發(fā)送到該交換機(jī)的
     */
    public static final String REGISTER_DELAY_EXCHANGE = "dev.book.register.delay.exchange";
    /**
     * routing key 名稱
     * TODO 此處的 routingKey 很重要要,具體消息發(fā)送在該 routingKey 的
     */
    public static final String DELAY_ROUTING_KEY = "";

    public static final String REGISTER_QUEUE_NAME = "dev.book.register.queue";
    public static final String REGISTER_EXCHANGE_NAME = "dev.book.register.exchange";
    public static final String ROUTING_KEY = "all";

    /**
     * 延遲隊(duì)列配置
     * <p>
     * 1、params.put("x-message-ttl", 5 * 1000);
     * TODO 第一種方式是直接設(shè)置 Queue 延遲時(shí)間 但如果直接給隊(duì)列設(shè)置過期時(shí)間,這種做法不是很靈活,（當(dāng)然二者是兼容的,默認(rèn)是時(shí)間小的優(yōu)先）
     * 2、rabbitTemplate.convertAndSend(book, message -> {
     * message.getMessageProperties().setExpiration(2 * 1000 + "");
     * return message;
     * });
     * TODO 第二種就是每次發(fā)送消息動(dòng)態(tài)設(shè)置延遲時(shí)間,這樣我們可以靈活控制
     **/
    @Bean
    public Queue delayProcessQueue() {
        Map<String, Object> params = new HashMap<>();
        // x-dead-letter-exchange 聲明了隊(duì)列里的死信轉(zhuǎn)發(fā)到的DLX名稱，
        params.put("x-dead-letter-exchange", REGISTER_EXCHANGE_NAME);
        // x-dead-letter-routing-key 聲明了這些死信在轉(zhuǎn)發(fā)時(shí)攜帶的 routing-key 名稱。
        params.put("x-dead-letter-routing-key", ROUTING_KEY);
        return new Queue(REGISTER_DELAY_QUEUE, true, false, false, params);
    }

    /**
     * 需要將一個(gè)隊(duì)列綁定到交換機(jī)上，要求該消息與一個(gè)特定的路由鍵完全匹配。
     * 這是一個(gè)完整的匹配。如果一個(gè)隊(duì)列綁定到該交換機(jī)上要求路由鍵 “dog”，則只有被標(biāo)記為“dog”的消息才被轉(zhuǎn)發(fā)，不會(huì)轉(zhuǎn)發(fā)dog.puppy，也不會(huì)轉(zhuǎn)發(fā)dog.guard，只會(huì)轉(zhuǎn)發(fā)dog。
     * TODO 它不像 TopicExchange 那樣可以使用通配符適配多個(gè)
     *
     * @return DirectExchange
     */
    @Bean
    public DirectExchange delayExchange() {
        return new DirectExchange(REGISTER_DELAY_EXCHANGE);
    }

    @Bean
    public Binding dlxBinding() {
        return BindingBuilder.bind(delayProcessQueue()).to(delayExchange()).with(DELAY_ROUTING_KEY);
    }

    @Bean
    public Queue registerBookQueue() {
        return new Queue(REGISTER_QUEUE_NAME, true);
    }

    /**
     * 將路由鍵和某模式進(jìn)行匹配。此時(shí)隊(duì)列需要綁定要一個(gè)模式上。
     * 符號“#”匹配一個(gè)或多個(gè)詞，符號“*”匹配不多不少一個(gè)詞。因此“audit.#”能夠匹配到“audit.irs.corporate”，但是“audit.*” 只會(huì)匹配到“audit.irs”。
     **/
    @Bean
    public TopicExchange registerBookTopicExchange() {
        return new TopicExchange(REGISTER_EXCHANGE_NAME);
    }

    @Bean
    public Binding registerBookBinding() {
        // TODO 如果要讓延遲隊(duì)列之間有關(guān)聯(lián),這里的 routingKey 和 綁定的交換機(jī)很關(guān)鍵
        return BindingBuilder.bind(registerBookQueue()).to(registerBookTopicExchange()).with(ROUTING_KEY);
    }

}

實(shí)體類

創(chuàng)建一個(gè)Book類

public class Book implements java.io.Serializable {

    private static final long serialVersionUID = -2164058270260403154L;

    private String id;
    private String name;
    // 省略get set ...
}

控制器

編寫一個(gè)Controller類，用于消息發(fā)送工作，同時(shí)為了看到測試效果，添加日志輸出，將發(fā)送消息的時(shí)間記錄下來..

package com.battcn.controller;

import com.battcn.config.RabbitConfig;
import com.battcn.entity.Book;
import com.battcn.handler.BookHandler;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.amqp.support.converter.AbstractJavaTypeMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;

import java.time.LocalDateTime;

/**
 * @author Levin
 * @since 2018/4/2 0002
 */
@RestController
@RequestMapping(value = "/books")
public class BookController {

    private static final Logger log = LoggerFactory.getLogger(BookController.class);

    private final RabbitTemplate rabbitTemplate;

    @Autowired
    public BookController(RabbitTemplate rabbitTemplate) {
        this.rabbitTemplate = rabbitTemplate;
    }

    /**
     * this.rabbitTemplate.convertAndSend(RabbitConfig.REGISTER_DELAY_EXCHANGE, RabbitConfig.DELAY_ROUTING_KEY, book); 對應(yīng) {@link BookHandler#listenerDelayQueue}
     */
    @GetMapping
    public void defaultMessage() {
        Book book = new Book();
        book.setId("1");
        book.setName("一起來學(xué)Spring Boot");
        // 添加延時(shí)隊(duì)列
        this.rabbitTemplate.convertAndSend(RabbitConfig.REGISTER_DELAY_EXCHANGE, RabbitConfig.DELAY_ROUTING_KEY, book, message -> {
            // TODO 第一句是可要可不要,根據(jù)自己需要自行處理
            message.getMessageProperties().setHeader(AbstractJavaTypeMapper.DEFAULT_CONTENT_CLASSID_FIELD_NAME, Book.class.getName());
            // TODO 如果配置了 params.put("x-message-ttl", 5 * 1000); 那么這一句也可以省略,具體根據(jù)業(yè)務(wù)需要是聲明 Queue 的時(shí)候就指定好延遲時(shí)間還是在發(fā)送自己控制時(shí)間
            message.getMessageProperties().setExpiration(5 * 1000 + "");
            return message;
        });
        log.info("[發(fā)送時(shí)間] - [{}]", LocalDateTime.now());
    }
}

消息消費(fèi)者

默認(rèn)情況下 spring-boot-data-amqp 是自動(dòng)ACK機(jī)制，就意味著 MQ 會(huì)在消息消費(fèi)完畢后自動(dòng)幫我們?nèi)CK，這樣依賴就存在這樣一個(gè)問題：如果報(bào)錯(cuò)了，消息不會(huì)丟失，會(huì)無限循環(huán)消費(fèi)，很容易就吧磁盤空間耗完，雖然可以配置消費(fèi)的次數(shù)但這種做法也有失優(yōu)雅。目前比較推薦的就是我們手動(dòng)ACK然后將消費(fèi)錯(cuò)誤的消息轉(zhuǎn)移到其它的消息隊(duì)列中，做補(bǔ)償處理。 由于我們需要手動(dòng)控制ACK，因此下面監(jiān)聽完消息后需要調(diào)用basicAck通知rabbitmq消息已被正確消費(fèi)，可以將遠(yuǎn)程隊(duì)列中的消息刪除

package com.battcn.handler;

import com.battcn.config.RabbitConfig;
import com.battcn.entity.Book;
import com.rabbitmq.client.Channel;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;

import java.io.IOException;
import java.time.LocalDateTime;

/**
 * BOOK_QUEUE 消費(fèi)者
 *
 * @author Levin
 * @since 2018/4/11 0011
 */
@Component
public class BookHandler {

    private static final Logger log = LoggerFactory.getLogger(BookHandler.class);

    @RabbitListener(queues = {RabbitConfig.REGISTER_QUEUE_NAME})
    public void listenerDelayQueue(Book book, Message message, Channel channel) {
        log.info("[listenerDelayQueue 監(jiān)聽的消息] - [消費(fèi)時(shí)間] - [{}] - [{}]", LocalDateTime.now(), book.toString());
        try {
            // TODO 通知 MQ 消息已被成功消費(fèi),可以ACK了
            channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
        } catch (IOException e) {
            // TODO 如果報(bào)錯(cuò)了,那么我們可以進(jìn)行容錯(cuò)處理,比如轉(zhuǎn)移當(dāng)前消息進(jìn)入其它隊(duì)列
        }
    }
}

主函數(shù)

package com.battcn;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

/**
 * @author Levin
 */
@SpringBootApplication
public class Chapter12Application {

    public static void main(String[] args) {
        SpringApplication.run(Chapter12Application.class, args);
    }
}

測試

完成準(zhǔn)備事項(xiàng)后，啟動(dòng)Chapter12Application 訪問 http://localhost:8080/books 將會(huì)看到如下內(nèi)容，就代表一切正?！?

2018-05-23 19:56:36.248  INFO 29048 --- [nio-8080-exec-1] com.battcn.controller.BookController     : [發(fā)送時(shí)間] - [2018-05-23T19:56:36.248]
2018-05-23 19:56:41.256  INFO 29048 --- [cTaskExecutor-1] com.battcn.handler.BookHandler           : [listenerDelayQueue 監(jiān)聽的消息] - [消費(fèi)時(shí)間] - [2018-05-23T19:56:41.256] - [Book{id='1', name='一起來學(xué)Spring Boot'}]

總結(jié)

目前很多大佬都寫過關(guān)于 SpringBoot 的教程了，如有雷同，請多多包涵，本教程基于最新的 spring-boot-starter-parent：2.0.2.RELEASE編寫，包括新版本的特性都會(huì)一起介紹…

本文的重點(diǎn)是你有沒有收獲與成長，其余的都不重要，希望讀者們能謹(jǐn)記這一點(diǎn)。同時(shí)我經(jīng)過多年的收藏目前也算收集到了一套完整的學(xué)習(xí)資料，包括但不限于：分布式架構(gòu)、高可擴(kuò)展、高性能、高并發(fā)、Jvm性能調(diào)優(yōu)、Spring，MyBatis，Nginx源碼分析，Redis，ActiveMQ、Mycat、Netty、Kafka、Mysql、Zookeeper、Tomcat、Docker、Dubbo、Nginx等多個(gè)知識點(diǎn)高級進(jìn)階干貨，希望對想成為架構(gòu)師的朋友有一定的參考和幫助

有需要的可以加一下三千人Java技術(shù)交流分享群：“708 701 457”免費(fèi)獲取