消息队列本质是异步中间件,核心模型:生产者 → Broker(消息存储转发) → 消费者。 主流组件:RocketMQ、Kafka、RabbitMQ、Pulsar、Redis List(简单场景)。 核心价值:解耦、削峰填谷、异步、可靠通信、流量整形。下面从场景、架构模式、落地要点、避坑来讲。
一、五大典型应用场景
1. 系统解耦(最常用)
多个业务系统之间不再直接同步调用(HTTP/Dubbo),改成发消息。
例子:订单创建
同步方案:下单成功后,同步调用库存、支付、积分、短信、物流;任何一个服务超时 / 宕机,下单失败,强耦合。
MQ 方案:订单服务只发一条【订单创建】消息到 MQ,立刻返回下单成功;库存、积分、通知、物流各自消费消息,独立处理。
优点:新增下游业务,不用改订单代码,只新增消费者。
2. 削峰填谷(流量削峰,秒杀 / 大促)
瞬时流量远高于后端数据库、服务处理能力,用 MQ 把请求先缓存起来,后端匀速消费。
例子:秒杀、提交表单、直播点赞
流量洪峰过来,请求写入 MQ,不直接打 DB;
消费者设置固定消费速率,平稳消费;
峰值压力转移到 MQ Broker,保护下游数据库不被打挂。
⚠️ 注意:削峰不是提升吞吐量上限,只是把瞬时压力摊平,消息堆积过大也要评估磁盘、告警。
3. 异步处理,提升接口响应速度
非核心逻辑异步化,主流程快速返回。
例子:用户注册 同步:注册→写用户表→发欢迎短信→生成初始化报表→返回,接口慢。 异步:注册主库写入完成,发 MQ,直接返回成功;短信、报表后台消费异步执行。 适合:通知、日志、统计、文件导出、图片处理。
4. 最终一致性(分布式事务,可靠消息)
适合不需要强一致、接受短暂不一致的业务,替代复杂 TCC。 典型方案:可靠消息事务(事务消息)(RocketMQ 原生支持) 流程:
半消息发送(对下游不可见)
执行本地事务(如扣余额)
本地事务成功 → 提交消息,下游可见;失败 → 回滚消息
Broker 定时回查本地事务状态,防止网络异常 适用:订单与积分、订单与优惠券;不适合金融强一致场景。
5. 数据流采集、流式计算、日志 / 埋点上报
Kafka 最擅长这个场景。
例子:用户行为埋点、监控日志、业务变更 CDC(Binlog 同步)
前端 / 服务批量上报埋点消息写入 Kafka;
Flink/Spark 消费做实时统计、风控、指标计算;
再下沉到 ClickHouse、ES、Hive 做分析。 特点:高吞吐,允许少量丢消息,支持多消费组重复消费。
二、其他小众场景
延时队列:订单超时取消、预约提醒、重试任务(RocketMQ 延时消息、RabbitMQ 死信队列)
消息广播:同一个消息发给所有消费组,比如配置变更通知、缓存刷新通知
顺序消息:保证同一个业务 id 的消息按生产顺序消费(比如库存流水变更)
重试队列 / 死信队列 DLQ:消费失败多次的消息进入死信,人工排查,避免无限重试阻塞

三、常见架构模式
1. 点对点 P2P(竞争消费)
一条消息只会被同一个消费组里一个消费者消费。 用途:任务分发、订单处理、削峰,多实例水平扩容。
2. 发布订阅 Pub/Sub(广播)
Topic 消息可以被多个消费组各自消费一份。 用途:事件通知、多系统同步数据。
3. 事件驱动架构 EDA
整个系统以事件为核心:业务发生就输出事件,其他服务订阅事件做响应。 现在微服务、可信数据空间里非常流行,相比接口调用更适合业务多变。
四、核心落地问题(必须考虑)
1. 消息可靠性:丢消息
丢失链路:生产者没发成功 → Broker 没持久化 → 消费成功前进程宕机 对策:
生产者:开启 ACK、重试、事务消息;
Broker:刷盘策略、副本(主从 / 集群);
消费者:手动 ACK,业务处理完成后再提交 offset,禁止自动 ACK。
2. 消息重复消费(幂等)
网络抖动、ACK 丢失,Broker 会重发消息,MQ 不保证只发一次,只保证至少一次 At-Least-Once。 ✅ 解决方案:消费逻辑做幂等
业务唯一键(订单号、事件 ID),消费前查 DB/Redis 判断是否已处理;
唯一索引防重复写入。
3. 消息顺序
全局有序成本极高;一般只需要分区内有序:相同业务 key 哈希到同一个 partition / 队列,单分区单消费者保证顺序。
4. 消息堆积
原因:消费速度 < 生产速度、消费者宕机、消费阻塞。 风险:磁盘打满、Broker 不可用、消息过期丢失。 监控指标:消息堆积量、消费延迟 lag;预案:扩容消费者、限流生产者、临时扩容存储、清理无效消息。
5. 消息大小、过期时间
超大消息不建议直接丢 MQ,传文件地址;设置合理过期时间,避免无效消息长期占用资源。

五、选型简单参考
六、一个典型微服务 MQ 架构示例
用户端 → API网关 → 订单服务
订单服务:
1. 本地创建订单
2. 发送【OrderCreated】事件到RocketMQ Topic
消费者:
- 库存服务:扣减库存
- 积分服务:发放积分
- 通知服务:推送短信
- 数据分析:上报指标
死信队列:消费失败消息 → 告警+人工后台
七、什么时候不适合用 MQ?
需要同步返回结果(比如实时校验、支付鉴权);
强一致性、资金转账核心链路;
简单小系统,引入 MQ 增加运维复杂度。
本文原创作者:易君召,详见:https://www.yijunzhao.cn/authors/yijunzhao,转载请注明出处。
原文链接
欢迎访问 小易撩挨踢