易君召
易君召
发布于 2026-11-14 / 5 阅读
0

消息队列(MQ)在系统架构中的应用

消息队列本质是异步中间件,核心模型:生产者 → Broker(消息存储转发) → 消费者。 主流组件:RocketMQ、Kafka、RabbitMQ、Pulsar、Redis List(简单场景)。 核心价值:解耦、削峰填谷、异步、可靠通信、流量整形。下面从场景、架构模式、落地要点、避坑来讲。

一、五大典型应用场景

1. 系统解耦(最常用)

多个业务系统之间不再直接同步调用(HTTP/Dubbo),改成发消息。

例子:订单创建

  • 同步方案:下单成功后,同步调用库存、支付、积分、短信、物流;任何一个服务超时 / 宕机,下单失败,强耦合。

  • MQ 方案:订单服务只发一条【订单创建】消息到 MQ,立刻返回下单成功;库存、积分、通知、物流各自消费消息,独立处理。

  • 优点:新增下游业务,不用改订单代码,只新增消费者。

2. 削峰填谷(流量削峰,秒杀 / 大促)

瞬时流量远高于后端数据库、服务处理能力,用 MQ 把请求先缓存起来,后端匀速消费。

例子:秒杀、提交表单、直播点赞

  • 流量洪峰过来,请求写入 MQ,不直接打 DB;

  • 消费者设置固定消费速率,平稳消费;

  • 峰值压力转移到 MQ Broker,保护下游数据库不被打挂。

⚠️ 注意:削峰不是提升吞吐量上限,只是把瞬时压力摊平,消息堆积过大也要评估磁盘、告警。

3. 异步处理,提升接口响应速度

非核心逻辑异步化,主流程快速返回。

例子:用户注册 同步:注册→写用户表→发欢迎短信→生成初始化报表→返回,接口慢。 异步:注册主库写入完成,发 MQ,直接返回成功;短信、报表后台消费异步执行。 适合:通知、日志、统计、文件导出、图片处理。

4. 最终一致性(分布式事务,可靠消息)

适合不需要强一致、接受短暂不一致的业务,替代复杂 TCC。 典型方案:可靠消息事务(事务消息)(RocketMQ 原生支持) 流程:

  1. 半消息发送(对下游不可见)

  2. 执行本地事务(如扣余额)

  3. 本地事务成功 → 提交消息,下游可见;失败 → 回滚消息

  4. Broker 定时回查本地事务状态,防止网络异常 适用:订单与积分、订单与优惠券;不适合金融强一致场景。

5. 数据流采集、流式计算、日志 / 埋点上报

Kafka 最擅长这个场景。

例子:用户行为埋点、监控日志、业务变更 CDC(Binlog 同步)

  • 前端 / 服务批量上报埋点消息写入 Kafka;

  • Flink/Spark 消费做实时统计、风控、指标计算;

  • 再下沉到 ClickHouse、ES、Hive 做分析。 特点:高吞吐,允许少量丢消息,支持多消费组重复消费。

二、其他小众场景

  1. 延时队列:订单超时取消、预约提醒、重试任务(RocketMQ 延时消息、RabbitMQ 死信队列)

  2. 消息广播:同一个消息发给所有消费组,比如配置变更通知、缓存刷新通知

  3. 顺序消息:保证同一个业务 id 的消息按生产顺序消费(比如库存流水变更)

  4. 重试队列 / 死信队列 DLQ:消费失败多次的消息进入死信,人工排查,避免无限重试阻塞

三、常见架构模式

1. 点对点 P2P(竞争消费)

一条消息只会被同一个消费组里一个消费者消费。 用途:任务分发、订单处理、削峰,多实例水平扩容。

2. 发布订阅 Pub/Sub(广播)

Topic 消息可以被多个消费组各自消费一份。 用途:事件通知、多系统同步数据。

3. 事件驱动架构 EDA

整个系统以事件为核心:业务发生就输出事件,其他服务订阅事件做响应。 现在微服务、可信数据空间里非常流行,相比接口调用更适合业务多变。

四、核心落地问题(必须考虑)

1. 消息可靠性:丢消息

丢失链路:生产者没发成功 → Broker 没持久化 → 消费成功前进程宕机 对策:

  • 生产者:开启 ACK、重试、事务消息;

  • Broker:刷盘策略、副本(主从 / 集群);

  • 消费者:手动 ACK,业务处理完成后再提交 offset,禁止自动 ACK。

2. 消息重复消费(幂等)

网络抖动、ACK 丢失,Broker 会重发消息,MQ 不保证只发一次,只保证至少一次 At-Least-Once。 ✅ 解决方案:消费逻辑做幂等

  • 业务唯一键(订单号、事件 ID),消费前查 DB/Redis 判断是否已处理;

  • 唯一索引防重复写入。

3. 消息顺序

全局有序成本极高;一般只需要分区内有序:相同业务 key 哈希到同一个 partition / 队列,单分区单消费者保证顺序。

4. 消息堆积

原因:消费速度 < 生产速度、消费者宕机、消费阻塞。 风险:磁盘打满、Broker 不可用、消息过期丢失。 监控指标:消息堆积量、消费延迟 lag;预案:扩容消费者、限流生产者、临时扩容存储、清理无效消息。

5. 消息大小、过期时间

超大消息不建议直接丢 MQ,传文件地址;设置合理过期时间,避免无效消息长期占用资源。

五、选型简单参考

组件

适合场景

RocketMQ

业务消息、事务消息、延时消息、金融业务、最终一致

Kafka

高吞吐、日志埋点、CDC、Flink 流计算

RabbitMQ

灵活路由、死信、复杂绑定,中小企业业务

Pulsar

云原生、多租户、海量 Topic、跨地域

六、一个典型微服务 MQ 架构示例

用户端 → API网关 → 订单服务
订单服务:
  1. 本地创建订单
  2. 发送【OrderCreated】事件到RocketMQ Topic
消费者:
  - 库存服务:扣减库存
  - 积分服务:发放积分
  - 通知服务:推送短信
  - 数据分析:上报指标
死信队列:消费失败消息 → 告警+人工后台

七、什么时候不适合用 MQ?

  1. 需要同步返回结果(比如实时校验、支付鉴权);

  2. 强一致性、资金转账核心链路;

  3. 简单小系统,引入 MQ 增加运维复杂度。


本文原创作者:易君召,详见:https://www.yijunzhao.cn/authors/yijunzhao,转载请注明出处。

原文链接 https://www.yijunzhao.cn/archives/message-queue-mq-applications-in-system-architecture

欢迎访问 小易撩挨踢

https://www.yijunzhao.cn/