在排查 MQ 问题时我最怕听到的一句话是：

这句话听起来像是在怀疑 Kafka。

但大多数时候。Kafka 其实没那么冤，也没那么神秘。真正出问题的地方，往往藏在一个很小的窗口里：

只要这个窗口里发生宕机、重启、Rebalance。或者网络抖动，这条消息就可能重新被拉取一次。

于是业务侧看起来就像“同一条消息被消费了两次”。

一、现场还原：同一个订单生成了两条分账单

假设有这样一条业务链路：

使用者支付成功后交易程序发送一条 Kafka 消息。分账服务消费这条消息，接下来创建分账单。

消息内容大概是这样：

{ "eventId": "PAY_SUCCESS_202501010001","orderNo": "O202501010001","payAmount":。"eventType": "PAY_SUCCESS"}

分账服务的消费逻辑也很常见：

@KafkaListener
public void consumePaySuccess {
log.info);Order order = orderMapper.selectByOrderNo);if )) {
return;}
ProfitShareOrder shareOrder = new ProfitShareOrder;shareOrder.setOrderNo);shareOrder.setAmount);shareOrder.setStatus;其实，profitShareOrderMapper.insert;orderMapper.updateStatus,OrderStatus.SHARING);log.info)，老实说，}

乍一看。这段代码没什么问题：

1. 先查订单；其实，
2. 判断订单是否已支付；
3. 创建分账单；
4. 更新订单状态。

但某次发布后业务同学反馈：同一个订单出现了两条待分账记录。金额一样，订单号一样，只是创建时间前后差了十几秒。

字段名 类型 说明

id bigint 主键自增ID

shareorderno varchar 分账流水号

order_no varchar 关联订单号

amount decimal 分账金额 status tinyint 状态 create_time datetime 创建时间

id bigint

amount" "" "" "time" "

如何避免这种问题？主要在于理解Kafka的保证级别和幂等性设计原则！，

二、先排除一个误区：不是两个使用者同时抢到了同一条消息！，怎么说呢，

为什么会这样认为？因为开发人员普遍存在误解：

• Kafka保证每个partition的每个offset只会被一个consumer实例读取！
• Rebalance时可能会有短暂的重叠读取！
• 手动commit offset或auto commit都可能导致重复处理！
• 只有exactly-once语义才能真正保证不重复！

  说到技术详细说明，Kafka的partition机制确保同一时刻一个offset只能由一个consumer读取。当发生以下情况时： Consumer A开始处理offset=N但尚未提交Consumer B开始处理offset=N+Consumer A提交offset=N+Consumer B仍然看到未提交的N+发生rebalance导致双方都尝试处理N+这就会造成实际意义上的重复处理！即使底层partition分配看似正确！，

  三、真正的危险窗口：业务成功了 Offset 没提交！ ，×! >注意!话说回来，即使使用Spring Boot框架中的@Transactional注解事务管理!也无法完全避免这个问题，因为Kafka和MySQL是独立事务程序!没有跨程序事务支持，!除非使用特定中间件如Debezium+Seata实现全局事务!

  四、把时间线拉开看!，模拟不同故障场景!，|--|--|--||---||---||---| | **场景** | **操作** | **结果** | |---||---| | 使用者进程挂掉 || 在T和T之间挂掉 || offset未提交!下次启动重新拉取，| | 虚拟机内存耗尽 || 在T和T之间OOM || offset未持久化!| | 网络瞬断 || 提交请求失败 || offset未确认!Broker端超时回滚，| | Rebalance触发 || 心跳超时 || 新实例从旧位置开始读取!| | 数据库主从切换 || T期间切换完成 || 提交操作失败回滚!说起来，

  五、根因深度剖析!，Kafka设计哲学!，

  • At-least-once语义天然允许重复投递!，
  • Broker只负责顺序写入日志!不维护应用状态，
  • Exactly-once需要多方协作!，包括生产者/broker/存储程序!
  • Java内存变量修改≠持久化落地!必须显式flush/commit!

    六、 说到第一道防线。业务唯一键,防止重复生成单据!，技术实现方案对比!，||--||--||--||-- 方案 | 优点 | 缺点 | |---||--- Databaseunique keyconstraints || 最强约束性 || 不能完全覆盖所有场景 || Redis cache locks || 高性能 || 超时控制难 || Distributed idempotency tokens || 通用性强 || 需要额外管理表!Distributed transactions || 原子性完美保证 || 性能极差!Event sourcing || 最终可靠 || 架构复杂度高!||--||--||--||-->

    ---