消息持久化#xff1a;

消息被发送到队列后会存储在磁盘上#xff0c;即使消息队列崩溃#xff0c;消息也不会丢失。

例如#xff1a;Kafka、RabbitMQ等都支持持久化消息。

Kafka通过将消息存…确保消息在发送、传递和消费过程中不会丢失、重复消费或错乱。

消息持久化

消息被发送到队列后会存储在磁盘上即使消息队列崩溃消息也不会丢失。

例如Kafka、RabbitMQ等都支持持久化消息。

Kafka通过将消息存储在日志文件中而RabbitMQ通过磁盘队列持久化消息。

消息确认机制ACK

消息生产者发送消息后消费者需要返回确认ACK表示已成功处理若在超时时间内未确认则消息会被重新投递。

例如RabbitMQ和Kafka都有确认机制RabbitMQ支持消息的“消息确认”和“消费者确认”Kafka支持消费者的“提交偏移量”来确认消息消费。

确保消息只被处理一次

消息消费者处理消息时需要设计幂等性即即使消息被重复消费也不会对系统产生副作用。

实现方式有

通过唯一的消息ID如UUID来标记每个消息消费者可以根据消息ID判断该消息是否已处理。

设计冪等的消费逻辑例如通过数据库的唯一约束来避免重复插入。

防止重复消费

消费端去重设计消费者使用唯一标识符如UUID存储已处理的消息。

事务机制结合数据库的事务保证消息的处理与数据库操作一致性。

消息重试与死信队列DLQ

当消息处理失败时可以设置消息重试机制。

例如RabbitMQ的“重新入队”策略和Kafka的重试机制。

重试次数和时间间隔可以配置避免无休止的重试。

一般会增加退避时间Backoff例如指数退避算法防止系统过载。

死信队列DLQ

Queue。

该队列用于存储无法消费的消息可以进行人工干预或进一步的分析。

消息顺序性

分布式系统中消息可能会在不同的节点上处理因此保证消息的顺序性是一项挑战。

分区策略使用分区Partition来确保特定类别的消息始终由同一消费者处理Kafka通过消息的键来确定消息的分区从而确保消息顺序。

队列顺序RabbitMQ中可以使用单个队列保证消息顺序但这会限制并发度。

事务消息

支持事务消息允许生产者先发送消息然后执行业务操作最后提交事务。

可以确保消息与业务操作的一致性。

分布式事务

消费者扩展增加消费者实例提升消费能力。

限流对于生产者控制消息的生产速度对于消费者控制消费的速率避免系统过载。

动态负载均衡自动调整消费者的数量和负载保障消息的及时消费。

对MQ系统的监控非常重要包括监控消息投递的成功率、延迟、积压等。

Kafka提供监控接口可以查看消息消费的延迟、主题的积压等。

RabbitMQ可以通过管理插件监控消息的队列长度、消费者连接状态等。

报警机制

对于消息的积压、消费失败、队列长度异常等情况可以设置报警机制快速响应系统异常。

确保消息可靠投递消息持久化、确认机制、幂等性设计。

防止消息丢失与重复消费重试机制、死信队列、幂等性设计。

保证消息顺序性分区机制、队列顺序。

扩展能力消费者扩展、积压管理、限流。

监控与报警消息延迟、积压、消费速率等指标的监控。