在Kafka中Producer、Broker和Consumer是三个关键的角色它们在整个消息传递过程中扮演不同的角色和功能1.

**Producer生产者**生产者是消息的发送方负责将消息发布到Kafka的主题Topic中。

生产者将消息发送给Kafka集群中的一个或多个Broker然后由Broker将消息持久化并进行分发。

生产者可以根据业务需求配置消息的发送策略例如同步发送、异步发送等。

2.

**Broker代理服务器**Broker是Kafka集群中的中间服务器负责接收、存储和分发消息。

每个Broker都有自己的存储空间将消息以分区Partition的方式存储在本地磁盘上。

Broker负责管理主题的元数据、分区的分布和复制以及处理生产者和消费者的请求。

多个Broker组成的集群共同构成了一个高可用、分布式的消息传递平台。

3.

**Consumer消费者**消费者是消息的接收方负责从Kafka的主题中订阅消息并进行消费。

消费者从Broker中拉取Pull消息可以控制消息的消费进度和速率。

消费者可以以不同的消费者组Consumer

Group身份订阅同一个主题这样可以实现消息的广播或分组消费。

综合起来Producer负责将消息发布到KafkaBroker负责存储和分发消息而Consumer负责订阅和消费消息。

这三个角色共同构成了Kafka的核心组件使得Kafka能够实现高性能、高可用的消息传递和处理。

Topic是对消息的分类属于Producer生产者和Consumer消费者之间的概念Producer会把消息接受到特定的ProducerBroker会管理和分配这些消息。

Consumer会从Consumer特定的区域请求拿到属于他的topic消息然后进行消费。

消费完成之后使用offset标记

Kafka中的Topic会被分为若干分区每个分区同一时间只能被一个consumer消费

consumer消费之后会把消息offset标记通过位置偏移来追踪消费状态

Consumer用自己特有的偏移量把消费后的消息提交给Zookeeper这个过程异步2.

如果Consumer故障后重启可以向Zookeeper查询上次提交偏移的位置从而消费后续的消息。

避免了数据的重复或丢失

节点和Zookeeper保持链接Zookeeper会不定时发送心跳的探测

kafka

首先应该从消息源确定Producer收到发送给Broker的消息都有唯一的Id保障幂等性。

幂等性保证了即使生产者在发送消息的过程中发生了重试同一条消息也只会被成功写入一次。

无论生产者发送消息多少次只要消息内容相同只有一次会被写入。

对不同topic进行分区分区之后可以被多个Consumer同时并行获取处理

Consumer读取消息后offset是异步给Zookeeper保存可以继续执行其他消息处理步骤

零拷贝kafka的数据传输使用零拷贝技术避免资源浪费零拷贝和传统拷贝的区别

在零拷贝技术中数据传输的过程中数据不再需要从内核缓冲区拷贝到用户缓冲区而是直接在内核和设备之间传输避免了中间的拷贝操作。

这种方式可以显著减少CPU的开销提高数据传输的速度并降低系统负担。

使用分布式消息队列