1. 消费者组简介

Apache Kafka是一个分布式流处理平台， 它提供了高吞吐量、低延迟的消息队列服务。Kafka消费者组是Kafka中的一个重要概念， 它允许一组消费者协同工作，共同消费一个或多个主题中的消息。

2. 创建消费者组

使用Kafka消费者组的基本步骤如下：

• 使用kafka-console-consumer.sh创建消费者，并指定其所在的消费组为group_mytest。
• 使用kafka-console-producer.sh直接运行kafka-console-producer.sh创建消费者。
• 主要原因是之前创建消费者时没有指定zookeeper，所以在zookeeper上的/consumers里没有group_mytest消费组的信息。

3. 注意事项

• 消费者组ID同一个消费者组ID的消费者会共享偏移量，所以呢它们会消费相同的数据。
• 分区分配Kafka会根据消费者组ID和主题的分区数来分配分区。每个分区只能被一个消费者消费。
• 自动提交偏移量可以通过配置enable.auto.commit来控制是否自动提交偏移量。默认情况下Kafka会自动提交偏移量。
• 手动提交偏移量如果需要更精细的控制，可以手动提交偏移量。

4. 订阅主题

消费者组可以订阅一个或多个主题。订阅主题后消费者会开始消费这些主题中的消息。

先说说Kafka需要和消费者组建立网络连接客户端:ConsumerNetworkClient。消费者组发送消费请求sendFetches，经过客户端，调用send方法发送请求到Kafka。

5. 消费消息

消费者会不断轮询主题中的消息，并处理这些消息。

消费者组订阅的topic只能被其中的一个消费者消费。在producer窗口中输入信息，会发现只有一个consumer窗口中有输出。启动zookeeper和Kafka。

6. 处理偏移量

Kafka消费者组会自动管理偏移量。当消费者处理完一批消息后它会提交这些消息的偏移量，以便下次从正确的位置继续消费。

在创建消费者时需要指定一个消费者组ID。这个ID用于标识一组共享同一个偏移量的消费者。

7. 消费者组重平衡

消费者组重平衡是指当消费者组中的消费者实例发生变化时Kafka会重新分配分区给消费者实例的过程。

• 消费者实例加入消费者组。
• 消费者实例请求分区分配。
• Kafka根据消费者组ID和主题的分区数来分配分区。
• 消费者实例开始消费分配给它的分区。

8.

使用Kafka消费者组可以有效地实现消息的共享消费，提高消息处理的效率。通过合理配置和使用消费者组，你可以实现高吞吐量、低延迟的消息处理。

---