1. Kafka主题和分区概述

使用kafka-topics.sh脚本,通过--partitions参数指定分区数:

./kafka- --create --bootstrap-server localhost:9092 --topic my_topic --partitions 3 --replication-factor 1

主题和分区是kafka的两个核心概念,主题作为消息的归类,可以在细分为一个或者多个分区,分区可以看作是对消息的二次归类。从底层上来说,主题和分区都是逻辑上的概念。并且其运行在一个有三个broke节点上的kafka集群上。

2. 创建主题和分区

Kafka高级特性解析2.3 主题2.3.1 管理2.3.1.1 创建主题2.3.1.2 查看主题2.3.1.3 修改主题2.3.1.4 删除主题2.3.2 增加分区2.3.3 分区副本的分配-了解2.3.4 必要参数配置2.3.5 KafkaAdminClient应用查看主题创建主题删除主题....文章浏览阅读1.2k次。Kafka高级特性解析文章目录Kafka高级特性解析2.3 主题2.3.1 管理2.3.1.1 创建主题2.3.1.2 查看主题2.3.1.3 修改主题2.3.1.4 删除主题2.3.2 ...

创建主题-分区列表可以使用rd_kafka_topic_partition_list_new函数。在 Kafka 生态系统中,主题-分区列表扮演着至关重要的角色,它负责存储主题...

./kafka- --create --bootstrap-server localhost:9092 --topic my_topic --partitions 3 --replication-factor 1

• --partitions设置分区数。
• --replication-factor设置副本数。

3. 查看主题分区信息

通过--describe参数查看主题的详细分区信息， 包括分区数、副本分配等：

在Linux上管理Kafka主题分区主要通过命令行工具实现，核心操作如下：

./kafka- --describe --bootstrap-server localhost:9092 --topic my_topic

比如我们使用kafka-topics.sh脚本创建一个分区数为3、副本因子为3的主题 topic-partitions,创建之后的分布信息如下:.前面也分析过,分区及副本的均衡也不能完全确保集群整体的均衡,并且集群中一定程度上的不均衡也是可以忍受的,为防止出现关键时期 掉链子 的行为,笔者建议还是将掌控权把控在自己的手中,可以针对此类相关的埋点....

./kafka- --alter --bootstrap-server localhost:9092 --topic my_topic --partitions 5

• 增加后新分区会自动分配副本并开始接收消息。

4. 删除主题

使用--delete参数删除主题：

./kafka- --delete --bootstrap-server localhost:9092 --topic my_topic

• 需确保Kafka服务已停止，或使用--zookeeper参数指定ZooKeeper地址。

5. 分区策略配置

• 默认策略按消息Key的哈希值分配，保证顺序性。
• 轮询策略消息均匀分配到所有分区，适用于无Key的场景。
• 自定义策略需实现Partitioner接口，通过配置指定。

6. 注意事项

• 副本数限制副本数不能超过集群中Broker节点数，否则创建失败。
• 数据一致性增加分区时 已有数据不会重新分配，仅新消息进入新分区。
• 权限问题若提示权限不足，可添加sudo或修改脚本权限。

以上操作均基于Kafka自带的命令行工具， 无需额外开发，适用于快速管理分区。如需更复杂的策略，需结合Java客户端或Kafka Streams等工具实现。

还有啊,还涵盖了Kafka主题的创建、 查看、修改和删除,以及分区管理,包括优先副本选举和分区重分配。如果要删除的主题是kafka的内部主题,那么删除时就会报错;。本文介绍了Kafka中的主题、分区和副本概念,强调了多分区和多副本机制的重要性。

./kafka- --describe --bootstrap-server localhost:9092 --topic my_topic

输出示例：

Topic: my_topic PartitionCount: 3 ReplicationFactor: 1
Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Partition: 1 Leader: 0 Replicas: 0 Isr: 0
Partition: 2 Leader: 0 Replicas: 0 Isr: 0

7. 增加分区数

Kafka仅支持增加分区数，使用--alter参数：

./kafka- --alter --bootstrap-server localhost:9092 --topic my_topic --partitions 5

如果此配置已关闭,则通过管理工具删除主题将不起作用89 delete.topic.enable=true.2 /app/kafka/config3 $ vim server.properties4 ############################# Server Basics #############################5 # 每一个broker在集群中的唯一标示★★★6 # 比如mini01 为0 mini02 为1 mini03 为27 broker.id=0.

Kafka的~alter~指令用于修改已存在的主题配置,比方说增加或减少分区数量,而~delete~指令则用于删除主题,这需要谨慎操作,主要原因是删除的主题数据通常无法恢复.C# Demo,从kafka中读取消息, wpf源码,有需要的同学可以参考。

如果自动创建主题,则由该值决定自动创建的主题的分区数。在linux中搭建kafka集群。

./kafka- --describe --bootstrap-server localhost:9092 --topic my_topic

Topic: my_topic PartitionCount: 1 ReplicationFactor: 1
Partition: 0 Leader: 0 Replicas: 0 Isr: 0

举例,主题 user_order 目前是1个分区,这里将该主题分区增加到6个,观察修改后来啊。

专注深耕linux、容器云原生、运维自动化等方向02-20791.公安备案号11010502030143京ICP备19004658号京网文〔2020〕1039-165号经营性网站备案信息北京互联网违法和不良信息举报中心家长监护网络110报警服务中国互联网举报中心Chrome商店下载账号管理规范版权与免责声明版权申诉出版物许....

---