1.

Apache Kafka是一个分布式流处理平台， 它可以在多个服务器上运行，以提供高吞吐量和可伸缩性。在CentOS上配置Kafka集群是一个涉及多个步骤的过程， 包括安装Java、下载和配置Kafka、设置Zookeeper以及启动和验证Kafka集群。

2. 安装Java

Kafka依赖于Java运行时环境，所以呢先说说需要确保Java已经安装在你的CentOS服务器上。你可以使用以下命令来安装OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

验证Java安装：

java -version

3. 下载和配置Kafka

从Apache Kafka官方网站下载最新版本的Kafka。下载完成后 解压tar包到指定的目录中：

wget https://www.apache.org/dyn/closer.cgi?path=/kafka/3.2.0/kafka_2.13-3.2.0.tgz -O kafka_2.13-3.2.0.tgz

tar -xzf kafka_2.13-3.2.0.tgz kafka_2.13-3.2.0

将解压后的目录移动到系统的PATH中，以便可以从任何位置运行Kafka命令：

sudo mv kafka_2.13-3.2.0 /usr/local/kafka

sudo ln -s /usr/local/kafka/kafka_2.13-3.2.0 /usr/local/bin/kafka

4. 配置Zookeeper

Kafka使用Zookeeper来管理集群状态。先说说启动Zookeeper服务器。编辑Zookeeper配置文件config/zookeeper.properties 确保以下配置正确：

=1  # 每个节点的唯一ID
listeners=PLAINTEXT://:2181
dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888

在每个Zookeeper节点的dataDir目录下创建一个myid文件，内容为该节点的ID。

5. 配置Kafka

编辑Kafka配置文件config/server.properties 确保以下配置正确：

broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/var/lib/kafka-logs
zookeeper.connect=zoo1:2181,zoo2:2181,zoo3:2181
num.network.threads=3
num.io.threads=8
socket.request.max.bytes=104857600
log.flush.interval.ms=1000
log.flush.interval.messages=5000
log.retention.hours=168
log.retention.bytes=-1
log.segment.bytes=1073741824
num.partitions=1
default.replication.factor=1
auto.create.topics.enable=true

在每个Kafka节点上，broker.id必须是唯一的，listeners应该是该节点的IP地址和端口，zookeeper.connect应该是所有Zookeeper节点的连接字符串。

6. 启动Kafka集群

在每个Kafka节点上施行以下命令启动Kafka服务器：

bin/kafka-server-start.sh config/server.properties

在另一个终端中启动一个消费者来接收消息：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

7. 验证Kafka集群

创建一个Topic来测试Kafka集群：

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3

启动一个生产者来发送消息：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic

在生产者终端输入一些消息， 然后在消费者终端查看这些消息，以验证集群是否正常工作。

8.

以上步骤涵盖了在CentOS上配置Kafka集群的基本过程。根据实际需求，你可能需要进一步调整和优化配置。确保所有节点之间的网络连接正常，并且防火墙允许必要的端口通信。

---