简介

Apache Kafka是一个高吞吐量的分布式发布订阅消息系统， 广泛应用于大数据处理、流式处理、日志收集等领域。本文将详细介绍如何在CentOS系统下安装和配置Kafka。

系统环境

• 操作系统: 64位CentOS Linux release 7.2.1511
• JDK版本: 1.8.0_121
• Zookeeper版本: zookeeper-3.4.9.tar.gz
• 三台服务器: 192.168.1.91; 192.168.1.92; 192.168.1.93

确保Zookeeper集群已经在上述三台服务器上部署成功。

1. 下载并解压Kafka

从Apache Kafka官网下载最新版本的Kafka，并解压到指定目录。

sudo yum install java-1.8.0-openjdk-devel
java -version
wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.1/kafka_2.13-2.4.1.tgz -O kafka_2.13-2.4.1.tgz
tar -xzf kafka_2.13-2.4.1.tgz -C /opt/kafka

2. 配置Kafka

进入Kafka目录并进行配置。

cd /opt/kafka
vi config/server.properties

编辑以下参数：

• broker.id: Kafka broker的唯一标识
• log.dirs: 日志存储目录
• num.partitions: 默认主题的分区数
• log.retention.hours: 日志文件保留时间
• zookeeper.connect: Zookeeper连接字符串

3. 启动Zookeeper

在Kafka目录下启动Zookeeper。

cd /opt/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

4. 启动Kafka Broker

在另一个终端窗口中启动Kafka Broker。

cd /opt/kafka
bin/kafka-server-start.sh config/server.properties

5. 创建Topic

创建一个Topic来测试Kafka。

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

6. 启动生产者和消费者

启动一个生产者来发送消息。

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

输入消息并按回车键发送。

启动一个消费者来接收消息。

bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning

7. 验证Kafka

你应该能看到之前发送的消息。

以上步骤完成了在CentOS上部署和配置Kafka的基本过程。和增加更多的Broker以实现高可用性和负载均衡。

参考文献

---