一、 基础环境准备

1. 安装Java环境

Hey! 你好，Kafka需要Java环境，所以先说说我们得安装Java。 又爱又恨。 在CentOS上， 你Ke以使用下面的命令来安装OpenJDK 8：

sudo yum install java-1.8.0-openjdk-devel -y
java -version

2. 配置环境变量

接下来我们要配置环境变量，这样就Ke以在任何地方运行Kafka命令了。在/et 抓到重点了。 c/profile或/etc/profile.d/kafka.sh中添加以下行：

export PATH=$PATH:/opt/kafka/bin

然后 使用下面的命令让改动生效：

source ~/.bashrc

二、配置Kafka核心参数

1. 编辑配置文件

编辑Kafka的配置文件，通常位于/opt/kafka/config/server.properties。 这家伙... 这里有一些重要的配置参数：

num.partitions=16
replica.factor=3
log.retention.hours=168
log.segment.bytes=1073741824
num.network.threads=8
num.io.threads=16
-Xms8g -Xmx8g
-XX:+UseG1GC

2. 启用G1GC垃圾回收器

为了提高性Neng，我们Ke以启用G1GC垃圾回收器。在配置文件中添加以下行：

-XX:+UseG1GC

三、 操作系统优化

1. 内核参数调整

为了优化网络和磁盘IO，我们需要调整内核参数。编辑/etc/sysctl.conf，添加以下参数：

=1          # 禁止内存交换
_background_ratio=5  # 脏页刷新后台阈值
_ratio=10        # 脏页刷新强制阈值
-max=1000000      # Zui大文件描述符数
_default=262144  # 接收缓冲区默认大小
_default=262144  # 发送缓冲区默认大小
_wmem=4096 16384 131072  # TCP发送缓冲区大小
_rmem=4096 65536 1048576  # TCP接收缓冲区大小
=65535  # Zui大连接队列长度

然后施行sysctl -p使配置生效。

2. 资源限制调整

踩个点。 编辑/etc/security/limits.conf， 增加Kafka用户的资源限制：

kafka soft nofile 1000000
kafka hard nofile 1000000
kafka soft nproc 1000000
kafka hard nproc 1000000

四、集群部署

1. 多Broker配置

在多台CentOS服务器上重复上述步骤，修改server.properties中的broker.id、listeners和log.dirs，启动多个Broker。

存储优化：配置多个磁盘路径，实现负载均衡，我可是吃过亏的。。

。

---