前言消息中间件介绍1.

最近生产环境上准备部署ELFK日志监控先在测试环境部署单节点kafka验证调通相关配置特此记录kafka部署流程后续再补充kafka高可用方案

消息中间件介绍

订阅开源消息代理应用程序。

这个消息传递应用程序是用“scala”编码的。

基本上这个项目是由Apache软件启动的。

Kafka的设计模式主要基于事务日志设计。

KRaft模式

-------------------------------

docker-compode.yml

----------------------------------------

version:

bitnami/kafka:3.9.0environment:-

KAFKA_CFG_ZOOKEEPER_CONNECTzk-server:2181ports:-

19092:9092-

./config/server.properties:/opt/bitnami/kafka/config/server.propertiesnetworks:-

zk-kfkrestart:

unless-stoppedzk-server:container_name:

zk-serverimage:

ALLOW_ANONYMOUS_LOGINyesrestart:

alwaysnetworks:-

-------------------------------

docker-compode.yml

----------------------------------------

server.properties

-------------------------------

server.properties

----------------------------------------

num.network.threads3

socket.receive.buffer.bytes102400

socket.request.max.bytes104857600

num.partitions1

num.recovery.threads.per.data.dir1

offsets.topic.replication.factor1

transaction.state.log.replication.factor1

transaction.state.log.min.isr1#

kafka日志保留时间168小时

kafka清理日志间隔30000ms5分钟检查一次日志文件清理超过时间的日志

log.retention.check.interval.ms300000#

zookeeper连接配置

zookeeper.connectzk-server:2181sasl.enabled.mechanismsPLAIN,SCRAM-SHA-256,SCRAM-SHA-512

-------------------------------

server.properties

----------------------------------------验证

docker

KAFKA_CFG_ZOOKEEPER_CONNECTzk-server:2181

bitnami/kafka:3.9.0

KAFKA_CFG_ZOOKEEPER_CONNECTzk-server:2181

bitnami/kafka:3.9.0

KAFKA_CFG_ZOOKEEPER_CONNECTzk-server:2181

bitnami/kafka:3.9.0

KAFKA_CFG_ZOOKEEPER_CONNECTzk-server:2181

bitnami/kafka:3.9.0

KAFKA_CFG_ZOOKEEPER_CONNECTzk-server:2181

bitnami/kafka:3.9.0

2.设置--from-beginning参数表示从头开始消费消息表示所有历史消息都能看到

docker

KAFKA_CFG_ZOOKEEPER_CONNECTzk-server:2181

bitnami/kafka:3.4.0