这种动作#xff08;网页浏览#xff0c;搜索和其他用户的行动#xff09;是在现代网络上的许多社会功能的一个关键因素。

Kafka是一种高吞吐量的分布式发布订阅消息系统它可以处理消费者在网站中的所有动作流数据。

这种动作网页浏览搜索和其他用户的行动是在现代网络上的许多社会功能的一个关键因素。

这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

Kafka

通过O(1)的磁盘数据结构提供消息的持久化这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

高吞吐量

1)、提高扩展性因为消息队列解耦了处理过程有新增需求时只要另外增加处理过程即可。

2)、提高峰值处理能力在访问量剧增的情况下应用仍然需要继续发挥作用。

使用消息队列能够使关键组件顶住突发的访问压力而不会因为突发的超负荷请求而完全崩溃

3、提高系统的可恢复性消息队列降低了进程间的耦合度所以即使一个处理消息的进程挂掉加入队列中的消息仍然可以在系统回复后被处理1.2

Producer消息生产者产生的消息将会被发送到某个topicConsumer消息消费者消费的消息内容来自某个topicTopic消息根据topic进行归类topic其本质是一个Broker每一个kafka实例或者说每台kafka服务器节点就是一个broker一个broker可以有多个topic

2.下载

由于我下载的filebeat是7.9.3与这个版本filebeat配合的kafka版本为0.11--2.2.2

https://www.elastic.co/guide/en/beats/filebeat/7.9/kafka-output.html

Compatibility

listenersPLAINTEXT://ip[或者主机名]:9092

#配置监听端口

或者num.retention.ms可以多个参数同时设置时间最小生效

每个段文件的大小1G为默认值topic--partition--segement

zookeeper.connect10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

zookeeper.connect.timeout.ms6000

mkdir

kafka提供了多个命令来查看创建修改删除topic信息也可以通过命令来测试日志消息

[rootlocalhost

kafka-preferred-replica-election.sh

kafka-streams-

10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

--list

10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

--replication-factor

10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

--replication-factor

10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

--list

10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

--topic

10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

--topic

10.10.10.71:9092,10.10.10.72:9092,10.10.10.73:9092

--topic

10.10.10.71:9092,10.10.10.72:9092,10.10.10.73:9092

--topic

mytopic./kafka-console-consumer.sh

--bootstrap-server

10.10.10.71:9092,10.10.10.72:9092,10.10.10.73:9092

--topic

10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

--topic

10.10.10.71:2181,10.10.10.72:2181,10.10.10.73:2181

--topic