。

Topic是逻辑上的概念#xff0c;而Partition是物理上的概念。

每个Partition逻辑上对应一个log文件#xff0c;该log文件存储是Producer生产的数据。

Producer生产的数据被不断追加到该…1.概述

在Kafka架构不管是生产者Producer还是消费者Consumer面向的都是Topic。

Topic是逻辑上的概念而Partition是物理上的概念。

每个Partition逻辑上对应一个log文件该log文件存储是Producer生产的数据。

Producer生产的数据被不断追加到该log文件末端且每条数据都有自己的offset。

Kafka对于log文件是采取分片和索引机制。

设置3个分区,3个副本;

Properties();//2.给生产者配置对象添加配置信息prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,hadoop102:9092);prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,org.apache.kafka.common.serialization.StringSerializer);prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,org.apache.kafka.common.serialization.StringSerializer);prop.put(ProducerConfig.BATCH_SIZE_CONFIG,

16384);prop.put(ProducerConfig.LINGER_MS_CONFIG,

1);prop.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432);//3.创建生产者对象KafkaProducerString,

String

KafkaProducer(prop);//4.调用send方法,发送消息for

(int

ProducerRecordString,String(hy-test-topic,Integer.toString(i),Integer.toString(i)));}//5.关闭资源kafkaProducer.close();

}查看log.dirs

/kafka/brokers/topics/hy-test-topic/partitions/0/state{controller_epoch:49,leader:4,version:1,leader_epoch:0,isr:[4,2,3]}2.4

分区文件

名称描述类型默认log.segment.bytes单个日志文件的最大大小int1073741824(1G)

第一个segment文件00000000000000000000.log快要达到

00000000000000001187.log.log和.index、.timeindex文件是一起出现;

并且名称是以文件第一个offset命名的。

.log存储消息文件.index存储消息的索引.timeIndex时间索引文件通过时间戳做索引

2.5

使用kafka自带工具bin/kafka-run-class.sh

2.5.1

00000000000000000000.log最后一行显示的是

baseOffset:

00000000000000000000.indexoffset:

1186

/opt/module/kafka/bin/kafka-run-class.sh

--files

00000000000000000000.timeindex2.5.4

借用博主lizhitao

首先是用二分查找确定它是在哪个LogSegment中自然是在第一个Segment中。

打开这个Segment的index文件用二分查找找到offset小于或者等于指定offset的索引条目中最大的那个offset。

自然offset为6的那个索引是我们要找的通过索引文件我们知道offset为6的Message在数据文件中的位置为9807。

打开数据文件从位置为9807的那个地方开始顺序扫描直到找到offset为7的那条Message。

该机制是建立在offset是有序的。

索引文件被映射到内存中所以查找的速度还是很快的。

Kafka的Message存储采用了分区(partition)分段(LogSegment)和稀疏索引来达到了查找的高效性。

参考链接:https://cloud.tencent.com/developer/article/1846773