日志索引

Kafka的索引文件以稀疏索引的方式构造消息的索引。

它并不保证每个消息在索引文件中都有…每个日志分段文件对应两个索引文件偏移量索引文件用来建立消息偏移量到物理地址之间的映射时间戳索引文件根据指定的时间戳来查找对应的偏移量信息。

日志索引

Kafka的索引文件以稀疏索引的方式构造消息的索引。

它并不保证每个消息在索引文件中都有对应的索引项。

每当写入一定量的消息时偏移量索引文件和时间戳索引文件分别增加一个索引项。

1.1

日志分段文件达到一定添加时需要进行切分其对应的索引文件也需要进行切分。

满足以下一项条件即触发切分

日志分段文件的大小超过了broker端参数log.segment.bytes配置的值。

默认为1GB。

当前日志分段中消息的最大时间戳与当前系统的时间戳的差值大于log.roll.ms

或log.roll.hourse参数配置的值。

log.roll.ms的优先级高默认值为7天。

偏移索引文件或时间戳文件的大小达到broker端参数log.index.size.max.bytes配置的值。

默认值为10MB。

追加的消息偏移量与当前日志分段的偏移量之间的差值大于Integer.MAX_VALUE。

1.2

对应非活跃的日志分段其对应的日志及索引文件已经固定不需要再写入所以被设定为只读。

而当前获取的日志分段被设定为读写。

索引文件切分时会关闭当前正在写入的索引文件并设置为只读模式同时以可读写模式创建新的索引文件。

在创建索引文件时会为其预分配log.index.size.max.bytes大小的空间只有当索引文件进行切分时才把索引文件裁减到实际的数据大小。

1.3

relativeOffset4B:相对偏移量消息相对于baseOffset的偏移量。

当前索引文件的文件名即为baseOffset的值。

占用4个字节。

上面提到追加的消息偏移量与当前日志分段的偏移量之间的差值大于Integer.MAX_VALUE就触发日志分段切分因为relativeOffset不能用4个字节表示了。

1.3.1

List简称跳表。

本质是一种可以进行二分查找的有序链表。

在原有的有序链表上增加了多级索引。

提高了搜索、插入及删除性能。

跳跃表结构示意图

采用随机技术决定链表中哪些节点应增加向前指针及在该节点应增加多少个指针。

头节点需要足够的指针来满足可能构造最大级数的需要而尾节点不需要指针域。

查找算法首先在最高级索引查找最好一个小于目标元素的位置然后在跳到次高级索引继续查找直到跳到最底层为止。

1.3.2

Kafka的每个日志对象中使用来ConcurrentSkipListMap来保存各个日志分段每个日志分段的baseOffset作为key。

查找算法如下

根据跳跃表来确定目标偏移量所在的日志分段及索引文件。

计算出相对偏移量

目标偏移量

日志分段偏移量。

在索引文件中找到最大的不大于相对偏移量的索引项。

根据索引项中的position定位到具体的日志分段文件位置开始顺序查找目标的最终位置。

1.4

relativeOffset4B时间戳所对应的消息的相对偏移量。

1.4.1

每个追加的时间戳索引项中的timestamp必须大于之前追加的否则不予追加。

如果时间戳类型为LogAppendTime那么消息的时间戳必定能够保持单调递增。

类型则无法保证。

如果两个不同时钟的生产者同时往一个分区中插入消息则可能会造成当前分区的时间戳乱序。

1.4.2

每当写入一定量的消息时就会在偏移索引文件和时间戳索引文件中分别增加一个索引项。

两个文件增加索引操作是同时进行的但并不意味着两者指向同一个值。

查找日志分段将目标时间戳和每个日志分段中的最大时间戳逐一对比直到找到不小于目标时间戳的对应日志分段。

日志分段的最大时间戳是先查询该日志所对应的时间戳索引文件找到最好一条索引项若时间戳字段大于0则取其值否则取该日志分段的最近修改时间查找相对偏移量。

在时间戳索引中使用二分查找找到不大于目标时间戳的最大索引项来找到一个相对偏移量。

在偏移量索引文件中根据这个相对偏移量来查找到其物理位置。

从物理位置开始顺序查找最大的不小于目标时间戳的消息。