#作者孙德新

查看log日志文件(kafka-dump-log.sh)1、查看Log文件基本数据信息2、index文件健康性检查(--index-sanity-check)3、转储文件(--max-message-size)4、偏移量解码(--offsets-decoder)5、日志数据解析(--transaction-log-decoder)6、查询Log文件具体数据(--print-data-log)7、查看index文件具体内容8、查看timeindex文件具体内容9、验证日志文件10、使用kafka-run-class.sh查看log、index、timeindex数据

kafka转储日志工具可用于调试集群元数据目录的日志段和快照。

该工具将扫描提供的文件并解码元数据记录。

–deep-iteration

sanity中文健全性。

用于检查日志索引文件的健康状况确保它们的元数据是有效的并且能正确地指向消息的物理位置。

–key-decoder-class

指定一个自定义的解码器类来解码消息键用于反序列化键。

这类应实现kafka.serializer。

解码器特性。

自定义jar应该是在kafka/libs目录中提供。

–max-message-size

用于指定最大消息大小超过这个大小的消息会被视为无效消息并被忽略。

默认5242880

–offsets-decoder

用于指定消息的偏移量解码器通常用于在控制台打印出消息的偏移量。

日志数据解析为来自__consumer_offsets主题的偏移量数据。

–print-data-log

日志数据解析为来自__transaction_state主题的事务元数据

–value-decoder-class

用于指定一个自定义的值解码器类当你需要以特定格式如压缩或加密读取Kafka中的消息值时可能需要提供一个自定义的解码器。

用于反序列化消息。

这个类应该实现kafka。

序列化程序。

解码器特性。

自定义jar应该在kafka/libs目录中可用。

默认值kafka.serializer.StringDecoder

–verify-index-only

验证日志文件的索引的一个脚本。

这个参数的使用意味着你只想验证日志文件的索引而不是转储或者打印出日志文件的内容。

这通常用于确保日志文件的索引是有效的也可以用来检查日志文件是否损坏。

只需验证索引日志而不打印其内容。

–version

–print-data-log如果设置转储数据日志时打印消息内容。

如果指定了任何解码器选项则自动设置。

#在Kafka

/tmp/kafka/log/topic-log-3/00000000000000000000.log

2.0.0开始使用

/tmp/kafka/log/topic-log-0/00000000000000000000.log

~]#

/tmp/kafka/log/topic-log-0/00000000000000000000.log

~]#

/tmp/kafka-logs/testTopic-0/00000000000000000000.log

baseOffset:

baseOffset为起始位置lastOffset为终止位置count为本次消息数量。

2、index文件健康性检查(–index-sanity-check)

本参数可以查看、检查log、index、timeindex文件。

其中log只能查看数据。

~]#

/data1/kafka/zglt-0/00000000000000000000.index

Dumping

/data1/kafka/zglt-0/00000000000000000000.index

/data1/kafka/zglt-0/00000000000000000000.index

passed

/data1/kafka/zglt-0/00000000000000000000.log

Dumping

/data1/kafka/zglt-0/00000000000000000000.log

Starting

/data1/kafka/zglt-0/00000000000000000000.timeindex

Dumping

/data1/kafka/zglt-0/00000000000000000000.timeindex

/data1/kafka/zglt-0/00000000000000000000.timeindex

passed

check.3、转储文件(–max-message-size)

kafka-dump-log.sh

/data1/kafka/aaa-0/00000000000000000013.log

Dumping

/data1/kafka/aaa-0/00000000000000000013.log

Starting

135、日志数据解析(–transaction-log-decoder)

解析log、index等文件

/data1/kafka/aaa-0/00000000000000000013.log

Dumping

/data1/kafka/aaa-0/00000000000000000013.log

Starting

136、查询Log文件具体数据(–print-data-log)

./kafka-dump-log.sh

/data1/aaa-1/00000000000000000001.snapshot

--print-data-log

/data1/kafka/aaa-1/00000000000000000001.snapshotkafka-dump-log.sh

--files

/tmp/kafka-logs/testTopic-0/00000000000000000000.log

--print-data-log

baseOffset基准偏移量每条消息的开始即批消息中第一条记录的偏移量。

用来表示当前Segment中第一条消息的offset

lastOffset为批消息中最后一条记录的偏移量。

每个LogSegment都有一个基准偏移量baseOffset用来表示当前LogSegment中第一条消息的offset。

偏移量是一个64位的长整型数。

baseOffset

position表该记录在当前片段文件的文件偏移量。

即批消息的起始位置应是物理地址每个log文件中position都从0开始

CreateTime记录创建的时间在批消息中为批消息中最后一条记录的创建时间在记录中为记录的创建时间

size为批消息的大小从内容可以看出前一条批消息的position加上前一条消息的size结果为后一条消息的position

keysize表示key的长度如果为-1则表示没有设置key即keynull

valuesize表示一条记录value的长度。

实际消息体的长度。

如果为-1则表示消息为空。

magic表示本次发布kafka服务程序协议的版本号。

即消息格式的版本号对v2版本而言magic等于2是固定值。

compresscodec压缩工具

每个LogSegment都有一个基准偏移量baseOffset用来表示当前LogSegment中第一条消息的offset。

偏移量是一个64位的长整型数。

日志文件和两个索引文件都是根据基准偏移量(baseOffst)命名的名称固定为20位数字没有达到的位数则用0填充。

比如第1个LogSegment的日志文件名是00000000000000000000.log因此它的基准偏移量是0。

比如第2个LogSegment的日志文件名是00000000000000000133.log因此它的基准偏移量是133也说明了该LogSegment中的第一条消息的偏移量为133同时可以反映出第一个LogSegment中共有133条消息(偏移量从0至132的消息)。

/usr/local/kafka_2.13-2.7.1/bin/kafka-dump-log.sh

--files

/data1/kafka/aaa-0/00000000000000000000.log

--print-data-log

/data1/kafka/aaa-0/00000000000000000000.log

Starting

ABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZ]#

/usr/local/kafka_2.13-2.7.1/bin/kafka-dump-log.sh

--files

/data1/kafka/aaa-2/00000000000000000002.log

--print-data-log

/data1/kafka/aaa-2/00000000000000000002.log

Starting

/tmp/kafka-logs/testTopic-0/00000000000000000000.index

offset为索引值position为具体位置可以看到大概每隔600条消息就建立一个索引。

配置项为log.index.size.max.bytes来控制创建索引的大小;

offset:

/tmp/kafka-logs/testTopic-0/00000000000000000000.timeindex

输出如下

/data1/kafka/aaa-0/00000000000000000013.log

Dumping

/data1/kafka/aaa-0/00000000000000000013.log

Starting

/data1/kafka/aaa-0/00000000000000000013.index

Dumping

/data1/kafka/aaa-0/00000000000000000013.index10、使用kafka-run-class.sh查看log、index、timeindex数据

方式一

/data1/kafka/liantong-0/00000000000000000003.log

Dumping

/data1/kafka/liantong-0/00000000000000000003.log

Starting

/data1/kafka/liantong-0/00000000000000000003.log

--deep-iteration

/data1/kafka/liantong-0/00000000000000000003.log

Starting

hhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhh查看timeindex

./kafka-run-class.sh

/data1/kafka/liantong-0/00000000000000000003.timeindex

--deep-iteration

/data1/kafka/liantong-0/00000000000000000003.timeindex

timestamp:

/data1/kafka/liantong-0/00000000000000000003.index

--deep-iteration

/data1/kafka/liantong-0/00000000000000000003.index