前言

kafka有一道经典面试题：kafka是如何保证高吞吐率实现的。相信大家都可以答出来：

• 顺序读写：Kafka 将消息写入到了分区 partition 中，而分区中消息是顺序读写的。顺序读写要远快于随机读写。
• 零拷贝：生产者、消费者对于 kafka 中消息的操作是采用零拷贝实现的。
• 批量发送：Kafka 允许使用批量消息发送模式。
• 消息压缩：Kafka 支持对消息集合进行压缩。

那么，kafka是如何把消息写道磁盘上的呢？今天这篇文章就分析一下。

环境

• apache-zookeeper-3.7.0-bin
• kafka_2.13-3.0.0

消息持久化过程

创建主题

创建test主题

创建test主题,1个副本，1个分区

 ./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic test 

创建完成之后，我们可以看到kafka消息的存储目录下生成了test-0目录（kafka消息的存储目录是在config/server.properties配置文件里指定的，配置项为log.dirs）

kafka消息存储目录详解

进入到test-0目录，可以发现有5个文件，我们只需要关心.index和.log两个文件就行。其中.log存储的是消息的内容，.index文件存储的是消息的索引。

查看分区

kafka消息的组成的逻辑图如下：topic——>partition——>segment

一个主题topic可以有多个分区partition，我们创建的test主题，只有一个分区partition，所以是test-0。segment 是一个逻辑概念，其由两类物理文件组成，分别为“.index”文件和“.log”文 件。“.log”文件中存放的是消息，而“.index”文件中存放的是“.log”文件中消息的索引。

发送消息

./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

接收消息

 ./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning

观察.log文件和.index文件

查看.log文件,不能使用cat命令查看，需要使用kafka自带的工具进行查看，命令如下

./kafka-run-class.sh kafka.tools.DumpLogSegments --files /home/lyj/mq/kafka/kafka_2.13-3.0.0/data/kafka-logs/test-0/00000000000000000000.log --print-data-log

相关参数解释：

• offset：表示的是相对于该分区的记录偏移量，指的是第几条记录，比如0代表第一条记录。
• position：表示该记录相对于当前片段文件的偏移量。
• CreateTime:记录创建的时间。
• isvalid：记录是否有效。
• keysize：表示key的长度。
• valuesize：表示value的长度
• magic：表示本次发布kafka服务程序协议版本号。
• compresscodec：压缩工具。
• producerId：生产者ID（用于幂等机制）。
• sequence：消息的序列号（用于幂等机制）。
• payload：表示具体的消息

查看.index文件

分析两个文件的内容可以看到，我们总共发送了5条消息，log文件中偏移量offset从0变到了4，并且每条消息都记录了消息的偏移量（该topic下的第多少条消息），生成时间，大小，消息内容等。但是为什么在index文件里只有一条数据呢？这是因为index?件中并没有为数据?件中的每条消息都建?索引，?是采?了稀疏存储的?式，每隔?定字节的数据建??条索引。这样避免了索引?件占?过多的空间，从?可以将索引?件保留在 内存中。

结束

至此，关于kafka消息持久化的分享就结束了。

需要交流学习可以关注公众号【温故知新之java】，互相学习，一起进步。