副本基本信息

• 副本作用：提高数据的可靠性
• kafka 默认副本为1，生产环境一般设置为 2
• kafka 副本分为 leader 、follower ，生产者数据只会发给 leader ，follower 主动找leader 同步数据

Leader Broker 故障处理

名词说明

LEO：Log End Offset 副本最后一个offset +1，相当于offset 的长度

HW：Height Watermart，所有副本中最小的LEO

follower 故障 处理步骤

• 将故障Broker 从ISR中移除
• 这个时期 Leader 和正常的Broker 正常接收数据
• 待Broker 恢复后，Follower 读取本地磁盘中的 HW，将log 文件中高于HW 的数据截取掉，从HW 开始向Leader 同步
• 等该Follower 的LEO 大于等于改Partition 的HW 后，就可以重新加入ISR

Leader 故障处理步骤

• 将故障的Broker 0 从ISR 中移除
• 选举出新的Leader （按照 controller 的注册顺序 + ISR 中的顺序），Broker 1 成为leader
• 其余的Follower 将高于HW 的数据删除，然后在向leader同步数据
• 注：leader 故障后，不能保证数据不丢失，只能保证副本之间的数据一致

文件存储

文件存储机制

topic 是一个逻辑上的概念，partiton 是一个物理概念 每个partition 对应一个log 文件，该log 文件中存储的是produce 产生的数据， produce 产生的数据会不断追加到log 文件末尾，为防止文件过大，kafka 采取了 分片和索引机制，将每个partiton 分割为多个 segment，每个segment 文件内包含后 ”.index“,".log",".timeindex" 等文件，这些文件位于一个文件夹，该文件夹命名规则为 topic名称+分区序号，

“.index”:存储的是索引，文件名以当前segment 的第一条数据的offset 命名

“.log” :存储的是数据，文件名以当前segment 的第一条数据的offset 命名

“.timeindex”:时间戳索引文件

segment 文件内容

通过系统工具查看 segment 文件

 #查看  index 文件
 /home/software/kafka_2.13-3.1.0/bin/kafka-run-class.sh  kafka.tools.DumpLogSegments --files ./00000000000000000000.index
 #内容如下：
 offset: 47 position: 4184
offset: 283 position: 10906
offset: 483 position: 17380
offset: 587 position: 21492
offset: 776 position: 25732
注：
1、index 为稀疏索引，大约往log 文件中记录4Kb，会往index 文件记录一条索引，
通过 log.index.interval.bytes  设置，默认为4kb
2、index 文件中  offset 值为相对文件开始位置的偏移量， position 为该偏移量对应的实际位置

/home/software/kafka_2.13-3.1.0/bin/kafka-run-class.sh  kafka.tools.DumpLogSegments --files 00000000000000000000.log 
#内容如下：
Starting offset: 0
baseOffset: 0 lastOffset: 3 count: 4 baseSequence: -1 lastSequence: -1 producerId: -1 producerEpoch: -1 partitionLeaderEpoch: 0 isTransactional: false isControl: false position: 0 CreateTime: 1648276339813 size: 92 magic: 2 compresscodec: none crc: 2021377597 isvalid: true
baseOffset: 4 lastOffset: 4 count: 1 baseSequence: -1 lastSequence: -1 producerId: -1 producerEpoch: -1 partitionLeaderEpoch: 0 isTransactional: false isControl: false position: 92 CreateTime: 1648276351759 size: 82 magic: 2 compresscodec: none crc: 3749195162 isvalid: true

文件清理机制

文件清理策略

 #清理策略可选方案为   delete   、compact，
delete：基于时间清理的前提下，根据segment 中 “.timeindex”最大的时间来判断，最大时间超过的配置值，执行delete ，没有超过，不执行删除，直到超过
compact: 根据key 进行数据数据覆盖，只保留key 的最新值
#brlog.cleanup.policyy=delete    #默认值

高效读取数据

• kafka 本身采用分布式集群，可以采用分区技术，并行度高
• 读数据时采用稀疏索引，可以快速定位数据
• 顺序写磁盘：produce 生产的数据通过 追加的方式写入log 文件中，为顺序写，效率高（同样的硬盘，顺序写是随机写性能的6倍）
• 页缓存+零拷贝技术
• 零拷贝：kafka 的数据加工操作交由生产者和消费者处理，kafka Broker 应用层不关心存储的数据，因此不需要将通过页缓存的数据复制到 kafka Broker 不用应用层，而是直接通过网卡返回
• 页缓存：kafka 重度依赖底层操作系统的pageCache ，有写入操作时，操作系统只是将数据写入PageCache，当读操作时，先从PageCache 读取，找不到时再从磁盘读取