当前位置：网站首页 > 热门文章 > 正文

Kafka学习记录之三 kafka教学

bigegpt 2024-10-19 02:48 7 浏览

物理存储

kafka的基本存储单元是分区。分区大小受到单个挂载点可用空间的限制。

log.dirs指定用于存储分区的目录清单，注意不要与日志目录混淆，log4j。properties文件里配置日志文件目录。

分区分配

示例：若有6个Broker,计划创建一个包含10个分区的主题，并且复制系数为3。那么kafka会有30个分区副本，在分区分配时，达到如下目标：

轮询

交替机架

如果配置了机架信息，则按照交替机架的方式来选择broker

前提：borker0,borker1,broker2放置在同一个机架上，borker3,borker4,broker5放置在同一个机架上

执行：不再按按0-5的顺序来选择broker，而是按照0，3，1，4，2，5的顺序来选择。再按轮询来执行后，如果一个机架下线，还有其它副本活跃。

注意：broker分配分区时并没有考虑可用空间和工作负载问题。

文件管理

kafka为每个主题配置了数据保留期限，保留多长时间或保留数据量大小。

每个分区被分成若干个片段，默认每个片段1GB或一周数据，以较小的为准。达到片段上限，则关才当前文件，打开下一个新文件。

正在写入的片段叫活跃片段（永远不会被删除）

borker为每个片段打开一个文件句柄，包括活跃的和不活跃的，这样会导致打开过多的文件句柄，所以操作系统必须按实际情况做调优。

文件格式

kafka使用零复制技术给消费者发送消息，避免了对生产者已经压缩过的消息进行解压和再压缩。

除了键、值和偏移量外，消息里还包含消息大小、校验和、消息格式版本号、压缩算法(Snappy,GZip和Lz4)和时间戳。

生产者端使用压缩功能（极力推荐），那发送的批次越大，就意味着在网络传输和磁盘存储方面会获得越好的压缩性能。

Kafka附带一个叫DumpLogSegment的工具，查看每个消息的偏移量、检验和、魔术数字节、消息大小和压缩算法。

bin/kafka-run-class.sh kafka.tools.DumpLogSegments

 --deep-iteration 显示被压缩到包装消息里的消息

kafkatools