看源码是快速提升技术水平的方式之一，最近打算从kafka着手，分析其源码实现；

kafka的内核实现以Scala为主，而client实现以java为主；

因为一直在用spark的scala api做数据处理，因此可以大致读懂scala代码。scala也是运行在JVM之上，因此跟java有许多相似之处，比如下面的第一个问题。

这里先抛出两个问题：

一、下面这个语句在项目中用到过吗？主要作用是什么？

Runtime.getRuntime().addShutdownHook(new Thread("kafka-shutdown-hook") {
 override def run(): Unit = kafkaServerStartable.shutdown()
})

二、了解JMH吗？

看完今天的源码分析，就可以回答这个问题；

项目架构预览

项目使用gradle管理，包含的各个子项目如下所示：

下面对其中各个文件夹中项目功能进行说明；

bin/文件夹 - 主要存储系统可执行脚本，脚本本质上是调用的java/scala代码；比如kafka-server-start.sh 中的关键代码是：

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"

这行代码功能是运行 kafka包下面的Kafka类，这时core项目的Main入口；

checkstyle/文件夹下面没有代码，是一些编码风格的描述文件，与IDE配合使用，保证项目编码风格一致；

clients/文件夹下面的项目是kafka的重要组件，采用java实现，主要用于客户端，其中包括生产者和消费者的代码，如下图所示；

config/文件夹下是项目的配置文件，比如日志配置、zk配置等等；

connect/文件夹下面是网络层的通用库，比如定义了client的类型：

public enum ClientType {
 PRODUCER, CONSUMER, ADMIN;
}

连接可能发生的各种异常：

数据结构的定义：

core/文件夹下面的项目是kafka服务器的内核，其中核心启动类的关键代码如下：

Runtime.getRuntime().addShutdownHook(new Thread("kafka-shutdown-hook") {
 override def run(): Unit = kafkaServerStartable.shutdown()
})
kafkaServerStartable.startup()
kafkaServerStartable.awaitShutdown()

下面回答开篇的第一个问题，addShutdownHook函数主要目的是在JVM退出时，尝试吊起指定的run代码，在这里就是关闭服务器，即调用server的shutdown方法；

exmples/文件夹下面给出简单消费者与生产者的示例；

generator/文件夹下面主要是与kafka消息记录相关的公共代码，比如：MessageDataGenerator/HeaderGenerator等

jmh-bentchmarks/文件夹下主要是基于JMH框架开发的一些测试用例，关于JMH的优点不在本篇范畴之内。

log4j-appender/基于log4j封装的日志工具类

Streams/卡夫卡新增的流处理能力相关代码都在这个文件夹中；

Tools/文件夹下主要提供了一些辅助工具，比如压测工具

vagrant/里面时专门针对AWS提供的一些脚本；

====

综上：关键项目为core 和 client文件夹下面的项目，其余的如connect、generatoe、log4j-appender等项目都是为这两个项目服务。

推荐一篇kafka入门文章，英文原版需要梯子，下面给出翻译版：

好文翻译：Thorough Introduction to Apache Kafka