1 前言
在tensorflow.keras中，callbacks能在fit、evaluate和predict过程中加入伴随着模型的生命周期运行，目前tensorflow.keras已经构建了许多种callbacks供用户使用，用于防止过拟合、可视化训练过程、纠错、保存模型checkpoints和生成TensorBoard等。通过这篇文章，我们来了解一下如何使用tensorflow.keras里的各种callbacks，以及如何自定义callbacks。
2 使用callbacks
使用callbacks的步骤很简单，先定义callbacks，然后在model.fit、model.evaluate和model.predict中把定义好的callbacks传到callbacks参数里即可。
以最常见的ModelCheckpoint为例，使用过程如下示例：
...
model_checkpoint_callback = tf.keras.callbacks.ModelCheckpoint(
filepath=filePath,
save_weights_only=True,
monitor='val_accuracy',
mode='max')
model.fit(x, y, callbacks=model_checkpoint_callback)这样在模型训练时，就会将模型checkpoints存储在对应的位置供后续使用。除了ModelCheckpoint，在Tensorflow 2.0中，还有许多其他类型的callbacks供使用，让我们一探究竟。
2.1 EarlyStopping
这个callback能监控设定的评价指标，在训练过程中，评价指标不再上升时，训练将会提前结束，防止模型过拟合，其默认参数如下：
tf.keras.callbacks.EarlyStopping(monitor='val_loss',
min_delta=0,
patience=0,
verbose=0,
mode='auto',
baseline=None,
restore_best_weights=False)其中各个参数：
- monitor：callbacks监控的评价指标。
- min_delta：计作指标提升的最小度量。
- patience：当评价指标没有提升时，等待的epochs数量，超过此数没有提升后训练将停止。
- verbose：是否打印日志。
- mode：设定监控指标的模式，如监控指标是否下降、上升或者根据指标名字自动推断。
- baseline：监控指标的基准，当模型训练结果不及标准线，训练将停止。
- restore_best_weights：是否从训练效果最好的epoch恢复模型，如果设置成False，将从最后一个step的模型权重恢复模型。
2.2 LearningRateScheduler
这个callback能在模型训练过程中调整学习率，通常而言，随着训练次数的变多，适当地降低学习率有利于模型收敛在全局最优点，因此这个callback需要搭配一个学习率调度器使用，在每个epoch开始时，schedule函数会获取最新的学习率并用在当前的epoch中：
tf.keras.callbacks.LearningRateScheduler(
schedule, verbose=0
)
# 调度函数在10个epoch前调用初始学习率，随后学习率呈指数下降
def scheduler(epoch, lr):
if epoch < 10:
return lr
else:
return lr * tf.math.exp(-0.1)
model = tf.keras.models.Sequential([tf.keras.layers.Dense(10)])
model.compile(tf.keras.optimizers.SGD(), loss='mse')
callback = tf.keras.callbacks.LearningRateScheduler(scheduler)
history = model.fit(np.arange(100).reshape(5, 20), np.zeros(5),
epochs=15, callbacks=[callback], verbose=0)
2.3 ReduceLROnPlateau
相比于LearningRateScheduler，ReduceLROnPlateau不是按照预先设定好的调度调整学习率，它会在评价指标停止提升时降低学习率。
tf.keras.callbacks.ReduceLROnPlateau(
monitor='val_loss', factor=0.1, patience=10, verbose=0,
mode='auto', min_delta=0.0001, cooldown=0, min_lr=0, **kwargs
)其中重要参数：
- factor：学习率降低的程度，new_lr = lr * factor。
- cooldown：重新监控评价指标前等待的epochs。
- min_lr：允许的学习率最小值。
2.4 TensorBoard
TensorBoard能很方便地展示模型架构、训练过程，这个callback能生成TensorBoard的日志，当训练结束后可以在TensorBoard里查看可视化结果。
tf.keras.callbacks.TensorBoard(
log_dir='logs', histogram_freq=0, write_graph=True,
write_images=False, write_steps_per_second=False, update_freq='epoch',
profile_batch=2, embeddings_freq=0, embeddings_metadata=None, **kwargs
)其中重要参数：
- log_dir：日志输出的路径。
- histogram_freq：计算激活函数和权重直方图的频率，如果设置为0，则不计算直方图。
- write_graph：是否在TensorBoard中可视化图像。
- update_freq：取值为batch或epoch或整数，将在指定的过程结束后将损失和评价指标写入TensorBoard。如果设置为整数，则意味着在设定数量的样本训练完后将损失和评价指标写入TensorBoard。
2.5 CSVLogger
顾名思义，这个callback能将训练过程写入CSV文件。
tf.keras.callbacks.CSVLogger(
filename, separator=',', append=False
)其中重要参数：
- append：是否接着现有文件继续写入日志。
2.6 TerminateOnNaN
在损失变为NaN时停止训练。
tf.keras.callbacks.TerminateOnNaN()2.7 自定义callback
除了上述callback外，还有一些callback可以查询TensorFlow官网[1]，在使用多个callbacks时，可以使用列表将多个callbacks传入、或者使用tf.keras.callbacks.CallbackList[2]。除此之外，也可以自定义callback，需要继承keras.callbacks.Callback，然后重写在不同训练阶段的方法。
training_finished = False
class MyCallback(tf.keras.callbacks.Callback):
def on_train_end(self, logs=None):
global training_finished
training_finished = True
model = tf.keras.Sequential([tf.keras.layers.Dense(1, input_shape=(1,))])
model.compile(loss='mean_squared_error')
model.fit(tf.constant([[1.0]]), tf.constant([[1.0]]),
callbacks=[MyCallback()])
assert training_finished == True3 总结
本文总结了若干常用的tf.keras.callbacks，实际工作中，请按需使用，并且查看tf.keras.callbacks的官方文档确认参数取值。
希望这次的分享对你有帮助，欢迎在评论区留言讨论！
参考资料
[1] tf.keras.callbacks: 'https://www.tensorflow.org/api_docs/python/tf/keras/callbacks'
[2] tf.keras.callbacks.CallbackList: https://www.tensorflow.org/api_docs/python/tf/keras/callbacks/CallbackList
