谷歌推出开源 Python 库“Tangent”，支持前向模式自动微分

雷锋网 AI科技评论消息，日前，Google Research Blog 推出开源 Python 库“Tangent”。据介绍，这个库与现有的机器学习库相比，存在诸多优势，可以大大改善了用户的使用体验。

雷锋网 AI科技评论编译整理如下：

Tangent 是一个全新的免费开源 Python 库，可以用于自动微分。与其他现有的机器学习库相比，Tangent属于源到源（source-to-source）系统，可以用 Python f 函数调用新的 Python 函数，计算出 f 的梯度。对用户来说，这大大改善了梯度计算的可见性，更易于编辑和调试。当调试和设计机器学习模型时，Tangent 增加了许多新功能:

• 易于调试反向传递（backward pass）

• 快速进行梯度surgery

• 前向模式自动微分

• 高效的Hessian-vector product

• 代码优化

本文概述了Tangent API接口，包括如何使用Tangent 来生成易于解释、调试和修改的Python梯度代码。

在图像、视频、音频和文本机器学习模型中，神经网络(NNs)的出现带来了巨大的进步。其实在这些任务中，训练神经网络的基本概念已经存在30年了，我们通常称之为反向模式自动微分（reverse-mode automatic differentiation）或者反向传播（backpropagation）。它包括在神经网络中的两次传递：首先运行“前向传递（forward pass）”来计算每个节点的输出值，然后再运行“反向传递”来计算一系列的导数，从而确定如何更新权重，以提高模型的准确度。

在训练神经网络、研究新的架构的过程中，我们要能正确、高效、轻松地计算出导数值。此外，当模型还没训练好或者想要构建一些连自己都不太理解的新东西时，也要能够调试这些导数。自动微分也称为“autodiff”，是一种计算电脑程序导数（数学上的函数）的技术，几乎所有的机器学习库都会用到它。

现有的库通过跟踪程序的执行过程来实现自动微分（如 TF Eager, PyTorch 和 Autograd），或者通过构建动态数据流图来进行微分(如 TensorFlow)。与此相反， Tangent 可以通过 Python 源代码提前自动微分，还可以生成Python源代码作为输出。

因此，你最终能像读取程序的剩余部分一样读取自动微分代码。对那些既想用 Python 编写模型，又想在读取和调试自动微分代码时不牺牲速度和灵活性的研究人员和学生来说，Tangent 非常有用。

在Tangent 中构建模型不需要特殊的工具或间接方法，非常易于检查和调试。Tangent 基于一个非常大并且正在增长的 Python 子集，能支持其他 Python 深度学习库所不具备的自动微分特性，性能高效，并能与 TensorFlow 和 NumPy 兼容。

Python代码自动微分

如何自动生成Python代码的导数? 像 tf.exp 和 tf.log 这些数学函数已经含有能帮助我们建立反向传递的导数了，同样，子程序、条件和循环等句段也具有反向传递版本。Tangent 支持为每个 Python 句法生成导数代码，也能调用许多 NumPy 和 TensorFlow 函数。

Tangent 具备单一功能 API：

下面是一张动图，它描述了调用 tangent.grad 之后执行的操作。

可以运行如下代码输出求导结果：

执行命令后，tangent.grad 首先抓取传来的 Python 函数源代码。Tangent 有一个庞大的 Python 句法求导方法库，类似于 TensorFlow Eager 函数。然后，tangent.grad 函数会反向走查代码，查找匹配的反向传递方法，并将其添加到导函数的末尾。这种反序处理过程所用的技术就叫反向模式自动微分（reverse-mode automatic differentiation）。

上面的 df 函数只适用于标量(非数组)输入。Tangent 也支持以下功能：

• 使用 TensorFlow Eager 函数处理阵列

• 子程序

• 控制流

虽然一开始就能利用 TensorFlow Eager，但 Tangent 并没有与数值库相关联，我们也很乐意看到 PyTorch 或 MXNet 求导方法的添加请求。

下一步

Tangent现在已经在github.com/google/tangent开源了，大家可以点击下载，按照说明安装。因为仍在实验阶段，所以难免有一些 bug。如果大家发现了 bug 并在 GitHub 上说明，我们会尽快解决。

我们正从 Python 的多个层面为 Tangent 提供支持(例如闭包、内联函数定义、类、更多的 NumPy 和 TensorFlow 函数)。我们还希望在未来添加更高级的自动微分和编译器功能，比如在内存和计算之间自动平衡(Griewank and Walther 2000；Gruslys et al., 2016)、更高效的优化、lambda lifting等。

我们希望能将Tangent社群发展壮大，欢迎大家踊跃提出修补和新特性的方面的需求。

via：Google Research Blog

雷锋网 AI科技评论编译整理。