AI大神吴恩达老师深度学习最详细笔记之14—计算图的导数计算

教程是本人学习吴恩达老师DeepLearing系列课程中整理的最为详细的学习笔记。学习视频主要来自B站https://www.bilibili.com/video/BV1FT4y1E74V?，以及DeepLearning官方网站https://www.coursera.org/specializations/deep-learning。该系列课程总共有180多个，我会将学习笔记陆续分享出来，为有兴趣深度学习的同仁提供便利。再次由衷感谢吴恩达老师的精彩讲解和无私奉献！

特别说明：图片来源于吴恩达老师视频截图。

上个视频中，我们看到一个例子，使用流程图来计算函数J。现在我们清理一下流程图的描述，看看你如何利用它计算出函数J的导数。

所以这是一个流程图。假设你要计算J对v的导数，那么该怎么计算呢？

比如说，我们要把这个v值拿过来，改变一下，那么J的值会怎么变呢？所以定义上J是3v，现在v等于11，所以如果你让 v增加一点点，比如到11.001，那么J是3v，现在33就增加到33.003。所以这里v增加了0.001，然后最终结果是J增加量为v增加量的3倍，所以J对v的导数就等于3，即=3。因为对于任何v的增量，J都会有三倍v的增量。而且这类似于我们在上一个视频中的例子，f(a)=3a，然后我们推导出df(a)/da，稍微简化点写为df/da=3。

所以这里我们有J= 3v，所以dJ/dv就等于3。这里J扮演了f的角色，v扮演了a的角色。

在之前的视频里的例子，在反向传播算法中的术语，我们看到如果你想计算最后输出变量的导数，使用你最关心的变量对v的导数，那么我们就做完了一步反向传播。

我们再来看另外一个例子。是多少呢？话句话说，如果我们提高a 的数值，对J的数值有什么影响呢？好，我们来看看这个例子，变量a=5，我们让它增加到5.001，那么对v的影响就是a+u，之前是11，现在变成了11.001。从上面可以看到，现在J变成了33.003了。所以我们看到的是如果你让a增加0.001，J增加0.003，那么增加a，也就是说你把这个5换成某个新值，那么a的改变量就会传播到流程图的最右，所以J最后是33.003。所以J的增加量是3乘以a的增量，意味着这个导数是3，即=3。

要解释这个计算过程其中一种方式是，如果你改变了a，那么也会改变v，通过改变v，也会改变J。所以J值的净变化量，当你把a值提高一点点，这就是J的变化量。首先，a增加了v也会增加，v增加多少呢？增加了一个量，这取决于，然后v的变化导致J也在增加。所以这在微积分里实际上叫链式法则。如果a影响到v影响到J，那么当你让a变大时，J的变化量就是当你改变a时v的变化量乘以改变v时J的变化量。在微积分里这叫链式法则。我们从这个计算中看到，如果你让a增加0.001，v也会变化相同的大小，所以就等于1。事实上，如果你代入进去，我们之前算过等于3，等于1,所以这个乘积3×1实际上就给出了正确答案，就等于3。

这张小图表示了如何计算，就是这个对这个变量的导数，它可以帮你计算，所以这是另一步反向传播计算。

现在我想介绍一个新的符号约定。当前编程实现反向传播时，通常会有一个最终输出值是你要关心的，最终的输出变量。你真正想要关心或者说优化的，在这种情况下，最终的输出变量是J，就是流程图里最后一个符号。所以有很多计算尝试，计算输出变量的导数，所以d输出变量，对某个变量的导数，我们就用d var命名。所以在很多计算中你需要计算最终输出结果的导数，在这个例子里是J，还有各种中间变量，比如a,b,c,u,v等。当你在软件里实现的时候，变量名叫什么呢？你可以做的一件事是，在python中，你可以写一个酣畅的变量名， 比如dFinalOutputVar除以dvar，但这个变量名有点长，我们就用dJdvar，但因为你一直对dJ求导，对这个最终输出变量求导，我们这里要介绍一个新的符号，在程序里，当你编程的时候，在代码里，我们就用变量名dvar来表示那个量。好，所以在程序里是dvar表示导数。你关心的最终变量J的导数，有时最后是L，对代码中各种中间量的导数，所以代码里这个东西，你用dv表示这个值，所以dv就等于3，你的代码表示就是da这也等于3。

好，所以我们通过这个流程图，部分完成的后向传播算法，我们将在下一张幻灯片看看这个例子剩下的部分。

我们清理出一张新的流程图。我们回顾以下，到目前为止，我们一直在往回传播，并计算出dv等于3。再次，dv的定义是，就是一个变量名，在代码里是。我们发现da=3，再次，da是代码里的变量名，其实代表的值。大概手算了一下，两条线怎么计算反向传播。

好，我们继续计算导数，我们看看这个u值，那么是多少呢？通过之前类似的计算，现在我们从u=6出发，如果令u增加到6.001，那么v之前是11,现在变成了11.001了，J就从33变成了33.003了,所有J增加量是3倍，所以这就等于你对u的分析很类似对a的分析,实际上折计算起来就是，有了这个，我们就可以算那个结果是3。所以我们还有一步反向传播，我们最终计算出du也等于3，这du当然就是。

现在，我们仔细看看最后一个例子，呢？想象一下，如果你改变了b的值，你想要然后变化一点，让J值达到最大，那么导数是什么呢？这个J函数的斜率，当你稍微改变了b值之后，事实上，使用微积分的链式法则，这可以写成两者的乘积，，如果你改变b 一点点，所以b 变成比如说3.001，它影响J的方式是，首先会影响u，它对u的影响有多大呢？u的定义是b*c，所以b=3时，这是是6，现在变成了6.002了，对吧，因为在我们的例子中，c等于2，所以这就告诉我们等于2，当你让b增加0.001时，u就增加了2倍，所以就等于2。现在我们想u已经增加量是b的两倍，那么是多少呢？我们已经弄清楚了，这等于3,所以让这两部分相乘，我们发现等于6。好，这就是推导。

第二部分的推导，其中，我们想知道u增加0.002会对J有什么影响？实际上等于3，这就告诉我们u增加0.002之后，J上升了3倍，那么J应该上升0.006对吧？这可以从=3推导出来。如果你仔细看看这些数学内容，你会发现，如果b变成3.001，那么u就变成6.002，v变成11.002，所以这是a+u，这是5+u，然后J就等于3v，所以答案就是33.006。对吧，这就是如何得到=6。为了填进去，如果我们反向走的话，这是db等于6，而db其实是python代码中的变量名，表示。

如果你同时计算出，结果这是*，结果是9。在最后一步我们可以推出dc等于9。

所以，这个视频的要点是对于那个例子，当计算所有这些导数时，最有效的办法是，从右到左计算，跟着这个红色箭头走。特别是，当我们第一次计算对v的导数时，之后再计算对a的导数就可以用到。对u的导数，比如说，可以帮助计算对b的导数，然后对c的导数。所以这是一个计算流程图，就是正向或者说从左到右的计算来计算成本函数J，你可能需要优化的函数，然后反向从右到左计算导数。如果你不熟悉微积分或链式法则，也不用怕，在下一个视频中，我们会再过一遍，在逻辑回归的背景下过一遍，并给你们介绍需要做什么，才能编写代码，实现logistic回归模型中的导数计算。