反向传播算法一、计算图二、一直是后面导数乘以当前自变量系数得出当前自变量的导数?*(我个人疑问)三、链式法则(反向传播的精髓一定搞明白不然没法向下继续学习)四、反向传播加法节点的反向传播乘法节点的反向传播(明显看出来受到相乘系数就是偏导)反向传播Backward Propagation 或 Back PropagationBP 算法指的是计算神经网络参数梯度的方法。简言之该方法根据微积分中的链式法则按相反的顺序从输出层到输入层遍历网络。该算法存储了计算某些参数梯度时所需的任何中间变量。复合函数的链式求导法则一、计算图计算图将计算过程用图表示出来。这里说的图是数据结构中的图通过多个节点和边表示连接节点的直线称为边。如上就是 100 × 2 150 × 3 650 的计算图表示。计算图的基本计算原则就是从输入出发、按照箭头方向从左到右依次进行计算最终得到输出结果。这个过程其实就是 前向传播forward。计算图的特点是可以通过传递“局部计算”获得最终结果。即只需根据与自己相关的信息输出接下来的结果。无论全局的计算有多么复杂各个节点所要做的就是进行局部计算并传递计算结果最终得出全局的复杂计算的结果如果增加更多的计算环节比如再乘以一个“零售加价系数”计算图如下所示如果我们进一步考虑当衣服的价格上涨输入变化时会多大程度上影响最后要支付的金额输出结果将输入的衣服价格记为( x (x(x)输出的支付金额记为( L (L(L)这其实就是要求导数值( ∂ L ∂ x (\frac{\partial L}{\partial x}(∂x∂L​)。在计算图上我们可以利用反向从右到左的传递来方便地计算导数。这个过程就可以叫做反向传播backward。这里衣服加1收到和他相乘个数影响就变成2如果再来一个相乘个数x那就是 2x这里最后零售价加价系数也是相乘1.1所以变成2.2x 这就是衣服加1最终总价影响变得是衣服单价他最终影响收到相乘的影响从而得出衣服单价对总价的导数如果衣服件数加1他的导数是110一定根据这简单举例明白这些局部偏导:这里每次自变量变化对应局部导数就是和自变量变化 相乘的那个数加法当前局部导数就是1没变化方式一顺着你的思路计算图反向传播求导正向传播先看数值变化如果衣服件数原来是 2现在加 1 变成 3。衣服的总价从 (100 \times 2 200) 变成了 (100 \times 3 300)也就是增加了 100。最终支付金额增加了 (100 \times 1.1零售系数 110)。反向传播求导数即图中的红色箭头看“衣服件数”到“乘法节点”这条边局部导数是衣服单价也就是100。看“加法节点”的右侧加法直接传递导数依然是100。看“乘法节点乘以1.1”这条边局部导数是零售系数1.1。最后把路径上的局部导数相乘(100 \times 1.1 \mathbf{110})。所以衣服件数对最终总价的导数是 110。方式二用纯数学公式推导最严谨我们把整个过程写成一个总价公式设 (Y) 为最终支付金额(x) 为衣服件数。(Y (衣服单价 \times x 裤子单价 \times 裤子件数) \times 零售系数)代入图中的数字(Y (100 \times x 150 \times 3) \times 1.1)(Y 110x 495)现在我们对 (x)衣服件数求导(\frac{\partial Y}{\partial x} 110)公式求导的结果也是 110。二、一直是后面导数乘以当前自变量系数得出当前自变量的导数?*(我个人疑问)在计算图里这被称为“上游传来的导数后面的导数”乘以“当前节点的局部导数也就是你说的当前自变量系数”。场景一单纯的乘法节点适用我疑问的规律假设函数是( y 3 x (y 3x(y3x)系数是 3。如果( x (x(x) 变化一点点( y (y(y) 的变化量就是( x (x(x) 变化量的 3 倍。所以( ∂ y ∂ x 3 (\frac{\partial y}{\partial x} 3(∂x∂y​3)。如果这个乘法节点前面还有更复杂的网络后面传回来的导数是( L ′ (L(L′)上游导数。那么( x (x(x) 的导数就是( L ′ × 3 (L \times 3(L′×3)。这就是你说的“后面导数 x 当前系数”。场景二加法节点你的规律的补充假设函数是( y x z (y x z(yxz)加法节点。如果( x (x(x) 变化一点点( y (y(y) 的变化量就是( x (x(x) 的变化量不会放大也不会缩小。所以加法节点的局部导数系数永远是 1。如果后面传回来的导数是( L ′ (L(L′)上游导数。那么( x (x(x) 的导数就是( L ′ × 1 L ′ (L \times 1 L(L′×1L′)。这也印证了你说的规律乘以当前系数加法节点系数是1相当于没变。三、链式法则(反向传播的精髓一定搞明白不然没法向下继续学习)反向传播将局部导数向反方向传递传递的原理基于链式法则。反向传播时将信号乘以节点的局部导数然后传递给下一个节点。仔细想下面这链式法则,很重要仔细想下面这链式法则,很重要仔细想下面这链式法则,很重要L 代表的就是最后整体计算的结果通常在神经网络中L 代表 Loss即最终的损失函数值在你之前看的价格计算图里L 就是最终的支付总金额举例:对于复合函数( z ( x y ) 2 (z (x y)^2(z(xy)2)令( u x y (u x y(uxy)则∂ z ∂ x ∂ z ∂ u ∂ u ∂ x 2 u × 1 2 ( x y ) \frac{\partial z}{\partial x} \frac{\partial z}{\partial u} \frac{\partial u}{\partial x} 2u \times 1 2(x y)∂x∂z​∂u∂z​∂x∂u​2u×12(xy)四、反向传播利用计算图的反向传播可以很容易地计算出输出关于输入的偏导数。加法节点的反向传播对于( z x y (z x y(zxy)( ∂ z ∂ x 1 (\frac{\partial z}{\partial x} 1(∂x∂z​1)( ∂ z ∂ y 1 (\frac{\partial z}{\partial y} 1(∂y∂z​1)。因此加法的反向传播会将上游传来的值原样向下游传递。乘法节点的反向传播(明显看出来受到相乘系数就是偏导)对于( z x y (z xy(zxy)( ∂ z ∂ x y (\frac{\partial z}{\partial x} y(∂x∂z​y)( ∂ z ∂ y x (\frac{\partial z}{\partial y} x(∂y∂z​x)。因此乘法的反向传播会将上游传来的值乘以输入的翻转向下游传递。这里在前向传播的过程就要记住得到的x是多少y是多少,并保存。因为这写值在反向传播的时候且是乘法节点时候会影响当前局部导数。所以在反向传播的时候一定要先执行一次前向传播