对梯度回传的理解

最新推荐文章于 2026-03-05 17:30:01 发布

原创最新推荐文章于 2026-03-05 17:30:01 发布 · 4.9k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#算法 #线性代数

机器学习理论专栏收录该内容

95 篇文章

订阅专栏

本文探讨了神经网络中反向传播算法的工作原理及其与链式法则的关系。通过使用Jacobian矩阵和梯度乘积，文章详细解释了如何计算复合函数的导数，并将这些原理应用到神经网络的训练过程中。

参考 对梯度回传的理解 - 云+社区 - 腾讯云

神经网络的每一层可以看做是使用一个函数对变量的一次计算。在微分中链式法则用于计算复合函数的导数。反向传播时一种计算链式法则的算法，使用高效的特定运算顺序。

设x是实数，f和g是从实数映射到实数的函数。假设y=g(x)并且z=f(g(x))=f(y)。那么链式法则说的是

$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$

可以将这种标量情况进行扩展。假设x $\in$ $R^m$ ，y $\in$ $R^n$ ，g是从 $R^m$ 到 $R^n$ 的映射，f是从 $R^n$ 到R的映射。如果y=g(x)并且z=f(y)，那么

$\frac{dz}{dx_i}=\sum_j\frac{dz}{dy_i}\frac{dy}{dx_i}$

使用向量记法，可以等价地写成

$\bigtriangledown_x z = (\frac{\partial y}{\partial x})^T \bigtriangledown_yz$

这里 $\frac{\partial y}{\partial x}$ 是g的nxm的Jacobian矩阵。

从这里我们看到，变量x的梯度可以通过Jacobian矩阵 $\frac{\partial y}{\partial x}$ 和梯度 $\bigtriangledown_yz$ 乘积来得到。反向传播算法由由图中每一个这样的Jacobian梯度的乘积操作所组成。通常我们将反向传播算法应用于任意维度的张量，而不仅仅是用于向量。从概念上讲，这与使用向量的反向传播完全相同。唯一区别的是如何将数字排成网络以形成张量。可以想象，在运行反向传播之前，将每个张量变平为一个向量，计算一个向量值梯度，然后将该梯度重新构造成一个张量。从这种重新排列的观点上看，反向传播仍然只是将Jacobian乘以梯度。

为了表示值z关于张量X的梯度，记为 $\triangledown _X z$ ，就像X是张量一样。X的索引现在有多个坐标------例如，一个3维的张量由3个坐标索引。可以通过使用单个变量i来表示完整的索引元组，从而完全抽象出来。对所有可能的元组i， $\triangledown _X z_i$ 给出 $\frac{\partial z}{\partial X_i}$ 。这与向量中索引的方式完全一致， $(\triangledown _x z)_i$ 给出 $\frac{\partial z}{\partial X_i}$ 。使用这种记法，可以写出适用于张量的链式法则。如果Y=g(X)并且z=f(Y)，那么