37、神经网络反向传播算法详解

神经网络反向传播算法详解

在神经网络的训练过程中，反向传播是一个至关重要的环节。它主要用于根据当前各节点的值以及输出节点的目标值，来确定对权重（包括偏置权重）的调整量。接下来，我们将详细探讨反向传播的相关内容。

1. 随机梯度下降

反向传播最常用的方法是随机梯度下降。“随机”意味着权重最初是随机分配的，而梯度下降方法则在每次前向传播结束后应用。其核心思想是将均方误差 $E$ 视为隐藏层和输出层节点值、权重、输入节点值以及输出节点目标值的函数。

为了便于理解，我们先考虑一个单一变量，即权重 $W$。当我们绘制 $E$ 关于 $W$ 的图像（保持其他变量不变）时，当前位置标记为 $A$，而我们期望达到的是最小值点 $M$。

梯度下降的具体做法是计算曲线在点 $A$ 处的斜率（即梯度），然后将权重 $W$ 的值减少该梯度值的一定比例。这里，梯度表示当另一个变量 $x$ 有微小变化时，依赖于 $x$ 的变量 $y$ 的变化量（假设其他影响 $y$ 的变量保持不变）。在微积分中，这个量被称为“$y$ 关于 $x$ 的偏导数”，我们用 $g(y,x)$ 表示“$y$ 关于 $x$ 的梯度”。

找到 $E$ 关于某个权重（如 $w_{12}$）的梯度 $g(E,w_{12})$ 后，我们将该权重的值减少这个梯度值的一定比例，这个比例对于所有权重都是相同的，被称为学习因子，用 $\alpha$ 表示。学习因子的选择非常关键，较小的 $\alpha$ 值（谨慎学习方法）可能导致需要大量的迭代才能接近最小值点 $M$；而较大的 $\alpha$ 值可能会使权重调整过度，导致误差反而增大。在这个例子中，我们选择 $\alpha = 0.1$。