多层全连接神经网络（五）---反向传播算法

对于有需要讲解链式法则的朋友，后续会补充。

反向传播算法

        本质上反向传播算法只是链式法则的一个应用。例如，通过计算图可以将这个计算过程表达出来， 如图3.20所示。

        上面的数字表示其数值，下面的数字表示求出的梯度，我们可以一步一步地看看反向传播算法的实现。首先从最后开始，梯度当然是1，然后计算，接着计算，这样一步一步地就求出了 。
        直观上看反向传播算法是一个优雅的局部过程，每次求导只是对当前的运算求导，求解每层网络的参数都是通过链式法则将前面的结果求出不断选代到这一层的，所以说这是一个传播过程。