task4：西瓜书第五章（1）

本次是阅读西瓜书第五章，以下为笔者是在阅读第五章神经网络时一些之前不曾关注地方的补充。

1.误差逆传播算法主要目的是用于求链接系数与阈值，求解的思想是基于梯度下降的方法，负梯度方向对以上参数进行调整。需要注意的是在误差逆传播算法中同样需要关注梯度下降过程中学习率的问题。（学习率若太大则容易振动，太小则收敛速度又会太慢，需要合适地控制算法每一轮迭代中的更新步长。关于学习率个人认为吴恩达的课程中有很清晰的介绍：https://www.bilibili.com/video/BV164411b7dx?p=21）

2.关于全局最小和局部最小的问题是在选择采用梯度下降的策略时不可避免要遇到的挑战，目前主要有三种方式解决这个问题：
1）对参数分组初始化多个神经网络
2）使用模拟退火技术
3）使用随机梯度下降

3.什么是网络的泛化能力？

神经网路的评价指标与拟合评价不同（如：依据残差，拟合优度等），不是体现在其对已有的数据拟合能力上，而是对后来的预测能力，既泛化能力。网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律。