本文对比了多种深度学习优化算法，包括SGD、Momentum、AdaGrad、RMSProp、AdaDelta、Adam、AdaMax和Nadam。在稀疏数据场景下，建议使用学习率自适应的算法。SGD虽然训练时间长，但在良好配置下结果稳定，但易陷入鞍点。Adagrad、Adadelta和RMSprop表现相当。Nadam在许多情况下优于RMSprop和Adam，尤其适合复杂网络的快速收敛。
优化方法 SGD、momentum/Nesterov、AdaGrad、RMSProp、AdaDelta、Adam、AdaMax、Nadam 的大致对比。
（1）对于稀疏数据，尽量使用学习率可自适应的算法，不用手动调节，而且最好采用默认参数。
（2）SGD通常训练时间最长，但是在好的初始化和学习率调度方案下，结果往往更可靠。但SGD容易困在鞍点，这个缺点也不能忽略。
（3）如果在意收敛的速度，并且需要训练比较深比较复杂的网络时，推荐使用学习率自适应的优化方法。
（4）Adagrad，Adadelta和RMSprop是比较相近的算法，表现都差不多。
（5）在能使用带动量的RMSprop或者Adam的地方，使用Nadam往往能取得更好的效果。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
