Critical Point ( local minima && saddle point)

        当我们训练模型的时候，随著参数不断的 update，training 的 loss 不会再下降，但这时候的 loss 还没有到我们希望看到的样子，那很有可能是 deep network，没有发挥它完整的力量，所以 Optimization 显然是有问题的。

        但是不管我们怎么 train 我们的模型，loss 迟迟不下降，就会猜想可能 loss 在下降的过程中遇到了微分为 0 的点，卡住了。每到这时，大家总会说这是 local minima 局部最小点，但是除了 local minima 以外，saddle point 鞍点也可能会造成微分为 0 。把梯度为 0 的点，我们统称 Critical Point 。

对于 local minima 和 saddle point 来说，虽然同样都是梯度为 0 ，但是：

• 因為如果是卡在local minima，那可能就没有路可以走了,因為四周都比较高,你现在所在的位置已经是 loss 最低的点，四周的 loss 都会比较高。
• 如果今天是卡在 saddle point 的话，saddle point 旁边还是有路可以让 loss 更低的。
</