梯度下降法
梯度下降法（英语：Gradient descent）是一个一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。
梯度
梯度的矢量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向变化最快，变化率最大（为该梯度的模）。
- 二元函数 z=f(x,y)\ z=f(x,y) z=f(x,y)有连续的一阶导数,则其梯度为：
gradf(x,y)=∂f∂xi⃗+∂f∂yj⃗=(∂f∂x,∂f∂y) grad f(x,y) = \frac{∂ f}{∂ x}\vec{i} + \frac{∂ f}{∂ y}\vec{j}=(\frac{∂ f}{∂ x}, \frac{∂ f}{∂ y}) gradf(x,y)=∂x∂fi+∂y∂fj=(
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
