数值最优化—无约束问题最速下降法和Newton法

目录

• 一、参考
• 二、最速下降法
• 三、Newton法

一、参考

《数值最优化算法与理论》

二、最速下降法

从 数值最优化—无约束问题的下降算法与线性搜索 可知，负梯度方向$-\nabla f(x^{(k)})$是函数$f$在$x^{(k)}$处的一个下降方向。令$d^{(k)}=-\nabla f(x^{(k)})$。我们称$d^{(k)}$为函数$f$在$x^{(k)}$处的最速下降方向。相应的算法称为最速下降算法，如下：

1. 给定初始点$x^{(0)}\in R^n$，精度$ϵ>0$。令$k=0$。
2. 若$||\nabla f(x^{(k)})||\le ϵ$，则算法终止。得解$x^{(k)}$。否则，计算$d^{(k)}=-\nabla f(x^{(k)})$。转3。
3. 由线性搜素确定步长${\alpha }_k$。
4. 令$x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)},k=k+1$。转2。

三、Newton法

设$f$二次连续可微且对任意$x\in R^n,{\nabla }^{2}f(x)$正定。从 数值最优化—无约束问题的下降算法与线性搜索 可知，方向$d^{(k)}=-{\nabla }^{2}f(x^{(k)}{)}^{-1}\nabla f(x^{(k)})$是函数$f$在$x^{(k)}$处的下降方向。该方向称为Newton方向。它是$f$在$x^{(k)}$处的二次近似式：
$$f(x^{(k)})+\nabla f(x^{(k)}{)}^{T}s+\frac{1}{2}{s}^T{\nabla }^{2}f(x^{(k)})s\approx f(x^{(k)}+s)$$
的最小值点。或等价地，$d^{(k)}$是下面关于$d$的线性方程组的解：
$${\nabla }^{2}f(x^{(k)})d+\nabla f(x^{(k)})=0$$
此外Newton方向也可看成是在范数$||\cdot |{|}_{{\nabla }^{2}f(x^{(k)})}$下的最速下降方向，即：
$$d^{(k)}=-{\nabla }^{2}f(x^{(k)}{)}^{-1}\nabla f(x^{(k)})$$
是极小化问题：
$$\underset{d\in R^n,d\ne 0}{\min }\frac{\nabla f(x^{(k)}{)}^{T}d}{||d|{|}_{G_k}}$$
的解，其中$G_k={\nabla }^{2}f(x^{(k)})$。

求解无约束问题的Newton法如下：

1. 给定初始点$x^{(0)}\in R^n$，精度$ϵ>0$。令$k=0$。
2. 若$||\nabla f(x^{(k)})||\le ϵ$，则算法终止。得解$x^{(k)}$。否则，解线性方程组
   $${\nabla }^{2}f(x^{(k)})d+\nabla f(x^{(k)})=0$$
   得解$d^{(k)}$。
3. 由线性搜素确定步长${\alpha }_k$。
4. 令$x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)},k=k+1$。转2。