最优化方法小结

此前准备最优化算法考试时整理的，都是一些比较简单且常用的最优化算法，没有放公式的推导，也还有很多相关的算法，感兴趣的话可以参考《最优化方法》（上课用的课本，红皮的，16k，还蛮经典的，公式推导也很详细）。
（讲课的老师真的非常认真，一言一行都带着对数学的喜爱）

一维搜索算法

Fibonacci法与黄金分割法

• Fibonacci法使用前首先要求解出计算函数值的次数n；
• Fibonacci的优点：可使原始区间长度与最终区间长度的比值达到最大值；缺点：每次区间缩短率 $\frac{F_{i-1}}{F_i}$ 不定，计算量大
• 黄金分割法是Fibonacci法的极限形式，缩短率定为0.618
• 黄金分割法缩短率的计算：每次保留区间 $(b-x_1)$, $(x_2-a)$ 的概率相等，即
  $$b-[a+p(b-a)]=[a+(1-p)(b-a)]-a$$

黄金分割法步骤

• $ste{p}_1$: $x_2=a+0.618(b-a)$,$f_2=f(x_2)$,转$ste{p}_2$
• $ste{p}_2$: $x_1=a+0.382(b-a)$,$f_1=f(x_1)$,转$ste{p}_3$
• $ste{p}_3$: 若$|b-a|<err$，$x^{\ast }=\frac{(b+a)}{2}$
• $ste{p}_4$:
  • 若$f_1<f_2$,则$b=x_2,x_2=x_1,f_2=f_1$,转$ste{p}_2$;
  • 若$f_1>f_2$,则$a=x_1,x_1=x_2,f_1=f_2$,转$ste{p}_5$;
  • 若$f_1=f_2$,则$a=x_1,b=x_2$,转$ste{p}_1$.
• $ste{p}_5$: $x_2=a+0.618(b-a)$,$f_2=f(x_2)$，$ste{p}_3$

进退法

• 进退法用于求解下单峰区间

平分法

类似于二分搜索
设$f(x)$ 为下单峰函数,若$f(x)$ 在$[a,b]$ 具有连续的一阶导数,且$f^{\prime }(a)<0$,$f(b)>0$
取$c=(a+b)/2$,若$f^{\prime }(c)=0$,则c为极小点;
若$f^{\prime }(c)>0$,则以 $[a,c]$ 代替 $[a,b]$ 作为新区间;
若$f^{\prime }(c)<0$,则以 $[c,b]$ 代替 $[a,b]$ 作为新区间.

不精确的一维搜索

• wolf准则，armijo准则等
• 有关wolf准则：
  • 根据$f(x_k+{\alpha }_k{p}_k)$ 在 $x_k$ 处的Taylor展开式可得到条件1(步长不能太大)
    $$f(x_k)-f(x_k+{\alpha }_k{p}_k)\ge \mu {\alpha }_k{g}_k^T{p}_k$$
  • 条件2(同时步长不能太小)
    $$\nabla f(x_k+{\alpha }_k{p}_k{)}^T{p}_k\ge \sigma g_k^T{p}_k$$

无约束最优化方法

最速下降法

• 线性收敛
• 整体收敛
• 本质：用线性函数去近似目标函数
• 步骤
  • $ste{p}_1$: 取初始点$x_0$,k=0
  • $ste{p}_2$: 计算$g_k=g(x_k)$
  • $ste{p}_3$: 若$g_k\le err$，$x^{\ast }=x_k$,否则$p_k=-g_k$，由一维搜索确定步长
    $$f(x_k+{\alpha }_k{p}_k)=\underset{\alpha >0}{\min }f(x_k+{\alpha }_k{p}_k)$$
  • $ste{p}_4$: $x_{k+1}=x_k+{\alpha }_k{p}_k$,k=k+1,转$ste{p}_2$
• 在求解正定二次函数，进行精确一维搜索时，经推导可得出
  $${\alpha }_k=-\frac{g_k^T{p}_k}{p_k^{T}G{p}_k}=\frac{g_k^T{g}_k}{g_k^{T}G{g}_k}$$

Newton法

• 二次收敛
• 局部收敛
• 本质：用二次函数去近似目标函数
• 优点：
  • 若$G^{\ast }$正定且初始点合适，算法二阶收敛
  • 对正定二次函数，迭代一次就可以收敛到极小值
• 缺点：
  • 对多数问题不是整体收敛的
  • 每次迭代需要计算$G_k$
  • 每次迭代时需要求解线性方程组，方程组可能是奇异或非正定的；可能得不到下降方向
  • 收敛于鞍点或极大点的可能性与收敛于极小点的可能性一致
• 步骤
  • $ste{p}_1$: 取初始点$x_0$,k=0
  • $ste{p}_2$: 计算$g_k=g(x_k)$
  • $ste{p}_3$: 若$g_k\le err$，$x^{\ast }=x_k$,否则计算$G_k=G(x_k)$
    $$p_k=-G^{-1}{g}_k$$
  • $ste{p}_4$: $x_{k+1}=x_k+p_k$,k=k+1,转$ste{p}_2$

共轭方向法和共轭梯度法

• 计算量较小，适合大规模问题求解
• 共轭方向法步骤
  • $ste{p}_1$: 取初始点$x_0$,k=1,下降方向$p_k$
  • $ste{p}_2$: 计算$g_k=g(x_k)$
  • $ste{p}_3$: 若$g_k\le err$，$x^{\ast }=x_k$,否则由一维搜索确定步长
    $$f(x_k+{\alpha }_k{p}_k)=\underset{\alpha >0}{\min }f(x_k+{\alpha }_k{p}_k)$$
  • $ste{p}_4$: $x_{k+1}=x_k+{\alpha }_k{p}_k$,取共轭方向$p_{k+1}$ 使得$p_{k+1}^{T}G{p}_i=0$,k=k+1,转$ste{p}_2$
• FR-共轭梯度法步骤
  • $ste{p}_1$: 取初始点$x_0$,k=1
  • $ste{p}_2$: 计算$g_k=g(x_k)$
  • $ste{p}_3$: 若$g_k\le err$，$x^{\ast }=x_k$,否则下降方向 $p_k=-g_k+{\beta }_{k-1}{p}_{k-1}$
    $${\beta }_k-1=\{\begin{array}{l}0,k=1\\ \frac{g_k^T{g}_k}{g_{k-1}^T{g}_{k-1}},k>1\end{array}$$
    由一维搜索确定步长
    $$f(x_k+{\alpha }_k{p}_k)=\underset{\alpha >0}{\min }f(x_k+{\alpha }_k{p}_k)$$
  • $ste{p}_4$: $x_{k+1}=x_k+{\alpha }_k{p}_k$,k=k+1,转$ste{p}_2$
• PRP-共轭梯度法步骤
  • 将FR中的 $\beta$ 替换为
    $${\beta }_k-1=\{\begin{array}{l}0,k=1\\ \frac{g_k^T(g_k-g_{k-1)}}{g_{k-1}^T{g}_{k-1}},k>1\end{array}$$
• 重新开始的***共轭梯度法，即在k为n的倍数时，$p_k$ 重新设置为负梯度方向

拟Newton法

• 对Hess矩阵进行修正
• DFP步骤
  • $ste{p}_1$: 取初始点$x_0$,计算$g_0$,$H_0$通常设置为单位矩阵,k=0
  • $ste{p}_2$: $p_k=-H_k{g}_k$
  • $ste{p}_3$: 由一维搜索确定步长
    $$f(x_k+{\alpha }_k{p}_k)=\underset{\alpha >0}{\min }f(x_k+{\alpha }_k{p}_k)$$
  • $ste{p}_4$: $x_{k+1}=x_k+{\alpha }_k{p}_k$
  • $ste{p}_5$: 若$g_k\le err$，$x^{\ast }=x_k$,否则
    $$\{\begin{array}{l}{s}_k=x_{k+1}-x_k={\alpha }_k{p}_k\\ y_k=g_{k+1}-g_k\end{array}$$
  • $ste{p}_6$: 根据DFP修正公式计算$H_{k+1}$,k=k+1,转$ste{p}_2$.
• BFGS步骤
  • 将DFP中的修正公式换为BFGS修正公式即可
• DFP修正公式
  $$H_{k+1}=H_k-\frac{H_k{y}_k{y}_k^T{H}_k}{y_k^T{H}_k{y}_k}+\frac{s_k{s}_k^T}{y_k^T{s}_k}$$
• BFGS修正公式
  $$H_{k+1}=H_k-\frac{H_k{y}_k{y}_k^T{H}_k}{y_k^T{H}_k{y}_k}+\frac{s_k{s}_k^T}{y_k^T{s}_k}+w_k{w}_k^T$$
  其中，$w_k=\sqrt{y_k^T{H}_k{y}_k}(\frac{s_k}{y_k^T{s}_k}-\frac{H_k{y}_k}{y_k^T{H}_k{y}_k})$

约束最优化方法

等式约束的最优性条件

• Lagrange定理(一阶必要条件)
  • 将等式约束最优化问题转化为无约束最优化问题
  • $L(x,\lambda )=f(x)-{\lambda }^{T}c(x)$
    $$\{\begin{array}{l}\nabla f(x^{\ast })-{\sum }_{i=1}^i{\lambda }_i^{\ast }\nabla c_i(x^{\ast })=0\\ c_i(x^{\ast })=0\end{array}$$
• $L(x,\lambda )$ 关于x的Hess矩阵正定(二阶充分条件)

不等式约束的最优性条件

• Fritz-John一阶必要条件
  $$\{\begin{array}{l}{\lambda }_0^{\ast }\nabla f(x^{\ast })-{\sum }_{i=1}^i{\lambda }_i^{\ast }\nabla c_i(x^{\ast })=0\\ c_i(x^{\ast })\ge 0,i=1,2,..m\\ {\lambda }_i^{\ast }{c}_i(x^{\ast })=0,i=1,2,..m\\ {\lambda }_i^{\ast }\ge 0,i=0,1,..m\end{array}$$

• Karush-Kuhn-Tucker一阶必要条件(KKT)
  $$\{\begin{array}{l}\nabla f(x^{\ast })-{\sum }_{i=1}^i{\lambda }_i^{\ast }\nabla c_i(x^{\ast })=0\\ c_i(x^{\ast })=0,i=1,2,..l\\ c_i(x^{\ast })\ge 0,i=l+1,l+2,..m\\ {\lambda }_i^{\ast }{c}_i(x^{\ast })=0,i=1,2,..m\\ {\lambda }_i^{\ast }\ge 0,i=l+1,..m\end{array}$$

• • 严格互补松弛条件：所有有效约束的乘子均不为0

罚函数法

满足约束时,对应的函数值很小;
不满足约束时,对应的函数值很大——”惩罚”.
在求解过程中,为使得总的目标函数值最小,得到的解一般会满足约束.

• 外罚函数(适用于等式约束)
  • 等式约束
    $$P(x,\lambda )=f(x)+\sigma \sum _{i=1}^l||c_i(x)|{|}^{\beta }$$
  • 不等式约束
    $$P(x,\lambda )=f(x)+\sigma \sum _{i=1}^m|min(0,c_i(x)){|}^{\alpha }$$
  • 一般约束
    $$P(x,\lambda )=f(x)+\sigma \tilde{P}(x)$$
    $$\tilde{P}(x)=\sum _{i=1}^l||c_i(x)|{|}^{\beta }+\sum _{i=l+1}^m|min(0,c_i(x)){|}^{\alpha }$$
  • 缺点：近似最优解往往不可行;$\sigma$越大越好，但$\sigma$ 越大使得Hess矩阵的条件数越大，趋向于病态，无约束问题难以求解。
• 内罚函数(适用于不等式约束)
  • 仅适用于求解不等式约束
    $$B(x)=f(x)+r\tilde{B}(x)$$
    $$\tilde{B}(x)=\sum _{i=1}^m\frac{1}{c_i(x)}or\tilde{B}(x)=-\sum _{i=1}^{m}ln(c_i(x))$$

乘子法

• Lagrange+罚函数
• 等式约束
  $$M(x,\lambda ,\sigma )=L(x,\lambda )+\frac{\sigma }{2}c(x{)}^{T}c(x)$$
  $${\lambda }_{k+1}={\lambda }_k-{\sigma }_{k}c(x_k)$$
• 不等式约束
  M ( x , λ , σ ) = f ( x ) + 1 2 σ ∑ i = 1 m { [ m a x ( 0 , λ i − σ c i ( x ) ) ] 2 − λ i 2 } M(x,\lambda,\sigma)=f(x)+\frac{1}{2\sigma}\sum_{i=1}^{m}{\{[max(0,\lambda_i-\sigma c_i(x))]^2-\lambda_i^2\}} M(x,λ,σ)=f(x)+2σ1​i=1∑m​{[max(0,λi​−σci​(x))]2−λi2​}
  $$({\lambda }_{k+1}{)}_i=max[0,({\lambda }_k{)}_i-\sigma c_i(x_k)]$$
• 一般约束
  M ( x , λ , σ ) = f ( x ) + 1 2 σ ∑ i = l + 1 m { [ m a x ( 0 , λ i − σ c i ( x ) ) ] 2 − λ i 2 } − ∑ i = 1 l λ i c i ( x ) + σ 2 ∑ i = 1 l c i 2 ( x ) M(x,\lambda,\sigma)=f(x)+\frac{1}{2\sigma}\sum_{i=l+1}^{m}{\{[max(0,\lambda_i-\sigma c_i(x))]^2-\lambda_i^2\}}-\sum_{i=1}^l\lambda_i c_i(x)+\frac{\sigma}{2}\sum_{i=1}^l c_i^2(x) M(x,λ,σ)=f(x)+2σ1​i=l+1∑m​{[max(0,λi​−σci​(x))]2−λi2​}−i=1∑l​λi​ci​(x)+2σ​i=1∑l​ci2​(x)
  $$({\lambda }_{k+1}{)}_i=max[0,({\lambda }_k{)}_i-\sigma c_i(x_k)],i=l+1,...m$$
  $$({\lambda }_{k+1}{)}_i=({\lambda }_k{)}_i-{\sigma }_k{c}_i(x_k),i=1,2,...l$$