最优化理论与方法-第十讲-弱对偶定理，强对偶定理

1. 弱对偶定理

• 概述：具体详见此节： 最优化理论与方法-第十讲-约束优化
  设 $v(P)$是原问题$(P)$的最优值，$v(D)$是对偶问题$(D)$的最优值，则
  $$\begin{array}{c}v(D)\le v(P)\end{array}$$
• 我们知道对于$f(x)$来说，其最小值为$v(P)$,可得：$v(P)\le f(x)$,因为对于对偶问题$d(\lambda ,\mu )$来说，其最大值为$v(D)$,所以可得：$d(\lambda ,\mu )\le v(D)$
• 整理可得恒等式：
  $$\begin{array}{c}d(\lambda ,\mu )\le v(D)\le v(P)\le f(x)\end{array}$$

1.1 推论1

• 假设在原问题的定义域内存在一个 $\bar{x}\in S$,在对偶问题中的定义域内存在一对参数$(\bar{\lambda },\bar{\mu }),\bar{\lambda }\ge 0$,满足如下：
  $$\begin{array}{c}d(\bar{\lambda },\bar{\mu })=f(\bar{x})\end{array}$$
• 那么可得，且这个点同时为原问题和对偶问题的最优解。
  $$\begin{array}{c}v(D)=v(P)\end{array}$$
• 解释：因为满足弱对偶定理和前后相等可得：
  $$\begin{array}{c}d(\bar{\lambda },\bar{\mu })\le v(D)\le v(P)\le f(\bar{x}),d(\bar{\lambda },\bar{\mu })=f(\bar{x})\to v(D)=v(P)\end{array}$$

1.2 推论2

• 如果 $v(P)=-\infty$，则可得 $d(\lambda ,\mu )=-\infty ,\forall (\lambda ,\mu ),\lambda \ge 0$
• 如果 $v(D)=+\infty$，则可得 $v(P)=+\infty$,原问题P无可行解

2. duality gap

2.1 定义

我们定义duality-gap 表示原问题的最优值减去对偶问题的最优值如下：
$$\begin{array}{c}dualitygap=v(P)-v(D)\end{array}$$

2.2 约束问题

假设我们有如下约束优化问题：

• 原问题：
  ( P )      min ⁡    { x 1 2 + x 2 2 } s t .      − x 1 − x 2 ≤ − 1 2 , x ∈ Z + 2 \begin{equation} \begin{aligned} &(P)\; \;\min\; \{x_1^2+x_2^2\}\\ &st.\;\;-x_1-x_2\le -\frac{1}{2},x\in Z_+^2\\ \end{aligned} \end{equation} ​(P)min{ x12​+x22​}st.−x1​−x2​≤−21​,x∈Z+2​​​​

• 根据图形可得，当$x_1=0,x_2=1$时可以去的最小值，则$v(P)=1$

• 拉格朗日函数如下：
  $$\begin{array}{c}d(x,\lambda )=x_1^2+x_2^2+\lambda (\frac{1}{2}-x_1-x_2)\end{array}$$

• 对偶问题如下：
  max ⁡ λ min ⁡ ( x 1 , x 2 ) { d ( x , λ ) } = max ⁡ λ min ⁡ ( x 1 , x 2 ) { x 1 2 + x 2 2 + λ ( 1 2 − x 1 − x 2 ) } \begin{equation} \max\limits_{\lambda}\min \limits_{(x_1,x_2)}\{d(x,\lambda)\}=\max\limits_{\lambda}\min \limits_{(x_1,x_2)}\{x_1^2+x_2^2+\lambda(\frac{1}{2}-x_1-x_2)\} \end{equation} λmax​(x1​,x2​)min​{ d(x,λ)}=λmax​(x1​,x2​)min​{ x12​+x22​+λ(21​−x1​−x2​)}​​

• 化简如下：
  max ⁡ λ min ⁡ ( x 1 , x 2 ) { d ( x , λ ) } = max ⁡ λ min ⁡ ( x 1 , x 2 ) { ( x 1 − λ 2 ) 2 + ( x 2 − λ 2 ) 2 + λ 2 − λ 2 2 } \begin{equation} \max\limits_{\lambda}\min \limits_{(x_1,x_2)}\{d(x,\lambda)\}=\max\limits_{\lambda}\min \limits_{(x_1,x_2)}\{(x_1-\frac{\lambda}{2})^2+(x_2-\frac{\lambda}{2})^2+\frac{\lambda}{2}-\frac{\lambda^2}{2}\} \end{equation} λmax​(x1​,x2​)min​{ d(x,λ)}=λmax​(x1​,