非光滑函数的近端算法、Mirror Descent、对偶优化、光滑化、以及其加速算法

本小节将讨论如下一般形式的最优化问题:
$$\underset{x}{\min }f(x)$$
其中 $\psi$ 是一个适当的闭凸函数，这里并不要求 $\psi$ 是可微或连续的（例如 $\psi$ 的一部分可以是凸集的示性函数). 对于不可微的 $\psi$, 我们可以用次梯度算 法, 但是该方法往往收敛较慢, 且收敛条件比较苛刻.
首先我们要明确非光滑对于收玫性是及其不友好，
非光滑的话，我们研究次梯度方法的收敛性。次梯度的迭代为：
$$x^{k+1}=x^k-{\alpha }_k{g}^k,g^k\in \partial f\left(x^k\right)$$
非光滑对于收玫性是及其不友好的，并且次梯度方向都不能保证是一个下降方向。在光滑的情况 下，只要 ${\alpha }_k$ 选的足够小 (取决于光滑系数 $L_g$ ) , 再不济也能保证每步的函数值能够下降，通常 是通过线搜索来完成。而次梯度由于不是下降方向，就没有这个性质了，也就是说不能保证单调下降。\
1.1. convex case\
定理1.1 (Nonsmooth + convex) 如果函数 $f$ 是凸的且是Lipschitzness的。对于迭代方法
(1.1)，步长选择策略为: ${\alpha }_k=\frac{f\left(x^k\right)-f^{\ast }}{{\Vert g^k\Vert }^2}$ 如果 $g^k\ne 0$ ，否则 ${\alpha }_k=1$ 。那么我们有:\

1. ${\Vert x^{k+1}-x^{\ast }\Vert }^2\le {\Vert x^k-x^{\ast }\Vert }^2$\
2. $f^k\to f^{\ast }$ as $k\to \infty$\
3. $f_{\text{best }}^n-f^{\ast }\le \frac{L_f\Vert x^0-x^{\ast }\Vert }{\sqrt{n+1}}$ ，其中， $f_{\text{best }}^n={\min }_k\left\{f\left(x^k\right),k=1,\cdots ,n\right\}$\
   \href{https://zhuanlan.zhihu.com/p/92385493}{https://zhuanlan.zhihu.com/p/92385493}\
   1.2strongly convex case\
   定理1.2. (Nonsmooth+strongly convex) 如果函数 $f$ 是 $\sigma$-强凸的且是Lipschitzness的。对 于迭代方法 (1.1)，步长选择策略为: ${\alpha }_k=\frac{2}{\sigma (k+1)}$ 。那么我们有: 对任意 $k$
   $$f_{best}^k-f^{\ast }\le \frac{2L_f^2}{\sigma (k+1)}$$
   其中 $f_{\text{best }}^k={\min }_i\left\{f\left(x^i\right),i=1,\cdots ,k\right\}$ 。\

\subsection{近似点算法}
本小节将讨论如下一般形式的最优化问题：
$$\underset{x}{\min }\psi (x),$$
其中 $\psi$ 是一个适当的闭凸函数, 这里并不要求 $\psi$ 是可微或连续的（例如 $\psi$ 的一部分可以是凸集的示性函数). 对于不可微的 $\psi$, 我们可以用次梯度算 法, 但是该方法往往收玫较慢, 且收玫条件比较苛刻. 我们也可以考虑如下 隐式格式的次梯度算法：
$$x^{k+1}=x^k-t_k\partial \psi \left(x^{k+1}\right).$$
上面的格式只是形式上的. 类似于之前的近似点梯度算法, 可以用邻近算子 表示隐式格式：近似点算法格式可以写成
$$\begin{array}{r}{x}^{}\end{array}$$