凸优化

凸优化

一旦将一个实际问题转化为凸优化问题，大体上意味着相应问题可以得到彻底解决。
线性规划：目标函数和约束函数都是线性函数，

凸优化:
目标函数和约束函数都是凸函数，

超平面分离定理
假设C和D是两个不想交的凸集，那么存在超平面将两个集合分离。

凸函数性质

1. 如果函数f是凸函数，那么它的非负伸缩和求和都是凸函数。类似，凹函数的非负伸缩和求和都是凹函数。
2. 如果函数f1,f2,…,fm为凸函数，则他们的逐点最大函数
   
   也是凸函数。
3. 凸优化问题的任意局部最优解也是全局最优解。对于拟凸优化问题，这一性质不成立。
4. 4.

最小二乘

最小二乘优化没有约束条件，目标函数的若干项的平方和。

最小二乘的求解可以简化为求解一组线性方程:

可得，

假设矩阵A上稀疏的，可以更快地求解最小二乘问题。

判断一个优化问题是否为最小二乘：

1. 检验目标函数是否为二次函数。
2. 检验目标函数是否半正定。

加权最小二乘

其中，加权系数w均大于0。加权最小二乘可以转化为标准的最小二乘问题进行求解。

正则化

正则化是通过在成本函数中增加一些多余的项来实现。一种简单的形式是在成本函数中增加一项变量平方和， 其中系数ρ大于0。

正则化最小二乘也可以转化为标准最小二乘问题。当待估计向量x的分布预先知道时，可以采用正则化的方法。

线性规划

单纯形法和内点法。