最优化算法汇总，及计算实例20220621（持续更新中）

目录

0.最优化问题分类，求解方法分类

1. 最优化问题分类（线性规划与最小二乘法的关系）

1.1 请问什么才是线性规划，什么是线性回归呢？

1.2 线性规划与最小二乘法的关系

2.最小二乘法（解决线性）

3. 最速下降法（又名  梯度下降法、最速下降法）（解决无约束问题）

3.1 主要迭代公式

3.2 实例1：

3.3 实例2

4. 牛顿法（牛顿迭代法）

5. 拉格朗日乘数法（等式约束优化问题）

6. KKT条件（不等式约束优化问题）

0.最优化问题分类，求解方法分类

最优化问题综述_斜杠老A的博客-CSDN博客_最优化问题

1. 最优化问题分类（线性规划与最小二乘法的关系）

目标约束函数
最优化问题也称为规划问题。
如果最优化问题的目标函数为f(x)，约束条件为gi(x)≥0，i=1，2，…，m则：
当f(x)和gi(x)均为线性函数时，称此最优化问题为线性规划；
当f(x)和gi(x)不全为线性函数时，称此最优化问题为非线性规划；
当f(x)为二次函数，而gi(x)全为线性函数时，称此最优化问题为二次规划。
变量的类型
对于最优化问题，如果变量x=(x1，x2，…，xn)T的各分量只能取整数，则相应的最优化问题称为整数规划。
如果变量x=(x1，x2，…，xn)T 的部分分量只能取整数，则相应的最优化问题称为混合整数规划。
如果变量x=(x1，x2，…，xn)T 的各分量只能取0和1，则相应的最优化问题称为0-1规划。

1.1 请问什么才是线性规划，什么是线性回归呢？

请问什么才是线性规划，什么是线性回归呢？_百度知道

线性规划是运筹学的一个重要分支，研究线性约束条件下线性目标函数的极值问题的数学理论和方法。 线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

1.2 线性规划与最小二乘法的关系

线性规划是：求满足约束的最优目标，目标是变量的线性函数，约束是变量的等式或者不等式。

最小二乘法和线性规划
1.最小二乘法问题
最小二乘问题是一个无约束的优化问题和一个是形式项的平方和的目标

2.解决最小二乘法