最优化理论与算法部分整理-常见的参数搜索算法

参数搜索算法的重要性不言而喻，涉及到优化准则的地方总会要用到，下面这些主要是最优化理论中的凸集优化理论。这些算法常用于无法用数学方法得到解集时而用的方法，例如非线性规划等问题。计算方法最常见的是迭代梯度递减算法和随机搜索算法。

一、有约束问题：

一维搜索：

1、试探法

a、黄金分割法（0.618法）

计算步骤：

b、Fibonacci法

计算步骤：

n根据表中的Fn来确定

n 0       1      2       34     5     6。。。

Fn     1       1      2       358     13。。。

c、进退法

2、函数逼近法（插值法）

a、牛顿法

计算步骤：

b、割线法

c、抛物线法

d、三次插值法

e、有理插值法

二、无约束问题

1、最速下降法

2、牛顿法

a、牛顿法

b、阻尼牛顿法

c、其他修正牛顿法

2、共轭梯度法

3、拟牛顿法

a、秩1校正

b、DFP算法

c、BFGS公式及Broyden族

4、信赖域方法

5、最小二乘法