牛顿法与拟牛顿法学习笔记（四）BFGS 算法

最优化--梯度下降法--牛顿法（详解）

本文深入浅出地讲解了BFGS优化算法，通过形象比喻和公式拆解帮助读者理解其原理。BFGS是一种拟牛顿法，通过迭代构造近似Hessian逆矩阵，在避免直接计算二阶导数的同时实现超线性收敛。文章详细介绍了BFGS的核心思想、公式推导、算法流程，并提供了可运行的Python代码实现，对比了BFGS与梯度下降在优化Rosenbrock函数上的性能差异。BFGS兼具牛顿法的快速收敛特性和梯度下降的计算效率，适用于高维优化问题，是机器学习中重要的优化工具。

牛顿法（Newton’s method） 假如已知函数 f(x)f(x)f(x)，想要求 f(x)=0f(x)=0f(x)=0 的解（或者叫根）。 牛顿法（Newton’s method）大致的思想是： （1）选一个初始位置 x0x_0x0​（这个位置最好是在根的附近）； （2）在这个位置上找一个 f(x)f(x)f(x) 的近似函数（通常用泰勒展开）； （3）令近似函数为 000 ，求解； （4）以这个解为新的位置 x1x_1x1​； （5）重复上述迭代，到第 nnn 次迭代得到 xnx_nxn​，当 ∣

...

拟牛顿法 一、牛顿法 1.1 基本介绍 牛顿法属于利用一阶和二阶导数的无约束目标最优化方法。基本思想是，在每一次迭代中，以牛顿方向为搜索方向进行更新。牛顿法对目标的可导性更严格，要求二阶可导，有Hesse矩阵求逆的计算复杂的缺点。XGBoost本质上就是利用牛顿法进行优化的。 1.2 基本原理 现在推导牛顿法。 假设无约束最优化问题是 minxf(x)minxf(x)\m...

牛顿法将目标函数近似为二阶函数，沿着牛顿方向进行优化（包含了Hession矩阵与负梯度信息）。 阻尼牛顿法在更新参数之前进行了一维搜索确定步长，确保沿着下降的方向优化。 拟牛顿法用常数矩阵近似替代Hession矩阵或Hession矩阵的逆矩阵，不用求偏导与求逆，简化运损。 1 牛顿法 1.1 算法流程 梯度下降法利用了负梯度方向进行迭代，算法如下： ...

今天，我来讲一种在机器学习中常用到的优化算法，叫做BFGS算法。BFGS算法被认为是数值效果最好的拟牛顿 法，并且具有全局收敛性和超线性收敛速度。那么接下来将会详细讲解。   Contents      1. 什么是拟牛顿法    2. 拟牛顿法原理    3. DFP算法原理    4. BFGS算法原理    5. BFGS算法的实现     1. 什么是拟牛顿法

文章目录牛顿法&拟牛顿法1 牛顿法2 拟牛顿法2.1 对称秩1校正2.2 DFP2.3 BFGS 牛顿法&拟牛顿法 设无约束优化问题： min⁡f(x), x∈Rn\min f(x),{\kern 1pt} \,x \in {R^n}minf(x),x∈Rn 1 牛顿法 基本思想，通过泰勒二阶展开，通过对泰勒展开求导，并令其等于0，从而求得极小值。 将f(x)f(x)f(x)在xkx_kxk​处进行泰勒展开： f(x)≈f(xk)+Δf(xk)(x−xk)+12(x−xk)TΔ2f(xk)(

牛顿类算法就是利用二阶导数信息来构造迭代格式的算法．由于利用的信息变多，牛顿法的实际表现可以远好于梯度法，但是它对函数 $f(x)$ 的要求也相应变高．

本文简要介绍了最优化理论中的拟牛顿法，阐述了拟牛顿法的基本思路，介绍三种经典拟牛顿法和它们的优缺点，并利用matlab简要设计了算法进行验算。

一、牛顿法概述