共轭梯度法（Conjugate Gradient）

最新推荐文章于 2026-04-11 15:42:48 发布
原创 最新推荐文章于 2026-04-11 15:42:48 发布 · 9.7k 阅读 · 48
标签
#共轭梯度

共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 

以上参考百度百科的共轭梯度法，但是一开始没看明白，结合《数值分析》中的一些解释，结合自己的理解，算是大概弄明白了。

wikipedia关于共轭梯度法描述的比较清晰。

一 什么是A共轭？

令A是对称正定的n*n矩阵，对于n维的列向量v和w，定义A内积为：

(v,w)_{A}=v^{T}Aw

当(v,w)_{A}=0时，称列向量v和w为A共轭。

特别的，当v=w\neq0时，(v,w)_{A}>0

二 共轭梯度法的伪代码分析

 

共轭梯度直接法主要作用是求解Ax=b的精确解，但是如果b的维数较高，直接法会消耗大量时间。而共轭梯度法作为迭代方法的话，对于求解高维问题的逼近解或稀疏解是很有用的，我们可以用部分的梯度方向去获得一个符合要求的逼近解，这样可以缓解直接共轭梯度方法的耗时问题。

我们构造\bigtriangledown f=Ax-b，问题是求解Ax=b。也就是令\bigtriangledown f=Ax-b为0，那么对\bigtriangledown f=Ax-b积分，可得到二次泛函：

那问题也就转向了求f(x)的极小值点问题。我们知道，当多元函数的二次倒数也就是黑塞矩阵是正定的时候，那么驻点就是极小值。因此要求：\bigtriangledown^{2} f=A为正定的。

为了求f(x)的最小值，只要我们一步一步得使\bigtriangledown f=Ax-b趋近于0即可。假设x的值是x0，那么梯度的误差为：Ax_{0}-b，因此我们要往反方向缩小误差。取初始的方向为\boldsymbol{p}_{0}=\boldsymbol{b}-A\mathbf{x}_{0}，同时，p0也是残差。

令第k步的残差为\boldsymbol{r}_{k}=\boldsymbol{b}-A\mathbf{x}_{k}

如何找函数f(x)下降最快的方向：

这里

最低0.47元/天 解锁文章
共轭梯度法（算法分析+python代码解释）
m0_61209712的博客
11-03 9323
为了克服最速下降法在最优解附近收敛速度变慢和Newton法不具有整体收敛性以及需要计算Hesse矩阵的缺点，一种介于两者之间的方法被提出，这就是共轭方向法。这种方法不仅克服了上述缺点之外，还能保持上述两种方法各自的优点，即收敛性较好，并且可以在有限布内使二次函数达到最优，即具有二次终止性。
共轭梯度法的简单直观理解
beidou111的博客
11-03 2万+
共轭梯度法的简单直观理解 共轭梯度法可以看作是梯度下降法（又称最速下降法）的一个改进。 梯度下降法x移动的方向正是函数f的负梯度方向，这代表了局部上f减小最快的方向。 但是局部上减小最快的方向并不代表全局上指向最终解的方向。所以梯度下降法会出现像醉汉下山一样走出zig-zag的路线。如下图 为什么会走出这一Z形线呢？因为梯度下降的方向恰好与f垂直，也就是说和等高线垂直。沿着垂直于等高线的方向，一定能让函数减小，也就是下了一个台阶。但是最快下台阶并不意味着最快到达目标位置（即最优解）。 为了修正这一路线，采
通俗易懂讲透共轭梯度法（CG）
最新发布
DeepModel的博客
04-11 847
本文用通俗易懂的方式讲解了共轭梯度法（CG）的核心原理和应用。共轭梯度法通过选择互不干扰的共轭方向，有效解决了普通梯度下降在"扁长碗"函数中震荡收敛慢的问题。文章从形象比喻入手，解释了A-共轭的概念，详细拆解了CG算法的6步流程，并对比分析了CG相比最速下降法的优势：无折返、有限步收敛、内存占用低。同时提供了完整的Python实现代码，包含标准CG和预条件CG的收敛曲线对比。最后总结了CG的优缺点及适用场景，特别适合求解大规模稀疏对称正定线性系统，是科学计算和数值优化的重要工具。文章采用
共轭梯度法（Conjugate Gradients）（1）
Yemiekai的博客
04-10 1万+
最近在看ATOM，作者在线训练了一个分类器，用的方法是高斯牛顿法和共轭梯度法。看不懂，于是恶补了一波。学习这些东西并不难，只是难找到学习资料。简单地搜索了一下，许多文章都是一堆公式，这谁看得懂啊。 后来找到一篇《An Introduction to the Conjugate Gradient Method Without the Agonizing Pain》，解惑了。 为什么中文没有这么良心的资料呢？英文看着费劲，于是翻译过来搬到自己的博客，以便回顾。 由于原文比较长，一共 666666 页的PDF，所
共轭梯度法(Conjugate gradient)详解
bitcarmanlee的博客
11-24 3万+
1.什么是共轭向量 对于正定矩阵Q，如果有 xTQy=0x^TQy = 0xTQy=0 那么我们可以称x, y是关于Q-conjugate。 2.线性方程组求解与二次函数求极小值转化 最初，共轭梯度法是用来求解线性方程Ax=bAx = bAx=b的一种方法，特别是稀疏线性方程组迭代求解法里面最优秀的方法，其被称为线性共轭梯度法。后来，人们把这种方法慢慢推广到了非线性问题求解中，称为非线性共轭梯度法。 求解Ax=bAx = bAx=b时，最简单粗暴的方式为x=A−1bx = A^{-1}bx=A−1b。但是这
共轭梯度法（CG）详解
LSEC小陆的博客
05-26 1万+
共轭梯度法（CG）详解 文章目录共轭梯度法（CG）详解线性共轭梯度法共轭方向共轭方向法CG 方法预条件非线性共轭梯度法FR 方法其他非线性 CGPR+ 方法重启动 之前写过几个关于共轭梯度法的注记，譬如： https://blog.csdn.net/lusongno1/article/details/78550803 https://blog.csdn.net/lusongno1/article/details/68942821 但事实上很多人反应，看得一头雾水，基于此，本篇文章旨在对于共轭梯度方法从优
共轭梯度法(Conjugate Gradient Method)
Liang_Ling的博客
11-16 1万+
我们要求解线性方程组 Ax=bAx=b 其中AA 是对称正定矩阵（spd），给定RnR^n中n个线性无关的向量r0,r1,⋯,rn−1r_0,r_1,\cdots,r_{n-1}, 我们想要构造另外的一组基p0,p1,⋯,pn−1p_0,p_1,\cdots,p_{n-1}, 并满足 ⟨pi,pj⟩=0,∀i≠j\langle p_i, p_j\rangle=0,\quad \forall i
共轭梯度法（conjugate gradient method）
zxl1053441942的专栏
10-24 2430
参考自"Numerical Optimization" chapter 5. by S.Wright 对于如下线性方程组的求解，可以采用迭代方法，例如共轭梯度法(conjugate gradient method)                                               （1） 而该方程组的解的条件与下式取最小值条件一致 （2） 【注：对（2）
共轭梯度法(conjugate gradient method)
li8630的专栏
07-25 3135
该方法是快速求解Ax=b线性系统的方法，他要求矩阵A是对称正定矩阵。 算法执行过程： matlab实现：clear;%删除工作空间的所有变量,释放系统内存 clc;%清楚命名窗口 A=[4 1;1 3]; b=[1,2]'; N=length(b); %解向量的维数 fprintf('库函数计算结果：'); x=inv(A)*b %库函数计算结果 x=[2;1];
PCG（Preconditioned Conjugate Gradient，预条件共轭梯度法）
weixin_42849849的博客
08-25 2080
特性说明适用矩阵对称正定（SPD）核心思想共轭方向搜索 + 预条件加速优势存储少（只需向量）、收敛快（尤其好预条件下）关键预条件子的选择决定性能缺点不适用于非对称或不定矩阵（需用 GMRES、BiCGSTAB 等）如需处理非对称系统，可考虑：GMRES、BiCGSTAB；如预条件子为单位阵（( M = I )），PCG 退化为标准 CG。如有具体应用场景（如有限元、图像处理），可进一步定制预条件子设计。
【最优化算法】基于【MATLAB】的共轭梯度法【Conjugate Gradient】分析与推导
ALi.S的博客
07-19 4162
引入阻尼牛顿法进行修正，但是在牛顿法和阻尼牛顿法中都存在计算Hesse矩阵的问题，使得在多次迭代时可能会出现计算量过大的问题。
最优化考试之共轭梯度法
weixin_43575792的博客
12-26 2193
共轭梯度法在第一次时迭代的过程和最速下降法一样，但从第二步开始共轭梯度法就发生了变化，共轭梯度法的梯度下降方法不再是直接根据当前点计算∇f(x)
共轭梯度法
luzhanbo207的博客
02-14 6805
共轭梯度法 最速下降法以及牛顿法都具有其自身的局限性。本文将要介绍的共轭梯度法是介于最速下降法与牛顿法之间的一种无约束优化算法，它具有超线性的收敛速度，而且算法结构简单，容易编程实现。此外，根最速下降法相类似，共轭梯度法只用到了目标函数及其梯度值，避免了二阶导数的计算，从而降低了计算量和存储量，因此它是求解无约束优化问题的一种比较有效而使用的算法。 一、共轭方向发 共轭方向法的基本思想是在求解nnn维正定二次目标函数极小点时产生一组共轭方向作为搜索方向，在线搜索条件下算法之多迭代nnn步即能求得极小点。京故
共轭梯度（CG）算法
热门推荐
LSEC小陆的博客
11-16 9万+
共轭梯度（CG）方法计算数学与科学工程计算研究所 陆嵩简单介绍共轭梯度方法也是一种迭代方法，不同于Jacobi，Gauss-Seidel和SOR方法，理论上只要n步就能找到真解，实际计算中，考虑到舍入误差，一般迭代3n到5n步，每步的运算量相当与矩阵乘向量的运算量，对稀疏矩阵特别有效。 共轭梯度方法对于求解大型稀疏矩阵是很棒的方法，但是这个方法看起来总不是太靠谱。这个方法也不是越迭代精度越高，有
非线性系列（二）—— 共轭梯度法 Conjugate Gradient Method （线性及非线性）
保持写作习惯，完成知识沉淀
04-14 3471
CG方法第一次被用来解非线性优化问题，是由Fletcher和Reeves提出的。（英语：BiConjugate gradient method）提供了一种处理非对称矩阵情况的推广。共轭梯度法（英语：Conjugate gradient method），是求解系数矩阵为。共轭梯度法中，搜索方向p，是关于A共轭的，即。最后的解为 [1, 1]，f(x)最小值为0。其中delta为方向，beta为步长。共轭梯度法是一个迭代方法，它适用于。的线性方程组的数值解的方法。1. 求解线性方程组，首先安装自动微分工具。
共轭梯度法解求解大规模稀疏矩阵，对比最速梯度法（C++）
weixin_45950984的博客
03-04 3574
共轭梯度法和最速下降法的比较和代码实现，没有调用矩阵库
机器学习中的数学——共轭梯度法（Conjugate Gradient）
冯·诺依曼
03-13 1万+
共轭梯度是一种通过迭代下降的共轭方向（Conjugate Directions）以有效避免Hessian矩阵求逆计算的方法。这种方法的灵感来自对最速下降方法弱点的仔细研究，其中线搜索迭代地用于与梯度相关的方向上。下图说明了该方法在二次碗型目标中如何表现的，是一个相当低效的来回往复，锯齿形模式。这是因为每一个由梯度给定的线搜索方向，都保证正交于上一个线搜索方向。 假设上一个搜索方向是dt−1d_{t-1}dt−1​。在极小值处，线搜索终止，方向dt−1d_{t-1}dt−1​处的方向导数为零：∇θJ(θ)d
conjugate gradient method (共轭梯度法)
Marshall的专栏
06-17 2820
转自：http://blog.csdn.net/u010922186/article/details/43852707 共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性
共轭梯度法以及C语言实现
John的博客
05-30 4899
CG C实现 #include<stdio.h> #include<stdlib.h> #include<math.h> #include<string.h> #define N 5 #define epsilon 0.005 /* 矩阵A和向量b，相乘结果存在Ab里 */ void matrixTimesVec(double A[N][N], double b[N], double Ab[N]) { int i, j; for (i = 0
（一）共轭梯度算法
秦时明月的博客
06-19 3万+
共轭梯度算法是干什么？ 共轭梯度算法是一种迭代算法，在一次次的对待中最终求得结果，可以类比牛顿迭代法。共轭梯度算法主要用在求解矩阵方程，也就是求解n元一次方程组,如Ax=b的解x。比一般的迭代算法都要快，最多迭代n次就能出结果。 基本思想 共轭梯度法是属于最小化类的迭代方法。为了求解Ax = b这样的一次函数，可以先构造一个二次齐函数 f(x)=12xTAx−bTxf(x) = \frac{1}{...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值