第三次梯度法和共轭梯度法57423
共轭梯度法步骤
共轭梯度法步骤共轭梯度法是一种求解线性方程组的迭代算法，它以高效稳定的特点而广受欢迎。
以下是共轭梯度法的步骤：步骤1：初始化首先，我们需要有一个初始向量x0和一个初始残量r0=b-Ax0。
其中，A为系数矩阵，b为常数向量。
步骤2：计算方向向量令d0=r0，表示第一次迭代的方向向量。
步骤3：计算步进长度令α0=(r0·r0)/(d0·Ad0)，其中·表示向量的点积。
α0表示迭代过程中每个方向向量的步进长度。
步骤4：更新解向量令x1=x0+α0d0，表示迭代后的解向量。
步骤5：计算新残量令r1=r0-α0Ad0。
步骤6：判断终止条件如果r1的范数小于预设阈值，或者迭代次数达到预设次数，终止迭代。
否则，进入下一次迭代。
步骤7：更新方向向量令β1=(r1·r1)/(r0·r0)，表示更新方向向量的轴线。
步骤8：计算新方向向量令d1=r1+β1d0，表示新的迭代方向向量。
步骤9：计算新的步进长度令α1=(r1·r1)/(d1·Ad1)。
步骤10：更新解向量令x2=x1+α1d1。
步骤11：更新残量令r2=r1-α1Ad1。
步骤12：重复步骤6至11，直至满足终止条件。
总结起来，共轭梯度法的步骤主要包括初始化、计算方向向量、计算步进长度、更新解向量、计算新残量、判断终止条件、更新方向向量、计算新的步进长度、更新解向量和更新残量等。
该算法迭代次数较少，收敛速度快，适用于大规模线性方程组的求解。
共轭梯度法
•基本思想:把共轭性与最速下降法相结合,利用已 知点处的梯度构造一组共轭方向,并沿着这组方 向进行搜索,求出目标函数的极小点
4.4共轭梯度法
先讨论对于二次凸函数的共轭梯度法,考虑问题
min f (x) 1 xT Ax bT x c
3, giT d (i) giT gi (蕴涵d (i) 0)
证明: 显然m1,下用归纳法(对i)证之.
当i 1时,由于d (1) g1,从而3)成立,对i 2时, 关系1)和2)成立,从而3)也成立.
4.4共轭梯度法
设对某个i<m,这些关系均成立,我们证明对于i+1
也成立.先证2),
因此
2 / 3 1 5/ 9
d (2)
1/ 1
3
1 9
2 0
5/9 1
从x(2)出发,沿方向d (2)进行搜索,求步长2,使满足 :
f
( x (1)
2d (1) )
min
0
f
(x(2)
d (2))
2 0
4.4共轭梯度法
显然, d (1)不是目标函数在x(1)处的最速下降方向.
下面,我们用FR法构造两个搜索方向.
从x(1)出发,沿方向d (1)进行搜索,求步长1,使满足 :
f
( x (1)
1d (1) )
min
0
f
( x (1)
d (1) )
得1 2 3
A正定,故x是f(x)的极小值点.
共轭梯度法程序
一、共轭梯度法共轭梯度法（Conjugate Gradient）是共轭方向法的一种，因为在该方向法中每一个共轭向量都是依靠赖于迭代点处的负梯度而构造出来的，所以称为共轭梯度法。
由于此法最先由Fletcher和Reeves （1964）提出了解非线性最优化问题的，因而又称为FR 共轭梯度法。
由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用于实际问题中。
共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次迭代的搜索方向的组合，因此，存储量少，计算方便，效果好。
二、共轭梯度法的原理设有目标函数f（X）=1/2X T HX+b T X+c 式1 式中，H作为f（X）的二阶导数矩阵，b为常数矢量，b=[b1,b2,b3,...b n]T 在第k次迭代计算中，从点X（k）出发，沿负梯度方向作一维搜索，得S(K)=-∆f（X（k））式2 X(k+1)=X(k)+ɑ(k)S(k) 式3在式中，ɑ（k）为最优步长。
设与S(k）共轭的下一个方向S(k+1)由点S(k）和点X(k+1)负梯度的线性组合构，即S (k+1)=-∆f （X （k+1））+β(k)S (k) 式4 根据共轭的条件有[S (k)]T ∆2f （X (k)）S (k+1)=0 式5 把式2和式4带入式5，得-[∆f(X (k))]T ∆2f （X (k)）[-∆f （X （k+1））+β(k)S (k) ]=0 式6 对于式1，则在点X (k)和点X (k+1)的梯度可写为∆f(X (k))=HX (k)+b 式7 ∆f （X （k+1）)=HX (k+1)+b 式8 把上面两式相减并将式3代入得ɑ(k)H S (k)=∆f （X （k+1）)-∆f(X (k)) 式9 将式4和式9两边分别相乘，并代入式5得-[∆f （X （k+1）)+β(k)∆f(X (k))]T [∆f （X （k+1）)-∆f(X (k)]=0 式10 将式10展开，并注意到相邻两点梯度间的正交关系，整理后得 β（k ）=22||))((||||))1((||k X f k X f ∆+∆ 式11把式11代入式4和式3，得 S （k+1）=-∆f （X (k)）+β（k ）S （k ）X (k+1)=X （k ）+ɑ（k ）S （k ）由上可见，只要利用相邻两点的梯度就可以构造一个共轭方向。
【实用】共轭梯度法反演PPT资料
我们假设在点X0 处开始沿负梯度方向
蒙特卡洛方法 搜索,到达点X1 ,即
设有一组n 维彼此关于n×n 的正定对称矩阵A共轭的向量
，能够使我们分别沿着这n个共轭向量所指的方向各搜索一
非 统计方法 次,就可以达到极值点 。
为了使搜索能够快速到达极值点选取α使
模拟退火法
为了使搜索能够快速到达极值点选取α使
0 ( Ax k b )T d k 1 ( A ( xk 1 k d k ) b )T d k 1
从而，
k
rkT p k
p
T k
ApBiblioteka k(11)将上式带入 (10) 式可得：
x *
xn
x0
n 1 i0
riT p i
p
T i
Ap
i
di
(12)
*
16
三、共轭梯度法的优缺点
优 分别使用最共 速轭 下梯 降度 法法 和组 解 2 3线 6 2x性 28方 程 点 目标函 :(数 x1,x2为 )-2x13x124x1x28x26x22
性
小值，分0别 .60是 10和 ： 508.76035
P2局部极 小值
P1全局极 小值
*
20
三、共轭梯度法的优缺点
局限性
初始猜测 反演结果 目标函数值 (2,-1) (3.0，0.0) 0.6011 (-2,-1) (-3.0,0.0) 0.7606 (-1.5,0) (-0.0958,0) 0.9932 (4,-1) (3.0，0.0) 0.6011
*
17
三、共轭梯度法的优缺点
计算效率比较
最速下降法
共轭梯度法
*
18
三、共轭梯度法的优缺点
共轭梯度法
最速下降法1.最速下降方向函数f(x)在点x处沿方向d的变化率可用方向导数来表示。
对于可微函数，方向导数等于梯度与方向的内积，即：Df(x;d) = ▽f(x)T d,因此，求函数f(x)在点x处的下降最快的方向，可归结为求解下列非线性规划：min ▽f(x)T ds.t. ||d|| ≤ 1当 d = -▽f(x) / ||▽f(x)||时等号成立。
因此，在点x处沿上式所定义的方向变化率最小，即负梯度方向为最速下降方向。
2.最速下降算法最速下降法的迭代公式是x(k+1) = x(k) + λk d(k) ,其中d(k)是从x(k)出发的搜索方向，这里取在x(k)处的最速下降方向，即d = -▽f(x(k)).λk是从x(k)出发沿方向d(k)进行一维搜索的步长，即λk满足f(x(k) + λk d(k)) = min f(x(k)+λd(k)) (λ≥0).计算步骤如下：(1)给定初点x(1) ∈ R n，允许误差ε> 0，置k = 1。
(2)计算搜索方向d = -▽f(x(k))。
(3)若||d(k)|| ≤ε，则停止计算；否则，从x(k)出发，沿d(k)进行一维搜索，求λk，使f(x(k) + λk d(k)) = min f(x(k)+λd(k)) (λ≥0).(4)令x(k+1) = x(k) + λk d(k)，置k = k + 1，转步骤(2)。
共轭梯度法1.共轭方向无约束问题最优化方法的核心问题是选择搜索方向。
以正定二次函数为例，来观察两个方向关于矩阵Ａ共轭的几何意义。
设有二次函数：f(x) = 1/2 (x - x*)T A(x - x*) ,其中A是n×n对称正定矩阵，x*是一个定点，函数f(x)的等值面1/2 (x - x*)T A(x - x*) = c是以x*为中心的椭球面，由于▽f(x*) = A(x - x*) = 0，A正定，因此x*是f(x)的极小点。
第三次梯度法和共轭梯度法
4. 令 x k 1 x k k d k , 令 k : k 1 , 转2。
2 2 例. 用最速下降法求解 : min f ( x ) x1 3 x2 , 设初始点为 x1 ( 2 ,1 )T ,
求迭代一次后的迭代点 x 2 。
解： f ( x ) ( 2 x1 , 6 x2 )T ,
注： 因为梯度法的搜索方向 k 1 f ( x k k d k )， d 所以
(d k 1 )T d k 0 d k 1 d k 。
锯齿现象
在极小点附近，目标函 数可以用二次函数近似 ，其等值面近似
椭球面。
x2 x3
x*
x1
注
最速下降方向反映了目 标函数的一种局部性质 它只是 。
则下一个搜索方向 d ( k 1)按如下方式确定:
令 d ( k 1) g k 1 k d ( k ) (1)
如何确定 k？
要求 d ( k 1) 和 d ( k ) 关于 A共轭。
则在（ ）式两边同时左乘 d 1
0d
( k )T
( k )T
A ，得
A d (k )
Ad
则有 f ( x k k d k )T d k 0 。
令 ( ) f ( x k d k )， 所以 证明：
( ) f ( x k d k )T d k .
f ( x k k d k ) min f ( x k d k )
(k ) f ( x k k d k )T d k 0 .
d 1 f ( x 1 ) ( 4 , 6 )T . x 1 d 1 ( 2 4 , 1 6 )T . 令 ( ) f ( x 1 d 1 ) ( 2 4 ) 2 3 ( 1 6 ) 2 ，
共轭梯度法
必有
p
T j
∇f
(X
n
)
=0(源自j=0,1,L,
n
− 1)
因为A正定，所以f (X ) 是凸函数，故 X n 是惟一的全局 极小点。
从而
∇f (Xk ) = AXk + b
=
AX
j+1
+
λ* j+1
Apj+1
+L+
λ* k −2
Apk−2
+
λ* k −1
Apk
−1
+
b
=
∇f
(X
⎡6 ⎢⎣17
12⎤ 17⎥⎦
⎢⎣⎡−
90 289
−
210⎤ 289⎥⎦
T
−
210⎤⎡ 3 289⎥⎦⎢⎣−1
−11⎥⎦⎤⎢⎣⎡−
90 289
−
210⎤T 289⎥⎦
= 17 10
X2
=
X1
+
λ1 p1
=
⎡ 26 ⎢⎣17
38 ⎤ T 17 ⎥⎦
+ 17 10
⎢⎣⎡−
90 289
−
210 ⎤ T 289 ⎥⎦
= [1
1]T
∇f ( X 2 ) = [0 0]T
练习： 试用共轭梯度法二次函数
min
f
(x)
=
x12
+
1 2
x22
+
1 2
x32
的极小点。取初始点为x( 0 ) = (1,1,1)T
3 、非二次函数的共轭梯度法
一般地，我们有：
⎧ X k+1 = X k + λk pk
共轭梯度法
2 2 min f ( x ) = x1 + 2x2 x
⎛1⎞ 给定初始点 x (0) = ⎜ ⎜1⎟ ⎟。 ⎝ ⎠
13
⎛ 2 x1 ⎞ ⎛ 2 0⎞ 2 首先， ∇f ( x ) = ⎜ ⎜ 0 4⎟ ⎟ ，以下利用(4.14)确定 β k 。 ⎜ 4x ⎟ ⎟ ，H= ∇ f ( x ) = ⎜ ⎝ ⎠ ⎝ 2⎠ k=0：
0
k +1
) 与搜索方向 s 0 ," , s k 均正交。同时，利用引理 4.1 马上
设 H ∈ R n×n 是对称正定阵，s ," , s
0
n −1
0
n −1
是非零 G—共轭方向组，x ∈ R 。 若对问题(UQP)，
0
n
从 x 出发，依次沿 s ," , s
0
进行最优一维搜索，最终得到 x ，则 x 是(UQP)的最优解。
为保证 H-共轭性，在 x 处必须取 s 为搜索方向，而不能取 α s (α > 0) 为搜索方向。
k k
k
利用定理 4.3，马上得到上述算法的有限终止性。 定理 4.4 设 H ∈ R n×n 是对称正定阵。若用凸二次规划的共轭梯度法求解 (UQP) 时产生迭代点
x1 ," , x K ，则 x K 是(UQP)的最优解，并且 K ≤ n 。
首先由(4.7)知， g = ∇f ( x ) ( j = 0, " , k -1)是 s ," , s 的线性组合，因此根据定理 4.2，
j j 0 j
( g k )T g j =0， j = 0, " , k -1
由于
共轭梯度法
证明：采用数学归纳法, 不过, 还是省略它
(5.8)意味着 d iT Qd j 0, j i, i 1, 2, , n - 1 即Broyden 族在用精确搜索求解凸二次函数极小化问题 时, 所产生的方向关于矩阵Q相互共轭.属于共轭方向法.
前面讨论的共轭方向法 需要在算法之初 产生 n个共轭方向，因而需要很大的存贮量，而且 不能用来求解非二次问题.
j 0 k
dT j Qp k 1 d Qp j
T j
d j,
(5.5)
步2 若k n - 2, 则停止, 否则, 令k : k 1, 转步1.
容易验证, 由算法5.1产生的向量组 d 0 , d1 , , d n-1 R n 关于矩阵Q相互共轭
下面的定理解释了第四章介绍的Broyden 族具有二次终 止性的根本原因 :
其中 k 是待定参数, 适当选取 k , 使得 d kT Qd k -1 0.
一般地, 搜搜方向的计算公式为： - f ( x0 ), dk - f ( xk ) k d k -1 , k 0 k 1 (5.10)
在下面我们来推导 (5.10) 参数 k 的计算公式 :
d k -f ( xk ) k d k -1
其中 k 是由精确搜索得到的步长. 即满足
于是求得
d kT-1Qf ( xk ) k T dk -1Qd k -1
在该计算式中含矩阵Q, 为减少计算量及使共轭梯度能 用于求解非二次函数的优化问题, 在计算式中消除 Q.
由上面的条件得到
T T T p0 Qp1 - p0 Qf ( x1 ) p0 Qp 0 0
等值线
f ( x1 )
由此解得 所以 p Qf ( x1 ) T p0 Qp 0
共轭梯度法
, k 1 ）
（1）
同样由前一节共轭方向的基本定理有：
T gk di 0
（ i 0,
, k 1 ），（2）
T 再由 g i 与 d i 的关系得： gk gi 0 （ i
0,
i 0,
, k 1 ）
(3)
将（2）与（3）代入（1）得：当 而
i 0 , k 2 时，
第 2次迭代：
5 2 8 T ( 8 , 4 )T ( , ) 18 9 9
g1 (
8 2 16 2 ) ( ) || g1 || 9 9 4 . 0 || g 0 ||2 82 4 2 81
2
8 16 T , ) . ||g1 || 9 9
解：
4 1 f ( x) ( x1 , x2 ) 2 0
0 x1 , 2 x2
4 0 G . 0 2
f ( x) ( 4 x1 , 2 x2 )T .
第1 次迭代：
令
而
d (0) g0 f ( x(0) ) ( 8 , 4 )T ,
一、共轭梯度的构造 （算法设计针对凸二次函数） 设
f ( x)
1 T x Gx bT x c 2
其中 G 为 n n 正定矩阵，则
g ( x) Gx b
对二次函数总有 1）设
gk 1 gk G xk 1 xk k Gdk
，令 x1 x0 0 d0 （ 0 为精确步长因子）
dk 1 f ( xk 1 ) dk
|| f ( xk 1 ) ||2 || f ( xk ) ||2
令k=k+1;返回4.
共轭梯度法课件
4.3共轭梯度法4.3.1共轭方向法定义4.3.1设A 是n ×n 对称正定矩阵，d 1，d 2，是n 维非零矢量，如果d 1T Ad 2=0则称d 1和d 2是A-共轭的，简称共轭的设d 1，d 2，...,d m 是R n 中一组非零向量，如果d i T Ad j =0,i ≠j ，j,i=1,2,...,k则d 1,d 2,...,d m 是A-共轭的，简称共轭的，也称它们是一组A 共个方向定理4.3.3设x 0∈Rn 是任意初始点，对于极小化二次函数min f(x)=1/2 x T Ax-b T x 共轭方向法至多经n 步精确线性搜索终止；且每一x i+1都是f(x)在x 0和方向d 1，d 2,....,di, 所张成的线性流形｛|x x=x 0+,0j i j j da ∑=j a ∀｝中的极小点。
4.3.4共轭梯度法共轭梯度法是一个典型的共轭方向法，他的每一个搜索方向是相互共轭的，而这些搜索方向d k 仅仅是负梯度方向-g k 与上一次迭代的搜索方向d k-1组合。
因此，存储量小，计算方便。
定理4.3.6对于正定二次函数，采用精确线性搜索的共轭梯度法在m ≦n 步后终止，且对1≦i≦n成立下列关系式：d i T Ad j=0,j=0,1,...,i-1,g i T Ag j=0,j=0,1-1,d i T Ag i= - g i T g I[g0,g1,...,g i]=[g0,Ag0,,...,A i g0][d0,d1,...,d i]=[g0,Ag0,,...,A i g0]其中[g0,g1,...,g i]和[d0,d1,...,d i]分别表示g0,g1,...,g i及d0,d1,...,d i张成的子空间，[g0,Ag0,,...,A i g0]表示g0的i阶Krylov子空间。
定理4.3.9（FR共轭梯度法的总体收敛性定理）假定f R n R在有界水平集L={x R n|f（x）≦f（x0）｝上连续可微，且有下界，那么采用精确线性搜索的F-R共轭梯度法产生的序列｛x k｝至少有一个聚点是驻点，即1当｛x k｝是有穷数列时，其最后一个点是f（x）的驻点；2当｛x k｝是无穷数列时，它必有聚点，且任一聚点都是f（x）的驻点。
共轭梯度法
3. 算法的 MATLAB 实现
在 MATLAB 中编程实现的共轭梯度法函数为： min GETD 功能：用共轭梯度法求解多维函数的极值。
调用格式： [ x, min f ] min GETD( f , x0, var, eps) 其中， f ：目标函数；
x0 ：初始点； ：自变量向量； var x ：目标函数取最小值时的自变量值；
（6） 若 k 1 n ，令 x(0) x( n ) ，转步骤（3） ，否则转步骤（7） ；
（7） 令 p
( k 1)
f ( x
( k 1)
) k p
(k )
， k
f ( x ( k 1) ) f ( x )
(k )
2 2
， 置 k k 1， 转步骤 （4） 。
t 0
(k ) ( k ) （4） 用 一 维 搜 索 法 求 t k ， 使 得 f ( x kt p ) m i n f
( ) 5； x( k 1 ) x k( ) kt p k，转步骤
k( ) x
) 令， tk p( ，
（5） 若 f ( x
( k 1)
) ，停止，极小值点为 x ( k 1) ，否则转步骤（6） ；
1 f ( X ) d1 + x1 -x1* 2 1 =d1 + x1 -x1* 2
2
*
2
1 d1 a x1 -x1* 2
2b x1 -x1*
x -x c x -x
2
2b x1 -x1*
共轭梯度法原理
共轭梯度法原理共轭梯度法是一种用于求解大型稀疏线性方程组的优化算法。
它是一种迭代法，通过寻找一个搜索方向，并在该方向上进行搜索，逐步逼近最优解。
共轭梯度法在优化问题中有着广泛的应用，尤其在求解大规模线性方程组时表现出色。
共轭梯度法的原理可以从最小化函数的角度进行解释。
假设我们要最小化一个二次函数f(x)，其中x是一个n维向量。
共轭梯度法的目标是找到一个搜索方向d，使得沿着这个方向移动能够让函数值最小化。
在每一步迭代中，我们需要找到一个合适的步长α，使得沿着搜索方向d移动后能够使函数值减小最快。
共轭梯度法的核心思想是利用历史信息来加速收敛。
在每一步迭代中，共轭梯度法会根据历史搜索方向的信息来选择当前的搜索方向，以便更快地找到最优解。
这种方法可以在较少的迭代次数内找到最优解，尤其对于大规模问题来说，可以节省大量的计算资源。
在实际应用中，共轭梯度法通常用于求解线性方程组Ax=b，其中A是一个对称正定矩阵。
共轭梯度法的迭代过程可以通过以下步骤进行描述：1. 初始化，选择一个初始解x0，计算残差r0=b-Ax0，选择初始搜索方向d0=r0。
2. 迭代更新，在第k步迭代中，计算步长αk，更新解xk=xk-1+αkd，并计算残差rk=b-Axk。
然后根据历史搜索方向的信息，计算新的搜索方向dk= rk+βkdk-1，其中βk是一个根据历史信息计算得到的参数。
3. 收敛判断，在每一步迭代中，可以根据残差的大小来判断算法是否已经收敛。
如果残差足够小，可以停止迭代并得到近似解x。
共轭梯度法的优点在于它对存储和计算资源的要求相对较低，尤其适用于大规模稀疏线性方程组的求解。
同时，由于共轭梯度法利用了历史搜索方向的信息，可以加速收敛，节省计算时间。
然而，共轭梯度法也有一些局限性。
首先，它只适用于对称正定矩阵，对于一般的线性方程组可能不适用。
其次，共轭梯度法可能受到舍入误差的影响，在迭代过程中可能会出现数值不稳定的情况。
总的来说，共轭梯度法是一种高效的优化算法，特别适用于求解大规模稀疏线性方程组。
共轭梯度法
v
i 0
p Api
n
i T i
pi
证明：
任意向量 v (v R ) 可以表示成
v c j Pj
j 0
n 1
用 Pi A
T
(i 1,2,,n-1) 左乘式（1）得
n 1 j 0
PiT Av c j PiT APj ci PiT APi
ci P iT Av P i APi
共轭梯度法
(Fletcher-Reeves)
梯度法的特点 优点 迭代过程简单，编制程序较易，一次迭代的工作量较少，计 算机内存量小。 函数值下降方向明确，对初始点没有严格要求。 缺点 跌代过程中走许多弯路，有些情况下，收敛速度较慢。
d ( k ) -f (x ( k ) ) f (x ( k 1) ) d ( k ) 0
f (x )
(1)
f (x* ) A (x(1) 1d1 ) B A x (1) B 1Ad1 0
=
d (1)
f (x(1) ) 1Ad1 0
x*
1d (1)
d (f (x d f (x
( 0) T (0) T
(1)
) 1Ad(1) )
提供共轭向量系的方法有多种，如共轭梯度法，Powell方法等。
（二）共轭梯度法
Fletcher & Reeves (1964)
构造共轭方向的具体方法
x
(k )
x
( 0)
id(i )
i 0
k 1
(1) 初始搜索方向的确定 选定初始点
x (0) ，下降方向 d (0)
取
x (0) 处的负梯度方向；
第三次梯度法和共轭梯度法73235-PPT资料28页
二次函数情形 非二次函数情形
1、 二次函数情形
FletchReeerv共 es轭梯 : 度法
m if(n x)1x TA x b Txc 2
其中 xRn,A是对称正 b 定 Rn， 矩 c是阵 常， 数。 基本思 将想 共： 轭性和最 向速 相下 结降 合方 ，利 代用 点 处的梯度方共 向轭 构方 造向 一， 组 进 并行 沿搜 此索 方 函数的极小点。
3、共轭方向法
对于极小化问题 mfi(x n ) 1 x T A b x T x c , 2
其中 A是正定矩阵，法 称为 下共 述轭 算方 : 向法
(1 )取定 A 共 一 轭 d (组 1 ),d 方 (2 ), ,d 向 (n )；
(2)任取x初 (1),依 始 次 点 按 x(k 照 )确下 定 x(k 1 式 ),点由
因 A 正 为 所 定 2 f以 (x ， ) A 0 ,
因此x是f(x)的极小点。
f(x)1(xx)TA (xx) 2
x
设x(0) 是在某个等值面上点的，一 d(1) 是Rn中的一个方向，
x (0) d (1)
x(0)沿着d(1) 以最优步长 搜索得到点 x(1) 。
x o
d (2)
注： 如果A是单位矩阵，则 d 1 TId 2 0 d 1 Td 2 0 d1 d2
共轭是正交的推广。
定理1. 设 A 是 n 阶对称d1 正 ,d2, 定 ,dk是 矩 k个 A 阵 共， 轭的
证明
向量，则这个向量组性线无关。
设存1 在 ,2, 实 ,k， 数 使得
k
如何选择下降最快的方向？
f (xk ) 函数值增加最快的方向
共轭梯度法
又称共轭斜量法，是解线性代数方程组和非线性方程组的一种数值方法，例如对线性代数方程组A尣＝ƒ, (1)式中A为n阶矩阵，尣和ƒ为n维列向量,当A对称正定时,可以证明求(1)的解尣*和求二次泛函(2)的极小值问题是等价的。
此处(尣,у)表示向量尣和у的内积。
由此，给定了初始向量尣，按某一方向去求(2)取极小值的点尣,就得到下一个迭代值尣,再由尣出发，求尣等等，这样来逼近尣*。
若取求极小值的方向为F在尣(k＝1,2,…)处的负梯度方向就是所谓最速下降法，然而理论和实际计算表明这个方法的收敛速度较慢，共轭梯度法则是在尣处的梯度方向r和这一步的修正方向p所构成的二维平面内，寻找使F减小最快的方向作为下一步的修正方向,即求极小值的方向p（其第一步仍取负梯度方向）。
计算公式为再逐次计算(k=1,2,…)。
可以证明当i≠j时，从而p,p形成一共轭向量组;r,r,…形成一正交向量组。
后者说明若没有舍入误差的话，至多n次迭代就可得到(1)的精确解。
然而在实际计算中,一般都有舍入误差，所以r,r,…并不真正互相正交，而尣尣,…等也只是逐步逼近(1)的真解,故一般将共轭梯度法作为迭代法来使用。
近来在解方程组(1)时,常将共轭梯度法同其他一些迭代法结合作用。
特别是对病态方程组这种方法往往能收到比较显著的效果。
其方法是选取一对称正定矩阵 B并进行三角分解，得B=LL T。
将方程组(1)化为hу＝b, (3)此处y＝l T尣,b＝l-1ƒ,h＝l-1Al-T,而。
再对(3)用共轭梯度法，计算公式为(k=0,1,2,…)适当选取B，当B 很接近A时，h的条件数较之A大大减小,从而可使共轭梯度法的收敛速度大为加快，由一些迭代法的矩阵分裂A=M -N，可选取M 为这里的B，例如对称超松弛迭代(SSOR)，强隐式迭代(SIP)等,这类方法常称为广义共轭梯度法或预条件共轭梯度法，它也可用于解代数特征值问题。
势函数的一种二阶偏微分方程。