第7章共轭梯度法

如何确定下一个搜索方向呢？
在过点 x(1)的由向量 r(1)和 p(0所) 张成的下列二维平 面内找出函数值下降最快的方向作为搜索方向 p(1)
2 x x(1) r(1) p(0) : , R
p(1)、 p(0)和 r(1)的几何意义
2
x p(1) r(1)
p(0)
x(1)
此时 ( x在) 上可2 表示为
一般地，设已经得到 p(k)，则第k+1步迭代的计算公式为
k
r (k )T p(k ) p(k )T Ap(k )
0
0
沿该方向进行一维搜索得步长为
1
(r (1) , p(1) ) ( Ap(1) , p(1) )
记
0
0 0
( Ar(1) , p(0) ) ( Ap(0) , p(0) )
x(2) x(1) 1 p(1) p(1) r(1) 0 p(0)
下面以 x(2)为新的迭代值，重复上述过程即可。
求步长 ，使得 min( x(0) r(0) )
d (x(0) r(0) ) 0 d
( x(0) r(0) )T A( x(0) r(0) ) 2bT ( x(0) r(0) )
0
(r(0), r(0) ) ( Ar (0) , r (0) )
注意到
d2
d 2
(
x(0)
r (0)
如果 ( x ) min( x) 则由极值的必要条件得 xRn
( x ) 2( Ax b) 0 Ax b 2 ( x) A 0
定理7.1说明：求解方程组的解等价于求上述 二次函数的最小值。常用方法：迭代解法
二、最速下降法/*Steepest Descent Method*/
思
最速下降法是指每次沿着函数值
0
2
r (1)T Ap(0) p(0)T Ap(0)
0
x x(1) 0r (1) 0 p(0) 其中 0 ,满0足
00rr((11))TT
Ar (1) Ap(0)
0r (1)T Ap(0) r(1)T 0 p(0)T Ap(0) 0
r (1)
取下一个搜索方向为
p(1) 1 ( x x(1) ) r(1) 0 p(0)
想
下降最快的方向寻找最小值点。
而函数值下降最快的方向是函数的负梯度方向
➢几何意义：
等值线
x
(
0)
•
•x
➢最速下降法的实现过程 选取初始向量 x(0)，由二次函数 ( x) 的基本性质
( x(0) ) b Ax(0) r(0)
如果 r (0) 0 ，则 x(0)就是方程组的解； 如果 r (0) 0 ，则沿 r (0)方向进行一维极小搜索：
r(k ) b Ax(k )
k
(r(k), r(k) ) ( Ar (k ) , r (k ) )
x(k 1) x(k ) k r (k )
如果 r(k ) ，停止
否则，进行下一次循环
r(k1) b Ax(k1)
b A( x(k ) k r (k) )
r (k ) k Ar (k )
其中 x ( x1, x2 , , xn )T ; b (b1, b2 , , bn )T
定义二次函数 : Rn R
nn
n
(x) xT Ax 2xTb
aij xi x j 2 bj x j
i 1 j1
j 1
➢二次函数 ( x)的基本性质：
对 x Rn ,( x) 2( Ax b) ❖设 x A为1b 的A解x ，则b
x(1) r(1) p(0)
( ,)
x(1) r(1) p(0)
T
A
x(1) r(1) p(0)
2bT x(1) r (1) p(0)
由极值的必要பைடு நூலகம்件得
2
r (1)T Ar (1) r (1)T Ap(0) r (1)T r (1)
)
(
Ar (0)
,
r(0)
)
0
min( x(0)
r (0)
)
(
x(0)
0r(0)
)
令 x(1) x(0) 0r (0) ，从而完成第一次迭代。
下面以 x(1)为新的初值，重复上述过程。
➢最速下降法的算法
选取初值 x(0) Rn
For k=0,1,2,…
搜索方向是正交的：
(r (k1) , r (k ) ) 0
设 A (aij ) Rnn为对称正定矩阵， Ax b
其中 x ( x1, x2 , , xn )T ; b (b1, b2 , , bn )T
Def 设 A R为n对n称正定矩阵，若 中R向n量组
p(0) , p(1) , , p(l) 满足 ( Ap(i) , p( j) ) 0 i j
缺陷：收敛速度慢
Th7.2 设 A的特征值为 0 1 , n
则由前述最速下降算法产生的序列 x(满k) 足
k
x(k) x
A
n n
1 1
x(0) x A
其中 x A。1b
上述定理说明，当 1
时最速下降法收敛非常慢。 n
三、共轭梯度法/*Conjugate-Gradient Method*/
则称它是Rn中的一个A 共轭（A 正交）向量组。
思 利用一维极小搜索方法确定一组 A 共轭方向
想
代替最速下降法中的正交方向来进行迭代。
➢共轭梯度法的实现过程
选取初始向量
x ( 0 )， p( 0 )
r (0)， (0)
(r(0), r(0) ) ( Ap(0) , p(0) )
x(1) x(0) 0 p(0) , r (1) b Ax(1)
Chater 7 最优化方法与共轭梯度法
/*Optimization Method and Conjugate Gradient Method*/
思 共轭梯度法是一种变分方法，将求解线性方程组 想 问题等价转化为一个二次函数的极小值问题 。
一、与方程组等价的变分问题
设 A (aij ) Rnn为对称正定矩阵， Ax b
( x ) ( Ax , x ) ，且对 x 有Rn
( x) ( x ) ( Ax, x) 2( Ax , x)
( Ax , x ) ( A( x x ), x x )
Th7.1 设 A对称正定，则 为x Ax的解 的b
充要条件是 ( x ) min( x) xRn
证明： 必要性由上述性质❖易知，下证充分性：