线性方程组的共轭梯度法

罗林开 模式识别与智能系统研究所 2013-7-13
11
A共轭方向
定义: 设A是n阶对称正定矩阵.若R n中的两个方向 d (1)和 d (2) 满足 (d (1) )T A d (2) 0 则称这两个方向关于A共轭,或称它们关于A正交. 若R n中的k个方向d (1) ,d (2) , ,d (k ) ,它们两两关于 A共轭,即 (d (i ) )T A d ( j ) 0,i j , i, j 1, , k 则称这k个方向是A共轭的,或称它们为A的k个共 轭方向. 注:A共轭是正交的推广,当A=I时,A共轭即为正交.
罗林开
模式识别与智能系统研究所
2013-7-13
10
x(1) x(3) =x* d(1) d(2) x(2)
从x (1)出发,沿d (1)作一维搜索,与等高面相切于x (2) , 记 d (2) x* x (2) , 再沿d (2)作一维搜索,即可得到最优解x* .由于(d (1) )T f ( x (2) ) 0, 因此 (d (1) )T A d (2) (d (1) )T A( x* x (2) ) (d (1) )T ( Ax* Ax (2) ) (d (1) )T (b Ax (2) ) (d (1) )T f ( x (2) ) 0. 也就是说沿满足(d (1) )T A d (2) 0的两个方向d (1) , d (2)作一维搜索, 即可得到二维正定二次函数的最小点.对于n维的正定二次函数, 亦有相同的结论.
罗林开 模式识别与智能系统研究所 2013-7-13
18
先证关系(2).根据迭代公式 x (i 1) giT d (i ) giT gi x (i ) i d (i ) , i =- (i ) T (i ) T (i ) (d ) Ad (d ) Ad ( i ) gi i Ad (i )
T g i+1g j g iT g j i (d ( i ) )T A( d ( j ) j 1d ( j 1) )
gi 1 Ax (i 1) b Ax ( i ) i Ad ( i ) b (*)
由归纳法假设,当j i时,
T g iT g j (d (i ) )T Ad ( j ) (d ( i ) )T Ad ( j 1) 0 g i+1g j 0; T 当j=i时 g i+1g i g iT g i i ( d ( i ) )T Ad (i) g iT g i g iT g i 0.
罗林开 模式识别与智能系统研究所 2013-7-13
12
性质1:设d (1) ,,d (k )是R n中A的k个非零共轭 方向,则d (1) ,,d (k )线性无关. 性质2:设d (1) ,,d (k )是R n中A的k个非零共轭 方向,从任意的初始点x (1)出发,分别沿d (1) ,,d (k ) 进行一维搜索,得到x (2) ,,x (k+1) , 则x (k+1)是n维正定 二次函数f ( x)在k维线性流形x (1) k 上的唯一极小 点.特别地,当k =n时,x (n+1)是f ( x)在R n 上的唯一极小 点. 这里 k {x | x i d (i ) , i (, )}.
罗林开 模式识别与智能系统研究所 2013-7-13
15
A共轭方向的生成：共轭梯度法
(1)令d (1) =-f ( x (1) )=-g1 ,沿d (1) 进行一维搜索,即解一维问题 min f ( x (1) + d (1) ) 得1 , 令 x (2) x (1) +1d (1) . (2)一般地,若已知点x ( k )和搜索方向d ( k ) ,则沿d ( k ) 进行一维搜索,得 x ( k 1)
i 1
罗林开 模式识别与智能系统研究所
k
2013-7-13
13
性质1的证明:设
1d (1) + i d (i ) + + k d (k ) 0
对任意的1 i k,上式两边左乘(d (i ) )T A, 得
1(d (i ) )T Ad (1) + i(d (i ) )T Ad ( i ) + + k(d ( i ) )T Ad (k ) 0
罗林开 模式识别与智能系统研究所 2013-7-13
6
正交方向及其性质
W(3) =W*
W(1)
W(2)
沿两个相互正交的方向，进行精确一维搜索， 即可得到最优解（二维情形）
罗林开 模式识别与智能系统研究所 2013-7-13
7
n维情形: 沿相互正交的n个方向,进行精确 一维搜索,至多迭代n次,即可得到正定二次 函数 1 T T f ( w) w w r w 2 的最优解w* r.
罗林开
模式识别与智能系统研究所
2013-7-13
8
那么对于正定二次函数(A对称正定) 1 T T f ( x) x Ax b x 2 能否通过在n个方向上的一维搜索, 至多迭代n次获得其最优解x* A b?
1
罗林开
模式识别与智能系统研究所
2013-7-13
9
将f ( x)在x * 处进行Taylor展开, 得到 1 T f ( x) f ( x*) f ( x*) ( x x*) ( x x*)T A( x x*) 2 1 f ( x*) ( x x*)T A( x x*) 2 因此f ( x)的等高面是一簇超椭球面.
T
g j 1 g j
j
i (d (i) )T Ad ( j )
当j i时,由归纳假设和( gi 1 )T g j =0(1 j i),有( d (i 1) )T Ad ( j ) 0; giT1 Ad (i ) 当j i时,根据i (i ) T ,得 (i ) (d ) Ad g gi (d (i 1) )T Ad (i ) ( gi 1 )T i 1 i (d (i) )T Ad (i )
,
罗林开 模式识别与智能系统研究所 2013-7-13
17
证明: 用数学归纳法证明. 当i=1时,由于d (1) g1.因此关系(3)成立. 当i=2时,关系(1)显然成立.由 g T d (1) 0(精确一维搜索的要求) 2 可得g T g1 0, 从而关系(2)也成立.根据 2 g T d (2) g T (g 2 1d (1) ) g T g 2 , 2 2 2 关系(3)也成立. 设对某个i<m, 关系(1), (2), (3)均成立, 现证明对i+1这些关系也成立
线性方程组的共轭梯度法
(Hestenes and Stiefel,1952)
罗林开
模式识别与智能系统研究所
2013-7-13
1
罗林开
模式识别与智能系统研究所
2013-Biblioteka Baidu-13
2
罗林开
模式识别与智能系统研究所
2013-7-13
3
线性方程组 Ax b 1 T T min f ( x) x Ax b x 2 的驻点条件(梯度等于0) f ( x) Ax b 0 (1) 可以看成是如下无约束最优化问题 (2)
0 , j=i 由于(d ) Ad , 0, j i 故得 i 0, i 1, 2, , k
(i ) T ( j)
因此d (1) ,,d (k )线性无关.
罗林开
模式识别与智能系统研究所
2013-7-13
14
性质2的证明: 由于f ( x)是严格凸函数, 要证明x (k+1)是f ( x)在k维线性 流形x (1) k 上的唯一极小点,只要证在x (k+1)处函数的梯度f ( x (k+1) ) 与子空间k 正交.用数学归纳法证明.记g i f ( x (i ) ). 当k 1时,由一维搜索的要求知,g 2 1. 假设k m n时,g m+1 m , 现要证g m+2 m+1. g m+2 Ax ( m 2) b A( x ( m 1) m 1d ( m 1) ) b g m+1 m 1 Ad ( m 1) (d (i ) )T g m+2 ( d (i ) )T g m+1 m 1 ( d (i ) )T Ad ( m 1) 当i m 1时,由一维搜索的要求知( d (m 1) )T g m+2 0 当1 i<m+1时,由归纳假设有( d (i ) )T g m+1 0. 因 d (1) ,,d (m 1)关于A共 轭 (d (i ) )T Ad ( m 1) 0 (d (i ) )T g m+2 0 g m+2 m+1. 当k n时,d (1) ,,d (n )是R n的一组基 g n+1 0 x ( n 1)是f ( x)的唯一 极小点.
i
( gi 1 )T
gi 1 gi
i
giT1 Ad (i ) ( gi 1 )T
gi 1 gi
i
giT1
gi 1 gi
i
0
故关系(1)成立.
罗林开
模式识别与智能系统研究所
2013-7-13
罗林开
模式识别与智能系统研究所
2013-7-13
16
共轭梯度法基本性质
定理: 对于正定二次函数， 采用精确一维 搜索的共轭梯度法在 m n 步后终止， 且对 1 i m 成立下列关系式：
(1) ( d ( i ) )T Ad ( j ) 0 , j 1, 2, , i 1, (2) giT g j 0 , j 1, 2, , i 1, (3) giT d ( i ) g iT g i , (蕴含d ( i ) 0) (共轭性) (正交性) (下降性)
故关系(2)成立.
罗林开 模式识别与智能系统研究所 2013-7-13
19
再证关系(1). (d (i 1) )T Ad ( j ) ( gi 1 i d ( i ) )T Ad ( j ) ( gi 1 )T Ad ( j ) i (d ( i ) )T Ad ( j ) ( gi 1 )
T gk d (k ) x ( k ) +k d ( k ) , k arg min f ( x ( k ) + d ( k ) )=- ( k ) T (d ) Ad ( k )
若 g k+1 =0,则x ( k 1)即为所求,停止计算;否则用-g k+1和d ( k )构造下一个搜索 方向d ( k 1) ,并使d ( k 1)和d ( k )关于A共轭,即 d ( k 1) -g k+1 + k d ( k ) , 根据(d ( k 1) )T Ad ( k ) 0, 可得 (d ( k ) )T Ag k 1 k (k ) T (k ) (d ) Ad (3)再从x ( k 1)出发,沿d ( k 1) 进行一维搜索. (3)
罗林开
模式识别与智能系统研究所
2013-7-13
4
无约束最优化问题的共轭梯度法
• 正交方向 • 共轭方向 • 共轭梯度法
罗林开
模式识别与智能系统研究所
2013-7-13
5
考虑一类特殊的正定二次函数 1 T f ( w) w w r T w 2 令f ( w) w r 0, 得f ( w)的极小点w* r. 将f ( w)在w * 处进行Taylor展开, 得到 f ( w) f ( w*) f ( w*)( w w*) 1 ( w w*)T I ( w w*) 2 1 f ( w*) || w w* ||2 . 2 因此f ( w)的等高面是一簇超球面.