共轭方向与共轭梯度法-最优化方法

min f ( X k Pk ),为最优步长,是个数值．
(3) X k1 X k k Pk ;
(4)若X
k
满足迭代终止准则，
1
输出X k1, 计算停止，
否则转下一步;
(5)根据某种共轭方向的构造方法获得搜索方向Pk 1 ,
令k k 1， 再次循环计算．
三、共轭梯度法
min f X 1.5x12 0.5x22 x1x2 2x1
解 f X 3x1 x2 2, x2 x1 T
X0 2, 4T , P0 f
X0
12, 6T , f
X0
2
180
f X0 P0
k
)]
, (f
(X
k 1 )

f
(X
k
)代QPk
)
f ( X k1 )T f ( X k1 ) f ( X k1 )T f ( X k ) Pk T f ( X k1 ) Pk T f ( X k )
由于X k1是沿Pk 方向进行一维搜索所得极小点, 所以有Pk T f ( X k1 ) 0
如果Q取单位向量，那么Q共轭向量就是相互正交的向量。
所以可认为共轭的概念是正交概念（
xiT x j 0 )的推广。
定理3.31 组。
共轭向量组是线性无关向量
证明 m：1 设j PjQ为0 正定矩阵，P0，P1，···， Pm-j10 是Q 的共轭向量组。
m 1
j PkT QPj 0,
j 0
令
，
则
PkT QPj
0,当k j

{
0，当k

j
k=j P0,jT 1Q,P·j ·0·，m-1
由 Qj 的 正0 定，j=性0,1以,··及·P，jm-,1 Pk的共轭性， 表明P0，P1，···，Pm-1线性无关
推论 在n维空间，任一共轭向量组最多包含n个向量。
定义3.18 设 （线性流形） X 0 En , P0，P1，···，Pm1是En中m个线性无关向量，则称集合L （X0；P0，P1，···，Pm-1)是由点X0和向 量组（P0，P1，···，Pm-1)所生成的线性流 形。
1、共轭方向的构造
定理3.33（共轭方向构造方法）
设f(X)= 1 X TQX bT X c ,Q正定，X0是初始点， 2
P0 f ( X 0 ), X k1 X k k Pk , k 0,1,L , m 1
k是最优步长，且 Pk1 f ( X k1) k Pk
设 X En ,
,Q为对称正定矩阵，P0，
P1，···，Pm-1是关于Q共轭的m个共轭方向，
X0为任意指定的初始点。
设 X k1 X k k Pk ,k=0,1,···，m-1
其中，k 是一维搜索的最优步长。那么，有以下结 论成立：
(1) PjT f ( X m ) 0, j=0,1,···，m-1
共轭方向与共轭梯度法
主要内容
共轭方向法的基本原理 共轭方向和共轭方向法 共轭梯度法
一、共轭方向法的基本原理
问题引入
以二维问题为例 如图，设有无约束极小值题
min f (x) 1 X TQX bT X c 2
Q是正定对称矩阵，X0是初始点，P0 是初始搜索方向，l0是过X0且与方向 P0平行的直线，X1是f(x)在l0上的极
(4)如果k n 1, 令X 0 X k1, k 0， 转(1),否则转下步;
(5)令ak
[
f ( X k1) f ( X k )
]2 ;
(6)如果f ( X k1)T Pk1 0， 令X 0 X k1, 转(1),否则k k 1, 转(2)步;
例 设X0 2, 4T ,用共轭梯度法求解：
线性流形的几何意义
如图所示，设P0，P1是3维空
间E3中的两个线性无关向量，过点
X0做平面 与向量P0，P1都平行，
P1 X0 P0

则由线性流形定义及平面 的向
量表达方程，可知
x2
L（X0;P0,P1)=∏
x1
简单的说：线性流形是由一 点和一个向量组决定的平面
定理3.32 共轭方向的极小点
)

ak
1
Pk
T 1
f
(
X
k
)

f
(
X
k
)T
f
(
X
k
),
(Pk
T 1
f
(
X
k
)

0,
理由同上)
故ak

f ( X k1 )T f ( X k1 ) f ( X k )T f ( X k )
[
f ( X k1 ) f ( X k )
]2
f ( X k 1) f ( X k ) kQPk (3 77)
f ( X k )T f ( X j1) f ( X k )T f ( X j ) j
由（1）式和定理3.32的结论（1）(PjTf ( X m ) 0)，有
f ( X k )T f ( X j1) f ( X k )T jPj Pj1
f ( X k1 ) QX k1 b Q( X k k Pk ) b (2)
f ( X k1 ) f ( X k ) k QPk
所以
f ( X m ) f ( X m1) m1QPm1
f ( X m2 ) m2QPm2 m1QPm1
即 Xm是f(X)在L(X0;P0,···，Pm-1)上的极小点。
推论 设在定理二中m=n,则Xn是f(X)在En中的全局极小点。
2、共轭方向法
• 基本定义
利用共轭方向作为搜索方向的无约束极小化算法
• 通用步骤:
(1)任取X 0 ,以及在X 0的下降方向P0 , k 0; (1)求解一维搜索问题
f (X1)T P0 0 ，所以 f (X1)T P0 1P1TQ P0 0
P1TQ P0 0
（1）
以上就是搜索方向P1所必须满足的（必要） 条件。这也是使X2是极小点的充分条件。 P1，P2称为关于Q的共轭方向。
讨论表明 对于二维的具有正定矩阵Q的 二次函数f(X),从任一初始点出发，依次沿关 于Q共轭的两个方向进行一维搜索，必可达到 f(X)的无约束精确极小点。
m1
Xm X0
k Pk L( X 0; P0 , , Pm1)
k 0
m1
现任取X L(X 0 ; P0 , , Pm1) 有 X
X 0
k Pk
因 2 f (X ) Q
k 0
由Taylor二阶展式
f
(X)

f
(X m ) f
(Xm )T
(X
（3）
其中
k
f ( X k1 )T QPk PkT QPk
（4）
那么P0，P1，···，Pm-1是关于Q的共轭向量组。
1 当m 2时
P0T QP1

P0T Q f ( X 1 )
f ( X 1 )T QP0 P0T QP0
P0
P0T Qf ( X 1 ) f ( X 1 )T QP0 0
1.52 122 0.54 62 2 124 6 22 12
令

0, 可得0

180 612
=···
m1
f ( X k 1 )
jQPj
j k 1
m 1
PkT f ( X m ) PkT f ( X k 1)
j PkT QPj 0
j k 1
（2）因 X k1 X k k Pk ，k=0,1,···，m-1 ,
由递推关系得
二、共轭方向与共轭方向法
1、共轭方向
定义3.17：设矩阵Q是n阶正定矩阵，P0，P1,···， Pm-1是En中 的m个非零向量，如果满足
PiT QPj 0,i j, i,j=0,1,···，m-1
则称向量P0，P1，···，Pm-1是来自百度文库共轭向量组，或称P0，P1，···， Pm-1是关于Q的共轭方向。
jf ( X k )T Pj f ( X k )T Pj1
00 0
同理，有f ( X k )T f ( X j) 0 故PjT QPk 0, j 0,1L , k 2 又由归纳法假设条件，
有PiT QPj 0,i j.,i、j k 1 综合以上可断言P0，P1，L ，Pk1, Pk是共轭向量。

Xm)
1 (X 2

X m )T Q(X

Xm)
m1
f (X m )T (X X m ) f (X m )T ( (k k )Pk )
m1
k 0
(k k )PkT f ( X m ) 0
k 0
又由于Q正定，知 f (X ) f (X m ),当X X m 故 ( X X m )T Q( X X m ) 0,当X X m
小点。
X*（X2)
f (X1)
P1
X0 P0 X1
l0
Questions
问在二维空间能否找到一个方向P1，沿着过 X1点且平行于P1的直线进行一维搜索，其极 小点X2即为f(x)的全局精确极小点X* ?若存 在这样的P1，它满足什么条件？
首先寻找满足上述要求的方向P1应满足什么条件。
令
X * X 2 X 1 1P1
定理3.34 （ 公式的简化）
在定理3.33的条件下， 可简化 为：
证明,由3 77有k QPk f ( X k1 ) f ( X k )
ak
f ( X k1 )T QPk Pk T QPk

f
( X k1 )T [f ( X k1 ) f ( X Pk T [f ( X k1 ) f ( X k )]
Fletcher Re eves共轭梯度算法过程
设f
(
X
)可微,
X
为初始点．
0
（1）P0 f ( X 0 ),k 0;
(2)求解一维搜索问题min f ( X k Pk ), s.t. 0
k为最优步长, X k1 X k k Pk ;
(3)如果X k1满足终止准则，输出X k1，计算停止；否则转下步;
(2)Xm是f(X)在线性流形L（X0;P0,···，Pm-1)上 的极小点。
证明：（1）因为Xm是沿Pm-1方向进行搜索所 得的极小点，所以有 f ( X m )T Pm 1 0, 当k=0,1,···，m-2时，因为Xk+1 是沿Pk方向进 行一维搜索所得的极小点，所以
PkT f ( X k 1 ) 0,
又由3 81式有f ( X k1 )T f ( X k ) 0
Pk T f ( X k ) [f ( X k ) ak1Pk1 ]T f ( X k ), ( 由3.78可知Pk T f ( X k ) ak1Pk1 )

f
(X
k
)T
f
(
X
k
表明，P0与P1共轭。
2 设当m k时，P0，P1， ，Pk-1是共轭的,即
PiT QPj 0, i j, j k 1
3 证明P0，P1， ，Pk-1，Pk也是共轭的： 首先有
PkT1QPk

PkT1Q f
(Xk )
f
( X k )T QPk 1 PkT1QPk 1
其中1 是最优步长，1>0 .因为 X * 是无约束极小点。
故 f ( X * ) 0 即 QX * b 0
f (X1) QX1 b
Q( X * 1P1) b (QX * b) 1QP1 1QP1
又因为 X1是f(X)沿P0方向的直线l0上的极小点，故
Pk 1


0
且对j 0,1 , k 2, 有
PjT QPk PjT Q f ( X k ) k1Pk1

PjT Qf
(X
k
)


k
PT
1 j
QPk
1
f ( X k )T QPj
f ( X k )T f ( X j1) f ( X j ) j