工程优化 第4章-3

=0
结论(b)成立，进而结论(2)成立。
共轭梯度法
定理1：设向量组 p , p ,..., p 是由上述方法产生的向量组，向量
组 g1 , g 2 ,..., g n 是由各点的梯度生成的向量组， ( g k f ( x ) ) 则
k
1 2 n
(1) g1 , g 2 ,..., g n 是正交向量组；
由假设可知，要证明 n=k +1时结论成立，只需证明
g k +1 与 g1 ,g 2 ,...,g k 正交，p k +1 与 p1 ,p 2 ,...,p k A共轭。 (a) 证明 g k +1 与 g1 ,g 2 ,...,g k 正交; 1 f ( x ), i 1, 因为 i p i i 1 f ( x ) p , i 2,..., n, i 1
(b) 证明 p k +1 与 p1 ,p 2 ,...,p k 是A共轭的;
k +1 k p 是A共轭的; p 与 p 由 的构造过程知， 下证 p k +1 与 p1 ,p 2 ,...,p k -1是A共轭的; i
p
k +1 T
Ap = gk +1 k p
i
k

源自文库
T
Ap
i
g p =0, i 1,2,..., k , 共轭向量组，从任意点x 出发，相继以p , p ,…, p 为搜索方向进行精确一维搜索，则
Tx+c, A=AT正定，又设n维非零向量组p1, p2,…, pn是A T xTAx+b 性质4 设n元函数f(x)=1/2 i
k +1
1
1
2
n
k+1)与p1, p2,…, pk (k=1,2 结论 (a (1) 成立。 (1) ▽ f() x成立，进而结论 ,…,n )正交；
p
证明：归纳法： 1 2 i p , p 是A共轭的，即 由 的构造过程知， p i n=2
2 T

Ap1 =0, 结论(2)成立；
T
利用精确一维搜索的性质知， g2 故 g 2 g1 =0, 结论(1)成立。
T
1 而 p = g1 , p =0,
1
ii 假设n=k时，结论(1)(2)成立,下证n=k +1时结论仍成立.
1 1
k 变形
针对一般的函数，将这组方向进行推广： 直接对(*)式推广：
A f x
2
k

能否将 k 中的A 去掉？ 怎么解决呢？
存在问题：计算量、存储量都很大
共轭梯度法
1 2 n 1 T T T 定理2：设 f ( x) x Ax b x c, A A 正定 ，向量组 p , p ,..., p 2 是由上述方法构造的A共轭向量组， gk f ( x k ) ，利用前面所得
共轭方向法计算效果好，应用广泛；
共轭梯度法是最著名的共轭方向法， 其搜索方向是与正定二次 函数的系数矩阵有关的共轭方向。
共轭方向法---共轭方向及其性质
定义1 n T 设 Ann 是对称正定矩阵，p,q R , 如果 p Aq=0, 则称向 量p 和q是A共轭的(或称为A正交)。 定义2 1 2 m p , p ,..., p 如果对有限个向量 ，有
共轭梯度法
令
1 T f ( x) x Ax bT x c, A AT 正定 2
1 1
2 1 1
(1) 从任取初始点x1 出发，沿负梯度方向进行精确一维搜索:
x x 1 p , p f ( x ) (2) 若 f ( x 2 ) 0 ，停止， 否则在 f ( x 2 ) 和 p1 张
使得 p
k 1
与
p k 共轭，即 ( p k 1 )T Ap k 0.
k ?
k 1 T k k 1 k T k ( p ) Ap 0 ( f ( x ) p ) Ap 由 可得 k
f ( x k 1 )T Ap k k ( p k )T Ap k
共轭梯度法
( pi )T Ap j 0 (i j, j 1, 2,..., m)
则称这个向量组是A-共轭 (或A正交)向量组，也称它们是一组A共 轭方向。
共轭方向法---共轭方向的性质
性质1 在n维空间中与n个线性无关的向量都正交的一定是零向
量。 性质2 若Rn中的非零向量p1,p2,…, pm是A共轭向量组，则这m 个向量是线性无关的。 性质3 在n维空间中互相共轭的非零向量的个数不超过n。 性质4 设n元函数f(x)=1/2xTAx+bTx+c, A=AT正定，又设n维非零 向量组p1, p2,…, pn是A共轭向量组，从任意点x1出发，依次 以p1, p2,…, pn 为搜索方向进行精确一维搜索，则 (1) ▽f(xk+1)与p1, p2,…, pk (k=1,2,…,n)正交； (2) 最多n次迭代必达到二次函数f(x)的极小点。
证明：提示用归纳法。
共轭梯度法
定理1：设向量组 p1 , p 2 ,..., p n 是由上述方法产生的向量组，向量组 g1 , g 2 ,..., g n
是由各点的梯度生成的向量组， (g (1)
k
f ( x k ) ) 则
g1 , g 2 ,..., g n是正交向量组；
(2) p1 , p 2 ,..., p n是A共轭向量组。
(2) 最多n次迭代必达到正定二次函数f(x)的极小点。
共轭梯度法
针对 f(x)=1/2xTAx+bTx+c, A=AT正定，最多n次迭代达到极 小点找到了一组共轭方向：
p f ( x ), k 1 k 1 k p f ( x ) p , k 1, 2,..., n 1, k (*) k 1 T k f ( x ) Ap k . 在正定二次函数 k T k ( p ) Ap 的前提下，将
1 2 n
共轭梯度法
定理1：设向量组 p , p ,..., p 是由上述方法产生的向量组，向量
组 g1 , g 2 ,..., g n 是由各点的梯度生成的向量组， ( g k f ( x ) ) 则
k
1 2 n
(1) g1 , g 2 ,..., g n 是正交向量组；
1 2 n p , p ,..., p (2) 是A共轭向量组。
每一个搜索方向都依赖迭代点处的 负梯度构造出来，对应的算法称为 共轭梯度法。
(*)
p1 , p 2 ,..., p n 是一个A共轭向量组
性质4 设n元函数f(x)=1/2xTAx+bTx+c, A=AT正定，又设n维非零
向量组p1, p2,…, pn是A共轭向量组，从任意点x1出发，相
继以p1, p2,…, pn 为搜索方向进行精确一维搜索，则 (1) ▽f(xk+1)与p1, p2,…, pk (k=1,2,…,n)正交；
这样便构造了一组向量 p , p ,..., p ,
1 2 n
p1 f ( x1 ),
相邻两个向量是共轭的
k
p
k 1
f ( x ) k p , k 1,2,..., n 1,
k 1
f ( x k 1 )T Ap k k , k T k ( p ) Ap
实际上，这组向量 p , p ,..., p 是一个A共轭向量组。
(2) 最多n次迭代必达到二次函数f(x)的极小点。
在下降迭代法中，若取下降方向是共轭方向，所得到的方法 我们称为共轭方向法。
由性质4可知，若能找到一组A共轭向量，
则前面提到的结合最速下降法和Newton法优点的算法就找到了， 就是共轭方向法， 怎么选取共轭方向？ 这个算法具有二次收敛性。
定义：一个算法若能在有限步内求得正定二次函数的极小点， 则称该算法具有二次收敛性(又称二次终止性)。
共轭方向法和共轭梯度法
最速下降法，计算步骤简单，但收敛速度慢。
Newton法和阻尼Newton法都有一个优点：收敛速度快，但 需要计算Hesse矩阵和Hesse矩阵的逆矩阵，计算量和存储量都 很大。
需要寻找一种好的算法，这种算法能够兼有这两种方法的 优点，又能克服它们的缺点，即收敛速度快同时计算简单。 这就是要讨论的共轭方向法和共轭梯度法。
= g k +1 Ap
T
i
p
i =1,2,...,k -1
k

T
Api =0，i =1,2,...,k -1
gi +1 gi Axi 1 b gi A( xi i pi ) b gi i Api T g gi T i +1 k +1 T i i p Ap = gk +1 Ap = g k +1 i T T = 1/i g k +1 gi +1 gi g k +1 gi =0，i =1,2,...,k
1 2 n p , p ,..., p (2) 是A共轭向量组。
注：为保证方向的共轭性，初始方向取负梯度方向。
共轭梯度法
1 1
p f ( x ), k 1 k 1 k p f ( x ) p , k 1, 2,..., n 1, k k 1 T k f ( x ) Ap k . k T k ( p ) Ap
共轭梯度法
(3) 在x2 处沿 p2 方向进行精确一维搜索，
x3 x 2 2 p 2 , 4 5 (4) 以此类推，x ,x ,...
(5) 若 f
(x
k 1
) 0，停止，否则在 f
k 1
(x ) 和 p 张
k 1
k
成的正交锥中找一个向量
p ，即令 p k 1 f ( x k 1 ) k p k
共轭方向法---共轭方向的性质
性质4 设n元函数f(x)=1/2xTAx+bTx+c, A=AT正定，又设n维非零向量组p1, p2,…, pn是A 共轭向量组，从任意点x1出发，相继以p1, p2,…, pn 为搜索方向进行精确一维搜索，则
(1) ▽f(xk+1)与p1, p2,…, pk (k=1,2,…,n)正交；
成的正交锥中找一个向量
p
2
，即令 p
2
f ( x ) 1 p
2
1
使得 p 与
1
p 2共轭，即 ( p 2 )T Ap1 0.
f ( x 2 )T Ap1 1 ( p1 )T Ap1
1 ?
由( p 2 )T Ap1 0 (f ( x 2 ) 1 p1 )T Ap1 , 可得
共轭方向的生成与共轭梯度法
共轭方向的选取有很大任意性，而一组不同的共轭方向 就对应着不同的共轭方向法。 作为一种迭代算法，我们自然希望共轭方向能在迭代过 程中逐次生成。
下面先以正定二次函数为例，介绍一种生成共轭方向的方
法，再将这种方法推广到非二次函数上。 这种方法中每一个共轭向量都是依赖于迭代点处的负梯度而 构造出来，所以称为共轭梯度法，它是共轭方向法中的一种。
所以
g
k +1
T
i g p , i 1, k +1 =0, gi = T i i 1 g p p , i 2,..., k , i 1 k +1 T
p1 ,p 2 ,...,p k是A共轭向量组，利用性质4(1)可知，
的公式，得到几个等价的计算公式：
f ( x k 1 )T Ap k ( gk +1 )T Apk (1) k k T k ( p ) Ap ( pk )T Apk ( Daniel ,1967)
(2) k ( Sorenson Wolfe,1972) T k T ((g g g g ) p +1)) ((g +1 kk +1 kk) (2) k k k ( Sorenson Wolfe,1972) T ( p ) ( gk +1 gk ) , g ,..., g n是正交向量组，因此(2) 利用定理1，可知 1 g 2 ( gk +1g )T T Tk +1 k ( Dixon Myers ,1972) (3) k gg p =0. 中 g k +1 g k =0 ; 并且 ( pk )T k+ k1 ( gk +1 )T gk +1 (3) k ( Dixon Myers,1972) k T ( p ) gk