工程优化 第4章-3

由假设可知，要证明 n=k +1时结论成立，只需证明
g k +1 与 g1 ,g 2 ,...,g k 正交，p k +1 与 p1 ,p 2 ,...,p k A共轭。 (a) 证明 g k +1 与 g1 ,g 2 ,...,g k 正交; 1 f ( x ), i 1, 因为 i p i i 1 f ( x ) p , i 2,..., n, i 1
共轭方向法---共轭方向的性质
性质4 设n元函数f(x)=1/2xTAx+bTx+c, A=AT正定，又设n维非零向量组p1, p2,…, pn是A 共轭向量组，从任意点x1出发，相继以p1, p2,…, pn 为搜索方向进行精确一维搜索，则
(1) ▽f(xk+1)与p1, p2,…, pk (k=1,2,…,n)正交；
共轭方向法和共轭梯度法
最速下降法，计算步骤简单，但收敛速度慢。
Newton法和阻尼Newton法都有一个优点：收敛速度快，但 需要计算Hesse矩阵和Hesse矩阵的逆矩阵，计算量和存储量都 很大。
需要寻找一种好的算法，这种算法能够兼有这两种方法的 优点，又能克服它们的缺点，即收敛速度快同时计算简单。 这就是要讨论的共轭方向法和共轭梯度法。
=0
结论(b)成立，进而结论(2)成立。
共轭梯度法
定理1：设向量组 p , p ,..., p 是由上述方法产生的向量组，向量
组 g1 , g 2 ,..., g n 是由各点的梯度生成的向量组， ( g k f ( x ) ) 则
k
1 2 n
(1) g1 , g 2 ,..., g n 是正交向量组；
( pi )T Ap j 0 (i j, j 1, 2,..., m)
则称这个向量组是A-共轭 (或A正交)向量组，也称它们是一组A共 轭方向。
共轭方向法---共轭方向的性质
性质1 在n维空间中与n个线性无关的向量都正交的一定是零向
量。 性质2 若Rn中的非零向量p1,p2,…, pm是A共轭向量组，则这m 个向量是线性无关的。 性质3 在n维空间中互相共轭的非零向量的个数不超过n。 性质4 设n元函数f(x)=1/2xTAx+bTx+c, A=AT正定，又设n维非零 向量组p1, p2,…, pn是A共轭向量组，从任意点x1出发，依次 以p1, p2,…, pn 为搜索方向进行精确一维搜索，则 (1) ▽f(xk+1)与p1, p2,…, pk (k=1,2,…,n)正交； (2) 最多n次迭代必达到二次函数f(x)的极小点。
(b) 证明 p k +1 与 p1 ,p 2 ,...,p k 是A共轭的;
k +1 k p 是A共轭的; p 与 p 由 的构造过程知， 下证 p k +1 与 p1 ,p 2 ,...,p k -1是A共轭的; i
p
k +1 T
Ap = gk +1 k p
i
k

T
Ap
i
共轭梯度法
令
1 T f ( x) x Ax bT x c, A AT 正定 2
1 1
2 1 1
(1) 从任取初始点x1 出发，沿负梯度方向进行精确一维搜索:
x x 1 p , p f ( x ) (2) 若 f ( x 2 ) 0 ，停止， 否则在 f ( x 2 ) 和 p1 张
1 2 n p , p ,..., p (2) 是A共轭向量组。
注：为保证方向的共轭性，初始方向取负梯度方向。
共轭梯度法
1 1
p f ( x ), k 1 k 1 k p f ( x ) p , k 1, 2,..., n 1, k k 1 T k f ( x ) Ap k . k T k ( p ) Ap
的公式，得到几个等价的计算公式：
f ( x k 1 )T Ap k ( gk +1 )T Apk (1) k k T k ( p ) Ap ( pk )T Apk ( Daniel ,1967)
(2) k ( Sorenson Wolfe,1972) T k T ((g g g g ) p +1)) ((g +1 kk +1 kk) (2) k k k ( Sorenson Wolfe,1972) T ( p ) ( gk +1 gk ) , g ,..., g n是正交向量组，因此(2) 利用定理1，可知 1 g 2 ( gk +1g )T T Tk +1 k ( Dixon Myers ,1972) (3) k gg p =0. 中 g k +1 g k =0 ; 并且 ( pk )T k+ k1 ( gk +1 )T gk +1 (3) k ( Dixon Myers,1972) k T ( p ) gk
p
证明：归纳法： 1 2 i p , p 是A共轭的，即 由 的构造过程知， p i n=2
2 T

Ap1 =0, 结论(2)成立；
T
利用精确一维搜索的性质知， g2 故 g 2 g1 =0, 结论(1)成立。
T
1 而 p = g1 , p =0,
1
ii 假设n=k时，结论(1)(2)成立,下证n=k +1时结论仍成立.
1 1
k 变形
针对一般的函数，将这组方向进行推广： 直接对(*)式推广：
A f x
2
k

能否将 k 中的A 去掉？ 怎么解决呢？
存在问题：计算量、存储量都很大
共轭梯度法
1 2 n 1 T T T 定理2：设 f ( x) x Ax b x c, A A 正定 ，向量组 p , p ,..., p 2 是由上述方法构造的A共轭向量组， gk f ( x k ) ，利用前面所得
共轭方向法计算效果好，应用广泛；
共轭梯度法是最著名的共轭方向法， 其搜索方向是与正定二次 函数的系数矩阵有关的共轭方向。
共轭方向法---共轭方向及其性质
定义1 n T 设 Ann 是对称正定矩阵，p,q R , 如果 p Aq=0, 则称向 量p 和q是A共轭的(或称为A正交)。 定义2 1 2 m p , p ,..., p 如果对有限个向量 ，有
每一个搜索方向都依赖迭代点处的 负梯度构造出来，对应的算法称为 共轭梯度法。
(*)
p1 , p 2 ,..., p n 是一个A共轭向量组
性质4 设n元函数f(x)=1/2xTAx+bTx+c, A=AT正定，又设n维非零
向量组p1, p2,…, pn是A共轭向量组，从任意点x1出发，相
继以p1, p2,…, pn 为搜索方向进行精确一维搜索，则 (1) ▽f(xk+1)与p1, p2,…, pk (k=1,2,…,n)正交；
(2) 最多n次迭代必达到正定二次函数f(x)的极小点。
共轭梯度法
针对 f(x)=1/2xTAx+bTx+c, A=AT正定，最多n次迭代达到极 小点找到了一组共轭方向：
p f ( x ), k 1 k 1 k p f ( x ) p , k 1, 2,..., n 1, k (*) k 1 T k f ( x ) Ap k . 在正定二次函数 k T k ( p ) Ap 的前提下，将
= g k +1 Ap
T
i
p
i =1,2,...,k -1
k

T
Api =0，i =1,2,...,k -1
gi +1 gi Axi 1 b gi A( xi i pi ) b gi i Api T g gi T i +1 k +1 T i i p Ap = gk +1 Ap = g k +1 i T T = 1/i g k +1 gi +1 gi g k +1 gi =0，i =1,2,...,k
所以
g
k +1
T
i g p , i 1, k +1 =0, gi = T i i 1 g p p , i 2,..., k , i 1 k +1 T
p1 ,p 2 ,...,p k是A共轭向量组，利用性质4(1)可知，
成的正交锥中找一个向量
p
2
，即令 p
2
f ( x ) 1 p
2
1
使得 p 与
1Leabharlann p 2共轭，即 ( p 2 )T Ap1 0.
f ( x 2 )T Ap1 1 ( p1 )T Ap1
1 ?
由( p 2 )T Ap1 0 (f ( x 2 ) 1 p1 )T Ap1 , 可得
证明：提示用归纳法。
共轭梯度法
定理1：设向量组 p1 , p 2 ,..., p n 是由上述方法产生的向量组，向量组 g1 , g 2 ,..., g n
是由各点的梯度生成的向量组， (g (1)
k
f ( x k ) ) 则
g1 , g 2 ,..., g n是正交向量组；
(2) p1 , p 2 ,..., p n是A共轭向量组。
g p =0, i 1,2,..., k , 共轭向量组，从任意点x 出发，相继以p , p ,…, p 为搜索方向进行精确一维搜索，则
Tx+c, A=AT正定，又设n维非零向量组p1, p2,…, pn是A T xTAx+b 性质4 设n元函数f(x)=1/2 i