最优化理论与算法(第四章)(新)

第四章 共轭梯度法§4.1 共轭方向法共轭方向法是无约束最优化问题的一类重要算法。

它一方面克服了最速下降法中，迭代点列呈锯齿形前进，收敛慢的缺点，同时又不像牛顿法中计算牛顿方向耗费大量的工作量，尤其是共轭方向法具有所谓二次收敛性质，即当将其用于二次函数时，具有有限终止性质。

一、共轭方向定义4.1 设G 是n n ⨯对称正定矩阵，1d ，2d 是n 维非零向量，若120T d Gd = （4.1）则称1d ，2d 是G －共轭的。

类似地，设1,,m d d 是n R 中一组非零向量。

若0T i j d Gd =()i j ≠ （4.2）则称向量组1,,m d d 是G －共轭的。

注：(1) 当G I =时，共轭性就变为正交性，故共轭是正交概念的推广。

(2) 若1,,m d d G －共轭，则它们必线性无关。

二、共轭方向法共轭方向法就是按照一组彼此共轭方向依次搜索。

模式算法：1）给出初始点0x ，计算00()g g x =，计算0d ，使000Td g <，:0k = （初始共轭方向）；2）计算k α和1k x +，使得0()min ()k k k k k f x d f x d ααα≥+=+，令1k k k k x x d α+=+；3）计算1k d +，使10Tk j d Gd +=，0,1,,j k =，令:1k k =+，转2）。

三、共轭方向法的基本定理共轭方向法最重要的性质就是：当算法用于正定二次函数时，可以在有限多次迭代后终止，得到最优解（当然要执行精确一维搜索）。

定理4.2 对于正定二次函数，共轭方向法至多经过n 步精确搜索终止；且对每个1i x +，都是()f x 在线性流形00,i j j j j x x x d αα=⎧⎫⎪⎪=+∀⎨⎬⎪⎪⎩⎭∑中的极小点。

证明：首先证明对所有的1i n ≤-，都有10T i j g d +=，0,1,,j i =（即每个迭代点处的梯度与以前的搜索方向均正交）事实上，由于目标函数是二次函数，因而有()11k k k k k k g g G x x Gd α++-=-=1）当j i <时， ()1111iTT T i j j j k k j k j g d gd gg d +++=+=+-∑110iT T j j kkj k j gd dGd α+=+=+=∑2）当j i =时，由精确搜索性质知：10T i j g d +=综上所述，有 10Ti j g d += (0,1,,)j i =。

再证算法的有限终止结论。

若有某个10i g +=（1i n <-），则结论已知。

若不然，那么由上面已证则必有： 0Tn j g d = (0,,1)j n =-。

而由于01,,n d d -是n R 的一组基，由此可得0n g =。

故至多经过n 次精确一维搜索即可获得最优解。

下面证明定理的后半部分。

由于1()2TT f x x Gx b x c =++ 是正定二次函数，那么可以证明000(,,)()ii j j j t t f x t d ϕ==+∑是线性流形上的凸函数。

事实上，000000000(,,)()1()()()2ii j j j iiiT T j j j j j j j j j t t f x t d x t d G x t d b x t d c ϕ=====+=+++++∑∑∑∑200000011()[]()22i iT T T T T j j j j j j j j t d Gd x Gd b d t x Gx b x c ===+++++∑∑ 由0T j j d Gd >(0,,)j i =知0(,,)i t t ϕ为0,,i t t 的凸函数。

因而100(,,)min(,,)0i i i t t R jt t t ϕϕ+∈∂⇔=∂ (0,,)j i =00()0iT j jj j f x t dd =⇔∇+=∑ (0,,)j i =注意到：当j j t α=，(0,,)j i =时，0010iij j j j i j j x t d x d x α+==+=+=∑∑。

而由定理前部分证明，在1i x +处有11()0T T i j i j f x d g d ++∇==(0,,)j i =，故在00(,,)(,,)i i t t αα=处，0(,,)i t t ϕ取得极小，即100ii i jj x x dα+==+∑是()f x 在线性流形上的极小点。

§4.2 共轭梯度法上节一般地讨论了共轭方向法，在那里n 个共轭方向是预先给定的，而如何获得这些共轭方向并为提及。

本节讨论一种重要的共轭方向法——共轭梯度法。

这种方法在迭代过程中通过对负梯度方向进行适当校正获得共轭方向，故而称之为共轭梯度法。

一、共轭梯度的构造 （算法设计针对凸二次函数）设 1()2TT f x x Gx b x c =++ 其中G 为n n ⨯正定矩阵，则()g x Gx b =+。

对二次函数总有 ()11k k k k k k g g G x x Gd α++-=-=1）设0x 为初始点。

首先取00d g =-，令1000x x d α=+ （0α为精确步长因子）则有：100Tg d =（精确一维搜索性质）。

2）令1100d g d β=-+，适当选择0β，使100Td Gd =，得 101101100001000()()T T T T T T g Gd g g g g gd Gd d g g g g β-===- （从而得到1d ）由前一节共轭方向法的基本定理有：210T g d =，200T g d =，再由0d 与1d 的构造，还可得：210T g g =，200T g g =3）再令220011d g d d ββ=-++，适当选择0β，1β，使得20Ti d Gd = （0,1i =），由此得：00β=，22122112111()()T TT T g g g g gd g g g g β-==-4） 一般地，在第k 次迭代中，令10k k k iii d g dβ-==-+∑ 适当选取i β，使0Tk i d Gd = （0,,1i k =-）， 可得到 11()()T Tk i k i i i T T i i i i i g Gd g g g d Gd d g g β++-==-（0,,1i k =-） （4.3）同样由前一节共轭方向的基本定理有：0T k i g d =（0,,1i k =-）， （4.4）再由i g 与i d 的关系得：0T k i g g = （0,,1i k =-） （4.5）将（4.4）与（4.5）代入（4.3）得：当0,,2i k =-时，0i β=，而 111111()()T Tk k k k k k T T k k k k k g g g g gd g g g g β-------==-。

共轭梯度法的迭代公式为：1k k k k x x d α+=+（k d 为共轭方向，k α为最佳步长因子）对二次函数T k k k T k kg dd Gd α=-；而对非二次函数，则采用精确一维搜索得到k α。

共轭方向的修正公式为： 11k k k k d g d β++=-+ （4.6） 其中，k β由下面诸式之一计算：1） 111()()T k k k k T k k k g g g d g g β+++-=- （Crowder-Wolfe 公式） （4.7） 2) 11T k k k T k k g g g g β++= （Fletcher-Reeves 公式） （4.8）3） 11()T k k k k T k k g g g g g β++-= （Polak-Ribiere-Polyak 公式） （4.9）4） 11T k k k T k kg g d g β++=- （Dixon 公式） （4.10）注： 对二次函数而言，上述四个公式都是等价的。

而且求得的搜索方向均为共轭方向；若对非二次函数，则将导出互不相同的算法，而且据此求出的搜索方向不再保证是共轭的。

（事实上，此时不存在一个常值正定矩阵G ，共轭的提法都已无意义）。

二、共轭梯度法的性质定理 4.3 对于正定二次函数，采用基于精确一维搜索的共轭梯度算法，必定经过m n ≤步迭代后终止。

且对1i m ≤≤，下列关系式成立：1）0Ti j d Gd = （0,1,,1j i =-） （4.11） 2）0T i j g g = （0,1,,1j i =-） （4.12）3）T Ti i i i d g g g =- （4.13）4）01000[,,,][,,,]i i g g g g Gg G g = （4.14） 5）01000[,,,][,,,]i i d d d g Gg G g = （4.15）证明：先用归纳法证明（4.11）～（4.13）。

对于1i =，容易验证（4.11），（4.12），4.13）成立。

现假设这些关系式对某个i m <成立，下面证明对于1i +，这些关系式仍然成立。

事实上，对于二次函数，显然有11()i i i i i i i g g G x x g Gd α++=+-=+ （4.16）对上式左乘Ti d ，并注意到i α是精确步长因子，得0T T i i i ii T T i i i ig d g g d Gd d Gd α=-=≠ （4.17）利用（4.16），（4.17），得111()T T T T T i j i j i i j i j i i j j j g g g g d Gg g g d G d d ααβ+--=+=-- （4.18）当j i =时，（4.18）成为10T T T Ti i i j ii i i T i ig g g g g g d Gd d Gd +=-=当j i <时，由归纳法假设可知111()0T T T i j i j i i j j j g g g g d G d d αβ+--=--=于是（4.12）得证。

再由共轭梯度法的迭代公式及（4.17），有1111j j TT T T T i j i j i i j i i i j jg g d Gd g Gd d Gd g d Gd ββα++++-=-+=+ （4.19）当j i =时，由（4.12），（4.17）及（4.8），（4.19）成为111110T T TT Ti i i i i i i i i i T T i i i ig g g g d Gd d Gd d Gd g g g g +++++=-+=当j i <时，直接由归纳法假设知（4.19）为零，于是（4.11）得证。