共轭梯度法

5.2.2共轭梯度法
算法步骤如下：
［预置步］任意 ，计算 ，并令取： 指定算法终止常数 ，置 ，进入主步；
［主步］（１）如果 ，终止算法，输出 ；否则下行；
（２）计算：
（３）计算：
（４）置 ，转入（１）．
定理５.2.1由共轭梯度法得到的向量组 和 具有如下性质：
（１）
（２）
（３）
（４） ，其中
（5.2.1）
d(k+1)= -gk+1+βkd(k)，
上式两端左乘d(k)TA，并令
d(k)TAd(k+1)= -d(k)TAgk+1+βkd(k)TAd(k)= 0，
由此得到
βk= d(k)TAgk+1/ d(k)TAd(k)。
再从x(k+1)出发，沿方向d(k+1)搜索。
在FR法中，初始搜索方向必须取最速下降方向，这一点决不可忽视。因子βk可以简化为：βk= ||gk+1||2/ ||gk||2。
时等号成立。因此，在点x处沿上式所定义的方向变化率最小，即负梯度方向为最速下降方向。
2.最速下降算法
最速下降法的迭代公式是
x(k+1)= x(k)+λkd(k),
其中d(k)是从x(k)出发的搜索方向，这里取在x(k)处的最速下降方向，即
d = -▽f(x(k)).
λk是从x(k)出发沿方向d(k)进行一维搜索的步长，即λk满足
最速下降法
1.最速下降方向
函数f(x)在点x处沿方向d的变化率可用方向导数来表示。对于可微函数，方向导数等于梯度与方向的内积，即：
Df(x;d) =▽f(x)Td,
因此，求函数f(x)在点x处的下降最快的方向，可归结为求解下列非线性规划：
min▽f(x)Td
s.t. ||d||≤1
当d = -▽f(x)/ ||▽f(x)||
于是
引理证毕
定理5.1.2的证明由 满足
，
并注意到
（5.1.4）
由(5.1.4)得
于是有
（5.1.5）
对任意的 成立。记 ，应用引理5.1.1，从(5.1.5)可得
(5.1.6)
对一切 成立，再利用Chebyshev极小极大特征定理知，使 取极小的充分必要条件是 在区间 上至少含有2个轮流为正负的偏差点。由于 的线性性知， 的交错点组恰好含有两个点，而且为 和 .即
，于是得到 ，从而
. (5.1.7)
将(5.1.7)代入（5.1.6）即得
.
定理证明
定理5.1.2表明，从任一初始向量 出发，由最速下降法产生的点列 总是收敛到方程组(5.1.1)的解，其收敛的快慢由 的大小来决定。
虽然最速下降法简单易用，又可以充分利用 的稀疏性，但由于当 时收敛速度变得非常之慢，因此很少用于实际计算。然而它提示了一种重要的思想，开辟了一条全新的求解线性方程组的途径。例如把上述方法稍加改进，就可得到著名的共轭梯度法。
5.2共轭梯度法及其基本性质
5.2.1预备知识
定义1设 是对称正定矩阵。称 是A-共轭的，是指
性质1设有 是彼此共轭的 维向量，即
则 一定是线性无关的。
［证明］若有一组数 满足
则对一切 一定有
注意到 ，由此得出： 即所有的 ＝０．因此， 是线性无关的．
性质２ 设向量 是线性无关的向量组，则可通过它们的线性组合得出一组向量 ，而 是两两共轭的．
（１）
（２） ，其中 是方程组(5.1.1)的解．
［证明］（１）是性质３的直接推论，显然成立．
（２）由于 是两两Ａ共轭的，故 是线性无关的．所以对于向量 可用 线性表出，即存在一组数 使
由于 及 ，得出
，
于是 ，再由 得出
于是 ，与得出 一样地，我们可以陆续得出：
对比 和 的表达式可知，
证明完毕
性质４是性质３的直接推论．但它给出了一种求（５.１.１）的算法，这种算法称之为共轭方向法．结合性质２，我们可以得到如下的性质５．
通常称之为Krylov子空间．
［证明］用归纳法．当 时，因为
，
因此定理的结论成立．现在假设定理的结论对 成立，我们来证明其对 也成立．
利用等式 及归纳假设，有
又由于
，
故定理的结论（１）对 成立．
利用归纳假定有
而由（１）所证知， 与上述子空间正交，从而有定理的结论（２）对 也成立．
利用等式
和 ，
并利用归纳法假定和（２）所证之结论，就有
5.1最速下降法
考虑线性方程组
(5.1.1)
的求解问题。其中 是给定的 阶对称正定矩阵， 是给定的 维向量， 是待求的 维向量。为此，我们定义二次泛函
(5.1.2)
定理5.1.1设 对称正定，求解方程组 等价于求二次泛函 的极小点。
证明直接计算可得
令 ，则有
若 在某点 处达到极小，则必有 ，从而有 ，即 是方程组的解。
我们先考虑如何确定步长 。设从 出发，已经选定了下山方向为 。我们现在的任务是，在直线 上确定 使得 在 上达到极小。为此，令
其中 由初等微分学的理论知，由方程
所确定的 即为所求的步长 ，即
. (5.1.3)
步长确定以后，即可算法
.
那么 是否小于 呢？因为
因此，只要 ，就有
再考虑如何确定下山方向 ，我们知道 增加最快的方向是梯度方向，因此，负梯度方向应该是 减小最快的方向，于是最简单而直观的做法是选取 为负梯度方向，即 这样便得到了如下算法：
f(x(k)+λkd(k)) = min f(x(k)+λd(k)) (λ≥0).
计算步骤如下：
(1)给定初点x(1)∈Rn，允许误差ε> 0，置k = 1。
(2)计算搜索方向d = -▽f(x(k))。
(3)若||d(k)||≤ε，则停止计算；否则，从x(k)出发，沿d(k)进行一维搜索，求λk，使
共轭梯度法的基本思想是把共轭性与最速下降方法相结合，利用已知点处的梯度构造一组共轭方向，并沿这组方向进行搜素，求出目标函数的极小点。根据共轭方向基本性质，这种方法具有二次终止性。
对于二次凸函数的共轭梯度法：
min f(x) = 1/2 xTAx + bTx + c,
其中x∈Rn，A是对称正定矩阵，c是常数。
▽f(x(1)) = A(x(1)- x*)。
又设d(1)是这个等值面在d(1)处的一个切向量。记作
d(2)= x* - x(1)。
自然，d(1)与▽f(x(1))正交，即d(1)T▽f(x(1)) = 0，因此有
d(1)TAd(2)= 0，
即等值面上一点处的切向量与由这一点指向极小点的向量关于A共轭。
由此可知，极小化式所定义的二次函数，若依次沿着d(1)和d(2)进行一维搜索，则经两次迭代必达到极小点。
1.共轭梯度法
共轭梯度法最初由Hesteness和Stiefel于1952年为求解线性方程组而提出的。后来，人们把这种方法用于求解无约束最优化问题，使之成为一种重要的最优化方法。
Fletcher-Reeves共轭梯度法，简称FR法。
算法5.1.1（解对称正定方程组：最速下降法）
对于最速下降法有如下的收敛性定理。
定理5.1.2设 的特征值为 ，则由上述算产生的序列 满足
，
其中
为了证明这一定理，我们先证一个引理。
引理5.1.1设 的特征值为 ， 是 的一个实系数多项式，则
证明设 是 的对应于 的特征向量所构成的 的一组标准正交基，则对应任意的 的有 ，从而有
这一章，我们介绍一种不需要确定任何参数的求解对称正定线性方程组的方法——共轭梯度法（或简称CG法）。它是50年代初期由Hestenes和Stiefel首先提出的，近20年来有关的研究得到了前所未有的发展，目前有关的方法和理论已经相当成熟，并且已经成为求解大型稀疏线性方程组最受欢迎的一类方法。
共轭梯度法可由多种途径引入，这里我们将采用较为直观的最优化问题来引入。为此，我们先来介绍最速下降法。
(2)在目标函数复杂，在计算时，由于需要局部线性化，需计算Hessian矩阵A，且计算工作量比较大，矩阵A也有可能是病态的。Fletcher和Reeves的方案最为常用，抛弃了矩阵A的计算，具体形式如下：
式中gk-1和gk分别为第k-1和第k次搜索是计算出来的目标函数的梯度。
第五章共轭梯度法
大家已经看到，在使用SOR方法求解线性方程组时，需要确定松驰因子 ，只有系数矩阵具有较好的性质时，才有可能找到最佳松驰因子 ，而且计算 时还需要求得对应的Jacobi矩阵B的谱半径，这常常是非常困难的。
f(x) = 1/2 (x - x*)TA(x - x*) ,
其中A是n×n对称正定矩阵，x*是一个定点，函数f(x)的等值面
1/2 (x - x*)TA(x - x*) = c
是以x*为中心的椭球面，由于
▽f(x*) = A(x - x*) = 0，
A正定，因此x*是f(x)的极小点。
设x(1)是在某个等值面上的一点，该等值面在点x(1)处的法向量
f(x(k)+λkd(k)) = min f(x(k)+λd(k)) (λ≥0).
(4)令x(k+1)= x(k)+λkd(k)，置k = k + 1，转步骤(2)。
共轭梯度法
1.共轭方向
无约束问题最优化方法的核心问题是选择搜索方向。
以正定二次函数为例，来观察两个方向关于矩阵Ａ共轭的几何意义。
设有二次函数：
一般地，若已知点x(k)和搜索方向d(k)，则从x(k)出发，沿d(k)进行搜索，得到
x(k+1)= x(k)+λkd(k),
其中步长λk满足
f(x(k)+λkd(k)) = min f(x(k)+λd(k))。
此时可求出λk的显示表达
计算f(x)在x(k+1)处的梯度。若||gk+1|| = 0，则停止计算；否则，用-gk+1和d(k)构造下一个搜索方向d(k+1)，并使d(k+1)和d(k)关于A共轭。按此设想，令
性质５设 是 上的一组线性无关的向量，则从任意指定的 出发，按以下迭代产生的序列 ：
Ｓ１：取 ， ， ；
Ｓ２：计算 ，取 ；
计算 ，得出 ；
如此进行下去，直到第n步：
Ｓn：计算 取
计算 ，得出 ．
显然：
根据性质４可知，不论采用什么方法，只要能够构造 个两两Ａ共轭的向量作为搜索方向，从任一初始向量出发，依次沿两两Ａ共轭的方向进行搜索，经 步迭代后，便可得到正定方程组 的解．
［证明］我们用构造法来证实上面的结论．
Ｓ０：取 ；
Ｓ１：令 ，取 ．
……
Ｓm：令
取
容易验证： 符合性质２的要求．
性质３设 是两两Ａ－共轭的， 是任意指定的向量，那么从 出发，逐次沿方向 搜索求 的极小值，所得序列 ，满足：
．
［证明］由下山算法可知，从 出发，沿 方向搜索，获得
从而
性质４设 是两两Ａ共轭的，则从任意指定的 出发，依次沿 搜索，所得序列 满足：
具体求解方法如下：
首先，任意给定一个初始点x(1)，计算出目标函数f(x)在这点的梯度，若||g1|| = 0，则停止计算；否则，令
d(1)= -▽f(x(1)) = -g1。
沿方向d(1)搜索，得到点x(2)。计算在x(2)处的梯度，若||g2||≠0，则利用-g2和d(1)构造第2个搜索方向d(2)，在沿d(2)搜索。
3.非线性共轭梯度
当目标函数是高于二次的连续函数(即目标函数的梯度存在)时，其对应的解方程是非线性方程，非线性问题的目标函数可能存在局部极值，并且破坏了二次截止性，共轭梯度法需要在两个方面加以改进后，仍然可以用于实际的反演计算，但共轭梯度法不能确保收敛到全局极值。
(1)首先是共轭梯度法不能在n维空间内依靠n步搜索到达极值点，需要重启共轭梯度法，继续迭代，以完成搜索极值点的工作。
使得对所有实数 有
也就是说，在这条直线上， 使 达到极小。然后从 出发，再确定一个下山的方向 ，沿直线 再找一个 使得 在点 达到极小，即
如此等等。于是得到一串
和 ，
我们称 为搜索方向， 为步长。一般情况下是，先在 点找下山方向 ，再在直线 上确定步长 使
，
最后求出 .对不同的确定搜索方向和步长的方法，就给出各种不同的算法。
．
成立；而由 的定义得
这样，定理的结论（３）对 也成立．
由归纳法假定知
进而
于是
再注意到（２）和（３）所证的结论表明，向量组 和 都是线性无关的，因此定理的结论（４）对 同样成立．
定理证毕
定理5.2.1表明，向量 和 分别是Krylov子空间 的正交基和共轭正交基．由此可见，共轭梯度法最多 步便可得到方程组的解 ．因此，理论上来讲，共轭梯度法是直接法．
反之，若 是方程组的解，即 于是wk.baidu.com任一向量 有
注意到A的正定性，则 ，因此 ，即 是泛函 的极小点。
定理证毕
这样，求解线性方程组的问题就转化为求二次泛函 的极小点的问题。求二次函数的极小值问题，通常的做法就好象盲人下山那样，先任意给定一个初始向量 ，确定一个下山的方向 ，沿着经过点 而方向为 的直线 找一个点