第六节 最速下降法与共轭梯度法

第六节最速下降法与共轭梯度法

6.1 最速下降法

当方程组

Ax = b (1)

中的A为对称正定矩阵时，方程组Ax=b的解正好是二次函数

(2)

的唯一极小值点。求解方程组(1)的问题等价与求

(3)

问题。求解问题(3)的最简单的方法是所谓最速下降法，即从某个初始点x(0)出发，沿φ(x)在点x(0)处的负梯度方向

(4)

(称为搜索方向)求得φ(x)的极小值点x(1) , 即

(5)

然后从x(1)出发，重复上面的过程得到x(2)。如此下去,得到序列{x(k) }

(6)

可以证明，从任一初始点x(0)出发，用最速下降法所得到的序列{x(k)}均收敛于问题(3)的解，也就是方程组(1)的解。其收敛速度取决于

其中λ1 ,λn分别为A的最小,最大特征值。最速下降法迭代格式：给定初值x(0) ,x(k)按如下方法决定

对称正定方程组

解：过程如图所示。

6.2 共轭梯度法

共轭梯度法简称CG(Conjugate Gradient),其基本步骤是在点x(k)处选取搜索方向d(k) , 使其与前一次的搜索方向d(k-1)关于A共轭，即

= 0 k=1,2, (7)

然后从点x(k)出发，沿方向d(k)求得φ(x)的极小值点x(k+1) , 即

(8)

如此下去, 得到序列{x(k)}。不难求得(7)的解为

注意到d(k)的选取不唯一，我们可取d(k) = -▽φ(x(k4) )+βk-1 d(k-1) , 由共轭的定义(7)可得

共轭梯度法的计算过程如下：

第一步：去初始向量x(0) , 计算

第k+1步(k=1,2,…)：计算

例8 用共轭梯度法求解对称正定方程组

解

迭代过程如图所示

故x2 = (1,1)T就是φ(x)的最小点，也就是索求方程的解。