最优化理论与应用-7

最优化理论与应用

第讲共轭梯度法

第7讲-共轭梯度法

电子科技大学

自动化工程学院

彭晓明

1

线性共轭梯度法

非线性共轭梯度法

2

线性共轭梯度法

非线性共轭梯度法

3

z是一种替代高斯消去法求解线性方程组的方法

z适合大规模线性方程组

z问题：求解

问题求解

Ax b，

Ax=b

其中，A是一个n阶对称正定矩阵

4

z注意：线性问题Ax=b的解与

下面的凸二次函数的极小解是等价的

¾这使得我们可以将线性问题的求解与凸二次函数的最小化问题联系起来

5

z同时可以注意到

¾即二次函数(x)的梯度等于线次数

性方程组Ax=b的残差(residual)

z定义

6

z定义1

如果满足以下条件：

{p0,p1,p2,…,p l}与对称正定矩阵A p p p

形成共轭。

¾重要性质：共轭向量p 0,p1,p2,…,p l 之间线性无关

7

z 共轭方向（conjugate direction ）j g 法算法描述：给定初始点x0和共{按下面轭方向{p 0,p 1,p 2,…,p n-1}，按下面步骤生成迭代解序列{x k

}从x k 出发，沿着p k 方向

搜索(x)的

极小值得到

8的步长

z由于

我们有

有

9

z可以证明(Nocedal, p.103)，最多

(p)

经过n次迭代，得到的x

k 收敛于

A b *

Ax=b的解x*

z 共轭方向法的工作过程可以用下

面的图来形象描述

10

z共轭方向法工作过程(二维情况)

(x)的等值线；

Ԅ()的等值线

当矩阵A是一个

对角矩阵时由

对角矩阵时，由

Ԅ(x)的等值线形

成的椭圆的轴与

坐标轴相平行，

共轭方向与坐标

轴方向一致，一

轴方向致

次迭代刚好解决

x的个分量

x*的一个分量

11

z共轭方向法工作过程(二维情况)

当矩阵A不是一个

对角矩阵时由

对角矩阵时，由

(x)的等值线形成

的椭圆的轴与标

的椭圆的轴与坐标

轴不平行，共轭方

向与坐标轴方向不

向与标轴方向不

一致，再沿着坐标

轴方向搜索时

轴方向搜索时经过

2次不能找到x*!

12

z 当矩阵A 不是一个对角矩阵时，可以用关于矩阵A 的共轭方向集1

合{p 0,p 1,p 2,…,p n-1}构成的矩阵S 对x 进行变换得到一个新的变量

1

ˆ−=x

S x

然后定义关于新变量的优化问题

13

z 这时矩阵S T AS 是一个对角矩阵

(h ?)

(why?)(x)=(1/2)x Ax b 其中

z 例1：T Ax-b T x ，其中04⎡⎤10.41,0.411⎡⎤

==⎢⎥⎢⎥

A b (x)x*⎣⎦⎣⎦

的最小解x 对应的是线性方

程组Ax=b 的解0.7143*⎡⎤

x 14

0.7143=⎢⎥

⎣⎦

z 例1：选择起始点为x 0=[2, 4]T ，共

轭梯度方向

0707107071⎡[]01-0.7071

0.7071,0707107071⎤==S p p 0.7071

0.7071⎢⎥⎣⎦采用共轭方向法进行迭代：

α=-1.4142 ,x =x +α*p =[3, 3]T 0100p 0[]

α1= -3.2325 , x 2=x 1+α1*p 1=[0.7143,

07143]T 0.7143]

T 15

z 例1：然后，我们用S 对x 进行变换

得到个新的变量S 1现在

得到一个新的变量y=S -1x ，现在0.600T

T

⎡⎤⎡⎤,0 1.4 1.4142new new ====⎢⎥⎢⎥

⎣⎦⎣⎦A S AS b S b 1

00 1.41420,*new −⎡⎤⎡⎤===⎢⎥⎢⎥

x S x x 选择新的共轭方向

4.2426 1.0101⎣⎦⎣⎦

10⎡1 0,1⎤==S p p 16

[]00 1

⎢⎥⎣⎦

z例1：

采用共轭方向法进行迭代：

α0=-1.4142 ,x1=x0+α0*p0=[0,

4.2426]T

α1= -3.2325 , x2=x1+α1*p1=[0,

=32325x =[0

1.0101]T ，把得到的x用S 变换得到

]

2

原问题的解为x*=Sx

2

17

如何选择共轭方向

z 选择{p 0,p 1,p 2,…,p n-1} 为矩阵A 的特征向量（计算代价高）

Gram Schmidt process z 通过以下的Gram–Schmidt process ¾假设对于任意的由线性无关的向量集合{v

,v 1

,v 2

,…,v n-1

}

18