第三章--无约束最优化的梯度方法

第三章 无约束最优化的梯度方法

1.最速下降法

假定我们已经迭代了k 次，获得了第k 个迭代点k x 。从k x 出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向)(k k x f p -∇=。

)(1k k k k x f t x x ∇-=+

此时有：0)()(1=∇∇+k T k x f x f

如将该方法应用于二次函数c x b Qx x x f T T ++=2

1)(，则可求出k t 的显式表达式。

)()()())(()(1k k k k k k k k k k x f Q t x f x f Q t b Qx b x f t x Q b Qx x f ∇-∇=∇-+=+∇-=+=∇+ 0)()()()(=∇∇-∇∇k T k k k T k x f Q x f t x f x f

k

T

k k

T

k k T k k T k k Qg g g g x f Q x f x f x f t =∇∇∇∇=)()()()( 2.Newton 法

适用条件：如果目标函数)(x f 在n R 上具有连续的二阶偏导数，其Hesse 矩阵)(x G 正定。

基本想法：考虑从k x 到1+k x 的迭代过程。 在k x 点处用二次函数来逼近)(x f ，即：

))(()(2

1

)()()()()(k k T k k T k k x x x G x x x x x g x f x Q x f --+-+=≈

0)())(()(=+-=∇k k k x g x x x G x Q )()(11k k k k x g x G x x x -+-==

3.共轭方向法与共轭梯度法 1) 共轭方向法

定义1:设Q 是n n ⨯对称正定矩阵。若n 维空间中非零向量系110,...,,-m p p p 满足

0=j T i Qp p ，)(1,...,2,1,j i m j i ≠-= ,则称110,...,,-m p p p 是Q 共轭的，或称110,...,,-m p p p 的

方向是Q 共轭方向。

定理1:若非零向量系110,...,,-m p p p 是共轭的，则这m 个向量线性无关。 推论：在n 维空间中，互相共轭的非零向量的向量个数不超过n 。 定义2:设110,...,,-m p p p 是线性无关的向量系，110,...,,-m ααα是任意实数。对于任意指定的n

R x ∈0，称形式为∑-=+=10

0m i i i p x z α的向量集合称为由点0x 和向量系

110,...,,-m p p p 所生成的线性流形，记为[]1100,...,:-m p p p x L 。

定理2:假设：

①Q 为n n ⨯对称正定矩阵

②非零向量110,...,,-m p p p 是Q 共轭向量系；

③对二次目标函数c x b Qx x x f T T ++=2

1)(顺次进行如下m 次直线搜索：

),(1i i i p x ls x =+，1,...,1,0-=m i ，其中n R x ∈0是任意选定的初始点。则

①0)(=∇m T j x f p ,m j <≤0

②m x 是二次函数在线性流形[]1100,...,:-m p p p x L 上的极小点。

证明①：前面已经证明0)(1=∇-m T m x f p

由条件③可知i i i i p t x x +=+1

上式左乘Q 后再在两边加上b ，得：i i i i Qp t b Qx b Qx ++=++1 即：i i i i Qp t x f x f +∇=∇+)()(1 由上式有)(m x f ∇

111)(---+∇=m m m Qp t x f

22112)(-----++∇=m m m m m Qp t Qp t x f .........

....................

∑-+=++

∇=1

1

1)(m j i i

i

j Qp

t x f ，)20(-≤≤m j

将所得等式两边左乘T j p ，有

0)()(1

1

1=+

∇=∇∑-+=+m j i i T j i

j T j

m T

j

Qp p

t x f p x f p

证明②:

按条件③，],...,,:[1100-∈m m p p p x L x ，则存在一组数110,...,,-m ααα使得

∑-=+=1

00m i i i m p x x α

同样，对于任意∑-=+=1

0m i i i p x x β

上面两式相减得∑-=-=-1

)(m i i i i m p x x αβ

由结论①0)(=∇m T j

x f p 可知0)()()()(1

=∇-=∇-∑-=m m i T i i i m T

m x f p x f x x αβ

)()(2

1

)()()(21)()()()(m T m m m T m m T m m x x Q x x x f x x Q x x x f x x x f x f --+=--+∇-+=

由于Q 是正定的，因此m x 是在线性流行[]1100,...,:-m p p p x L 上的极小点。 当n m =时，线性流行[]1100,...,:-m p p p x L 就是整个n 维空间n R 了，因此此时m x 就是n R 中的极小点。

共轭方向法：

已知：具有正定矩阵Q 的二次目标函数c x b Qx x x f T T ++=2

1

)(和终止限ε。 ①选定初始点0x 和具有下降方向的向量0p ；置0=k 。 ②作直线搜索),(1k k k p x ls x =+。

③判别ε<∇+)(1k x f 是否满足：若满足，停机。 ④提供共轭方向1+k p ，使得01=+k T j Qp p ，k j ,...,1,0=