最优化理论与算法(第三章)

第三章 牛顿法

§3.1 最速下降法

一、最速下降法

在极小化算法中，若每次都以迭代点处的负梯度方向为搜索方向，产生的算法称为最速下降法，它是无约束最优化算法中最简单、最基本的算法。 算法描述：

1） 给出初始点0n x R ∈，允许误差0ε>，0k =； 2） 计算k k d g =-，若k g ε≤，Stop 令 *k x x ≈； 3） 由一维搜索确定步长因子k α，使得

()min ()k k k k k f x d f x d ααα≥+=+

4） 令1k k k k x x d α+=+，1k k =+，go to 2).

二、最速下降算法的收敛性

定理3.1 设1f C ∈，则最速下降算法产生的点列{}k x 的每个聚点均为驻点。 证明：设x 是{}k x 的一个聚点，则存在子序列{}1

k K x ，使得

1

lim k k K x x ∈=

令()k k d f x =-∇，由1

f C ∈，知{}1

()k K f x ∇是收敛序列，故{}1

k K d 有界，且

1

lim ()k k K d f x ∈=-∇

由定理2.6有

2

()(())()

0T

f x f x f x ∇-∇=-∇=

故有 ()0f x ∇=。

定理 3.2 设()f x 二次连续可微，且2()f x M ∇≤，则对任何给定的初始点0n

x R ∈，最速下降

算法或有限终止，或lim ()k k f x →∞

=-∞，或lim ()0k k f x →∞

∇=。

证明：不妨设k ∀，()0k f x ∇≠。由定理2.5有

2

11()()()2k k k f x f x f x M

+-≥

∇ 于是 []1

2

010

1

()()()()()2k

k k i i i i i f x f x f x f x f x M -+==-=-≥

∇∑∑

令k →∞，由{()}k f x 为单调下降序列，则要么

lim ()k k f x →∞

=-∞，要么 lim ()0k k f x →∞

∇=。

最速下降算法若采用不精确一维搜索，仍有下列总体收敛性定理。

定理3.3 设1f C ∈，则采用不精确一维搜索得到的点列{}k x 的每个聚点均为驻点。 证明：直接由定理2.14可得。

注：1) 最速下降算法的收敛性也可由前述关于模式算法收敛性结果定理2.7直接获得；

2）最速下降算法的主要优点是方法简单、直观，有好的总体收敛性，但收敛很慢。

三、最速下降算法的收敛速度 1. 先考虑二次函数情形

定理3.4 对极小化问题1min ()2

T

f x x Gx =

，其中G 为n n ⨯对称正定矩阵，1λ，n λ分别为G 的最大与最小特征值。设*

x 是最优解，则最速下降算法的收敛速度至少是线性的，且下面的界成立：

*2211*221()()()(1)()()(1)()k n k n f x f x f x f x λλττλλ+---≤=-++

，*1*

k k x x x x

+-≤- 其中1

1n G G τλλ-==（τ为矩阵G 的条件数）。

证明：由()f x Gx ∇=，有()k k f x Gx ∇=。故

1()()k k k k k k k k k k k k x x d x f x x Gx I G x αααα+=+=-∇=-=-

其中k α使 (())(())k k k f I G x f I G x αα-≤-， 0α∀≥ 若设 ()1k P t t α=-，()Q t ut λ=- 其中,u R λ∈。则有

()Q G I uG λ=-，而(0)Q λ=，

利用这些，可知

1()

()(())(

)(0)

k k k k Q G f x f I G x f x Q α+=-≤， （要求0u λ>）

21()()1

()()(())(())2(0)(0)2(0)

T T k k k k Q G Q G x G x Q G x G Q G x Q Q Q == 设12,,n λλλ≥≥是G 的特征值，

而(1,,)i u i n =是对应得标准特征向量

（两两正交的单位向量）。 令()1

n

k k i i

i x a

u ==

∑，则上式可进一步表示为：

()()

2

11

1(())(())2(0)n n

k T k i i j j i j a Q G u G a Q G u Q ==∑∑ ()()2

111(())(())2(0)n n

k T

k i i i j j j i j a Q u G a Q u Q λλ===∑∑ （将G 作用到∑内每一项） ()()

2

11

1(())(())2(0)n n

k T k i i i j j j j i j a Q u a Q u Q λλλ===∑∑ ()2()2

2

1

1()2(0)n

k i i i i a Q Q λλ==∑ （由i u 是标准正交向量组） 对()Q t ut λ=-，可适当选取,u λ，使1()1,()1n Q Q λλ==-。 事实上，只须令

1()1

()1

n Q Q λλ=⎧⎨

=-⎩ 即可求得

()1112

,n n n

u λλλλλλλ-+=

=

-- 从而 ()

112()n n

t Q t λλλλ-+=

-。

显然()Q t 单调上升。由1()1,()1n Q Q λλ==-，及12,

,n λλλ≥≥，即得()1(1,

,)i Q i n λ≤=。

由 ()()22

()2()12211

11()()2(0)2(0)n n

k k k i i i i i i i f x a Q a Q Q λλλ+==≤≤∑∑ 及 ()2()()

()()()1111

1111()()()()()222n n

n n n k T k k T k k k i i j j i i j j j i i i j i j i f x a u G a u a u a u a λλ========∑∑∑∑∑