无约束问题的最优化条件

f
(x)
f
(xk ) f
(xk )T
(x
xk )
1 (x 2
xk )T 2
f
(xk )(x
xk )
Q(k) (x)
f
(xk ) f
(xk )T (x xk )
1 2
(
x
xk
)T
2
f
(xk )(x xk )
令
Q(k) (x) x
0
f
( xk
)
2
f
(
xk
)(
x
xk
)
0
x xk (2 f (xk ))1f (xk ) xk Gk1gk
k 满足:
f (xk
dk ) 0
T f (xk k dk )gdk 0
ห้องสมุดไป่ตู้
d
T k 1
gd
k
0
14
a
5.3 牛顿法
自动化学院
15
a
一、牛顿迭代公式
牛顿法的基本思想是利用目标函数在当前迭代点 xk 处 的二次近似的极小点作为 f (x) 的近似极小点。
16
a
设 xk 是当前迭代点， 2 f (xk ) 正定，
5.1 无约束问题的 最优性条件
自动化学院
1
a
一、极小点的概念
1．局部极小点 2．严格局部极小点 3．全局（总体）极小点 4．严格全局（总体）极小点。 注：在非线性规划中，大多数算法都致力于求最优化 问题的局部极小点，一般求全局极小点极为困难，仅 当问题为凸规划时，局部极小为全局极小。
2
a
二、无约束问题最优性条件
的极小值,0.01,x(0)(0,0)T ,只迭代一次
解: f ( x ) [ ( 1 4 x 1 2 x 2 , 1 2 x 1 + 2 x 2 ] T , f ( x ( 0 ) ) ( 1 , 1 ) T
|| f(x(0))||2(12(1)2)22
x(1 )x(0 ) f(x(0 )) 0 0 1 1
17
a
牛顿迭代公式: xk 1 xk Gk1gk . 其中, Gk 2 f (xk ), gk f (xk )
18
a
例2:用牛顿法求 f(x ) x 1 x 2 2 x 1 2 2 x 1 x 2 x 2 2
的极小值, 0.01取初X 始 （ 0） 点 （ 0， 0） T
2） 计算 dk f (xk ) ，若 f (xk ) ，停，并令 x* xk ，否则转 3）；
3） 由一维搜索确定步长因子k ，使得
f
(xk
kdk
)
min
0
f
(xk
dk
)
4） 令 xk1 xk k dk ， k k 1，转 2)。
8
a
例1:用最速下降法求 f(x ) x 1 x 2 2 x 1 2 2 x 1 x 2 x 2 2
f (xk ) f (x*) ( 1)2 (1 n)2 xk x*
( 1)
其中 1 n G G1 （ 为矩阵 G 的条件数）。
13
a
五.算法特点
相邻两次迭代的搜索方向是正交的,迭代点列呈 锯齿形前进，迭代点越靠近最优解附近,目标函 数值下降的速度越慢，算法收敛速度慢。
Q dk1 f (xk1) f (xk k dk )
定理 1（一阶必要条件）若 x 是局部极小点，则 f (x) 0 。 定理 2（二阶必要条件）若 x 是局部极小点，则 f (x) 0 ，
2 f (x ) 0 。（半正定） 定理 3 （二阶充分条件） x 是局部极小点的充分条件是： f (x) 0 ，且 2 f (x ) 正定。 注：使 f (x) 0 的点 x 称为函数的驻点。驻点可以是极大
f( x ( 2 ) ) ( 0 .2 , 0 .2 ) T ,|| f( x ( 2 ) ) || 0 .2 8 2 8 f,L
10
a
二.算法终止标准
常用的算法终止准则有：
(1) xk1 xk ； (2) f (xk1) f (xk ) ；
f (xk )
(3) f (xk ) 。
11
a
三、最速下降算法收敛性定理
定理 5 设 f C1 (一阶连续可微), S x f (x) f (x0)
有界，则由最速下降法得到的迭代点列xk 具有如下性质： 1） 数列 f (xk ) 严格单调下降； 2） xk 的任何极限点（聚点） x 都是 f (x) 的驻点，
f (x ) 0 ，若 f (x) 为凸函数，则 x 为 f (x) 的最小值点。
9
a
代入目标函数得：
f(x ( 1 )) f(x (0 ) f(x (0 )) )2 2
令 df(x(1))/d0
0 1
x (1)
1
1
f(x (1 )) ( 1 , 1 )T ,|| f(x (1 ))||2 f
继续迭代,计算可得 d(1) 1 1,11 5,x(2) 10.2.8
➢ 最速下降法又称为负梯度法，由Cauchy于 1847年给出。是最为古老但又十分基本的一 种方法。
➢ 最速下降法解决的是具有连续可微的目标函 数的无约束极值问题。
➢ 优点：迭代过程简单，使用方便。
➢ 最速下降法的基本思想：从当前点xk出发寻找 使得目标函数下降最快的方向，即负梯度方向。
6
a
➢ 关于梯度的复习： ☺梯度是一个向量。n元函数f(x1 ,x2 ,…xn)在点x
处的梯度为： (f ,f ,...,f )T
x1 x2 xn
☺梯度的方向与函数f 的等值线的一个法线方 向相同，从较低的等值线指向较高的等值线。
☺梯度的方向就是函数f 的值增加最快的方向， 其相反方向就是函数值降低最快的方向。
7
a
算法步骤：
1） 给出初始点 x0 Rn ，允许误差 0 ， k 0 ；
点，极小点或者鞍点。
3
a
定理 4 若 f (x) : Rn R 是连续可微的凸函数，则 x 是全局 极小点的充要条件是 f (x ) 0 。
证明：必要性由定理 1，充分性则由凸函数定义
f (x) f (x) f (x)T (x x) 可得。
4
a
5.2 最速下降法
自动化学院
5
a
一. 最速下降法
证明：......
12
a
四.最速下降法的收敛速度
定理 6 对极小化问题 min f (x) 1 xTGx ，其中 G 为 n n 对称正定 2
矩阵， 1， n 分别为 G 的最大与最小特征值。设 x* 是最优解，则最
速下降算法的收敛速度至少是线性的，且下面的界成立：
f (xk1) f (x*) ( 1)2 (1 n )2 ， xk1 x* ( 1)