AAA最优化理论与方法课件(第3章,马昌凤版)

0.78
H
0.02
0.12
0.14
0.02 0.86
0.04 0.06
0.12 0.04
0.72 0.08
0.14
0.06
0.08
0.74
c 0.76, 0.08,1.12, 0.68T
其最小特征值n 0.52,最大特征值1 0.94
1 1
Байду номын сангаас
n n
2
0.081
方法分类：
1、间接法：对简单问题，求解必要条件或充分条件；
零阶法：只需计算函数值 f(x)
2、迭代算法： 一阶法：需计算 ▽f(x)
二阶法：需计算 ▽2f(x)
直接法 梯度法
从梯度下降到拟牛顿法
训练神经网络的五大学习算法
1、梯度下降法，又称为最速下降法
2、牛顿法
3、共轭梯度法（Conjugate gradient）
最优化理论与方法
Chapter 3 最速下降法和牛顿法
经典是永恒的
3.1 最速下降法及其Matlab实现 3.2 牛顿法及其Matlab实现 3.3 修正牛顿法及其Matlab实现
学习的重要性：
1、直接用于无约束的实际问题； 2、其基本思想和逻辑结构可以推广到约束问题；
3、约束问题可以转化成无约束问题求解。
min f (x) x12 x22 .
xR 2
a2 b2
显然该问题有精确解x* (0,0)T , f (x*) 0. 分析a与b 取不同值时迭代次数的变化规律。初始点都取为
(1,1)T，精度取1e-5。
a
b
离心率
迭代次数 最后目标值
d (1) 4 5 1 / 10 9
从x(1)出发,沿方向d (1)进行一维搜索 :
min( ) f (x(1) d (1) )
0
x(1)
d (1)
1 / 9
4
/
9
4/9 8 / 9
(1 4 ) / 9
(4
8
)
/
9
( ) 2 (1 4 )2 16 (1 2 )2
81
81
min f (xk kdk )
f (xk dk )
0
或非精确线搜索。
3.1最速下降法－4
• 算法描述
Step1.给定初始点x(0) Rn ,允许误差 0,置k 0.
Step2.计算搜索方向d (k) f (x(k) ).
Step3.若 d (k) ,停止,否则,从x(k)出发,沿d (k)进行一维搜索,
E
xk 1
max max
min min
2
E
xk
其中E(x) 1 x x *T H x x *,即
2
特别地，r=1时， 一步即可停止
xk1 x *
H
r r
1 1
xk
x*
,
H
其中, x *为问题的唯一解，x xT Hx. H
例：考虑二次函数f (x) cT x 1 xT Hx, 其中 2
f
( xk
)
lim
0
gkT dk
o( )
线性(一阶)
gkT dk gk dk cosk , 近似
其中k 是 gk 与 dk 的夹角。
求函数f(x)在点xk处下降最快的方向, 归结为求 cos(k ) 的最小值。显然当cos(k )= 1 ,即 k = 时目标
值的变化率最快。于是
dk
gk gk
令 '( ) 16 (1 4 ) 64 (1 2 ) 0
81
81
1 5 / 12
得到
x(2)
x(1)
2d (1)
2 27
1 1
第三次迭代
f (x)在点x(2)处的最速下降方向为
d (2)
f
(x(2) )
4 27
2
1
d (2) 4 5 1 / 10 27
从x(2)出发,沿方向d (2)进行一维搜索 :
k
f (xk )
0.
证明 只证明在 Wolfe 准则和 Armijo 准则下最速下降法的收 敛性。
在 Wolfe 准则下：由于 dk gk ，因此搜索方向 dk 满足夹角
性质。又 f (x) 有下界，因此根据上一章 Wolfe 准则下迭代下
降方法大范围收敛定理，有或者对于某个 k ，满足 gk =0，或
min( ) f (x(2) d (2) )
0
x(2)
d
(2)
2 27
1 1
4 27
2 1
2 27
1 1
4 2
(
)
8 272
(1
4
)2
4 272
(1
2
)2
令
'( ) 0
2 5 / 18
x(3)
x(2)
3d (2)
2 27
1/ 9 4 / 9
2 243
1 4
此时
最速下降法是用负梯度方向
dk gk
作为搜索方向的(因此也称为梯度法)。
3.1最速下降法－2
由Taylor展开式得f (xk dk ) f (xk ) gkT dk o( ), 0. 那么目标函数 f (x)在 xk 处沿单位方向 dk 下降量的变
化率是
lim
0
f (xk dk )
目标函数f(x)在点x处的梯度
f
(x)
4x1 2x2
第一次迭代 令搜索方向
d (0)
f
( x(0) )
4 2
d (0) 16 4 2 5 1 / 10
从x(0)出发,沿方向d (0)进行一维搜索,求步长0,即
min ( ) f (x(0) d (0) )
0
x(0)
d (0)
1 1
2
(5.7600 0.6400)
3
(4.6080 -0.5120)
45.0000 28.8000 18.4320 11.7965
...
100 1.0e-08 *( 0.1833
0.0204)
1.8673e-18
||gk||
12.7279 10.1823 8.1459 6.5167
2.5927e-09
x22
上一章的结论 对于正定二次函数 H (x) 1 xTGx bT x c ，解
精确一维搜索问题
min
0
H (xk
dk
)，得
2
例3.2的解
k
gkT dk dkT Gd
k
g
(
x)
x1 9 x2
,
G(
x)
1 0
0
9
.
对于正定二次函数,最速下降法的迭代公式为
由于x0=(9,1)T, g0=(9,9)T,可得 x1 (7.2, 0.8)T .
推论 设矩阵H Rnn对称正定, c Rn.记max和min分别是H的 最大和最小特征值,r max / min .考虑如下极小化问题 :
min f (x) cT x 1 xT Hx. 2
设{xk }是采用精确线搜索的最速下降法求解上述问题 所产生的迭代序列,则对于所有的k,下面的不等式成立:
f (x(3) ) 8 5 1 243 10
已经满足精度要求,得近似解
x
2 1
243
4
问题的最优解为x*=(0,0)T。
容易证明, 用最速下降法极小化目标函数时, 相邻
两个搜索方向是正交的。 令
( ) f (x(k) d (k) ),d (k) f (x(k) )
则
最好的方向
'(k )=f (x(k ) k d (k ) )Td (k ) 0
最速下降法的收敛性
由dk gk f (xk ),得
k 0
于是条件0
k
2
,
0成立.
定理3.1 设目标函数f (x)连续可微且有下界,梯度函数
f (x)是Lipschitz连续的,{xk}由最速下降法产生,其中
步长因子 k由精确线搜索, 或由Wolfe准则, 或由Armijo
准则产生,则有
lim
4、拟牛顿法（Quasi-Newton method）
5、Levenberg-Marquardt 算法，也称之为衰减 最小二乘法(damped least-squares method)
考虑无约束最优化问题:
min f (x)
xRn
的最速下降法和牛顿法及其改进算法, 其中 f(x)具 有一阶连续偏导数。
min min
2
的收敛比线性得收敛于f
( x*),即
f
(xk1)
f
( x*)
rrmmaaxx
11mmiinn
22
(
f
(xk )
f
(x*)) o(
f
(xk )
f
( x*)).
条件在数上述定理中,若令r=λmax/λmin, 则
r表示对称正定矩阵2 f (x*)的条件数。 定理表明:条件数越小,收敛越快;条件数越大,收敛越慢.
最速下降法是求解无约束优化问题最简单和 最古老的方法之一, 虽然时至今日它不再具有实 用性, 但它却研究其它无约束优化算法的基础。
牛顿法是一种经典的无约束优化算法, 并且因 其收敛速度快以及具有自适应性等优点而至今仍
C受a到uc科hy技1工78作9-者18的5青9 睐。Newton 1643-1727
3.1 最速下降法及其Matlab实现
Steepest Method and Its Matlab Code