无约束优化方法.ppt

f (XK +1) < f (Xk )
- 轾 臌蜒f (X k ) T 轾 犏 臌2f (X k ) - 1 ? f (X k ) 0 轾 臌蜒f (X k ) T 轾 犏 臌2f (X k ) - 1 ? f (X k ) 0 Ñ2f (X k ) 正定，可逆
阻尼牛顿法算法
1.
给出 x0 Rn ,0 1, k : 0
二）终止判别条件
gk
*可取最优步长或下降步长
三)迭代步骤
给定 X0 ，ε
k=0 ，X（k）=X0
计算
g(k), g(k)
* “最速下降性”只 是迭代点邻域的局部 性质。从全局看，并 非最速下降方向。
k=k+1
g(k)
Y
N
从X (k ) 出发，沿 g (k)搜索得
X (k 1) X (k ) (k ) g (k )
g
T k
dk
0
gkT dk gkT dk
1 1
正交 同向 反向
gkT dk cos
gkT dk
问题：在点xk 处，沿什么方向dk , f x 下降最快?
分析：f xk dk f xk gkTdk o dk 0
考查： gkT dk gk dk cos
gkT1d j 0, j 1,2, k
定理2: 设 G为n 阶正定阵，向量组 d1, d2 ,dk
关于 G共轭，对正定二次函数 f x 1 xTGx bT x c,
2
由任意 x1开始，依次进行 k 次精确线搜索：
xi1 xi idi ,i 1,2,k, 则：
证明： 设 c1d1 c2d2 cmdm 0
d1T G(c1d1 c2d2 cmdm ) 0
c1d1T Gd1 c2d1T Gd2 cmd1T Gdm 0
c1d1T Gd1 0
c1 0 同理：c2 c3
cm 0
推论1: 设 G为 n 阶正定阵，非零向量组 d1, d2 ,, dn 关于G共轭，则向量构成 Rn 的一组基．
, k 1, 2,
最速下降法优点
(1) 程序设计简单，计算量小，存储量小， 对初始点没有特别要求．
(2) 有着很好的局部收敛性，
最速下降法缺点
有时是 很慢的线性收敛．
原因：① dk gk 仅反映 f x 在 xk 处
的局部性质．
②
g
d T
k 1
k
0 , 相继两次迭代中搜索
方向是正交的．
对于非二次函数，如果采用上述牛顿迭代公 式，有时会使函数值上升，即出现 f(xk+1)>f(xk)的现象
X k + 1 = X k - 轾 犏 臌蜒2f (X k ) - 1 f (X k )
f (X K + 1 ) ? f (X k ) 轾 臌? f (X k ) T (X X k ) = f (X k ) - 轾 臌蜒f (X k ) T 轾 犏 臌 2f (X k ) - 1 ? f (X k )
推论2: 设 G为 n 阶正定阵，非零向量组 d1, d2 ,, dn 关于G共轭，若向量 v 与 d1, d2 ,, dn 关于G共轭，则 v 0.
共轭方向法算法
Step1: 给出 x0 Rn ,0 1, k : 0
计算 g0 gx0 和初始下降方向 d0.
X*= X（k） F*=F（X*）
结束
例1：用最速下降法求解：
min
f
x

1 2
x12

9 2
x22
解：
g
x



x1 9x2

Gx 10
x0 9, 1T
0 9

x* 0,0T
x0 9,1T g0 f x0 9,9T

1 2
EAk
(
X

X
k
)

1 2
( X X k )T Ak ET
T
gk Ak ( X X k )
即：
Ak Xk1 Xk gk 0
因此：
X k1 X k Ak1gk
这就是牛顿法迭代公式．
注： 这里 k 1,dk Ak1gk .
牛顿法算法
2.
计算f xk , 如果 f xk , 停．
3.
否则计算 Gk , 并且求解方程
Gk dk gk , 得出dk .
4.
沿 dk 进行线搜索，得出k .
5.
令xk 1 xk k dk , 转2.
例2：用阻尼牛顿法求解：
min f x x14 x1x2 1 x2 2
显然当 cos

1
时，g
T k
dk
取极小值．
因此： dk gk
结论：负梯度方向使 f x 下降最快，亦即最速
下降方向．
一）基本思想
1）沿负梯度方向搜索：
S (k) F ( X (k ) ) g (k)
2）迭代公式 X (k1) X (k ) (k ) g (k ) * 前后两个方向正交
0
Gdi

1
i
gi1 gi
g
k

T j
Gdi

gT k j
1
i
gi1 gi
gk

T j
Gdi
0
k ji2
i

gkT Gdi diT Gdi
,
i 0,1,2,
k 1
gk

T j
Gdi
0,
j 1,2,
;
i 0,1,2 ,k 1
k 2
x12

9 2
x22
解：
g
x



x1 9x2

Gx 10
x0 9, 1T
0 9

x* 0,0T
x1

x0
G01g0


9 1



1 0
0 9

1

9 9



0 0


x*
从牛顿法迭代公式的推演中可以看到，迭代 点的位置是按照极值条件确定的，其中并未 含有沿下降方向搜寻的概念
f X f Xk X Xk

qk ( X
)

fk

gkT
X

Xk
1 X
2

Xk
T
Ak
X

Xk

因为 Ak 正定，则qk X 有唯一极小点，用这个
Hale Waihona Puke Baidu
极小点作为 X k1.
所以要求： qk X 0
qk X
gkT E
T
Step2: 如果 gk , 停止迭代． Step3: 计算k , xk1,使得 xk1 xk k dk .
Step4:
采用某种共轭方向法计算
d
k
使得：
1
dkT1Gd j 0, j 0,1,, k.
Step5: 令k : k 1, 转Step2.
共轭方向法基本定理
x1

x0
0 g0

9 90

1

9
0

7.2
0 0.2
x1


0.8
7.2 g1 7.2
x2

x1
1g1

9 0.82

(0.8)2

xk
9
1k
0.8k
1.
给出 x0 Rn ,0 1, k : 0
2.
计算f xk , 如果 f xk , 停．
3.
否则计算 Gk , 并且求解方程
Gk dk gk , 得出dk .
4.
令 xk 1 xk dk ,转步２.
例1：用牛顿法求解：
min
f
x

1 2
k
则：xk1 x1 idi 是 f x 在 H k 上 i 1
唯一极小点的充要条件是：
g
d T
k 1 i

0, i
1,2,k
证：
g
T k 1
d
k
0
g
d T
k 1
k
diT Gdk ,i 1,2,
gT k 1

diT G
k 1
gkT1d j diT Gd j , j i
i

g
T k
Gdi
diT Gdi
xi1 xi i di
xi1 xi i di
f x 1 xT Gx BT x C,
2
g x Gx B
g xi1 g xi Gxi1 B Gxi B
g xi1 g xi G xi1 xi
x0 0, 0T
解显沿于：然 方是g向，G0 d0d0不002是进正行G0G定线1g0的搜0，索但10，0：2f12Gx001d012
1 0

16
4
1,
得其极小点 0 0. 从而迭代不能继续下去．
共轭方向及其性质
定义1: 设 d1, d2 ,, dm 是 Rn 中任一组
非零向量，如果：diT Gd j 0, i j
则称 d1, d2 ,, dm 是关于 G 共轭的．
注：若 G I , 则是正交的，因此共轭是 正交的推广．
定理1: 设 G 为 n 阶正定阵，非零向量组 d1, d2 ,, dm 关于 G共轭，则必线性无关．

g
T k
Gd
k
2
dkT2Gdk 2
0
k 1

gkT Gdk 1 dkT1Gdk 1
k 1
ddkk

ggkk
i k01di kdi1
dk gk k1dk1 Ggk1dxki11 gg xxki gGxikd1i dk gk k1 gk1 d k2 k2
定义2: 设 n 维向量组 d1, d2 ,, dk 线性无关，
x1 Rn ,向量集合H k
x1
k
idi
i

R1


i 1

为 x1 与 d1, d2 ,, dk 生成的 k 维超平面．
引理1: 设 f x 是连续可微的严格凸函数，
n 维向量组 d1, d2 ,dk 线性无关，x1 Rn ,
如针对最速下降法(梯度法) 提出只用梯度信息，但比最速下降 法收敛速度快的共轭梯度法；
针对牛顿法提出变尺度法等
2019/12/17
22
§ 4.3 共轭方向法 与共轭梯度法
算法特点
（１）建立在二次模型上，具有二次终止性．
（２）有效的算法，克服了最速下降法的慢 收敛性，又避免了牛顿法的计算量大和局部收 性的缺点． （３）算法简单，易于编程，需存储空间小等 优点，是求解大规模问题的主要方法．
第四章 无约束最优化方法
§ 4.1 最速下降法
问题提出
问题：在点xk 处，沿什么方向dk , f x 下降最快?
分析：f xk dk f xk gkTdk o dk 0
考查：
gkT dk
柯西不等式：ggkTkTddk k

g
T k
dk
gkT dk 1
（１）g
d T
k 1
i
0, i
1,2,k
（２）xk1 是 f x 在 Hk 上的极小点．
推论: 当 k n时，xn1为正定二次函数在 Rn
上的极小点．
共轭梯度法
取：
d0 g0
k 1
记： dk gk i di
i 0
左乘 diT G, 并使 diT Gdk 0, 得：
牛顿法的特点
牛顿法和阻尼牛顿法统称为牛顿型方法 主要缺点
每次迭代都要计算函数的二阶导数矩阵，并对该矩 阵求逆。这样工作量很大。特别是矩阵求逆，当维 数高时工作量更大
从计算机存储方面考虑，牛顿型方法所需的存储量 也是很大的
最速下降法的收敛速度比牛顿法慢，而牛顿法又存在 上述缺点。针对这些缺点，近年来人们研究了很多改 进的算法
gi1 gi Gi di
Gdi

1
i
gi1
gi

k 1
dk gk i di
i 0
k 1
gk dk i di
i 0
gk
T j
gk

gT k j

d
k

k 1
i di

,

i 0

j 1,2,
gk

T j
gk
习题
P66 5
§ 4.2 牛顿法
基本思想
利用目标函数f X 在点X k 处的二阶Taylor
展开式去近似目标函数，用二次函数的极小点 去逼近目标函数的极小点．
算法构造
问题：如何从Xk Xk1?
设f X 二阶连续可微，Xk Rn ,gk f Xk , 海赛阵Ak 2 f Xk 正定．