机械优化设计--第四章(第6次课)

g1
g0
1 2
4
2
3 4
x 0
x1
x0
2 0.5
1 1
1 0.5
代入校正公式
A0
x0[x0 ] T A0g0[g0 ]T A0
[x0 ]T g0
[g0 ]T A0g0
=
1 0.5
1
0.5
3 4
3
4
1
0.5
3 4
3
4
3 4
26
21:43
4.7 变尺度法
（9） DFP算例
A1 A0 A0
a(k) ，使 F (x(k ) (k )S (k ) ) min F (x(k ) S (k ) )
确定下一个迭代点
x (k1) x (k ) (k ) S (k )
21
21:43
4.7 变尺度法
（8） DFP变尺度算法的计算步骤
4. 计算x(k+1) 的梯度gk+1及其模 否则转下一步
约束优化方法
机械优化设计中的几个问题
2
21:43
第四章 无约束优化方法
01 概述
02 最速下降法
03 牛顿型方法
04 共轭方向与共轭方向法
05 坐标轮换法
06 共轭梯度法
07 变尺度法
08 鲍威尔方法
09 单形替换法
3
21:43
4.7 变尺度法
（1） 问题提出
1) 梯度法
X k1 X k kf ( X k )
g k 1 g k H k ( x (k 1) x (k ) )
x (k 1)
x(k)
H
1 k
(
g
k
1
gk )
13
21:43
4.7 变尺度法
（5） 拟牛顿条件
上式中，x(k+1) –x(k) 称之为位移矢量，并简化书写:
x x (k 1)
(k)
k
而gk+1 - gk 是前后迭代点的梯度矢量差，简化书写：
上次的构造矩阵：Ak 迭代点的位移矢量： 迭代点的梯度增量：
k x (k 1) x (k )
yk g k 1 g k
因此，不必作二阶导数矩阵及其求逆的计算
18
21:43
4.7 变尺度法
（7） DFP变尺度算法的特点
DFP算法的收敛速度介于梯度法和牛顿法之间。 DFP法具有二次收敛性 (搜索方向的共轭性)。
=
1 0
0 1
1 5
1 0.5
第二次搜寻方向为
21
0.5 0.25
1 25
9 12
12
16
25
19
8 50
g (k 1) F ( x (k 1) )
x ( k 1) x ( k )
21:43
y g ( k 1) g ( k )
T
M
T y
N
A(k ) yy T A(k )
T y
A(k 1) A(k ) M N
S ( k 1) A ( k 1) g ( k 1)
-
x(0) x(k1)
9
21:43
4.7 变尺度法
（4） 变尺度矩阵的产生
下降性：要求S(k)与-gk之间的夹角小于90o，
即：
-[S(k)]T gk>0
将拟牛顿方向带入上式，得：
-[S(k)]T gk = [Ak gk]Tgk = [gk]TAk gk > 0
所以只要 Ak 为对阵正定矩阵，S(k) 就是下降方向。
10
4.7 变尺度法
（7） DFP变尺度算法的特点
关于算法的稳定性，数值计算稳定性较差。
1. 算法的稳定性是指算法的每次迭代都能使目标函数值单调下降。 2. 构造矩阵正定性从理论上肯定了DFP法的稳定性，但实际上，
由于每次迭代的一维搜索只能具有一定的精确度，且存在机器 运算的舍入误差，构造矩阵的正定性仍然有可能遭到破坏； 3. 为了提高实际计算中的稳定性，一方面应对一维搜索提出较高 的精度要求，另一方面，当发生破坏正定性时，将构造矩阵重 置为单位矩阵E重新开始，通常采用的简单办法是在 n 次迭代 后重置单位矩阵
度起到改变尺度的作用，又称为变尺度矩阵。
若Ak =I，上式为梯度法的迭代公式 若Ak = Hk-1 ，上式为阻尼牛顿法的迭代公式
(2) 当矩阵Ak 不断地迭代而能很好地逼近 [2 f ( xk )]1 时，就可以不
再需要计算二阶导数。
(3) 变尺度法的搜索方向 :S(k) = - Ak gk ，称为拟牛顿方向。 变尺度法的关键在于尺度矩阵Ak的产生 。
8
21:43
4.7 变尺度法
（4） 变尺度矩阵的产生
拟牛顿方向 S(k) = - Ak gk 必须具有下降性、收敛性和 计算的简便性。
下降性—要求变尺度矩阵为对阵正定矩阵； 收敛性—要求变尺度矩阵逐渐逼近Hk-1，满足拟牛顿条件； 简便性—希望变尺度矩阵有如下递推形式：
• Ak+1 = Ak +△Ak
4
21:43
4.7 变尺度法
（2） 基本思想
梯度法: x(k 1) x(k ) a(k ) gk 牛顿法: x(k 1) x(k ) a(k )Gk1gk
x(k 1) x(k ) a(k ) Ak gk
变量的尺度变换是放大或缩小各个坐标。通过尺度变换可以把函数的 偏心程度降到最低限度。
k Ak 1 yk
上式即产生构造矩阵 Ak+1 应满足的一个重要条件，通常称为拟牛顿 条件或拟牛顿方程
15
21:43
4.7 变尺度法
（6） 变尺度矩阵的构造
拟牛顿条件 k Ak 1 yk 可写成 Ak Ak yk k 或 Ak yk k Ak yk (1)
DFP算法中的校正矩阵△ Ak取为下列形式：
yk g k 1 g k
由以上三式得 ：
k
H
1 k
yk
海赛矩阵与 梯度间的关系式
14
21:43
4.7 变尺度法
（5） 拟牛顿条件
按照变尺度法产生构造矩阵的递推思想，期望能够借助前一次迭代 的某些结果来计算下一个构造矩阵，因此可以根据上式，用第 k+1 次构造矩阵 Ak+1 近似代替 Hk-1 ，则
待定系数
Ak
k
uk
uT k
k
vk
vT k
(2)
保证△ Ak对称
16
21:43
4.7 变尺度法
（6） 变尺度矩阵的构造
将(2)代入(1):
k
uk
uT k
yk
k
vk
vT k
yk
k
Ak yk
两边对比得:
k
uk
uT k
yk
k,
k
vk
vT k
yk
Ak yk
取
uk k , vk Ak yk
则：
k
1
T k
+
g (k1) ?
-
+
x* x(k1) ] F* F(x*)
k=n？
出口
23
21:43
4.7 变尺度法
（9） DFP算例
例: 用DFP算法求下列问题的极值：
f
( x1 ,
x2 )
x2 1
2
x2 2
4x1
2x1x2
解： 1）取初始点 x0 [1 1，]T 为了按DFP法构造第一次搜
寻方向d0，需计算初始点处的梯度
对于二次函数 F(x)，DFP法所构成的搜索方向序列S(0), S(1) , S(2) ,… 为一组关于海赛矩阵H共轭的矢量，即DFP法属于共轭方向法，具 有二次收敛性。在任何情况下，这种方法对于二次目标函数都将 在n步内搜索到目标函数的最优点，而且最后的构造矩阵 An 必等
于海赛矩阵H。
19
21:43
f
(x0)
2x1 2x2 4
4x2 2x1
x0
4
2
取初始变尺度矩阵为单位矩阵A0=I，则第一次搜寻方向为
d0
A0f
(x0)
1 0
0 4 4
1
2
2
24
21:43
4.7 变尺度法
（9） DFP算例
沿d0方向进行一维搜索，得
x1
x0
0d 0
1 1
0
4 2
1 1
40
2
gk1 ，若 gk1 则转步骤⑺，
5. 计算位移矢量 k 和梯度矢量 yk
k x (k 1) x (k ) yk gk 1 gk
按DFP公式计算构造矩阵
Ak 1
Ak
k
T k
T k
yk
Ak yk ykT AkT
y
T k
Ak
yk
6. 置k←k+1。若k<n (n为优化问题的维数) 返回步骤⑶，否则返 回步骤⑵
这种算法仅用到梯度，不必计算海赛阵及其逆矩阵，但又能使搜索方 向逐渐逼近牛顿方向，具有较快的收敛速度。
尺度变换技巧能显著地改进几乎所有极小化方法的收敛性质。
例如在用最速下降法求
f
( 1 ,
2
)
12
25
2 2极小值时 ,需要ຫໍສະໝຸດ 行10次迭代才能达到极小点。
5
21:43
4.7 变尺度法
（2） 基本思想
12
21:43
4.7 变尺度法
（5） 拟牛顿条件
设F(x) 为一般形式 n 阶的目标函数，并具有连续的一、二阶偏导。在点
x(k) 处的二次泰勒近似展开
F ( x)
F(x(k)
)
g
T k
x
1 2
xT
H
k
x
该近似二次函数的梯度为：
F (x) g k H k x
式中 x x x(k) ，若令 x x(k1，) 则有
矩阵序列的
推广到一般的k+1次构造矩阵
基本迭代式
Ak+1=Ak+△Ak
△ Ak 称为校正矩阵
11
21:43
4.7 变尺度法
（5） 拟牛顿条件
构造矩阵Ak+1应该满足一个重要条件—拟牛顿条 件
变尺度法采用构造矩阵来代替牛顿法中海赛矩阵 的逆阵，主要目的之一就是为了避免计算二阶偏 导数和逆矩阵，力图仅用梯度和其他一些易于获 得的信息来确定迭代方向，因此，拟牛顿条件是 关于海赛矩阵和梯度之间的关系。
21:43
机械优化设计
上海海事大学
SHANGHAI MARITIME UNIVERSITY
何军良
2016年9月
1
上海海事大学
Shanghai Maritime University
1909
1912
1958
2004
21:43
2009
优化设计概述
优化设计的数学基础
一维搜索方法
目录
CONTENTS
无约束优化方法 线性规划
* 简单，开始时目标函数值下降较快，但越来越慢。
2) 阻尼牛顿法
X k1 X k k [2 f ( X k )]1f ( X k )
* 目标函数值在最优点附近时收敛快，但要用到二阶导数和矩阵求逆。
能否克服各自的缺点，综合发挥其优点？ 变尺度法也称拟牛顿法，它是基于牛顿法的思想而又作了重大改进的一 类方法。我们所介绍的变尺度法是由 Davidon 于1959年提出又经 Fletcher 和 Powell 加以发展和完善的一种变尺度法，故称为DFP变尺 度法。
对于二次函数:
f ( x) 1 xTGx bT x c 2
进行尺度变换
x Qx
目的：减少二次项的偏心
在新的坐标系中，函数f(x)的二次项变为：
1 xTGx 1 xTQTGQx
2
2
如G是正定，则总存在矩阵Q，使得： QTGQ I
6
21:43
4.7 变尺度法
（2） 基本思想
用矩阵Q-1右乘等式两边，得： QTG Q1
0
一维搜索最佳步长应满足
f
( x1)
min
f
(x0
0d 0)
min(4002
200
3)
得: 0 0.25
x1
2 0.5
2）再按DFP法构造点x1处的搜寻方向d1，需计算
f
( x1)
2x1
4 x2
2x2 2x1
4 x1
1 2
25
21:43
4.7 变尺度法
（9） DFP算例
g 0
20
21:43
4.7 变尺度法
（8） DFP变尺度算法的计算步骤
1. 任取初始点 x(0) 给出迭代精度ε.计算初始点精度 g0 F (x(0) ) 及其 模 g0 。若 g0 转步骤⑺，否则进行下一步
2. 置k←0，取 Ak←E 3. 计算迭代方向 S (k ) Ak g k ，沿S(k) 方向做一维搜索求优化步长
yk
k
1
yT k
Ak
yk
回代到(2)得:
Ak
k
T k
T k
yk
Ak
yk
yT k
Ak
yT k
Ak
yk
DFP变尺度法的迭代式为 ：
X
k 1
X
k
k
Ak f
Xk
Ak 1
Ak
k
T k
T k
yk
Ak
yk
yT k
Ak
yT k
Ak
yk
17
21:43
4.7 变尺度法
（6） 变尺度矩阵的构造
由上式可以看出，构造矩阵Ak+1的确定取决于第 k 次迭代中的下列 信息：
21:43
4.7 变尺度法
（4） 变尺度矩阵的产生
简便性：
变尺度矩阵是随迭代过程的推进而逐次改变的，因而它是一种矩阵
序列
{ Ak }，k=1，2，……
选取初始矩阵A0，并以梯度方向快速收敛，通常取单位矩阵E 作为
初始矩阵，即A0=E。而后的矩阵均是在前一构造矩阵的基础上校正
得到，令
A1=A0+△A0
7. 输出最优解（x*，F*），终止计算
22
D
F
P 算 法 流 程 图
入口
输入：x (0) , n,
k 0 A(0) I 计算：g（0） F（x（0））
S (k) A(k) g (k)
min F (x (k ) ) (k ) S (k ) (k ) x (k 1) x (k ) (k ) S (k )
用矩阵Q左乘等式两边，得： QQTG I
所以
QQT G 1
上式说明：二次函数矩阵G的逆阵，可以通过尺度变换 矩阵 A QQT 来求得。
7
21:43
4.7 变尺度法
（3） 迭代公式
x(k 1) x(k ) a(k ) Ak gk
(1) Ak为构造的 n n 阶对称矩阵，它随迭代点的位置变化而变化，对梯