优化设计复习

k 1 k
k 1
Xk0
---多元函数求极值 的牛顿法迭代公式。
2 f X k —— 海赛矩阵
原始牛顿方向
16
2015年4月26日1时33分

对于二次函数 ，其展开到二次项的泰勒展开式就是其
本身，海赛矩阵G是一个常矩阵，其中各元素均为常数。因 此，无论从任何点出发，只需一步就可找到极小点。 如果某一迭代方法能使二次型函数在有限次迭代内达到
k k k 2 k 1
f X k 1 f X k k d k min f X k d k

20
2015年4月26日1时33分

可以看出原始牛顿法就相当于阻尼牛顿法的步长
因子取成固定值1的情况。阻尼牛顿法每次迭代都在牛 顿方向上进行一维搜索，避免了迭代后函数值上升的现 象，从而保持了牛顿法二次收敛的特性，而对初始点的 选取并没有苛刻的要求。
间 接 法
无 约 束 优 化 方 法
最速下降法 牛顿法 共轭方向法 共轭梯度法 变尺度法
利用目标函数的导数 信息
直 接 法
坐标轮换法 鲍威尔方法 单型替换法
利用目标函数 值信息
3
2015年4月26日1时33分
2、最速下降法的原理
（1）使 d f X ，按此规律不断走步，形成迭代算法：
可以看出二者的对角形矩阵不同，前者的等值线 为一族椭圆，后者的等值线为一族同心圆，这说明 对角形矩阵是表示度量的矩阵或者是表示尺度的矩 阵，最速下降法的收敛速度和变量的尺度有很大关 系。
13
2015年4月26日1时33分
梯度法的特点：
（1）理论明确，程序简单，对初始点要求不严格； （2）对一般函数而言，梯度法的收敛速度并不快，因为最速 下降法仅仅是指某点的一个局部性质； （3）梯度法相邻两次搜索方向的正交性决定了迭代全过程的 搜索路径呈锯齿形，在远离极小点时逼近速度较快，而在接近 极小点时逼近速度较慢； （4）梯度法的收敛速度与目标函数的性质密切相关。对于等 值线（面）为同心圆（球）的目标函数，一次搜索即可达到极 小点。
0 为一维搜索最佳步长，应满足极值必要条件
0 8(2 40 ) 5000(2 1000 ) 0
626 0 0.02003072 31252
8
2015年4月26日1时33分
则第一次迭代设计点位置和函数值
1.919877 2 4 0 X 2 2 100 0.3071785 10 0
21
2015年4月26日1时33分
（2）阻尼牛顿法的计算步骤
1）给定初始点 X 0 ，收敛精度 ，置 k 0
f X 2）计算 f X 、 f X 、
k 2 k 2 k 1
f X k d f X
k 2 k 1
0 1 50
代入牛顿法迭代公式可得:
0 过一次迭代即求得极小点和函数极小值。
2015年4月26日1时33分
从牛顿法迭代公式的推演中可以看到，迭代点的位置是
按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。
2 0 f X 0 50
2 0
1 2 1 2 0 f X 0
1 1 2 2 1 0 2 0 0 X X f X f X 2 0
23
2015年4月26日1时33分

函数只有在函数极值点附近，才能很接近一个二次
X k 1 X k k f X k
(k 0,1, 2 )
（2）其步长因子 k 取一维搜索的最佳步长，即
k k k k min f x k 1 f x a f x min f x a f x k k
7
2015年4月26日1时33分
例：求目标函数 f X x12 25x22 的极小点 解法1：取初始点
f X 0 104
X 2, 2 ，则初始点处的函数值
0 T
及梯度分别为：
2 4 2 4 0 X 1 X 0 0f X 0 0 2 100 2 100 0
6
2015年4月26日1时33分
方法特点
1）初始点可任选，每次迭代计算量小，存储量少，程序
简短。即使从一个不好的初始点出发，开始的几步迭代，
目标函数值下降很快，然后慢慢逼近局部极小点； 2）任意相邻两点的搜索方向是正交的，它的迭代路径为 绕道逼近极小点。当迭代点接近极小点时，步长变得很小， 越走越慢。
因此对于非二次函数，如果采用上述牛顿迭代公式，有时会 使函数值上升。因此需要对牛顿法进行改进，引人数学规划
法的搜寻概念，产生了阻尼牛顿法。
19
2015年4月26日1时33分
阻尼牛顿法
在牛顿法中，迭代点的位置是按照极值条件确定，并未 含有沿下降方向搜寻的概念，因此采用牛顿迭代公式，对 于非二次函数，有时会使函数值上升。
x
k 1
x k s
k
k
(k 0,1,2, )
2
x k 1 x k ak f ( x k ) (k 0,1,2, )
2015年4月26日1时33分
用直接法寻找极小点时，不必求函数的导数，只要计 算目标函数值。这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。间接法除要计算 目标函数值外，还要计算目标函数的梯度，有的还要计算 其海赛矩阵。
2015年4月26日1时33分
机械优化设计
金山职业技术学院 骆志高
1
2015年4月26日1时33分
最速下降法（梯度法）
1、基本思想
函数的负梯度方向是函数值在该点下降最快的方向。 将n维问题转化为一系列沿负梯度方向用一维搜索方法寻 优的问题，即利用负梯度作为搜索方向，故称为最速下降 法或梯度法。 搜索方向取该点的负梯度方向即 d f X ，使函 数值在该点附近的范围内下降最快。
2x 4 f X 0 1 50 x2 100
0 0 min (2 4 )2 25(2 100 )2 min f X 1 min f X f X
的下一个近似点，根据极值必要条件：
k 2 k X k 1 0 即 f X f X
对于多元函数 f X ，设 X k 为 f X 极小点 X 的第一 个近似点， f X 泰勒展开，保留到二次项，得:
X
k 1
X
k
2
X f X f X (k 0,1, 2 )
3）求 X k 1 X k d k k
1 ，停机； 4）检查收敛精度。若 X k 1 X k ，则 X X k
否则置 k k 1 返回到2），继续进行搜索。
22
2015年4月26日1时33分

基于以下两方面的原因， 给牛顿法的运用带来
一定局限性： 使用条件苛刻，对于二阶不可微的f(X)也不适用。 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不 能构造牛顿法方向； 为了保证牛顿方向是目标函数下降方向，海赛矩阵 的逆阵必须正定；
最速下降法的搜索路径
锯齿现象，如图所示
5
2015年4月26日1时33分

在接近极小点的位置，由于锯齿现象使每次迭代 行进的距离缩短，因而收敛速度减慢，这种情况似乎 与“最速下降”的名称相矛盾，这主要是因为梯度是 函数的局部性质（从局部上看，在一点附近函数的下 降是快的），但从整体上看则走了许多弯路，函数的 下降并不算快。
4
2015年4月26日1时33分

由上式可知，在最速下降 法中，相邻两个迭代点上的函 数梯度相互垂直。而搜索方向 就是负梯度方向，因此相邻两 个搜索方向互相垂直。
梯度法的搜索路线：
最速下降法中，迭代点向 函数极小点靠近的过程，走的
是曲折的路线。这一次的搜索
方向与前一次的搜索方向互相 垂直，形成“之”字形的直齿
1
f X 1 3.686164
经过10次迭代后，得到最优解：
X 0, 0

T
f X
是一段锯齿形路线，如下图。

0
9
该问题的目标函数的等值线为一族椭圆，迭代点走的
2015年4月26日1时33分
等直线为椭圆的迭代过程
10
2015年4月26日1时33分
解法2：引入变化
y1, y2 y12 y22
15
'
2015年4月26日1时33分
1、牛顿法
f x x 1 k k T k k T f x f x x x x x 2 f x k x x k 2 设 X k 1 为 X 的极小点，它作为 f X 极小点 X
极小点，称此迭代方法是二次收敛的。因此牛顿方法是二次
收敛的。
17
2015年4月26日1时33分
2 2 f x , x x 25 x 用牛顿法求 例: 1 2 1 2 的极小值
解：取初始点
0
X 0 2, 2 ，则
T
2 x1 4 f X 50 x2 X 0 100
0 2 4 0 Y ， 0 0 10 200
1
0
26 0.5 52
Y1 0
经过坐标（尺度）变化后，只需要经过一次迭代，就可找到 最优解： T f X 0 X 0, 0