04机械优化设计第四章(哈工大—孙靖民)

X
k 1
X k d
k
k
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
6
2016年2月3日12时49分
数值方法*
最常用的数值方法是搜索方法，其基本思想如下图所示：
X
3
X k 1
dk
d2
X
2
d
1
Xk
X1
d0
X0
X
k 1
X k d
k
k
7
2016年2月3日12时49分 开始
15
2016年2月3日12时49分
开始
最 速 下 降 法 的 程 序 框 图
给定 x
k 0
d k f ( x k )
0
,
x k 1 x k k d k
k k 1
k : min f ( xk d k )
是
x * x k 1
x
k 1
x
k

否
结束
(k 0,1, 2 )
（2）其步长因子 k 取一维搜索的最佳步长，即
k k k k f x k 1 f x a f x min f x a f x k k min
根据一元函数极值的必要条件和多元复合函数求导公 式，得
K f X f X f X 0 k k k T


f x
k 1
f x
T
k
0 或
12
d
k 1 T

dk 0
2016年2月3日12时49分
由上式可知，在梯度相互垂直。而 搜索方向就是负梯度方向， 因此相邻两个搜索方向互 相垂直。
1）有些实际问题，其数学模型本身就是一个无约束问题；
2）通过熟悉它的解法可以为研究约束优化问题打下良好的 基础；
3）约束优化问题的求解可用通过一系列无约束优化方法来 达到。
所以无约束优化问题的解法是优化设计方法的 基本组成部分，也是优化方法的基础。
2
2016年2月3日12时49分
对于多维无约束问题来说，古典极值理论中 令一阶导数为零，但要求二阶可微，且要判断海 赛矩阵为正定才能求得极小点，这种方法有理论 意义，但无实用价值。和一维问题一样，若多元 函数F(X)不可微，亦无法求解。但古典极值理论 是无约束优化方法发展的基础。
4
2016年2月3日12时49分
f x 0 1 f 0 x 2 f 0 x n
这是一个含有n个未知量，n个方程的方程组（一 般是非线性的方程组），除了一些特殊情况外，求解 析解比较困难，一般需要采用数值方法求解。但是， 与其用数值计算方法求解非线性方程组，倒不如用数 值计算方法直接求解无约束极值问题。
5
2016年2月3日12时49分
2、求解方法 （1）利用极值条件来确定极值点的位置。 （2）数值计算方法——搜索方法 0 x 基本思想：从给定的初始点 出发，沿某一搜索方向 0 0 d 进行搜索，确定最佳步长 0 使函数值沿 d 下降 最大。依此方式不断进行，形成迭代的下降算法：
(k 0,1, 2 ) 在上式中，dk 是第是 k+1次搜索或迭代方 向，称为搜索方向（迭代方向）。
2x 4 f X 0 1 50 x2 100
0 0 min (2 4 )2 25(2 100 )2 min f X 1 min f X f X
可以看出二者的对角形矩阵不同，前者的 等值线为一族椭圆，后者的等值线为一族同 心圆，这说明对角形矩阵是表示度量的矩阵 或者是表示尺度的矩阵，最速下降法的收敛 速度和变量的尺度有很大关系。
22
2016年2月3日12时49分
3、最速下降法收敛速度的估计式
在适当条件下，有 2 k m k 1 X X 1 2 X X M M —— f x 的海赛矩阵最大特征值上界 m —— f x 的海赛矩阵最小特征值下界
2016年2月3日12时49分
4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9
概述 最速下降法 牛顿型方法
第四章
无约束优化方法
共轭方向及共轭方向法 共轭梯度法
变尺度法
坐标轮换法
重点
鲍威尔方法
单型替换法
1
2016年2月3日12时49分
第1章所列举的机械优化设计问题大都是在一定 限制条件下追求某一指标为最小，属于约束优化问 题。 为什么要研究无约束优化问题？
3、无 约 束 优 化 算 法 的 粗 框 图
给定X、d的初始值
一维搜索 计算 使 f ( X d ) 极小
X X d
是 满足收敛条件 否？ 本章重点
8
否
结束
形成新的d
2016年2月3日12时49分

dk 和 ak的形成和确定方法不同就派生出不同 的n维无约束优化问题的数值解法。

梯度法的搜索路线：
最速下降法中，迭代点向
函数极小点靠近的过程， 走的是曲折的路线。这一 次的搜索方向与前一次的 搜索方向互相垂直，形成 “之”字形的直齿锯齿现 象，如图所示
最速下降法的搜索路径
13
2016年2月3日12时49分
在接近极小点的位置，由于锯齿现象使每次迭代行进
的距离缩短，因而收敛速度减慢，这种情况似乎与 “最速下降”的名称相矛盾，这主要是因为梯度是函 数的局部性质（从局部上看，在一点附近函数的下降 是快的），但从整体上看则走了许多弯路，函数的下 降并不算快。
0 2 4 0 Y ， 0 0 10 200
1
0
26 0.5 52
Y1 0
经过坐标（尺度）变化后，只需要经过一次迭代，就可找到 最优解： T f X 0 X 0, 0
20
2016年2月3日12时49分
1
f X 1 3.686164
经过10次迭代后，得到最优解： X 0, 0 T
f X

0
该问题的目标函数的等值线为一族椭圆，迭代 点走的是一段锯齿形路线，如下图。
18
2016年2月3日12时49分
等直线为椭圆的迭代过程
19
2016年2月3日12时49分
解法2：引入变化
16
2016年2月3日12时49分
例：求目标函数 f X x12 25x22 的极小点 解法1：取初始点
f X 0 104
X 2, 2 ，则初始点处的函数值
0 T
及梯度分别为：
2 4 2 4 0 X 1 X 0 0f X 0 0 2 100 2 100 0
24
2016年2月3日12时49分
§4-3
原始牛顿法
牛顿型方法
基本思想：在 x k 领域内用一个二次函数 ( x) 来近似
代替原目标函数，并将 ( x) 的极小值作为目标函数 f ( x) 求优的下一个迭代点 x k 1 。经多次迭代，使之逼近目标 函数 f ( x) 的极小点。
f ( xk ) xk 1 xk '' (k 0,1,2,) f ( xk )
根据构成搜索方向dk所使用的信息性质的不 同，无约束优化方法可以分为两类。
1.利用目标函数的一阶或二阶导数信息构造
搜索方向的无约束优化方法；
2.只用目标函数值的信息构造搜索方向的无
约束优化方法
9
2016年2月3日12时49分
用直接法寻找极小点时，不必求函数的导数，只要计算 目标函数值。这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。间接法除要计算 目标函数值外，还要计算目标函数的梯度，有的还要计算 其海赛矩阵。
y1, y2 y12 y22
1 0 0
y1 x1 y2 5 x2
，则目标函数 f x1 , x2 变为
Y0 (2,10)
Y 0 104
2 y1 4 Y 2 y2 Y 0 20
0
2 4 2 4 0 Y Y 0 Y 0 10 20 10 20 0
14
2016年2月3日12时49分
方法特点
1）初始点可任选，每次迭代计算量小，存储量少， 程序简短。即使从一个不好的初始点出发，开始 的几步迭代，目标函数值下降很快，然后慢慢逼 近局部极小点；
2）任意相邻两点的搜索方向是正交的，它的迭代 路径为绕道逼近极小点。当迭代点接近极小点时， 步长变得很小，越走越慢。
等直线为圆的迭代过程
21
2016年2月3日12时49分
讨论
1 f x1 , x2 x 25x2 x1 2
2 1 2
1 y1 , y2 y y2 y1 2
2 1 2
2 0 x1 x2 0 50 x2 2 0 y1 y2 y 0 2 2
3
2016年2月3日12时49分
§4-1
1、无约束优化问题
概述
T
求 n 维设计变量 X x1 , x2 , xn 使目标函数 f X min ，而对 X 没有任何限制条件。 这就是把求函数极值的问题变成求解方程 f 0 的问题。即求X,使其满足 f
x 0 1 f 0 x 2 f 0 x n
'