04机械优化设计第四章(哈工大—孙靖民)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
y1, y2 y12 y22
1 0 0
y1 x1 y2 5 x2
，则目标函数 f x1 , x2 变为
Y0 (2,10)
Y 0 104
2 y1 4 Y 2 y2 Y 0 20
0
2 4 2 4 0 Y Y 0 Y 0 10 20 10 20 0
1）有些实际问题，其数学模型本身就是一个无约束问题；
2）通过熟悉它的解法可以为研究约束优化问题打下良好的 基础；
3）约束优化问题的求解可用通过一系列无约束优化方法来 达到。
所以无约束优化问题的解法是优化设计方法的 基本组成部分，也是优化方法的基础。
2
2016年2月3日12时49分
对于多维无约束问题来说，古典极值理论中 令一阶导数为零，但要求二阶可微，且要判断海 赛矩阵为正定才能求得极小点，这种方法有理论 意义，但无实用价值。和一维问题一样，若多元 函数F(X)不可微，亦无法求解。但古典极值理论 是无约束优化方法发展的基础。
1
f X 1 3.686164
经过10次迭代后，得到最优解： X 0, 0 T
f X
0
该问题的目标函数的等值线为一族椭圆，迭代 点走的是一段锯齿形路线，如下图。
18
2016年2月3日12时49分
等直线为椭圆的迭代过程
19
2016年2月3日12时49分
解法2：引入变化
间 接 法
无 约 束 优 化 方 法
最速下降法 牛顿法 共轭方向法 共轭梯度法 变尺度法
利用目标函数的导数 信息
直 接 法
坐标轮换法 鲍威尔方法 单型替换法
10
利用目标函数 值信息
2016年2月3日12时49分
§4-2
1、基本思想
最速下降法（梯度法）
函数的负梯度方向是函数值在该点下降最快的方向。 将n维问题转化为一系列沿负梯度方向用一维搜索方法寻 优的问题，即利用负梯度作为搜索方向，故称为最速下降 法或梯度法。 搜索方向取该点的负梯度方向即 d f X ，使函 数值在该点附近的范围内下降最快。
X
k 1
X k d
k
k
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
6
2016年2月3日12时49分
数值方法*
最常用的数值方法是搜索方法，其基本思想如下图所示：
X
3
X k 1
dk
d2
X
2
d
1
Xk
X1
d0
X0
X
k 1
X k d
k
k
7
2016年2月3日12时49分 开始
2016年2月3日12时49分
4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9
概述 最速下降法 牛顿型方法
第四章
无约束优化方法
ຫໍສະໝຸດ Baidu
共轭方向及共轭方向法 共轭梯度法
变尺度法
坐标轮换法
重点
鲍威尔方法
单型替换法
1
2016年2月3日12时49分
第1章所列举的机械优化设计问题大都是在一定 限制条件下追求某一指标为最小，属于约束优化问 题。 为什么要研究无约束优化问题？
5
2016年2月3日12时49分
2、求解方法 （1）利用极值条件来确定极值点的位置。 （2）数值计算方法——搜索方法 0 x 基本思想：从给定的初始点 出发，沿某一搜索方向 0 0 d 进行搜索，确定最佳步长 0 使函数值沿 d 下降 最大。依此方式不断进行，形成迭代的下降算法：
(k 0,1, 2 ) 在上式中，dk 是第是 k+1次搜索或迭代方 向，称为搜索方向（迭代方向）。
根据构成搜索方向dk所使用的信息性质的不 同，无约束优化方法可以分为两类。
1.利用目标函数的一阶或二阶导数信息构造
搜索方向的无约束优化方法；
2.只用目标函数值的信息构造搜索方向的无
约束优化方法
9
2016年2月3日12时49分
用直接法寻找极小点时，不必求函数的导数，只要计算 目标函数值。这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。间接法除要计算 目标函数值外，还要计算目标函数的梯度，有的还要计算 其海赛矩阵。
16
2016年2月3日12时49分
例：求目标函数 f X x12 25x22 的极小点 解法1：取初始点
f X 0 104
X 2, 2 ，则初始点处的函数值
0 T
及梯度分别为：
2 4 2 4 0 X 1 X 0 0f X 0 0 2 100 2 100 0
0 2 4 0 Y ， 0 0 10 200
1
0
26 0.5 52
Y1 0
经过坐标（尺度）变化后，只需要经过一次迭代，就可找到 最优解： T f X 0 X 0, 0
20
2016年2月3日12时49分
等直线为圆的迭代过程
21
2016年2月3日12时49分
讨论
1 f x1 , x2 x 25x2 x1 2
2 1 2
1 y1 , y2 y y2 y1 2
2 1 2
2 0 x1 x2 0 50 x2 2 0 y1 y2 y 0 2 2
3
2016年2月3日12时49分
§4-1
1、无约束优化问题
概述
T
求 n 维设计变量 X x1 , x2 , xn 使目标函数 f X min ，而对 X 没有任何限制条件。 这就是把求函数极值的问题变成求解方程 f 0 的问题。即求X,使其满足 f
x 0 1 f 0 x 2 f 0 x n
4
2016年2月3日12时49分
f x 0 1 f 0 x 2 f 0 x n
这是一个含有n个未知量，n个方程的方程组（一 般是非线性的方程组），除了一些特殊情况外，求解 析解比较困难，一般需要采用数值方法求解。但是， 与其用数值计算方法求解非线性方程组，倒不如用数 值计算方法直接求解无约束极值问题。
0 为一维搜索最佳步长，应满足极值必要条件
0 8(2 40 ) 5000(2 1000 ) 0
626 0 0.02003072 31252
17
2016年2月3日12时49分
则第一次迭代设计点位置和函数值
1.919877 2 4 0 X 2 2 100 0.3071785 10 0
15
2016年2月3日12时49分
开始
最 速 下 降 法 的 程 序 框 图
给定 x
k 0
d k f ( x k )
0
,
x k 1 x k k d k
k k 1
k : min f ( xk d k )
是
x * x k 1
x
k 1
x
k
否
结束
'
25
2016年2月3日12时49分
1、牛顿法
f x x 1 k k T k k T f x f x x x x x 2 f x k x x k 2 设 X k 1 为 X 的极小点，它作为 f X 极小点 X
x
k 1
x k s
k
k
(k 0,1,2, )
x k 1 x k akf ( x k ) (k 0,1,2, )
11
2016年2月3日12时49分
2、最速下降法的原理
（1）使 d f X ，按此规律不断走步，形成迭代算法：
X k 1 X k k f X k
2x 4 f X 0 1 50 x2 100
0 0 min (2 4 )2 25(2 100 )2 min f X 1 min f X f X
14
2016年2月3日12时49分
方法特点
1）初始点可任选，每次迭代计算量小，存储量少， 程序简短。即使从一个不好的初始点出发，开始 的几步迭代，目标函数值下降很快，然后慢慢逼 近局部极小点；
2）任意相邻两点的搜索方向是正交的，它的迭代 路径为绕道逼近极小点。当迭代点接近极小点时， 步长变得很小，越走越慢。
24
2016年2月3日12时49分
§4-3
原始牛顿法
牛顿型方法
基本思想：在 x k 领域内用一个二次函数 ( x) 来近似
代替原目标函数，并将 ( x) 的极小值作为目标函数 f ( x) 求优的下一个迭代点 x k 1 。经多次迭代，使之逼近目标 函数 f ( x) 的极小点。
f ( xk ) xk 1 xk '' (k 0,1,2,) f ( xk )
K f X f X f X 0 k k k T
f x
k 1
f x
T
k
0 或
12
d
k 1 T
dk 0
2016年2月3日12时49分
由上式可知，在最速下降
法中，相邻两个迭代点上 的函数梯度相互垂直。而 搜索方向就是负梯度方向， 因此相邻两个搜索方向互 相垂直。
当相邻两个迭代点之间满足上式时（右边的系数 为小于等于1的正的常数），我们称相应的迭代方法是 具有线性收敛速度的迭代法。因此，最速下降法是具有 线性收敛速度的选代法。
23
2016年2月3日12时49分
梯度法的特点：
（1）理论明确，程序简单，对初始点要求不严格； （2）对一般函数而言，梯度法的收敛速度并不快， 因为最速下降法仅仅是指某点的一个局部性质； （3）梯度法相邻两次搜索方向的正交性决定了迭代 全过程的搜索路径呈锯齿形，在远离极小点时逼近速 度较快，而在接近极小点时逼近速度较慢； （4）梯度法的收敛速度与目标函数的性质密切相关。 对于等值线（面）为同心圆（球）的目标函数，一次 搜索即可达到极小点。
梯度法的搜索路线：
最速下降法中，迭代点向
函数极小点靠近的过程， 走的是曲折的路线。这一 次的搜索方向与前一次的 搜索方向互相垂直，形成 “之”字形的直齿锯齿现 象，如图所示
最速下降法的搜索路径
13
2016年2月3日12时49分
在接近极小点的位置，由于锯齿现象使每次迭代行进
的距离缩短，因而收敛速度减慢，这种情况似乎与 “最速下降”的名称相矛盾，这主要是因为梯度是函 数的局部性质（从局部上看，在一点附近函数的下降 是快的），但从整体上看则走了许多弯路，函数的下 降并不算快。
(k 0,1, 2 )
（2）其步长因子 k 取一维搜索的最佳步长，即
k k k k f x k 1 f x a f x min f x a f x k k min
根据一元函数极值的必要条件和多元复合函数求导公 式，得
可以看出二者的对角形矩阵不同，前者的 等值线为一族椭圆，后者的等值线为一族同 心圆，这说明对角形矩阵是表示度量的矩阵 或者是表示尺度的矩阵，最速下降法的收敛 速度和变量的尺度有很大关系。
22
2016年2月3日12时49分
3、最速下降法收敛速度的估计式
在适当条件下，有 2 k m k 1 X X 1 2 X X M M —— f x 的海赛矩阵最大特征值上界 m —— f x 的海赛矩阵最小特征值下界
3、无 约 束 优 化 算 法 的 粗 框 图
给定X、d的初始值
一维搜索 计算 使 f ( X d ) 极小
X X d
是 满足收敛条件 否？ 本章重点
8
否
结束
形成新的d
2016年2月3日12时49分
dk 和 ak的形成和确定方法不同就派生出不同 的n维无约束优化问题的数值解法。
1 0 0
y1 x1 y2 5 x2
，则目标函数 f x1 , x2 变为
Y0 (2,10)
Y 0 104
2 y1 4 Y 2 y2 Y 0 20
0
2 4 2 4 0 Y Y 0 Y 0 10 20 10 20 0
1）有些实际问题，其数学模型本身就是一个无约束问题；
2）通过熟悉它的解法可以为研究约束优化问题打下良好的 基础；
3）约束优化问题的求解可用通过一系列无约束优化方法来 达到。
所以无约束优化问题的解法是优化设计方法的 基本组成部分，也是优化方法的基础。
2
2016年2月3日12时49分
对于多维无约束问题来说，古典极值理论中 令一阶导数为零，但要求二阶可微，且要判断海 赛矩阵为正定才能求得极小点，这种方法有理论 意义，但无实用价值。和一维问题一样，若多元 函数F(X)不可微，亦无法求解。但古典极值理论 是无约束优化方法发展的基础。
1
f X 1 3.686164
经过10次迭代后，得到最优解： X 0, 0 T
f X
0
该问题的目标函数的等值线为一族椭圆，迭代 点走的是一段锯齿形路线，如下图。
18
2016年2月3日12时49分
等直线为椭圆的迭代过程
19
2016年2月3日12时49分
解法2：引入变化
间 接 法
无 约 束 优 化 方 法
最速下降法 牛顿法 共轭方向法 共轭梯度法 变尺度法
利用目标函数的导数 信息
直 接 法
坐标轮换法 鲍威尔方法 单型替换法
10
利用目标函数 值信息
2016年2月3日12时49分
§4-2
1、基本思想
最速下降法（梯度法）
函数的负梯度方向是函数值在该点下降最快的方向。 将n维问题转化为一系列沿负梯度方向用一维搜索方法寻 优的问题，即利用负梯度作为搜索方向，故称为最速下降 法或梯度法。 搜索方向取该点的负梯度方向即 d f X ，使函 数值在该点附近的范围内下降最快。
X
k 1
X k d
k
k
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
6
2016年2月3日12时49分
数值方法*
最常用的数值方法是搜索方法，其基本思想如下图所示：
X
3
X k 1
dk
d2
X
2
d
1
Xk
X1
d0
X0
X
k 1
X k d
k
k
7
2016年2月3日12时49分 开始
2016年2月3日12时49分
4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9
概述 最速下降法 牛顿型方法
第四章
无约束优化方法
ຫໍສະໝຸດ Baidu
共轭方向及共轭方向法 共轭梯度法
变尺度法
坐标轮换法
重点
鲍威尔方法
单型替换法
1
2016年2月3日12时49分
第1章所列举的机械优化设计问题大都是在一定 限制条件下追求某一指标为最小，属于约束优化问 题。 为什么要研究无约束优化问题？
5
2016年2月3日12时49分
2、求解方法 （1）利用极值条件来确定极值点的位置。 （2）数值计算方法——搜索方法 0 x 基本思想：从给定的初始点 出发，沿某一搜索方向 0 0 d 进行搜索，确定最佳步长 0 使函数值沿 d 下降 最大。依此方式不断进行，形成迭代的下降算法：
(k 0,1, 2 ) 在上式中，dk 是第是 k+1次搜索或迭代方 向，称为搜索方向（迭代方向）。
根据构成搜索方向dk所使用的信息性质的不 同，无约束优化方法可以分为两类。
1.利用目标函数的一阶或二阶导数信息构造
搜索方向的无约束优化方法；
2.只用目标函数值的信息构造搜索方向的无
约束优化方法
9
2016年2月3日12时49分
用直接法寻找极小点时，不必求函数的导数，只要计算 目标函数值。这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。间接法除要计算 目标函数值外，还要计算目标函数的梯度，有的还要计算 其海赛矩阵。
16
2016年2月3日12时49分
例：求目标函数 f X x12 25x22 的极小点 解法1：取初始点
f X 0 104
X 2, 2 ，则初始点处的函数值
0 T
及梯度分别为：
2 4 2 4 0 X 1 X 0 0f X 0 0 2 100 2 100 0
0 2 4 0 Y ， 0 0 10 200
1
0
26 0.5 52
Y1 0
经过坐标（尺度）变化后，只需要经过一次迭代，就可找到 最优解： T f X 0 X 0, 0
20
2016年2月3日12时49分
等直线为圆的迭代过程
21
2016年2月3日12时49分
讨论
1 f x1 , x2 x 25x2 x1 2
2 1 2
1 y1 , y2 y y2 y1 2
2 1 2
2 0 x1 x2 0 50 x2 2 0 y1 y2 y 0 2 2
3
2016年2月3日12时49分
§4-1
1、无约束优化问题
概述
T
求 n 维设计变量 X x1 , x2 , xn 使目标函数 f X min ，而对 X 没有任何限制条件。 这就是把求函数极值的问题变成求解方程 f 0 的问题。即求X,使其满足 f
x 0 1 f 0 x 2 f 0 x n
4
2016年2月3日12时49分
f x 0 1 f 0 x 2 f 0 x n
这是一个含有n个未知量，n个方程的方程组（一 般是非线性的方程组），除了一些特殊情况外，求解 析解比较困难，一般需要采用数值方法求解。但是， 与其用数值计算方法求解非线性方程组，倒不如用数 值计算方法直接求解无约束极值问题。
0 为一维搜索最佳步长，应满足极值必要条件
0 8(2 40 ) 5000(2 1000 ) 0
626 0 0.02003072 31252
17
2016年2月3日12时49分
则第一次迭代设计点位置和函数值
1.919877 2 4 0 X 2 2 100 0.3071785 10 0
15
2016年2月3日12时49分
开始
最 速 下 降 法 的 程 序 框 图
给定 x
k 0
d k f ( x k )
0
,
x k 1 x k k d k
k k 1
k : min f ( xk d k )
是
x * x k 1
x
k 1
x
k
否
结束
'
25
2016年2月3日12时49分
1、牛顿法
f x x 1 k k T k k T f x f x x x x x 2 f x k x x k 2 设 X k 1 为 X 的极小点，它作为 f X 极小点 X
x
k 1
x k s
k
k
(k 0,1,2, )
x k 1 x k akf ( x k ) (k 0,1,2, )
11
2016年2月3日12时49分
2、最速下降法的原理
（1）使 d f X ，按此规律不断走步，形成迭代算法：
X k 1 X k k f X k
2x 4 f X 0 1 50 x2 100
0 0 min (2 4 )2 25(2 100 )2 min f X 1 min f X f X
14
2016年2月3日12时49分
方法特点
1）初始点可任选，每次迭代计算量小，存储量少， 程序简短。即使从一个不好的初始点出发，开始 的几步迭代，目标函数值下降很快，然后慢慢逼 近局部极小点；
2）任意相邻两点的搜索方向是正交的，它的迭代 路径为绕道逼近极小点。当迭代点接近极小点时， 步长变得很小，越走越慢。
24
2016年2月3日12时49分
§4-3
原始牛顿法
牛顿型方法
基本思想：在 x k 领域内用一个二次函数 ( x) 来近似
代替原目标函数，并将 ( x) 的极小值作为目标函数 f ( x) 求优的下一个迭代点 x k 1 。经多次迭代，使之逼近目标 函数 f ( x) 的极小点。
f ( xk ) xk 1 xk '' (k 0,1,2,) f ( xk )
K f X f X f X 0 k k k T
f x
k 1
f x
T
k
0 或
12
d
k 1 T
dk 0
2016年2月3日12时49分
由上式可知，在最速下降
法中，相邻两个迭代点上 的函数梯度相互垂直。而 搜索方向就是负梯度方向， 因此相邻两个搜索方向互 相垂直。
当相邻两个迭代点之间满足上式时（右边的系数 为小于等于1的正的常数），我们称相应的迭代方法是 具有线性收敛速度的迭代法。因此，最速下降法是具有 线性收敛速度的选代法。
23
2016年2月3日12时49分
梯度法的特点：
（1）理论明确，程序简单，对初始点要求不严格； （2）对一般函数而言，梯度法的收敛速度并不快， 因为最速下降法仅仅是指某点的一个局部性质； （3）梯度法相邻两次搜索方向的正交性决定了迭代 全过程的搜索路径呈锯齿形，在远离极小点时逼近速 度较快，而在接近极小点时逼近速度较慢； （4）梯度法的收敛速度与目标函数的性质密切相关。 对于等值线（面）为同心圆（球）的目标函数，一次 搜索即可达到极小点。
梯度法的搜索路线：
最速下降法中，迭代点向
函数极小点靠近的过程， 走的是曲折的路线。这一 次的搜索方向与前一次的 搜索方向互相垂直，形成 “之”字形的直齿锯齿现 象，如图所示
最速下降法的搜索路径
13
2016年2月3日12时49分
在接近极小点的位置，由于锯齿现象使每次迭代行进
的距离缩短，因而收敛速度减慢，这种情况似乎与 “最速下降”的名称相矛盾，这主要是因为梯度是函 数的局部性质（从局部上看，在一点附近函数的下降 是快的），但从整体上看则走了许多弯路，函数的下 降并不算快。
(k 0,1, 2 )
（2）其步长因子 k 取一维搜索的最佳步长，即
k k k k f x k 1 f x a f x min f x a f x k k min
根据一元函数极值的必要条件和多元复合函数求导公 式，得
可以看出二者的对角形矩阵不同，前者的 等值线为一族椭圆，后者的等值线为一族同 心圆，这说明对角形矩阵是表示度量的矩阵 或者是表示尺度的矩阵，最速下降法的收敛 速度和变量的尺度有很大关系。
22
2016年2月3日12时49分
3、最速下降法收敛速度的估计式
在适当条件下，有 2 k m k 1 X X 1 2 X X M M —— f x 的海赛矩阵最大特征值上界 m —— f x 的海赛矩阵最小特征值下界
3、无 约 束 优 化 算 法 的 粗 框 图
给定X、d的初始值
一维搜索 计算 使 f ( X d ) 极小
X X d
是 满足收敛条件 否？ 本章重点
8
否
结束
形成新的d
2016年2月3日12时49分
dk 和 ak的形成和确定方法不同就派生出不同 的n维无约束优化问题的数值解法。