机械优化设计_第四章无约束优化方法
合集下载
第四章常用的无约束优化方法
教学重点
1．鲍威尔法 2．梯度法 3．牛顿法
2
机械优化设计
概述
一、无约束优化方法的数学模型 有约束优化问题模型
L min F ( X * ) = F ( x1，x2， ，xn ), X ∈ R n D : g j ( X ) ≥ 0 j = 1,2,L, m hk ( X ) = 0 k = 1, 2,L, l
12
机械优化设计
一、Powell基本算法 Powell基本算法 1）开始采用坐标轴方向； 开始采用坐标轴方向； 2）每轮迭代产生一个新方向取代原来的第一 方向， 轮迭代后可产生n个彼此共轭的方向； 方向，n轮迭代后可产生n个彼此共轭的方向； 若目标函数为正定二次函数， 3）若目标函数为正定二次函数，n轮结束后 即可到达最优点。 即可到达最优点。
r (k ) r (k ) r (k ) r (k ) r (k ) r (k ) S 1 , S 2 , . . . , S m -1 , S m + 1 , . . . , S n , S n + 1 ,
22
第k+1环的方向组为：
机械优化设计
给定X 给定 0,Si=ei i=1,2,…n, ε
Powell 修正算法
K=0 i=1 方向搜索得一维最优点X 自Xi-1始，沿Si方向搜索得一维最优点 i
N
若powell法中不 需要换向，则 是否仍为共轭 方向法？ 检查两次前后 sn+1是否对函数 的海塞矩阵共 轭即可。
Y
i< n Xn-X0 ≤ε
i=i+1
Y
输出X*=Xn 输出 F*=F（X*） （ ）
x2
x2
o
x1
(2)等值线为如图脊线时--无效 (2)等值线为如图脊线时--无效 -o
机械优化设计第四章无约束优化方法
PPT文档演模板
机械优化设计第四章无约束优化方法
•2、变尺度法的基本思想
• 对于一般函数
，当用牛顿法寻求极小点时，
•其牛顿迭代公式为：
• 其中：
•
为了避免迭代公式中计算海赛矩阵的逆阵，用对
称正定矩阵
近似
的逆，每迭代一次，尺度
就改变一次。而 的产生从给定 开始逐步修整
得到。
PPT文档演模板
机械优化设计第四章无约束优化方法
•4、共轭梯度法 • 程序框图
PPT文档演模板
机械优化设计第四章无约束优化方法
•六、变尺度 法 •1、问题的提出
•1）梯度 法
•* 简单，开始时目标函数值下降较快，但越来越慢。 •2）阻尼牛顿 法
•* 目标函数值在最优点附近时收敛快，但要用到 二阶导数和矩阵求逆。
•能否克服各自的缺点，综合发挥其优点？
PPT文档演模板
机械优化设计第四章无约束优化方法
•3、格拉姆—斯密特向量系共轭化法（共轭方向的确定）
• 1、选定线性无关向量系 单位向量；
，如n个坐标轴的
•2、取
，令
，根据共轭条件得
•3、递推可得：
PPT文档演模板
机械优化设计第四章无约束优化方法
•五、共轭梯度法
•1、共轭梯度法是共轭方向法中的一种，该方法中每一个 共轭向量都是依赖与迭代点处的负梯度而构造出来。
•，则
，停机；
•否则置
•返回到2），继续进行搜索。
PPT文档演模板
机械优化设计第四章无约束优化方法
•（3）阻尼牛顿法的
•
程序框图
PPT文档演模板
机械优化设计第四章无约束优化方法
•方法特点：
第四章无约束优化方法
解： (1) 第一个搜索方向
对称正定
(0) (3) 从 X1 点沿S1方向求极小点x(1)，即 点沿S 方向求极小点x
17
例
(0) 方向一维搜索求得该方向极小点x (4) 任取另初始点 x2 = 沿S1方向一维搜索求得该方向极小点 (2)
1 1
X(2)= 0.5 (5) 求与 1相共轭的方向 2 求与S 相共轭的方向S S2 =X(2)-X(1)=
x2
X(0)→X0
(1) (1) X1
终止准则: 终止准则:
( ( Xnk) − X0k) ≤ε
(2) X1
(1) (2) X2 →X0
(2) X2 →X0
(3)
( X* ←Xnk)
上式点距准则中的 两点应是一轮 轮 换 法 的 流 程 图
k Xi(−1)
Xi(k)
以最优步长原则确定α 以最优步长原则确定 2，即极小化
按最优步长原则确定步长α 按最优步长原则确定步长 1，即极小化
此问题可用某种一维优化方法求出α 此问题可用某种一维优化方法求出 1。 在这里， 在这里，我们暂且借用微分学求导解出 令其一阶导数为零， ，令其一阶导数为零，α1=5
得α2=4.5， ，
正定
10
4.2
鲍威尔(Powell)法 鲍威尔(Powell)法 (Powell)
鲍威尔法是直接搜索法中一个十分有效的算法。 鲍威尔法是直接搜索法中一个十分有效的算法。该算法是沿着 逐步产生的共轭方向进行搜索的，因此本质上是一种 共轭方向进行搜索的 本质上是一种共轭方向 逐步产生的共轭方向进行搜索的，因此本质上是一种共轭方向 鲍威尔法的收敛速率较快。 法，鲍威尔法的收敛速率较快。 以共轭方向作为搜索方向，不只限于鲍威尔法， 以共轭方向作为搜索方向，不只限于鲍威尔法，也用于其他一 共轭方向法。 些较为有效的方法，可以统称为共轭方向法 因此， 些较为有效的方法，可以统称为共轭方向法。因此，共轭方向 的概念在优化方法研究中占有重要的地位。 的概念在优化方法研究中占有重要的地位。 共轭方向在最优化问题中的应用是基于其具有一个重要性质， 共轭方向在最优化问题中的应用是基于其具有一个重要性质， 重要性质 个互相共轭的向量， 即：设 S1、S2、…、Sn是关于A的n个互相共轭的向量，则对于 、 是关于A 1 T 的极小点， 求正定二次函数 F ( X ) = c + bT X + X AX 的极小点，从任意初始 2…，n)方向进行一维最优化搜 点出发，依次沿S i=1， 点出发，依次沿Si （i=1，2， ，n)方向进行一维最优化搜 至多n步便可以收敛到极小点． 索，至多n步便可以收敛到极小点．
(06)第四章-无约束优化方法(坐标轮换法)
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
机械优化设计无约束优化方法培训课件
0 0
( y1) 0
经变换后，只需一次迭代，就可找到最优解。
这是因为经过尺度变换：
y1 x1 y2 5x2
等值线由椭圆变成圆。
24
15:12
4.2 最速下降法
（5） 举例 例： 用最速下降法求下面无约束优化问题：
25
15:12
4.2 最速下降法
（5） 举例
26
15:12
4.2 最速下降法
15:12
机械优化设计
上海海事大学
SHANGHAI MARITIME UNIVERSITY
何军良
2017年6月
1
上海海事大学
Shanghai Maritime University
1909
1912
1958
2004
15:12
2009
优化设计概述
优化设计的数学基础
一维搜索方法
目录
CONTENTS
无约束优化方法 线性规划
1. 有些实际问题，其数学模型本身就是一个无约束优化问题。 2. 通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 3. 约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分， 也是优化方法的基础。
4
4.1 概述
无约束优化问题是：
求n 维设计变量 X x1 x2 xn T 使目标函数 f X min
对于二次函数 ，海赛G是一个常矩阵，其中各元素均为常数。因 此，无论从任何点出发，只需一步就可找到极小点。
34
15:12
4.3 牛顿型方法
（3） 举例
例：求目标函数
f
(x)
x2 1
04 无约束优化方法
F 1A C
向上的极小点，而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法：阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索，
1、坐标轮换法具有程序简单，易于掌握的优点，但它的计
算效率较低，因此它虽然步步在登高，但相当于沿两个垂直方
向在爬山，路途迂迴曲折，收敛很慢，因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T，要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例： ① X(0)
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
《机械优化设计方法》第4章 无约束优化方法 (上课课件)
4.1.4 梯度法讨论
梯度法的收敛速度与设计变量的尺度关系很 大。对一般函数，梯度法的收敛速度较慢。 但对等值线为同心圆的目标函数，一次搜索 即可达到极小点。 若能通过点的坐标变换，改善目标函数的性 态，就可提高梯度法的收敛速度。
4.2 牛顿性方法
4.2 牛顿型方法
4.2.1 牛顿法的基本思想
1 * T * * f (X) f (X ) X X H ( X ) X X 2
*
结论：任意形式的目标函数在极值点附近的特 性，都近似于一个二次函数。 故以正定二元二次函数为例说明共轭方向对于 构造一种有效的最优化算法的重要性。
1 T T T f ( X ) X HX B X C , X x1 , x2 2
4.3.2共轭方向的产生
2 0 S f ( X ) e S 1 e0 0 S 0 e0 T S0 0 2 0 S f (X)S 0 T
S
k 1
e i s
k i 0
k
k
i
2 i S f (X) e k i T 2 i S f ( X ) e S 0 i i i T 2 i i o S f (X)S 2 i S f (X) e S k 1 ek T Si i 2 i i 0 S f (X)S k i T
若f(X)是二次函数，则X*就是f(X)的极小点；
否则只是一个近似点，需进一步迭代。
4.2.2牛顿法的迭代公式及迭代过程
故牛顿法的迭代公式为：
X k 1 X k [ H ( X K )]1 f ( X K ) k 1 k k X X S k k 1 k S [ H ( X )] f ( X )
第4章 优化设计(无约束优化-直接法)
F3 F1 1 ( F1 2 F2 F3 )( F1 F2 ) (mk ) ( F1 F3 ) 2 2
(k ) 2 m
(4-43)
同时成立，则表明方向S 与原方向组线性无关，因此可将新方向 (k ) S ( k )作为下一轮的迭代方向，并去掉方向 S m 而构成第k+1轮迭代的 搜索方向组； 否则，仍用原来的方向组进行第k+1轮迭代。 (k ) F1 f ( X 0 ) —— 为第 k 轮起始点函数值； 上式中： (k ) F2 f ( X n ) —— 为第 k 轮方向组一维搜索终点函数值； (k ) (k ) (k ) (k ) X —— 为 对 Xn 的映射点函数值； 0 F3 f (2 X n X 0 ) k ) —— 为第 k 轮方向组中沿诸方向一维搜索所得的各函 (m (k )。 数值下降量中之最大者，其相对应的方向记为 S m
•
若共轭方向不好，则不用它作为下一 轮的迭代方向，而仍采用原来的一组迭 代方向； • 若共轭方向好，则可用它替换前轮迭 代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为： 在第 k 轮搜索中，若
进行第二轮迭代时， 去掉第一个方向 S1(1) e1 ，将方向 S (1) 作为最 末一个迭代方向， 即从 X (1) X 0(2) 出发，依次沿着方向 S S e 及 S (2) S (1) X (1) X (1)
(2) 1 (1) 2 2
2
2
0
进行一维搜索，得到极小点： X1(2) 、X 2(2) ； ( 2) X2 然后利用 X 0(2) 、 构成另一个迭代方向 (2) (2) S (2) X 2 X0 即 S ( 2) 并沿此方向搜索得到 X (2) 。
(k ) 2 m
(4-43)
同时成立，则表明方向S 与原方向组线性无关，因此可将新方向 (k ) S ( k )作为下一轮的迭代方向，并去掉方向 S m 而构成第k+1轮迭代的 搜索方向组； 否则，仍用原来的方向组进行第k+1轮迭代。 (k ) F1 f ( X 0 ) —— 为第 k 轮起始点函数值； 上式中： (k ) F2 f ( X n ) —— 为第 k 轮方向组一维搜索终点函数值； (k ) (k ) (k ) (k ) X —— 为 对 Xn 的映射点函数值； 0 F3 f (2 X n X 0 ) k ) —— 为第 k 轮方向组中沿诸方向一维搜索所得的各函 (m (k )。 数值下降量中之最大者，其相对应的方向记为 S m
•
若共轭方向不好，则不用它作为下一 轮的迭代方向，而仍采用原来的一组迭 代方向； • 若共轭方向好，则可用它替换前轮迭 代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为： 在第 k 轮搜索中，若
进行第二轮迭代时， 去掉第一个方向 S1(1) e1 ，将方向 S (1) 作为最 末一个迭代方向， 即从 X (1) X 0(2) 出发，依次沿着方向 S S e 及 S (2) S (1) X (1) X (1)
(2) 1 (1) 2 2
2
2
0
进行一维搜索，得到极小点： X1(2) 、X 2(2) ； ( 2) X2 然后利用 X 0(2) 、 构成另一个迭代方向 (2) (2) S (2) X 2 X0 即 S ( 2) 并沿此方向搜索得到 X (2) 。
最新第4章无约束优化方法PPT课件
机械优化设计19第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法??共轭方向的形成共轭方向的形成??格拉姆格拉姆斯密特向量系共轭化的方法斯密特向量系共轭化的方法20第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法10g1221第四章第四章无约束优化方法无约束优化方法第五节第五节共轭梯度法共轭梯度法共轭梯度法
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
机械优化设计(4)6-21王
第四章 无约束优化 计算方法
三、改进的Powell法 **1.基本思想
以避免新方向组中的各方向出现线性相关的情况，并保证新方向
组具有更好的共轭性质
§4-4 多变量优化算法—Powell法
第四章 无约束优化 计算方法
三、改进的Powell法 **2.基本策略
② 引入判别式
其中，
§4-4 多变量优化算法—Powell法
• 无约束优化计算方法分类：
无梯度算法：不用导数
如随机搜索法、坐标轮换法、Powell法等
梯度算法：不用导数
如梯度法、共轭梯度法、牛顿法等
第四章 无约束优化 计算方法 §4-1 单变量优化算法概述 一、单变量优化（一维搜索）
? 给定（或已确定）
通常
已知
§4-1 单变量优化算法概述
第四章 无约束优化 计算方法
•判断舍取
•不断循环上述过程，直至满足要求
第四章 无约束优化 计算方法 §4-3 单变量优化算法—黄金分割法（0.618法） 一、基本思想
•补充说明
——黄金分割法解决的问题
1 , 2 将区间分成三段
1
a
1
2
b
1
a
3
1
(1 )
2
2
1
2
5 1 0.618 2
1. 解析法
该方法不适用于工程计算
2. 数值迭代法 试探逼近法：
如黄金分割法、分数法等
ቤተ መጻሕፍቲ ባይዱ
函数逼近法：
二次插值法、三次插值法等
三、单变量优化（线性搜索）的步骤
第四章 无约束优化 计算方法 §4-2 单变量优化搜索空间的确定
机械优化设计第四节无约束--坐标轮换法3-5
2 1 * T 2 [ S1 ]T 2 f ( x ) x x [ S ] f ( x )S 2 0 1
在这种情况下，可取其二次泰勒近似式加以讨论。 当进行一轮次迭代还未取得极小点时可作为新的 初始点再进行第二轮迭代。 共轭方向的基本原理 首先采用坐标轮换法进行第一轮迭代，然 后以第一轮迭代的最末一个极小点和初始点相 连构成一个新方向，并以此新方向为最末一个 方向而去掉第一个方向得到第二轮迭代的方向. 如此进行下去。直到求得问题的最小点。 现以二维问题来说明 算法步骤
1
T
T
x1
(k )
T
2
T
x2
(k )
T
x 2 x1
(k )
(k )
3 4 5
( 5)
7.25 , 5.025 0.563 7.813, 5.625 0.282 7.813, 5.907 0.623 T 7.813, 5.907 0.141 7.954 , 5.917 0.071 7.954 , 5.978 0.158
7.954 , 5.978 0.035 7.989 , 5.978 0.018
T
T
7.989 , 5.996 0.04
T
计算第五轮的有
x2 x0
( 5)
(7.989 7.954) (5.996 5.978) 0.0394
2 2
近似优化解为：
x x2
(1) (1) x1 x 0 1e1 (1) (0) x 0 x1 0 0T (1)
求最步长 1 即极小化
(1) 2 min f ( x1 ) 1 101 60
0 1 1 x1 1 0 0 0
第四章 无约束优化方法
小值，计算将失败。 如图所示为一个三维优化问题的示例，设第一环中
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
机械优化设计第四节无约束--坐标轮换法3-5解析
5
7.954 , 5.978 T 0.035 7.989 , 5.978T 0.018 7.989 , 5.996 T 0.04
计算第五轮的有
(5) (5)
x2 x0 (7.989 7.954)2 (5.996 5.978)2 0.0394
近似优化解为：
* (5) 7.989 x x2 5.996
*
f * f (x ) 8.000093
2.4、共轭方向法
1、共轭方向
坐标轮换法的收敛速度很慢，原因在于其搜索方向总是
平行于坐标轴，不适应函数变化情况如图所示若把一轮的起
点 与末点 (1)
(1)
x1
x2
连起来形成 一个新的搜索方向
S2
,
S2 与
S1 有何关系。
如图所示，设给定两个平行方向 S1 ,从两个任意初始点分别
)
e
i
否
in
是
(k) (k)
xn x0
否
是
k k 1
(0)
(k)
x xn
*
*
x x f f (x )
出口
特点： 简单易行，但由于它只能轮流沿几个坐标
方向前进，因而效率低下，特别是维数较高n>10 或目标函数性质不好的情况下收敛速度慢。本方 法的收敛效率在很大程度上取决于目标函数等值 线的形状。当椭圆簇的长短轴与坐标轴斜交，迭 代次数将大大增加，收敛速度很缓慢。目标函数
S2
*
x
S1
x
2
x1
S1
如图所示，同心椭圆簇具有 这样一个特点，就是二条任 意平行线的切点的连线必通 过椭圆族的中心。
沿这两个平行方向进行一维搜索求得极小点
第4章机械优化设计
第4章 无约束优化方法与MATLAB实现
机械优化设计问题，一般都具有约束条件，例如强度、刚 度、尺寸等方面的约束。但是，把约束优化问题转换成无约束 优化问题是解约束优化问题的一类有效算法，这是因为无约束 问题的求解比较容易，并且已经有许多行之有效的算法。此外， 求解无约束问题的基本思想和方法，往往可以推广到有约束问 题的方面。所以，无约束优化方法的研究是十分必要的。 4.1 无约束优化方法概述
第4章 无约束优化方法与MATLAB实现
图4-4 坐标轮换法搜素过程几种情况
a) 搜索速度快
b)搜索速度慢
c)搜索无效
当目标函数的等值线出现与坐标轴斜交的“脊线”的情况，
坐标轮换法就完全失去求优的效能，如图4-4c所示。因为坐标
轮换法始终是沿着坐标轴平行方向进行搜索，因此一旦达到图
中点时，沿任何坐标轴的移动都无法使目标函数值下降。这时
在 X (k) 点展成二次函数推导出来的。
3. 梯度法计算步骤
⑴ 给定迭代的初始点 X (0) ，允许误差 ，置 k 0 。
⑵ 计算迭代点的梯度 f (X (k)) 和方向 S (k) f ( X (k) ) f ( X (k) )
⑶ 满足 f (X (k)) 时结束，否则进行下一步计算。
X (0)
(
x( 1
0
)
,
x(0) 2
)T
，其迭代格式
图4-3 坐标轮换法搜索过程
为
x x x (0)
(0)
2
1
S (0) (0)
22
，
S2
方向即为
2
轴方向，至此完成第一
轮搜索。
第4章 无约束优化方法与MATLAB实现
然后再从
机械优化设计问题，一般都具有约束条件，例如强度、刚 度、尺寸等方面的约束。但是，把约束优化问题转换成无约束 优化问题是解约束优化问题的一类有效算法，这是因为无约束 问题的求解比较容易，并且已经有许多行之有效的算法。此外， 求解无约束问题的基本思想和方法，往往可以推广到有约束问 题的方面。所以，无约束优化方法的研究是十分必要的。 4.1 无约束优化方法概述
第4章 无约束优化方法与MATLAB实现
图4-4 坐标轮换法搜素过程几种情况
a) 搜索速度快
b)搜索速度慢
c)搜索无效
当目标函数的等值线出现与坐标轴斜交的“脊线”的情况，
坐标轮换法就完全失去求优的效能，如图4-4c所示。因为坐标
轮换法始终是沿着坐标轴平行方向进行搜索，因此一旦达到图
中点时，沿任何坐标轴的移动都无法使目标函数值下降。这时
在 X (k) 点展成二次函数推导出来的。
3. 梯度法计算步骤
⑴ 给定迭代的初始点 X (0) ，允许误差 ，置 k 0 。
⑵ 计算迭代点的梯度 f (X (k)) 和方向 S (k) f ( X (k) ) f ( X (k) )
⑶ 满足 f (X (k)) 时结束，否则进行下一步计算。
X (0)
(
x( 1
0
)
,
x(0) 2
)T
，其迭代格式
图4-3 坐标轮换法搜索过程
为
x x x (0)
(0)
2
1
S (0) (0)
22
，
S2
方向即为
2
轴方向，至此完成第一
轮搜索。
第4章 无约束优化方法与MATLAB实现
然后再从
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
X
k
T
f
X 0
K
f
x
k 1
f
T
x
k
0
或 d
k 1
T
d
k
0
机械优化设计 由此可知，在最速下降 法中，相邻两个迭代点上 的函数梯度相互垂直。而 搜索方向就是负梯度方向， 因此相邻两个搜索方向互 相垂直。这就是说在迭代 点向函数极小点靠近的过 程，走的是曲折的路线， 形成“之”字形的锯齿现 最速下降法的搜索路径 象，而且越接近极小点锯 齿越细。
机械优化设计 最 速 下 降 法 的 程 序 框 图
机械优化设计 例：求目标函数 f X x 解法1：取初始点
f
2 1
T
25 x2
2
的极小点
X
0
2, 2
，则初始点处的函数值
X
2 0 2 4 2 4 0 1 0 0 2 1 0 0 0
4）不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计 算量和存储量大。此外对于二阶不可微函数也不适用。 虽然阻尼牛顿法有上述缺点，但在特定条件下它具有收 敛最快的优点，可为其他算法提供思路和理论依据。
不同等值线的迭代过程
机械优化设计
讨论
f
x1 , x 2
x1 2 5 x 2
2 2
1 2
x1
2 x2 0
0 50
x1 x2
y1 , y 2
y1 y 2
2 2
1 2
y1
2 y2 0
0 2
1 0
y1 y 2
2
2
Y
0
104
Y
0
2 y1 4 20 2 y2 Y 0
2 4 2 4 0 Y Y 0 Y 0 10 20 10 20 0
机械优化设计 （2）阻尼牛顿法的计算步骤
1）给定初始点 X 0，收敛精度 ，置 k 0 2）计算
d
f
k
X 、
k
2
f
k
X 、
k
2
f
X
k
1
f
2
X
1
f
X
k
3）求 X
k 1
X
k
kd
X
k
4）检查收敛精度。若
X
k 1
f
X ，使函
X
k
kf
X
k
( k 0,1, 2 )
机械优化设计 2、最速下降法的原理
（1）使 d
f
X ，按此规律不断走步，形成迭代算法：
k
X
k 1
X
kf
X
k
( k 0,1, 2 )
k f x akf
k
T
f
2
x
k
x x
k
设 X k 1 为 X 的极小点，它作为 f X 极小点 X 的下一个近似点，根据极值必要条件：
X
k 1
0 即 f X
k
2
2
f
X X
k
k 1
X
k
0
X
k 1
X
k
k
f
1）有些实际问题，其数学模型本身就是一个无约束问题；
2）通过熟悉它的解法可以为研究约束优化问题打下良好的 基础；
3）约束优化问题的求解可用通过一系列无约束优化方法来 达到。
所以无约束优化问题的解法是优化设计方法的基本 组成部分，也是优化方法的基础。
机械优化设计
一、概述
1、无约束优化问题 T , xn 求 n 维设计变量 X x1 , x使目标函数 2 f X m in ，而对 X 没有任何限制条件。 2、求解方法 （1）利用极值条件来确定极值点的位置。 （2）数值计算方法——搜索方法 基本思想：从给定的初始点 x 0 出发，沿某一搜索方向 0 0 d 进行搜索，确定最佳步长 0 使函数值沿 d 下降
f
X
1
3 .6 8 6 1 6 4
经过10次迭代后，得到最优解：
X
0, 0
T
f
X
0
该问题的目标函数的等值线为一族椭圆，迭代 点走的是一段锯齿形路线。
机械优化设计 解法2：引入变化
y 1 x1 y2 5 x2
，则目标函数 f x , x 变为
1 2
y1 , y 2
k 1
X
k
，则 X X k 1 ，停机；
否则置 k k 1 返回到2），继续进行搜索。
机械优化设计 （3）阻尼牛顿法的 程序框图
机械优化设计 方法特点：
1）初始点应选在极小点附近，有一定难度；
2）尽管每次迭代都不会是函数上升，但不能保证每次 都下降；
3）若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不 能构造牛顿法方向；
函数梯度为局部性质，因此并非“最快”。
机械优化设计
梯度法的迭代历程
机械优化设计
方法特点
1）初始点可任选，每次迭代计算量小，存储量少， 程序简短。即使从一个不好的初始点出发，开始 的几步迭代，目标函数值下降很快，然后慢慢逼 近局部极小点；
2）任意相邻两点的搜索方向是正交的，它的迭代 路径为绕道逼近极小点。当迭代点接近极小点时， 步长变得很小，越走越慢。
最大。依此方式不断进行，形成迭代的下降算法：
X
k 1
X
k
kd
k
( k 0,1, 2 )
机械优化设计 3、算法框图
机械优化设计 4、无约束优化方法的分类 搜索方向的构成问题是无约束优化方法的关键。 k 根据确定其搜索方向 d 方法不同，可分为：
（1）只利用目标函数值的无约束优化方法（或称直接法， 即不使用导数信息），如：坐标轮换法、单形替换法及鲍威 （Powell）法。 直接法不必求函数导数，只计算目标函数值。适用于求 解变量个数较少（小于20）的问题，一般情况下效率较低。
y1 y2
可以看出二者的对角形矩阵不同，前者的 等值线为一族椭圆，后者的等值线为一族同 心圆，这说明对角形矩阵是表示度量的矩阵 或者是表示尺度的矩阵，最速下降法的收敛 速度和变量的尺度有很大关系。
机械优化设计 3、最速下降法收敛速度的估计式
X
M
k 1
X
2 m 1 X 2 M
0
0
26 52
0 .5
2 4 0 0 Y 0 1 0 2 0， 0 0
1
Y1 0
经过坐标（尺度）变化后，只需要经过一次迭代，就可找到 最优解：
X
0, 0
T
f
X 0
机械优化设计
2
的极小值
解：取初始点
f
X
0
2, 2
T
，则
f
2
X
0
2 x1 4 50 x2 X 0 100
X
0
2 0
0 50
f
2
X
0
0
1
1 2 0
1 50 0
''
'
( k 0 ,1, 2 , )
机械优化设计 1、牛顿法
对于多元函数 f X ，设 X k 为 f X 极小点 X 的第一 个近似点， f X 泰勒展开，保留到二次项，得:
f
x x
f
x
k
f
x
k
T
x x
k
1 2
x x
机械优化设计
第四章
无约束优化方法
一、概述 二、最速下降法（梯度法） 三、牛顿型方法（牛顿法和阻尼牛顿法） 四、共轭方向和共轭方向法 五、共轭梯度法 六、变尺度法 七、坐标轮换法
机械优化设计 实际中的工程问题大都是在一定限制条件下追 求某一指标为最小，属于约束优化问题。 为什么要研究无约束优化问题？
及梯度分别为：
X 104
0
f
X
0
2 x1 4 5 0 x 2 1 0 0
X
1
X
0
0 f
0
0 为一维搜索最佳步长，应满足极值必要条件
f X
1
m in
0 f X f X
0
m in (2 4 )
0
代入牛顿法迭代公式可得:
1 2 2 2 0 1 50 0
X
1
X
2 f
X
1
f
X
0
4 0 1 0 0 0
从而经过一次迭代即求得极小点和函数极小值。
机械优化设计
（2）利用目标函数的一阶或二阶导数的无约束优化方法 （或称间接法）如：最速下降法（梯度法）、共轭梯度法、 牛顿法及变尺度法； 间接法除了要计算目标函数值外，还要计算目标函数的 梯度，有的还要计算其海赛矩阵；
机械优化设计
二、最速下降法（梯度法）