机械优化设计ppt课件第四章 无约束优化的直接搜索法
合集下载
无约束优化的直接搜索法
结合问题特性
针对具体问题的特性，可以构造出更加有效的钩子函数，如利用问 题的对称性、稀疏性等。
参数调整
钩子函数中的参数对优化过程有很大影响，需要通过实验和调整来 确定最佳参数值。
求解过程及收敛性证明
求解过程
利用钩子函数引导搜索方向，结合一定的线 搜索或信赖域策略来求解无约束优化问题。
收敛性证明
在适当的条件下，可以证明利用钩子函数法 进行无约束优化问题的求解具有全局收敛性 和局部超线性收敛速度。这需要概念及性质介绍
单纯形定义
在n维空间中，选取n+1个线性无关的点作为顶点，这些顶点构成的凸多面体称为n维 单纯形。
单纯形性质
单纯形的顶点数、边数、面数等具有固定的数学关系；单纯形内部任意一点都可以由其 顶点线性表示。
替换规则与策略选择
反射规则
扩展规则
当搜索陷入局部最优时，通过反射操作将 搜索方向转向单纯形外部，以期找到更优 解。
粒子群优化算法
粒子群优化算法通过模拟鸟群觅食行为来寻找最优解，与直接搜索法 结合后，可以加快搜索速度并提高搜索精度。
挑战和未来发展方向
高维复杂问题
随着问题维度的增加，搜索空间急剧扩大，如何设计高效的直接搜索 法以应对高维复杂问题是一个重要挑战。
约束处理问题
实际优化问题中往往存在各种约束条件，如何在直接搜索法中有效处 理这些约束条件是一个需要研究的问题。
02 坐标轮换法
基本原理及步骤
坐标轮换法的基本原理
通过依次沿坐标轴方向进行一维搜索来寻求目标函数的极小值点。在每次迭代 中，选择一个坐标方向进行搜索，然后更新该坐标方向上的变量值。
坐标轮换法的步骤
首先给定初始点，然后按照一定顺序（如依次沿各坐标轴方向）进行一维搜索， 得到新的点并更新目标函数值。不断重复此过程，直到满足收敛条件或达到最 大迭代次数。
针对具体问题的特性，可以构造出更加有效的钩子函数，如利用问 题的对称性、稀疏性等。
参数调整
钩子函数中的参数对优化过程有很大影响，需要通过实验和调整来 确定最佳参数值。
求解过程及收敛性证明
求解过程
利用钩子函数引导搜索方向，结合一定的线 搜索或信赖域策略来求解无约束优化问题。
收敛性证明
在适当的条件下，可以证明利用钩子函数法 进行无约束优化问题的求解具有全局收敛性 和局部超线性收敛速度。这需要概念及性质介绍
单纯形定义
在n维空间中，选取n+1个线性无关的点作为顶点，这些顶点构成的凸多面体称为n维 单纯形。
单纯形性质
单纯形的顶点数、边数、面数等具有固定的数学关系；单纯形内部任意一点都可以由其 顶点线性表示。
替换规则与策略选择
反射规则
扩展规则
当搜索陷入局部最优时，通过反射操作将 搜索方向转向单纯形外部，以期找到更优 解。
粒子群优化算法
粒子群优化算法通过模拟鸟群觅食行为来寻找最优解，与直接搜索法 结合后，可以加快搜索速度并提高搜索精度。
挑战和未来发展方向
高维复杂问题
随着问题维度的增加，搜索空间急剧扩大，如何设计高效的直接搜索 法以应对高维复杂问题是一个重要挑战。
约束处理问题
实际优化问题中往往存在各种约束条件，如何在直接搜索法中有效处 理这些约束条件是一个需要研究的问题。
02 坐标轮换法
基本原理及步骤
坐标轮换法的基本原理
通过依次沿坐标轴方向进行一维搜索来寻求目标函数的极小值点。在每次迭代 中，选择一个坐标方向进行搜索，然后更新该坐标方向上的变量值。
坐标轮换法的步骤
首先给定初始点，然后按照一定顺序（如依次沿各坐标轴方向）进行一维搜索， 得到新的点并更新目标函数值。不断重复此过程，直到满足收敛条件或达到最 大迭代次数。
无约束最优化方法直接搜索法课件
x2
S(1)
S2(1
)
(1)
X3 X2 (1)
X* X2 (2) X1 (2)
S(2)
X0 (1)
X 1 (1)
S1(1) x1
• 鲍威尔基本算法的缺点
鲍威尔基本算法仅具有理论意义，不要说对于一般的 函数，就是对于二次函数，它也可能失效。因为在迭代过程 中的n个搜索方向有时会变成线性相关，而不能形成共轭方向， 从而张不成n维空间，导致随后的迭代搜索在降维(“退化”) 的空间中进行，可能求不到极小点，故需进行改进。
x 2 XL X2
Xn+3 Xn+2
Xn+1
Xห้องสมุดไป่ตู้ XH
X1 XG x1
6)扩张：当 fn+2 < f L 时，取扩张点Xn+3 ，即
Xn+3 = Xn+1 + (Xn+2 – Xn+1)
( =1.2~2.0 )
并计算 fn+3 = f (Xn+3 ) 。 若 fn+3 < fn+2 ，则以Xn+3 代替 X H ， fn+3 代替 fH ，构造一个新的单纯形；否则，以 X n+2 代 替XH ， fn+2 代替fH ，构造新的单纯形；然后返回到 3)。
鲍威尔条件：
若 f 3 < f 1, ( f1 - 且2f2 + f3) (f1 - f2 - △m(k))2 < 0.5 △m(k) (f1 - f3 )2 同时成立，则用 S ( k ) 替代 S m ( k ) ；否则，仍用 就是鲍威尔修正算法，通常所说的鲍威尔算法就是指这一修正算法。
• 鲍威尔算法的计算步骤及算法框图
机械优化设计第四章无约束优化方法
PPT文档演模板
机械优化设计第四章无约束优化方法
•2、变尺度法的基本思想
• 对于一般函数
，当用牛顿法寻求极小点时，
•其牛顿迭代公式为：
• 其中：
•
为了避免迭代公式中计算海赛矩阵的逆阵，用对
称正定矩阵
近似
的逆，每迭代一次，尺度
就改变一次。而 的产生从给定 开始逐步修整
得到。
PPT文档演模板
机械优化设计第四章无约束优化方法
•4、共轭梯度法 • 程序框图
PPT文档演模板
机械优化设计第四章无约束优化方法
•六、变尺度 法 •1、问题的提出
•1）梯度 法
•* 简单，开始时目标函数值下降较快，但越来越慢。 •2）阻尼牛顿 法
•* 目标函数值在最优点附近时收敛快，但要用到 二阶导数和矩阵求逆。
•能否克服各自的缺点，综合发挥其优点？
PPT文档演模板
机械优化设计第四章无约束优化方法
•3、格拉姆—斯密特向量系共轭化法（共轭方向的确定）
• 1、选定线性无关向量系 单位向量；
，如n个坐标轴的
•2、取
，令
，根据共轭条件得
•3、递推可得：
PPT文档演模板
机械优化设计第四章无约束优化方法
•五、共轭梯度法
•1、共轭梯度法是共轭方向法中的一种，该方法中每一个 共轭向量都是依赖与迭代点处的负梯度而构造出来。
•，则
，停机；
•否则置
•返回到2），继续进行搜索。
PPT文档演模板
机械优化设计第四章无约束优化方法
•（3）阻尼牛顿法的
•
程序框图
PPT文档演模板
机械优化设计第四章无约束优化方法
•方法特点：
无约束最优化方法-直接搜索法资料33页PPT
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
33Байду номын сангаас
无约束最优化方法-直接搜索法资料
21、静念园林好，人间良可辞。 22、步步寻往迹，有处特依依。 23、望云惭高鸟，临木愧游鱼。 24、结庐在人境，而无车马喧；问君 何能尔 ？心远 地自偏 。 25、人生归有道，衣食固其端。
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
第四章无约束优化方法
解： (1) 第一个搜索方向
对称正定
(0) (3) 从 X1 点沿S1方向求极小点x(1)，即 点沿S 方向求极小点x
17
例
(0) 方向一维搜索求得该方向极小点x (4) 任取另初始点 x2 = 沿S1方向一维搜索求得该方向极小点 (2)
1 1
X(2)= 0.5 (5) 求与 1相共轭的方向 2 求与S 相共轭的方向S S2 =X(2)-X(1)=
x2
X(0)→X0
(1) (1) X1
终止准则: 终止准则:
( ( Xnk) − X0k) ≤ε
(2) X1
(1) (2) X2 →X0
(2) X2 →X0
(3)
( X* ←Xnk)
上式点距准则中的 两点应是一轮 轮 换 法 的 流 程 图
k Xi(−1)
Xi(k)
以最优步长原则确定α 以最优步长原则确定 2，即极小化
按最优步长原则确定步长α 按最优步长原则确定步长 1，即极小化
此问题可用某种一维优化方法求出α 此问题可用某种一维优化方法求出 1。 在这里， 在这里，我们暂且借用微分学求导解出 令其一阶导数为零， ，令其一阶导数为零，α1=5
得α2=4.5， ，
正定
10
4.2
鲍威尔(Powell)法 鲍威尔(Powell)法 (Powell)
鲍威尔法是直接搜索法中一个十分有效的算法。 鲍威尔法是直接搜索法中一个十分有效的算法。该算法是沿着 逐步产生的共轭方向进行搜索的，因此本质上是一种 共轭方向进行搜索的 本质上是一种共轭方向 逐步产生的共轭方向进行搜索的，因此本质上是一种共轭方向 鲍威尔法的收敛速率较快。 法，鲍威尔法的收敛速率较快。 以共轭方向作为搜索方向，不只限于鲍威尔法， 以共轭方向作为搜索方向，不只限于鲍威尔法，也用于其他一 共轭方向法。 些较为有效的方法，可以统称为共轭方向法 因此， 些较为有效的方法，可以统称为共轭方向法。因此，共轭方向 的概念在优化方法研究中占有重要的地位。 的概念在优化方法研究中占有重要的地位。 共轭方向在最优化问题中的应用是基于其具有一个重要性质， 共轭方向在最优化问题中的应用是基于其具有一个重要性质， 重要性质 个互相共轭的向量， 即：设 S1、S2、…、Sn是关于A的n个互相共轭的向量，则对于 、 是关于A 1 T 的极小点， 求正定二次函数 F ( X ) = c + bT X + X AX 的极小点，从任意初始 2…，n)方向进行一维最优化搜 点出发，依次沿S i=1， 点出发，依次沿Si （i=1，2， ，n)方向进行一维最优化搜 至多n步便可以收敛到极小点． 索，至多n步便可以收敛到极小点．
机械优化设计无约束优化方法培训课件.pptx
搜索方向的构成问题乃是无约束优化方法的关键。 6
4.1 概述
无约束优化方法求解的四个步骤:
1. 选择初始迭代点x0。
2. 从迭代点xk出发进行搜索，确 定使目标函数值下降的搜索方 向dk。
3. 确定适当的步长因子αk，求xk+1 = xk + αk dk ，使f(xk+1)<f(xk)。
4. 选择适当的终止准则，若xk+1满 足终止准则，则终止迭代计算， 并输出局部最优点x*← xk+1 ； 否则，令k←k+1，返回步骤(2) 继续进行优化搜索。
最速下降法的搜索路径
11
11:57
4.2 最速下降法
（3） 现象
4. 在远离极小点位置， 每次迭代可使函数值 有较多的下降。
5. 在接近极小点位置， 每次迭代行进的距离 缩短，收敛速度减慢。
6. 最速下降性”只是迭 代点邻域的局部性质。 从全局看，并非最速 下降方向。
12
11:57
4.2 最速下降法
用直接法寻找极小点时，不必求函数的导数，只要计算目标函 数值。这类方法较适用于解决变量个数较少的(n ≤20)问题，一般 情况下比间接法效率低。间接法除要计算目标函数值外，还要计 算目标函数的梯度，有的还要计算其海赛矩阵。
xk1 xk kd k (k 0,1, 2, )
其搜索方向直接取定或由计算目标函数值所得的信息来确定。
15
11:57
4.2 最速下降法
（5） 举例
x1
2 2
0
4 4
2 2
40 40
0 为一维搜索最佳步长，应满足极值必要条件
f
( x1 )
min
(2
40
4.1 概述
无约束优化方法求解的四个步骤:
1. 选择初始迭代点x0。
2. 从迭代点xk出发进行搜索，确 定使目标函数值下降的搜索方 向dk。
3. 确定适当的步长因子αk，求xk+1 = xk + αk dk ，使f(xk+1)<f(xk)。
4. 选择适当的终止准则，若xk+1满 足终止准则，则终止迭代计算， 并输出局部最优点x*← xk+1 ； 否则，令k←k+1，返回步骤(2) 继续进行优化搜索。
最速下降法的搜索路径
11
11:57
4.2 最速下降法
（3） 现象
4. 在远离极小点位置， 每次迭代可使函数值 有较多的下降。
5. 在接近极小点位置， 每次迭代行进的距离 缩短，收敛速度减慢。
6. 最速下降性”只是迭 代点邻域的局部性质。 从全局看，并非最速 下降方向。
12
11:57
4.2 最速下降法
用直接法寻找极小点时，不必求函数的导数，只要计算目标函 数值。这类方法较适用于解决变量个数较少的(n ≤20)问题，一般 情况下比间接法效率低。间接法除要计算目标函数值外，还要计 算目标函数的梯度，有的还要计算其海赛矩阵。
xk1 xk kd k (k 0,1, 2, )
其搜索方向直接取定或由计算目标函数值所得的信息来确定。
15
11:57
4.2 最速下降法
（5） 举例
x1
2 2
0
4 4
2 2
40 40
0 为一维搜索最佳步长，应满足极值必要条件
f
( x1 )
min
(2
40
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
《机械优化设计方法》第4章 无约束优化方法 (上课课件)
4.1.4 梯度法讨论
梯度法的收敛速度与设计变量的尺度关系很 大。对一般函数，梯度法的收敛速度较慢。 但对等值线为同心圆的目标函数，一次搜索 即可达到极小点。 若能通过点的坐标变换，改善目标函数的性 态，就可提高梯度法的收敛速度。
4.2 牛顿性方法
4.2 牛顿型方法
4.2.1 牛顿法的基本思想
1 * T * * f (X) f (X ) X X H ( X ) X X 2
*
结论：任意形式的目标函数在极值点附近的特 性，都近似于一个二次函数。 故以正定二元二次函数为例说明共轭方向对于 构造一种有效的最优化算法的重要性。
1 T T T f ( X ) X HX B X C , X x1 , x2 2
4.3.2共轭方向的产生
2 0 S f ( X ) e S 1 e0 0 S 0 e0 T S0 0 2 0 S f (X)S 0 T
S
k 1
e i s
k i 0
k
k
i
2 i S f (X) e k i T 2 i S f ( X ) e S 0 i i i T 2 i i o S f (X)S 2 i S f (X) e S k 1 ek T Si i 2 i i 0 S f (X)S k i T
若f(X)是二次函数，则X*就是f(X)的极小点；
否则只是一个近似点，需进一步迭代。
4.2.2牛顿法的迭代公式及迭代过程
故牛顿法的迭代公式为：
X k 1 X k [ H ( X K )]1 f ( X K ) k 1 k k X X S k k 1 k S [ H ( X )] f ( X )
最新第4章无约束优化方法PPT课件
机械优化设计19第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法??共轭方向的形成共轭方向的形成??格拉姆格拉姆斯密特向量系共轭化的方法斯密特向量系共轭化的方法20第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法10g1221第四章第四章无约束优化方法无约束优化方法第五节第五节共轭梯度法共轭梯度法共轭梯度法
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
05工程优化第4章-1无约束最优化方法解析精品PPT课件
利用精确一维搜索，可得
' (k ) f (xk k d k )T d k 0
由此得出
f (xk ) d k
0=f (xk k d k )T d k =f (xk +1)T d k = (d k +1)T d k
最速下降法在两个相邻点之间的搜索方向是正交的。
最速下降法向极小点逼近是曲折前进的，这种现象称为锯齿 现象。
然后再从 x1 开始新的迭代，经过10次迭代，得最优解 x* (0, 0)T
计算中可以发现，开始几次迭代，步长比较大，函数值下 降将较快，但当接近最优点时，步长很小，目标函数值下降很 慢。
如果不取初点为 x0 (2, 2)T 而取 x0 (100, 0)T
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 x22
10 2x2
0
得到驻点： 1 1 1 1
x1
0
,
x2
2
,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1 0
0
2x2
2
利用二阶条件 判断驻点是否 是极小点
假设 f 连续可微，
d k f (xk )
f
(xk
k d k )
min 0
f
(xk
பைடு நூலகம்
dk )
步长 k由精确一维搜索得到。
从而得到第 k+1次迭代点，即
xk1 xk +k d k xk kf (xk )
最速下降法 负梯度方向d k f (xk )是函数值减少最快的方向 ？
无约束优化方法PPT课件-PPT精选文档
1 1 f x a G d 0 1
等式两边同乘 d
0
T
得
d Gd 0
0 T 1
fxa fx fx 0
k k T k k
k f x f x 0 k 1 T
d
k 1 T
dk 0
由此可知，在最速下降法中，相邻两个迭代点上 的函数梯度相互垂直。而搜索方向就是负梯度方 向，因此相邻两个搜索方向互相垂直。
第四章
无约束优化方法
第一节 概述
从第一章列举的机械设计问题，大多数实际问题 是约束优化问题。 约束优化问题的求解——转化为一系列的无约束 优化问题实现的。
因此，无约束优化问题的解法是优化设计方法 的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件
f x* 0
解析法(间接解法)
4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿 下降方向搜索的概念。因此对于非二次型函数，在迭代过 k 1 k 程中，可能出现 f( X )f( X )
的现象。为此人们提出了所谓的阻尼牛顿法。
令
k d H ( X ) f ( X ) k
1 k
以上二种经典方法中，人们不断努力，发掘，提出了不
同的改进方法。
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。
一、共轭方向的概念 共轭方向的概念是在研究二次函数
1T T f x x bx c xG 2
时引出的。 首先考虑二维情况
数值法(直接解法)
等式两边同乘 d
0
T
得
d Gd 0
0 T 1
fxa fx fx 0
k k T k k
k f x f x 0 k 1 T
d
k 1 T
dk 0
由此可知，在最速下降法中，相邻两个迭代点上 的函数梯度相互垂直。而搜索方向就是负梯度方 向，因此相邻两个搜索方向互相垂直。
第四章
无约束优化方法
第一节 概述
从第一章列举的机械设计问题，大多数实际问题 是约束优化问题。 约束优化问题的求解——转化为一系列的无约束 优化问题实现的。
因此，无约束优化问题的解法是优化设计方法 的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件
f x* 0
解析法(间接解法)
4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿 下降方向搜索的概念。因此对于非二次型函数，在迭代过 k 1 k 程中，可能出现 f( X )f( X )
的现象。为此人们提出了所谓的阻尼牛顿法。
令
k d H ( X ) f ( X ) k
1 k
以上二种经典方法中，人们不断努力，发掘，提出了不
同的改进方法。
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。
一、共轭方向的概念 共轭方向的概念是在研究二次函数
1T T f x x bx c xG 2
时引出的。 首先考虑二维情况
数值法(直接解法)
无约束优化方法PPT课件
x1 x0 a0d0
f f x1 T d0 0
d x1
x* x1a1d1
21
d 1 应满足什么条件？ 对于二次函数 f x 在 x * 处取得极小点的必要条件
f x* G x*b0
fx * G x 1 a 1 d 1 b G x 1 b a 1 G d 1
f x1 a1G d10
15
ቤተ መጻሕፍቲ ባይዱ
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。 一、共轭方向的概念
共轭方向的概念是在研究二次函数
f x1xTGxbTxc
2 时引出的。 首先考虑二维情况
16
1 共轭方向
定义1：设G为 n n阶实对称正定矩阵，而 d i , d 为j 在n
f(Xk1)f(Xk)
13
阻尼牛顿法程序框图
14
以上介绍的最速下降法及牛顿法或者阻尼牛顿法， 属于经典的数学方法。
显然在这些方法中要用到某点函数的一阶梯度，二 阶梯度等信息，同时对牛顿法还要用到逆矩阵的计算等。 当变量维数较高时，计算工作量相当大，影响计算速度。
理论上，牛顿法的收敛速度高于最速下降法。从 以上二种经典方法中，人们不断努力，发掘，提出了不 同的改进方法。
4、提供新的共轭方向 d k 1 ，使 dj TGdk1 0
5、置 kk1，转2。
23
24
共 轭 方 向 法 程 序 框 图
25
第五节 共轭梯度法
共轭梯度法是共轭方向法的一种，共轭向量有迭代点 的负梯度构造出来，所以称共轭梯度法。
f x1xTGxbTxc
2
从点x k出发，沿G某一共轭方向d k 作一维搜索,到达x k 1
f f x1 T d0 0
d x1
x* x1a1d1
21
d 1 应满足什么条件？ 对于二次函数 f x 在 x * 处取得极小点的必要条件
f x* G x*b0
fx * G x 1 a 1 d 1 b G x 1 b a 1 G d 1
f x1 a1G d10
15
ቤተ መጻሕፍቲ ባይዱ
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。 一、共轭方向的概念
共轭方向的概念是在研究二次函数
f x1xTGxbTxc
2 时引出的。 首先考虑二维情况
16
1 共轭方向
定义1：设G为 n n阶实对称正定矩阵，而 d i , d 为j 在n
f(Xk1)f(Xk)
13
阻尼牛顿法程序框图
14
以上介绍的最速下降法及牛顿法或者阻尼牛顿法， 属于经典的数学方法。
显然在这些方法中要用到某点函数的一阶梯度，二 阶梯度等信息，同时对牛顿法还要用到逆矩阵的计算等。 当变量维数较高时，计算工作量相当大，影响计算速度。
理论上，牛顿法的收敛速度高于最速下降法。从 以上二种经典方法中，人们不断努力，发掘，提出了不 同的改进方法。
4、提供新的共轭方向 d k 1 ，使 dj TGdk1 0
5、置 kk1，转2。
23
24
共 轭 方 向 法 程 序 框 图
25
第五节 共轭梯度法
共轭梯度法是共轭方向法的一种，共轭向量有迭代点 的负梯度构造出来，所以称共轭梯度法。
f x1xTGxbTxc
2
从点x k出发，沿G某一共轭方向d k 作一维搜索,到达x k 1
无约束最优化方法-直接搜索法资料33页PPT
55、 为 中 华 之 崛起而 读书。 ——周 恩来
1
0
、
倚
南
窗
以
寄
傲
，
审
容
膝
之
易
安
。
谢谢！
51、 天 下 之 事 常成 于困约 ，而败 于奢靡 。——陆 游 52、 生 命 不 等 于是呼 吸，生 命是活 动。——卢 梭
53、 伟 大 的 事 业，需 要决心 ，能力 ，组织 和责任 感。 ——易 卜 生 54、 唯 书 籍 不 朽。——乔 特
无约束最优化方法-直接搜索法资料
6
、
露
凝
无
游
氛
，
天
高
风
景
澈
。
7、翩翩新 来燕，双双入我庐 ，先巢故尚在，相 将还旧居。
8
、
吁
嗟
身
后
名
，
于
我
若
浮
烟
。
9、 陶渊 明（ 约 365年 —427年 ），字 元亮， （又 一说名 潜，字 渊明 ）号五 柳先生 ，私 谥“靖 节”， 东晋 末期南 朝宋初 期诗 人、文 学家、 辞赋 家、散
文 家 。汉 族 ，东 晋 浔阳 柴桑 人 （今 江西 九江 ） 。曾 做过 几 年小 官， 后辞 官 回家 ，从 此 隐居 ，田 园生 活 是陶 渊明 诗 的主 要题 材， 相 关作 品有 《饮 酒 》 、 《 归 园 田 居 》 、 《 桃花 源 记 》 、 《 五 柳先 生 传 》 、 《 归 去来 兮 辞 》 等 。
1
0
、
倚
南
窗
以
寄
傲
，
审
容
膝
之
易
安
。
谢谢！
51、 天 下 之 事 常成 于困约 ，而败 于奢靡 。——陆 游 52、 生 命 不 等 于是呼 吸，生 命是活 动。——卢 梭
53、 伟 大 的 事 业，需 要决心 ，能力 ，组织 和责任 感。 ——易 卜 生 54、 唯 书 籍 不 朽。——乔 特
无约束最优化方法-直接搜索法资料
6
、
露
凝
无
游
氛
，
天
高
风
景
澈
。
7、翩翩新 来燕，双双入我庐 ，先巢故尚在，相 将还旧居。
8
、
吁
嗟
身
后
名
，
于
我
若
浮
烟
。
9、 陶渊 明（ 约 365年 —427年 ），字 元亮， （又 一说名 潜，字 渊明 ）号五 柳先生 ，私 谥“靖 节”， 东晋 末期南 朝宋初 期诗 人、文 学家、 辞赋 家、散
文 家 。汉 族 ，东 晋 浔阳 柴桑 人 （今 江西 九江 ） 。曾 做过 几 年小 官， 后辞 官 回家 ，从 此 隐居 ，田 园生 活 是陶 渊明 诗 的主 要题 材， 相 关作 品有 《饮 酒 》 、 《 归 园 田 居 》 、 《 桃花 源 记 》 、 《 五 柳先 生 传 》 、 《 归 去来 兮 辞 》 等 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在 X(k) 和 X(k+1)两点处的梯度可以表示为 ▽f (X(k) ) = H X(k) + B （1）
▽f (X(k+1) ) = H X(k+1） + B （2） （2）－ （1）得 ▽f (X(k+1) ) － ▽f (X(k) ) = H ( X(k+1) － X(k) )（3） （3）式两边同时左乘[S(j) ]T得
机械优化设计
太原科技大学 张学良
.
1
第四章 无约束优化的直接搜索法
X (k+1)=X (k) + (k) S(k) (k =0 , 1 , 2 , …)
各种无约束优化方法的区别就在于确定其
搜索方向S(k)的方法不同，所以搜索方向的构成
问题是无约束优化方法的关键。根据构造搜索
方向所使用的信息性质的不同，无约束优化方
轴方向ei (i=1, 2, … , n)的一维优化问题来求解， 并记完成n次一维搜索为一轮。若一轮搜索后
未得到满足精度要求的最优点，则继续下一
轮迭代搜索。如此反复，直至得到满足精度
要求的最优点为止。在每一轮搜索中，每次
迭代仅对n元函数的一个变量沿其坐标轴方向
进行一维搜索，其余n-1个变量均保持不变，
4）判断是否满足迭代收敛准则
|| Xn(k) – X0(k) ||≤ ？
若满足，则输出最优解: X * = Xn(k) ，f * = f (X * )
否则，令X0(k+1) = Xn(k) ，k k+1，返回3）。
.
7
举例： 用坐标轮换法求目标函数
f (X) = x12 + x22 – x1x2 – 4x1 – 10x2+ 60 的无约束最优解。初始点X(0)= [ 0 0 ]T ，迭代 收敛精度=0.1。 • 坐标轮换法搜索过程和收敛情况讨论
这说明：
沿 S(j) 方 向 分 别 对 函 数 做 两 次 一 维 搜 索 ， 得到两个极小点X(k) 和 X(k+1)，该两点的连 线方向S(k)与S(j)是关于H 共轭的方向。
.
14
x2 S(k) X*
X(k+1) S(j)
X(k)
x1
.
15
上述生成共轭方向的方法完全可以推广
到n维优化问题中，即在n维空间中，按上述
方法可以生成n个相互共轭的搜索方向。
• 鲍威尔法的基本原理和迭代过程
1）采用坐标轮换法顺次沿n个坐标轴方
向 进 行 一 维 搜 索 ， 然 后 以 初 始 点 X(0) 和 终 点
Xn(1)构成一个新的方向 S(1) ，并以次方向搜索 方向再作一维搜索得到极小点Xn+1(1)。
设是X(k) 和 X(k+1)为从不同点出发，沿同 一方向进行一维搜索而得到的两个极小点。。
▽f (X(k) )
S(j)
S(j)
▽f (X(k+1) )
X(k)
X(k+1) S(k)
[S(j) ]T ▽f (X(k) ) = 0
[S(j) ]T ▽.f (X(k+1) ) = 0
12
具有正定对称矩阵H的二次函数 f (X) = 0.5 XT H X + BT X + C
[S(j) ]T[▽f (X(k+1) )－▽f (X(k) .)]= [S(j) ]TH (X(k+1)－X(k) )13=0
即
[ S(j) ]T H ( X(k+1) － X(k) ) = 0
若取
S(k) = X(k+1) － X(k)
那么， S(k) 和 S(j) 关于H 共轭，即
[ S(j) ]T H S(k) = 0
再依次轮换进行一维搜索的坐标轴，直至完
成沿n个沿坐标轴方向的n次一维搜索。
.
3
x2
X2(1)
X0(1)
X1(1)
x1
取初始点X(0)=X0(1)， x1坐标轴方向的单位向 量S1(1)=e1=[1 0]T， x2坐标轴方向的单位向量 S2(1)= e2=[0 1]T。
X1(1) =X0(1)+α1(1)S1(1)， X2(1) =X1(1)+α2(1)S2(1)
法可以分为两类：
一类是只利用目标函数值信息的无约束优化
方法，如坐标轮换法、鲍威尔法，称为直接搜
索法；另一类是利用目标函数的一阶或二阶导
数信息的无约束优化方法，如梯度法、牛顿法、
共轭梯度法、变尺度法，称为间接搜索法。
.
2
§4.1 坐标轮换法（变量轮换法、交替法、降维法）
• 基本思想
将n维无约束优化问题转化为n个沿坐标
若满足，则输出最优解，否则，继续下一
轮迭代搜索。
.
5
Xi(k) =Xi-1(k)+αi(k)ei(k) ( k—迭代轮次，i— k轮迭代的第i次一维搜索
αi(k) — 一维搜索求得的最优步长） || Xn(k) – X0(k) ||≤ ？
• 计算步骤与算法框图
1）任选初始点X(0)=X0(1) = [x1(0) x2(0) … xn(0) ]T ，给定迭代收敛精度，i = 1，k = 1。
X*
X0(1)
. X1(1)
8
X0(1)
X* X1(1)
.
9
x2
X* X2(1)
X0(1)
X1(1)
x1
等值线出现脊线的情况（4M14图）
.
10
§4.2 鲍威尔（Powell）法
• 基本思想
它是直接利用函数值来构造共轭搜索方
向的一种共轭搜索方向法，又称鲍威尔共轭
方向法或方向加速法。由于对于n维正定二次
函数，共轭搜索方向具有n次收敛的特性，所
以鲍威尔法是直接搜索法中十分有效的一种
算法，一般认为对于维数n ≤20的目标函数它
是成功的。鲍威尔法是在研究具有正定对称
矩阵H的二次函数的极小化问题时形成的，其
基本思想是在不用函数导数信息的前提下，
在迭代过程中逐次构造关于H的共轭方向。
.
11
• 共轭方向的生成
.
4
第一轮迭代搜索：
X1(1) =X0(1)+α1(1)e1(1) = [x1(0) x2(0)]T + α1(1)[1 0]T
X2(1) =X1(1)+α2(1)e2(1) = [x1(1) x2(1)]T + α2(1)[0 1]T
判断是否满足迭代收敛准则：
|| X2(1) – X0(1) ||≤ ？
2）置n个坐标轴方向向量为单位向量，即
e1=[1 0 … 0 ]T， e2=[0 1 0 … 0 ]T ，… ，
en=[0 … 0 1]T。
.
6
3）按如下迭代计算公式进行迭代计算
Xi(k) =Xi-1(k)+αi(k)ei(k) ( k—迭代轮次，i— k轮迭代的第i次一维搜索 i =1，2， … ，n）
▽f (X(k+1) ) = H X(k+1） + B （2） （2）－ （1）得 ▽f (X(k+1) ) － ▽f (X(k) ) = H ( X(k+1) － X(k) )（3） （3）式两边同时左乘[S(j) ]T得
机械优化设计
太原科技大学 张学良
.
1
第四章 无约束优化的直接搜索法
X (k+1)=X (k) + (k) S(k) (k =0 , 1 , 2 , …)
各种无约束优化方法的区别就在于确定其
搜索方向S(k)的方法不同，所以搜索方向的构成
问题是无约束优化方法的关键。根据构造搜索
方向所使用的信息性质的不同，无约束优化方
轴方向ei (i=1, 2, … , n)的一维优化问题来求解， 并记完成n次一维搜索为一轮。若一轮搜索后
未得到满足精度要求的最优点，则继续下一
轮迭代搜索。如此反复，直至得到满足精度
要求的最优点为止。在每一轮搜索中，每次
迭代仅对n元函数的一个变量沿其坐标轴方向
进行一维搜索，其余n-1个变量均保持不变，
4）判断是否满足迭代收敛准则
|| Xn(k) – X0(k) ||≤ ？
若满足，则输出最优解: X * = Xn(k) ，f * = f (X * )
否则，令X0(k+1) = Xn(k) ，k k+1，返回3）。
.
7
举例： 用坐标轮换法求目标函数
f (X) = x12 + x22 – x1x2 – 4x1 – 10x2+ 60 的无约束最优解。初始点X(0)= [ 0 0 ]T ，迭代 收敛精度=0.1。 • 坐标轮换法搜索过程和收敛情况讨论
这说明：
沿 S(j) 方 向 分 别 对 函 数 做 两 次 一 维 搜 索 ， 得到两个极小点X(k) 和 X(k+1)，该两点的连 线方向S(k)与S(j)是关于H 共轭的方向。
.
14
x2 S(k) X*
X(k+1) S(j)
X(k)
x1
.
15
上述生成共轭方向的方法完全可以推广
到n维优化问题中，即在n维空间中，按上述
方法可以生成n个相互共轭的搜索方向。
• 鲍威尔法的基本原理和迭代过程
1）采用坐标轮换法顺次沿n个坐标轴方
向 进 行 一 维 搜 索 ， 然 后 以 初 始 点 X(0) 和 终 点
Xn(1)构成一个新的方向 S(1) ，并以次方向搜索 方向再作一维搜索得到极小点Xn+1(1)。
设是X(k) 和 X(k+1)为从不同点出发，沿同 一方向进行一维搜索而得到的两个极小点。。
▽f (X(k) )
S(j)
S(j)
▽f (X(k+1) )
X(k)
X(k+1) S(k)
[S(j) ]T ▽f (X(k) ) = 0
[S(j) ]T ▽.f (X(k+1) ) = 0
12
具有正定对称矩阵H的二次函数 f (X) = 0.5 XT H X + BT X + C
[S(j) ]T[▽f (X(k+1) )－▽f (X(k) .)]= [S(j) ]TH (X(k+1)－X(k) )13=0
即
[ S(j) ]T H ( X(k+1) － X(k) ) = 0
若取
S(k) = X(k+1) － X(k)
那么， S(k) 和 S(j) 关于H 共轭，即
[ S(j) ]T H S(k) = 0
再依次轮换进行一维搜索的坐标轴，直至完
成沿n个沿坐标轴方向的n次一维搜索。
.
3
x2
X2(1)
X0(1)
X1(1)
x1
取初始点X(0)=X0(1)， x1坐标轴方向的单位向 量S1(1)=e1=[1 0]T， x2坐标轴方向的单位向量 S2(1)= e2=[0 1]T。
X1(1) =X0(1)+α1(1)S1(1)， X2(1) =X1(1)+α2(1)S2(1)
法可以分为两类：
一类是只利用目标函数值信息的无约束优化
方法，如坐标轮换法、鲍威尔法，称为直接搜
索法；另一类是利用目标函数的一阶或二阶导
数信息的无约束优化方法，如梯度法、牛顿法、
共轭梯度法、变尺度法，称为间接搜索法。
.
2
§4.1 坐标轮换法（变量轮换法、交替法、降维法）
• 基本思想
将n维无约束优化问题转化为n个沿坐标
若满足，则输出最优解，否则，继续下一
轮迭代搜索。
.
5
Xi(k) =Xi-1(k)+αi(k)ei(k) ( k—迭代轮次，i— k轮迭代的第i次一维搜索
αi(k) — 一维搜索求得的最优步长） || Xn(k) – X0(k) ||≤ ？
• 计算步骤与算法框图
1）任选初始点X(0)=X0(1) = [x1(0) x2(0) … xn(0) ]T ，给定迭代收敛精度，i = 1，k = 1。
X*
X0(1)
. X1(1)
8
X0(1)
X* X1(1)
.
9
x2
X* X2(1)
X0(1)
X1(1)
x1
等值线出现脊线的情况（4M14图）
.
10
§4.2 鲍威尔（Powell）法
• 基本思想
它是直接利用函数值来构造共轭搜索方
向的一种共轭搜索方向法，又称鲍威尔共轭
方向法或方向加速法。由于对于n维正定二次
函数，共轭搜索方向具有n次收敛的特性，所
以鲍威尔法是直接搜索法中十分有效的一种
算法，一般认为对于维数n ≤20的目标函数它
是成功的。鲍威尔法是在研究具有正定对称
矩阵H的二次函数的极小化问题时形成的，其
基本思想是在不用函数导数信息的前提下，
在迭代过程中逐次构造关于H的共轭方向。
.
11
• 共轭方向的生成
.
4
第一轮迭代搜索：
X1(1) =X0(1)+α1(1)e1(1) = [x1(0) x2(0)]T + α1(1)[1 0]T
X2(1) =X1(1)+α2(1)e2(1) = [x1(1) x2(1)]T + α2(1)[0 1]T
判断是否满足迭代收敛准则：
|| X2(1) – X0(1) ||≤ ？
2）置n个坐标轴方向向量为单位向量，即
e1=[1 0 … 0 ]T， e2=[0 1 0 … 0 ]T ，… ，
en=[0 … 0 1]T。
.
6
3）按如下迭代计算公式进行迭代计算
Xi(k) =Xi-1(k)+αi(k)ei(k) ( k—迭代轮次，i— k轮迭代的第i次一维搜索 i =1，2， … ，n）