无约束优化方法 坐标轮换法
(07)第四章-无约束优化方法(鲍威尔法)
《机械优化设计》§4-8 鲍威尔(Powell)方法¾基本思想：把n维无约束优化问题转化为n个沿坐标轴方向e 1,e 2……e n 的一维优化问题来求解。
坐标轮换法坐标轮换法：1e s x¾特点：z 方法简单，思路简明z 收敛速度太慢，效率太低鲍威尔算法的流程图{n次搜索判定并确定下轮方向组{构造新方向并一维搜索{计算条件参数准备信息判断终止条件5. 鲍威尔法的特点：（1）收敛速度快，可靠性高；（2）对非正定函数，也很有效；（3）计算步骤较复杂。
6. 鲍威尔法与坐标轮换法的主要区别：（1）每轮的搜索次数；（2）每轮的搜索方向组的构造方式。
0.01ε=的最优解。
迭代精度。
z例题（书P85）：用改进的鲍威尔法求目标函数22121212(,)10(5)()f x x x x x x =+−+−解：（一）第1轮迭代计算1）从出发，沿e 1方向进行一维搜索：(1)1100/22 4.5455α==得：(1)1[4.54550]T=x 初始点(1)0[00]T=x 12[10];[01]T T ==e e (1)(1)1120(5)20f ααα′=−+=min :(1)1()f x (1)0x (1)(1)(1)1011α=+x x e (1)2(1)2(1)11110(5)()()f ααα=−+=选取基本搜索方向组：(1)(1)1101;000αα⎡⎤⎡⎤⎡⎤=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦2）从出发，沿e 2方向进行一维搜索：(1)20.826α=得：(1)2[4.54550.826]T=x (1)(1)2220(0.455)2( 4.545)0f ααα′=−+−=min :(1)(1)2(1)2(1)2222()10(4.5455)(4.545)()f f ααα=+−+−=x (1)1x (1)(1)(1)(1)21222(1)24.5454.5450;01ααα⎡⎤⎡⎤⎡⎤=+=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦xx e (1)2()15.215f =x (1)(1)212()()22.72715.2157.512f f Δ=−=−=x x 3）计算函数值以及下降量(1)0()250f =x (1)1()22.727f =x (1)(1)101()()25022.727227.27f f Δ=−=−=x x (1)()if x i Δ4）求最大下降量121max{,}227.723m Δ=ΔΔ=Δ=mΔ5）计算映射点及其函数值(1)()f x (1)x (1)(1)(1)24.545509.09220.82640 1.653⎡⎤⎡⎤⎡⎤=−=−=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦x x x (1)00()250F f ==x (1)()385.239f =x 6）计算判别条件式(1)22()15.215F f ==x (1)3()385.239F f ==x 30?F F <故不满足鲍威尔条件，则下一轮仍用原方向组。
无约束常用优化方法
步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
(06)第四章-无约束优化方法(坐标轮换法)
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
04 无约束优化方法
F 1A C
向上的极小点，而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法：阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索，
1、坐标轮换法具有程序简单，易于掌握的优点，但它的计
算效率较低，因此它虽然步步在登高，但相当于沿两个垂直方
向在爬山，路途迂迴曲折，收敛很慢，因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T，要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例： ① X(0)
无约束优化之坐标轮换法
无约束优化方法——坐标轮换法一.基本原理坐标轮换法是每次允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法。
它把多变量的优化问题轮流的转化成单变量的优化问题，因此又称变量轮换法。
在搜索的过程中可以不需要目标函数的导数，只需目标函数值信息。
它比利用目标函数导数建立搜索方向的方法简单的多。
以二元函数飞f（x1,x2）为例说明坐标轮换法的寻优过程。
从初始点x00出发，沿第一个坐标方向搜索，即d10=e1得x10=x00+a01*d01按照一维搜索方法确定最佳步长因子a01满足minf(x00+a*d01),然后从x01出发沿d02=e2方向搜索得x02=x01+a02*d02,其中步长因子a02满足minf(x01+a*d02),x02为一轮（k=0）的终点。
检验始、终点之间的距离是否满足精度要求，即判断||x02-x00||<e的条件是否满足。
若满足则x*=x02,否则令x10=x02,重新一次沿坐标方向进行下一轮的搜索。
对于n个变量的函数，若在第k 轮沿第i个坐标方向dki进行搜索，其迭代公式为xki=xk(i-1)+aki+dki(k=0,1,2…,i=0,1,2…n)其中搜索方向取坐标方向，即dki=ei(i=1,…n)。
若||xkn-x00||<e,则x*=xkn,否则x(k+1)0=xkn,进行下一轮搜索，一直到满足精度为止。
注：上述xki中，其中k为上标，i为下标二．例题及程序1.用坐标轮换法求f(1x,2x)=10(1x+2x-5)^2+(1x-2x)^2极小值2.程序(1)function y=f(x)y=10*(x(1)+x(2)-5)^2+(x(1)-x(2))^2; ………………………..%定义f文件(2)d1=e1;syms a1;x1=x0+a1*d1;y1=f(x1);z1=diff(y1,a1);subs(z1);a1=solve(z1);%求沿e1方向最佳步长x1=x0+a1*d1;d2=e2;syms a2;x2=x1+a2*d2;y2=f(x2);z2=diff(y2,a2);subs(z2);a2=solve(z2);%求沿e2方向最佳步长x2=x1+a2*d2;m=x2-x0;m=double(m);t=norm(m); ……….%定义f2文件(3)x0=[0;0];e=0.001;e1=[1;0];e2=[0;1];f2; ………………%定义f3文件(4)f3;while (t>=e)x0=x2;f2;endx2=double(x2);xo=x2;xo…………………%定义f4文件三．程序框图四．计算结果及说明运用MATLAB运算结果如上所示，运算结果比较精确，跟课本上用鲍威尔方法计算结果比较相近。
第四章 无约束方法
e2
e3
x1
x2
Powell修正算法：在构成第K+1 2015-6-23 18 法构造基本方向组。
二）Powell修正算法 2)Powell对基本算法的改进
在获得新方向构成新方向组时,不是轮换 地去掉原来的方向,而是经判别后,在n+1个 方向中留下最接近共轭的n个方向。 这样可以避免新方向组中的各方向出现 线性相关的情形，保证新方向组比前一方 向组具有更好的共轭性质。
x3
o
X0 e1 e2
s
e3
s2
e3，s1，s2
x1
x2
s3
Xn
15
2015-6-23
补充：共轭方向的基本概念
1)定义
设A为n*n阶正定对称矩阵， S1 , S 2 是两个n维 向量，若存在 T S1 AS2 0 则称 S1和S 2对A共轭。
例：
4
2 1 2
2 2 6 4 3
3
无约束优化问题是：
求n维设计变量 使目标函数
x [ x1 x2
f ( x ) min
xn ]
T
min f ( x)
x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。 （1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。 （2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
结 束
X0=X*
N
F3<F
1
Y
求Δ 及方向标号m
N Y
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
第六节_无约束优化方法 鲍威尔
结论：从不同的点出 发沿某一方向分别对 函数作两次一维搜索 ，得到两个极小点， 那么这两个极小点的 连线方向与该方向对 G共轭
二、鲍威尔基本算法
鲍 威 尔 基 本 算 法 的 搜 索 过 程 （ 二 维 ）
二、鲍威尔基本算法
鲍 威 尔 基 本 算 法 的 搜 索 过 程 （ 三 维 ）
鲍威尔基本算法的步骤：
m max[ F ( xik1 ) F ( xik )] Fm1 Fm （1≤m≤n）
k k k x d x 及与之相对应的两个点 m 1 和 m ，并以 m 表示两点
的连线方向。
（4）关键点函数值
k k k xn 2 x x 1 n 0
k F1 F ( x0 ) k F3 F ( xn 1 ) k F2 F ( xn )
7.9883 x* x 5.9981
5 2
f * f ( x*) 7.95025
§4.5
3. 方法评价：
坐标轮换法
• 方法简单，容易实现。 • 当维数增加时，效率明显下降。
收敛慢，以振荡方式逼近最优点。
•
受目标函数的性态影响很大。 如图 a) 所示，二次就收敛到极值点； 如图 b) 所示，多次迭代后逼近极值点；
按照以下两种情况处理： 1) 上式中至少一个不等式成立，则第k+1轮的 基本方向仍用老方向组d1k、d2k、 • • • 、 dnk。 k+1轮的初始点取 x0k+1=xnk F2<F3 x0k+1=xn+1k F2F3
2）两式均不成立，则淘汰函数值下降最大的方向， 并用第k轮的新生方向补入k+1轮基本方向组的最后， 即k+1轮的方向组为d1k、d2k 、 • • • 、 dm-1k、 dm+1k 、 • • • 、dnk、 dk 。
第三章无约束最优化方法3
第三章⽆约束最优化⽅法3第⼋节坐标轮换法把⼀个多维问题转化为⼀系列较少维数的问题称为降维。
降维⽅法有⼏种，坐标轮换法是⽤得较多的⼀种，这是⼀种不需要求函数导数的直接探索⽬标函数最优解的⽅法。
直接法、降维法⼀、坐标轮换法的基本思想其基本思想就是通过每次仅对多元函数的⼀个变量沿其坐标轴进⾏⼀维探索，其余各变量均固定不动，并依次轮换进⾏⼀维探索的坐标轴，完成第⼀轮探索后再重新进⾏第⼆轮探索，直到找到⽬标函数在全域上的最⼩点为⽌，以达到将⼀个多维的⽆约束最优化问题，转化为⼀系列的⼀维问题来求解的⽬的。
为简明起见，现以⼆元函数来说明基本步骤： 1.从初始点(0)(0)(0)(0)12(,,)n Xx x x =出发，依次沿各坐标轴⽅向搜索最优点，保持其余n-1个变量不变。
例：如果(0)(0)(0)(0)(0)123(,,,)(3,5,23,21)n Xx x x x ==，如果沿x 1轴⽅向搜索，则搜索过后改变的仅仅是x 1的值3，其余坐标的值均保持不变。
假设搜索到的值是8，则下⼀个点的值为(1)(1)(0)(0)(0)1123(,,,)(8,5,23,21)n X x x x x ==。
迭代点的序列为：(0)(1)(0)(0)(0)(0)0123(,,,)n X X x x x x →=(1)(1)(0)(0)(0)1123(,,,)n X x x x x = (1)(1)(1)(0)(0)2123(,,,)n X x x x x =(1)(1)(1)(1)(0)3123(,,,)n X x x x x =(1)(1)(1)(1)(1)(1)(2)1230(,,,)n n X x x x x X X =→→上标表⽰搜索的轮次，下标表⽰对应的坐标，亦即该轮次的第⼏次迭代。
经过⼀轮（n 次）迭代后，得到⼀个新点，然后进⾏下⼀轮迭代。
只到满⾜精度。
⼆、步长()k i α可以有以下⼏种取法1.随机选择()k iα值的⽅法2. 加速步长法为⽅向的初始试验了加快探索过程，可以采⽤加速步长法。
机械优化设计第四节无约束--坐标轮换法3-5解析
5
7.954 , 5.978 T 0.035 7.989 , 5.978T 0.018 7.989 , 5.996 T 0.04
计算第五轮的有
(5) (5)
x2 x0 (7.989 7.954)2 (5.996 5.978)2 0.0394
近似优化解为：
* (5) 7.989 x x2 5.996
*
f * f (x ) 8.000093
2.4、共轭方向法
1、共轭方向
坐标轮换法的收敛速度很慢，原因在于其搜索方向总是
平行于坐标轴，不适应函数变化情况如图所示若把一轮的起
点 与末点 (1)
(1)
x1
x2
连起来形成 一个新的搜索方向
S2
,
S2 与
S1 有何关系。
如图所示，设给定两个平行方向 S1 ,从两个任意初始点分别
)
e
i
否
in
是
(k) (k)
xn x0
否
是
k k 1
(0)
(k)
x xn
*
*
x x f f (x )
出口
特点： 简单易行，但由于它只能轮流沿几个坐标
方向前进，因而效率低下，特别是维数较高n>10 或目标函数性质不好的情况下收敛速度慢。本方 法的收敛效率在很大程度上取决于目标函数等值 线的形状。当椭圆簇的长短轴与坐标轴斜交，迭 代次数将大大增加，收敛速度很缓慢。目标函数
S2
*
x
S1
x
2
x1
S1
如图所示，同心椭圆簇具有 这样一个特点，就是二条任 意平行线的切点的连线必通 过椭圆族的中心。
沿这两个平行方向进行一维搜索求得极小点
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
第四节无约束--坐标轮换法3-5
S
1 1
x2
1
x
S1
共轭方向的定义： 设A 为 n n阶实对称正定矩阵,而 S1 S 2为 n n R 中的两个非零向量，如果满足S1 T AS 22 0 维空间 则称向量 S1 S 2 关于对称正定矩阵A 是共轭的或
S1 , S 2 关于A 共轭
共轭方向的性质 1)设 A为 n n 阶实对称正定矩阵, S1 S 2 S n 为对A共轭的n个非零向量，则这n个向量是 线形无关的
由于两平行方向 S1为等值线的切线,其切点分别为
1 2
x, x
故方向
1 2
S1
应垂直于 x
1
2
,
x
处的梯度方向.
即有
x, x
为目标函数 f ( x)在 S1 方向的极小点
1
所以在 两点目标函数的梯度 f ( x )
f ( x )
2
都与 矢量
S1 正交即有
* * 1 * T T S1 f ( x ) S1 f ( x ) 2 f ( x ) x x 0 2 * * 2 * T T S1 f ( x ) S1 f ( x ) 2 f ( x ) x x 0 1
e 0, 1, 0
' 得到 x 且将前一次一维搜索的极小点作为本次一维搜 索的起始点，依次进行一维搜索后，完成一轮 ' 计算，若未收敛则以前一次的末点 x n 为起始 点，进行下一轮的循环，如此一轮一轮迭代下 去，直到满足收敛准则，逼近最优点为止。 2.迭代计算步骤 (1) (0) 1)取初始点 x 作为第一轮的起点 x x x 迭代终止 精度 置 个坐标轴方向矢量为单位坐标矢量
坐标轮换法
3.从
X
k 0
出发，分别沿
S
k i
(i
1,2,
n)
作一维搜索，依次得n个极小点X
k i
，
计算各相邻极小点目标函数的差值 ，
并找出其中的最大差值及其相应的方向：
km
max{ f
(
X
k i1
f
(
X
k i
)
f
(
X
k m1
)
f
(
X
k m
)
i 1,2 n}
S
k m
X
k m
Xk m 1
X
k 0
1
X
k 0
1
或
f
(
X
k 0
1
)
f
(
X
k 0
)
f
(
X
k 0
1
)
2
则可终止迭代，得
X
k 0
1
为最优点，输出结
果
X k 1 0
X*
，
f
(
X
k 1 0
)
f (X *)
；
否则，置
X k 1 0
X0
，k 1 k
；返回第
3步。
3.共轭方法法及其构成
坐标轮换法的收敛速
度很慢，原因在于搜索
方向总是平行于坐标轴，
不适应函数的变化情况。
若将一轮的起点和末点
连接起来，形成一个新
的搜索方向
S2
,由右图可知，从这个搜索方向出发可以极大的
无约束优化计算方法
4.1 引言
无约束优化问题的一般形式：
随机搜索法，坐标轮换法，Powell法， 非梯度算法： 模式搜索法，单纯形法；
梯 度 算 法： 梯度法，共轭梯度法，牛顿法，修正牛
顿法，变尺度法。 （1）从初始点开始迭代； 性质： （2）在迭代点邻域内产生新点的函数构造不同； （3）检验是否最优解的方法不同。
c1=5.488910,
(3)缩短区间 因有 ， 故取 x1=-0.5, f1=-0.851279 x2=0.382067, f2=-20927209 x3=1, f3=-2.610944 (4)对新区间重复步骤(2) c1=-1.17311, c2=1.910196
(5)检查终止条件
未满足终止条件，返回步骤（3）。
gk ?
1 计算 H k
+
-
1 S (k ) H k F ( x ( k ) )
沿 S ( k )方向一维搜索 求最优步长 ( k )
x(k1) x(k) (k)S(k)
k←k+1
x * x
F* F(x*)
出口
4.4.4 变尺度法
x(k+1)=x(k)-(k)g(k) x(k+1)=x(k)-(k)Hk-1 g(k）
f2 fP* xP* x3
x1
x1
x2
d
f2 x3
x3
x1 xP*
x2
区间缩短流程图
入口 N Y
xp N
*>x
2?
Y
f2<fP*?
N
F2<fP*?
Y
d
x1 xp* f 1 f P*
c
x3 x2 f 3 f2 x 2 x p * f 2 f P*
无约束优化方法上机指导
无约束优化上机指导一、实验目的利用无约束优化方法求目标函数的最优解。
无约束优化方法包括坐标轮换法、鲍威尔法、梯度法、牛顿法等。
二、方法及原理说明以二维无约束优化问题为例，说明坐标轮换法的原理：任意取一初始点(0)x 作为第一轮的起点(1)0x ，先沿第一坐标轴的方向1e ⎡⎤⎢⎥⎣⎦1=0作一维搜索，用一维优化方法确定其最优步长(1)1α，即可获得第一轮的第一个迭代点(1)(1)1011x x e α=+然后，以(1)1x 为新起点改沿第二坐标轴的方向201e ⎡⎤=⎢⎥⎣⎦作一维搜索，确定它的步长(1)2α，可得第一轮的第二个迭代点(1)(1)(1)2122x x e α=+这二维问题，经过两次一维搜索就完成了一轮迭代。
按终止准则进行检验()()0k k n x x e -≤满足精度则最优解取 *()k n x x =不满足则按同样的方法进行下一轮迭代。
流程图如下：三、实验内容用坐标轮换法求目标函数22121212()10460F x x x x x x x =+---+的无约束最优解。
给定初始点(0)00x ⎡⎤=⎢⎥⎣⎦，精度要求0.1e =解：该题为二维问题，单位坐标分别为1201e e ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1=、0作第一轮迭代计算。
沿1e 方向进行一维搜索1(1)(1)1011101000x x e ααα⎡⎤⎡⎤⎡⎤=+=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦式中，(1)(0)0x x=为了求解1α，将(1)1x 点的值代入已知的目标函数，得1α的函数2111()1060F ααα=-+令11()0dF d αα=，即12100α-=，解得15α= 所以有，(1)(1)101150x x e α⎡⎤=+=⎢⎥⎣⎦以(1)1x 为新起点，沿2e 方向进行计算：(1)(1)21222255001xx e ααα⎡⎤⎡⎤⎡⎤=+=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦用求1α的方法同理求2α，得2 4.5α= 所以 (1)(1)212254.5xx e α⎡⎤=+=⎢⎥⎣⎦一轮计算中需要计算的点数与维数相等，故该轮计算中的两个点已计算完毕，对于第一轮按终止条件检验：(1)(1)20 6.70x x e -==>不满足精度要求，继续进行第二轮迭代计算。
第三章非线性规划无约束问题的最优化方法
x0
0p 0
1.919877 还需要经过10次迭代才
能满足精度要求
0.003070
第三节 牛顿法
3. 牛顿法的缺点： 牛顿法要求初始解离最优解不远，若初始点选得离最优解太
远时，牛顿法并不能保证其收敛，甚至也不是下降方向。因此， 常将牛顿法与最速下降法结合起来使用。前期使用最速下降法， 当迭代到一定程度后，改用牛顿法，可得到较好的效果。 4. 修正牛顿法 基本思想： 保留了从牛顿法中选取牛顿方向作为搜索方向，摒弃其步长恒 为1的做法，而用一维搜索确定最优步长来构造算法。
2
2
0
2e2 2 3
00 21 0
03
f x3 9
第二节 最速下降法
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
0 x 3 e3 0
3
00 00 13
f x 3 e3
32
f' 0 x4 x3
3
3
0
3e3 0 0
f x4 0
第二节 最速下降法
因为 x 1
x 4 ，0故.0以1 x(4)点作为新的x(1) ，进行新一轮迭代。
0
1 33 22
f x0
p0
52 5
42
f' x0
p0 5 5 0
22
01
第三节 牛顿法
x1 x0
1 p0 3
2
3
f x1
14
12 2
0
30
12 1 2
2
f x1
所以选取 x* x 1
1 3 作为极小点。 2
第三节 牛顿法
6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处：
优化设计 约束和无约束优化
无约束优化方法1.坐标轮换法2.鲍威尔法3.梯度法4.牛顿法5.变尺度法1.坐标轮换法坐标轮换发是一种不计算函数梯度,而是通过函数值本身,即可求出寻优方向,因而也称为直接寻优法.在以后提到的鲍威尔法(Powell)法也属于直接寻优法。
对于坐标轮换法，我们做个比喻：如果我们在北京的老城区找一个地方，我们可以沿着经纬线去找。
这个比喻为我们提供了一种思路，既可以取坐标的方向为寻优的方向，这就是坐标轮换法。
它在每次搜索中，只允许一个变量的变化，其余量保持不变，即沿着坐标方向轮流进行搜索的方法。
该方法把多变量的优化问题轮流转化成一系列单变量的优化问题。
对应于n 个变量的寻优函数，若在第轮沿第k 个坐标第i 个坐标方向ki i S e =进行搜索，则迭代公式为1(0,1,...,1,2,...,)k k k k i i i i X X S k i n α-=+==其中搜索方向取坐标方向，即k i i S e =（1,2,...,i n =）。
若0k k n X X -‖‖<ε，则*kn X X ←，否则10k kn X X +←，进行下一轮的搜索，一直到满足精度要求为止。
其搜索路径如图所示这种方法的收敛效果与目标函数等值线形有很大关系。
如果目标函数为二元二次函数，其等值线为圆或长轴平行于坐标轴的椭圆时，此方法很有效，经过两次搜索即可以达到最优点，如图所示。
如果等值线为长轴不平行于坐标轴的椭圆，则需多次迭代才能达到最优点，但因坐标轮换法是坐标方向搜索而不是沿脊线搜索，所以就终止到脊线上而不能找到最优解。
从上述分析可以看出，采用坐标轮换法只能轮流沿着坐标的方向搜索，尽管也能使函数值步步下降，但经过曲折迂回的路径才能达到极值点；尤其极值点附近步长很小，收敛很慢，所以坐标轮换法不是一种很好的搜索方法。
但是可以构造很好的搜索策略，下面讨论的鲍威尔法就是这种情况。
例题：已知22121212()10460f X x x x x x x =+---+，设初始点：(0)[0,0]T X=，精度0.1=ε，用最优步长法的坐标轮换法求目标函数的最优解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
− 10x2
+ 60
的最优解。迭代精度
ε
= 0.1
，初始点
x (1) 0
= [0
0]T
z 课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f
(x)
=
x2 1
+
1
6
x
2 2
+ 10 x1
x2
的最优解。迭代精度 ε
= 0.1
，初始点
x (1) 0
= [4
3]T
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
基本迭代格式：
x = x + α e (k)
(k)
(k)
i
i−1
ii
(k = 1,2,3";i = 1,2,"n)
收敛准则：
ε x − x ≤ (k )
(k)
0
n
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标
方向进行搜索，其迭代公式为：
α xk i
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数
直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。
如:(1)等值线为椭圆,且长短轴分别平行于坐标轴时 --高效
X0
x2
o
X*
x2
x1
o
x1
(2)等值线为如图脊线时 --无效
(3)一般情况 --低效
=
xk i −1
+
ek
ii
2）求最优搜索步长
α
k i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x
k n
−
x
k 0
≤ε
4）满足上式：
x∗
=
x
k n
否则，进行下一轮迭代。
图4-13 坐标轮换法
程序框图
z 例题： 用坐标轮换法求目标函数 （迭代两轮）
f
(x)
=
x2 1
+
x2 2
−
x1 x2
− 4 x1