(06)第四章-无约束优化方法(坐标轮换法)
无约束常用优化方法

步长 ,作前进(或后退)试探.如试探成功(目
标函数值有所减小),则按步长序列
,加
大步长(注意每次加大步长都是由初始点算起),直
至试探失败(目标函数值比前一次的有所增加)时,
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长,并计算出该方向上的终止点,而后以这个终
止点为始点再进行下一坐标轴方向的搜索,并重复上
处
显然 是二次函数,并且还是正定二次函数,所以 是凸函数且存在唯一全局极小点.为求此极小点,令
即可解得
即
(5.9)
对照基本迭代公式,易知,式(5.9)中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向.此时称此方向为从点 出发的
Newton方向.从初始点开始,每一轮从当前迭代点出发,
沿Newton方向并取步长 的算法称为Newton法.
另外,共轭梯度法不要求精确的直线搜 索.但是,不精确的直线搜索可能导致迭代 出来的向量不再共轭,从而降低方法的效 能.克服的办法是,重设初始点,即把经过 n次迭代得到的Xn作为初始点重新迭代.
五、坐标轮换法
在坐标轮换法中,沿各个坐标轴方向进行一维搜索
时,常选用最优步长法或加速步长法.加速步长法从
初始点出发,沿搜索(坐标轴)方向先取一个较小的
三、共轭方向法
1、概念
通常,我们把从任意点
出发,依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法,叫做共
轭方向法.
2、特点
• 一般地,在n维空间中可以找出n个互相共轭的方向,对于n元正 定二次函数,从任意初始点出发,顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点.这就是共轭方向法的 算法形成的基本思想.
无约束优化方法

为了使目旳函数值沿搜索方向 f (xk ) 能够取得最大旳
下降值,其步长因子
应取一维搜索旳最佳步长。即有
k
f
( xk1)
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min, ( ) a
根据一元函数极值旳必要条件和多元复合函数求导公式,得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第四章 无约束优化措施
第一节 概 述
数值解法:是从给定旳初始点x0出发,沿某一搜索方向d0
进行搜索。拟定最佳步长α,使函数值沿d0方向下降最大。 依此方式按下述公式不断进行,形成迭代旳下降算法。
x,k1 xk k d k (k 0,1, )
1)选择迭代方向即探索方向; 2)在拟定旳方向上选择合适步长迈步进行探索。 多种无约束优化措施旳区别就在于拟定其搜索方向dk旳措 施不同。所以搜索方向旳构成问题是无约束优化措施旳关键。
4)若 | xk1 xk | ,则停止迭代,
得最优解x* xk1;
否则,k k 1,转到第二步。
第四章 无约束优化措施
第二节 最速下降法
例:用最速下降法求目标函数 ,
f (x) x12 25x22
的极小点。
xk1 xk kf (xk )(k 0,1, )
第四章 无约束优化措施
解 取初始点 x0 [2,2]T f ( x0 ) 104
第四章 无约束优化措施
第四节 共轭方向及共轭方向法 •共轭方向旳形成
•格拉姆-斯密特向量系共轭化旳措施
i
d i1
vi1
,
dr i 1, r
第4章 无约束优化方法

求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
(2)第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想: (1) 用简单矩阵代替二阶导数矩阵的逆矩阵 (2) 用坐标变换简化目标函数 引入矩阵变换U,令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法,Sk 称牛顿方向。
分析可知: ⑴ 对于正定二次函数,Xk+1是精确极小点,方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时,无论从哪个初始 点出发,计算所得牛顿方向直指极小点,而且步长等于1。 ⑶ 对于一般非线性函数,点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数,由上式得到 的点Xk+1,不能始终保持函数的下降性,
1 0 0
04 无约束优化方法

F 1A C
向上的极小点,而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法:阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式:
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索,
1、坐标轮换法具有程序简单,易于掌握的优点,但它的计
算效率较低,因此它虽然步步在登高,但相当于沿两个垂直方
向在爬山,路途迂迴曲折,收敛很慢,因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T,要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例: ① X(0)
第四章 无约束方法

e2
e3
x1
x2
Powell修正算法:在构成第K+1 2015-6-23 18 法构造基本方向组。
二)Powell修正算法 2)Powell对基本算法的改进
在获得新方向构成新方向组时,不是轮换 地去掉原来的方向,而是经判别后,在n+1个 方向中留下最接近共轭的n个方向。 这样可以避免新方向组中的各方向出现 线性相关的情形,保证新方向组比前一方 向组具有更好的共轭性质。
x3
o
X0 e1 e2
s
e3
s2
e3,s1,s2
x1
x2
s3
Xn
15
2015-6-23
补充:共轭方向的基本概念
1)定义
设A为n*n阶正定对称矩阵, S1 , S 2 是两个n维 向量,若存在 T S1 AS2 0 则称 S1和S 2对A共轭。
例:
4
2 1 2
2 2 6 4 3
3
无约束优化问题是:
求n维设计变量 使目标函数
x [ x1 x2
f ( x ) min
xn ]
T
min f ( x)
x Rn
目前已研究出很多种无约束优化方法,它们的 主要不同点在于构造搜索方向上的差别。 (1)间接法(导数法)——确定搜索方向时用到一 阶或(和)二阶导数的方法。如梯度法、(阻尼) 牛顿法、变尺度法、共轭梯度法等。 (2)直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定;即不使用导数信息,如 坐标轮换法、鲍威尔法等。
结 束
X0=X*
N
F3<F
1
Y
求Δ 及方向标号m
N Y
第4章无约束优化方法(已排)

开始
给定 x 0 ,
k 0
d k f ( xk )
xk1 xk k d k
k
: min
f
(xk
d k )
是
x* x k 1
否 x k 1 x k
结束
k k 1
6
例4-1
求目标函数
f
(x)
x2 1
25x22 的极小点。
解 取初始点 x0 [2, 2]T
12
利用有 限的信
息!
13
4.2 牛顿法及其改进
基本思想 :
在xk邻域内用一个二次函数( x)来近似代替原目标函数,
并将(x) 的极小点作为对目标函数 f ( x)
求优的下一个迭代点 xk1 。经多次迭代,使之逼近目标函
数 f (x) 的极小点。
f ( x) ( x) f ( xk ) f ( xk )T ( x xk )
2 2
2 0
0
4
0
1
100 0
50
15
经过一次迭代即求得极小点 x 0 0 ,
函数极小值 f ( x) 0。
从牛顿法迭代公式的推演中可以看到,迭代点的位 置是按照极值条件确定的,其中并未含有沿下降方向搜 寻的概念。因此对于非二次函数,如果采用上述牛顿迭 代公式,有时会使函数值上升 。
0
26 52
0.5
从而算得一步计算后设计点的位置及其目标函数:
10
y1
2 40 10 200
0 0
( y1) 0
第四章 无约束方法详解

[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法,它们的 主要不同点在于构造搜索方向上的差别。
(1)间接法(导数法)——确定搜索方向时用到一 阶或(和)二阶导数的方法。如梯度法、(阻尼) 牛顿法、变尺度法、共轭梯度法等。
(2)直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定;即不使用导数信息,如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔(Powell)法 鲍维尔(Powell)修正算法
2020/9/23
6
§4-2 坐标轮换法(无约束优化直接解法)
一)搜索方向
依次沿n个正交坐标轴的方向搜索:
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter),函数引用 变量说明见程序注释。最优步长采用二次插值法计算,函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter),该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点,区间搜索函数采用进退法。 第二部分为用户应用程序; 第三部分为定义目标函数,调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序:
无约束优化方法PPT课件

从点xk出发,沿G某一共轭方向d k作一维搜索,到达xk 1
xk 1 xk ak d k
xk 1 xk ak d k 而在点xk、xk 1处的梯度分别为:
gk Gxk b gk1 Gxk1 b
gk1 gk G xk1 xk akGd k
等式两边同乘 d 0 T 得 d 0 T Gd1 0
d 0 d 1 是对G的共轭方向。
三、共轭方向法
1、选定初始点 x0 ,下降方向d 0 和收敛精度ε,k=0。
2、沿 d k 方向进行一维搜索,得 xk1 xk ak d k
3、判断 f xk1 是否满足,若满足则打印 xk1
xk1 xk k Hf xk
变尺度法是对牛顿法的修正,它不是计算二阶导数的矩阵和 它的逆矩阵,而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中,使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的,它对于一 般尺度的梯度起到改变尺度的作用,因此H又称变尺度矩阵。
第二节 最速下降法
优化设计追求目标函数值最小,若搜索方向取该点的负 梯度方向,使函数值在该点附近的范围内下降最快。 按此规律不断走步,形成以下迭代算法:
xk1 xk akf xk
以负梯度方向为搜索方向,所以称最速下降法或梯度法。
搜索方向确定为负梯度方向,还需确定步长因子ak
即求一维搜索的最佳步长,既有
共轭方向的概念是在研究二次函数
f x 1 xTGx bT x c
2 时引出的。 首先考虑二维情况
1 共轭方向
定义1:设G为 n n阶实对称正定矩阵,而 d i , d 为j 在n
最新第4章无约束优化方法PPT课件

第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想:
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索,其余各变量均固定不动,并依次轮换进行一
,
维探索的坐标轴,完成第一轮探索后再重新进行第二轮 探索,直到找到目标函数在全域上的最小点为止。
目的:将一个多维的无约束最优化问题,转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法(拟牛顿法)
DFP算法:
例 : 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
,
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ,并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算,并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式:
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作,一维搜索得xk 1 xk k d k ; 4)判断收敛:若满足 f ( x(k 1) ) , 则令x* xk 1,f ( x* ) f ( xk 1),
坐标轮换法

无约束优化方法——坐标轮换法一.基本原理坐标轮换法是每次允许一个变量变化,其余变量保持不变,即沿坐标方向轮流进行搜索的寻优方法。
它把多变量的优化问题轮流的转化成单变量的优化问题,因此又称变量轮换法。
在搜索的过程中可以不需要目标函数的导数,只需目标函数值信息。
它比利用目标函数导数建立搜索方向的方法简单的多。
以二元函数飞f(x1,x2)为例说明坐标轮换法的寻优过程。
从初始点x00出发,沿第一个坐标方向搜索,即d10=e1得x10=x00+a01*d01按照一维搜索方法确定最佳步长因子a01满足minf(x00+a*d01),然后从x01出发沿d02=e2方向搜索得x02=x01+a02*d02,其中步长因子a02满足minf(x01+a*d02),x02为一轮(k=0)的终点。
检验始、终点之间的距离是否满足精度要求,即判断||x02-x00||<e的条件是否满足。
若满足则x*=x02,否则令x10=x02,重新一次沿坐标方向进行下一轮的搜索。
对于n个变量的函数,若在第k 轮沿第i个坐标方向dki进行搜索,其迭代公式为xki=xk(i-1)+aki+dki(k=0,1,2…,i=0,1,2…n)其中搜索方向取坐标方向,即dki=ei(i=1,…n)。
若||xkn-x00||<e,则x*=xkn,否则x(k+1)0=xkn,进行下一轮搜索,一直到满足精度为止。
注:上述xki中,其中k为上标,i为下标二.例题及程序1.用坐标轮换法求f(1x,x)=10(1x+2x-5)^2+(1x-2x)^2极小值2.程序(1)function y=f(x)y=10*(x(1)+x(2)-5)^2+(x(1)-x(2))^2; ………………………..%定义f文件(2)d1=e1;syms a1;x1=x0+a1*d1;y1=f(x1);z1=diff(y1,a1);subs(z1);a1=solve(z1);%求沿e1方向最佳步长x1=x0+a1*d1;d2=e2;syms a2;x2=x1+a2*d2;y2=f(x2);z2=diff(y2,a2);subs(z2);a2=solve(z2);%求沿e2方向最佳步长x2=x1+a2*d2;m=x2-x0;m=double(m);t=norm(m); ……….%定义f2文件(3)x0=[0;0];e=0.001;e1=[1;0];e2=[0;1];f2; ………………%定义f3文件(4)f3;while (t>=e)x0=x2;f2;endx2=double(x2);xo=x2;xo…………………%定义f4文件三.程序框图四.计算结果及说明运用MATLAB运算结果如上所示,运算结果比较精确,跟课本上用鲍威尔方法计算结果比较相近。
第四章无约束优化方法

F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似,可以推出对于n维正定二次函数,共轭方向的一 个十分重要的极为有用的性质:从任意初始点出发,依次沿 n个线性无关的与A共轭的方向S1,S2,…Sn各进行一维搜 索,那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点;并且这个性质与所有的n个方向的次序无关。简 言之,用共轭方向法对于二次函数从理论上来讲,n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法(共轭方向的原始构成)
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
4.无约束优化方法

- 轾 f (X k ) 犏 f (X k ) 蜒 臌 臌
T
轾2
? f (X k )
0
轾 f (X k ) 蜒 臌
T
轾 2 f (X ) - 1 ? f (X ) k k 犏 臌
0
阻尼牛顿法
• 需对上述牛顿法进行改进,引入数学规 划法的搜索概念,提出所谓“阻尼牛顿 法”
2011-3-18
16
a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0 a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0
ai = 0
彼此关于A共轭的向量线性无关
1 0 0 0 0 1 0 0 e1 = 0 , e2 = 0 , e3 = 1 , L en = 0 M M M M 0 0 0 1
第四章 无约束优化方法
1. 概述 2. 最速下降法 3. 牛顿型方法 梯度法及共轭梯度法; 4. 梯度法及共轭梯度法; DFP变尺度法 变尺度法. 5. DFP变尺度法. 坐标轮换法; 6. 坐标轮换法; 鲍威尔法; 7. 鲍威尔法;
2011-3-18 1
1.概述
• 有些实际问题,其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法:梯度法;牛顿法;变尺度法 共同点:求导数 直接法:直接用函数值 搜索方向如何定?
坐标轮换法的基本思想:
把n维无约束优化问题转化为一系列一维优化问题来求 解,即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索, 每n次搜索记为一轮,轮换迭代,求解极值点。 基本迭代格式:
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ,
z
课后练习题: 用坐标轮换法求目标函数(迭代两轮)
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ,
算法特点:
1)不需对目标函数求导,方法简单; 2)收敛速度通常较低(其有效性取决于目标 函数的性态),仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则:
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤:
1)对于n个变量的函数,若在第k轮沿着第i个坐标 方向进行搜索,其迭代公式为: k k k i i −1 i i k 2)求最优搜索步长 α
x = x +α e
i
3)本轮所有方向搜索完毕,判断迭代终止条件:
x −x
k n
k 0
≤ε
k n
4)满足上式:
x =x
∗
否则,进行下一轮迭代。
图4-13 坐标轮换法 程序框图
z
例题: 用坐标轮换法求目标函数
(迭代两轮)
f ( x ) = x12 + x 22 − x1 x 2 − 4 x1 − 10 x 2 + 60
如:(1)等值线为椭圆,且长短轴分别平行于坐标轴时 --高效
X0
x2
X*
x2
oБайду номын сангаас
x1
o
(2)等值线为如图脊线时 --无效 (3)一般情况 --低效
x1