演示文稿第六节无约束优化方法鲍威尔

第十九页，共46页。
x3
x1
1=0
2e2
S1
e3
S1
e2
x2 3e3
鲍威尔基本算法的退化
三、鲍威尔修正算法
在某轮已经取得的n+1个方向中，选取n个线性无关的并且共 轭程度尽可能高的方向作为下一轮的基本方向组
鲍威尔修正算法的搜索方向的构造：在第k轮的搜索中， x0k 为初
始点，搜索方向为d1k、d2k 、 • • • 、 dnk，产生的新方向为dk ，此 方向的极小点为xk。沿dk方向移动得到点 xn+1k=2xnk-x0k ， 称之为 x0k对xnk的映射点。
第六页，共46页。
开始
给定 x00 ,ε
K←1 i←1
沿ei方向一维搜索αi
xik xik1ikei
x xik f←f(x)
N
i←i+1
x* xnk Y
i=n? Y
xnk x0k ?
结束
k←k+1
N
x0k 1 xnk
例:用坐标轮换法求下列目标函数的无约束最优解。
F (x) x12 x22 x1x2 10x1 4x2 60
第十七页，共46页。
鲍威尔基本算法的缺陷：
可能在某一轮迭代中出现基本方向组为线性相关的矢量 系的情况。如第k轮中，产生新的方向：
dk=xnk-x0k=1kd1k+ 2kd2k + • • • + nkdnk 式中， d1k、d2k 、 • • • 、 dnk为第k轮基本方向组矢量， 1k 、 2k、 • • • 、 nk为各方向的最优步长。
第三页，共46页。
§4.5 坐标轮换法
计算步骤:
⑴任选初始点,确定搜索方向
x 第一轮的起点 ，置01 n个坐标轴方向矢量为单位坐标矢量
1
0
e1
0
0
0
1
e2
0
0
0
0
en
0
1
第四页，共46页。
§4.5 坐标轮换法
⑵迭代计算
xik
xk i 1
k i
ei
k为迭代轮数的序号，取k=1，2，……； i为该轮中一维搜索的序号，取i=1，2，……n
计算x0k 、 x1k、 • • • 、 xnk、xk、xn+1k 各点的函数值，记作：
F1=F(x0k) F2=F(xnk) F3=F(xn+1k) = F(xm-1k)-F(xmk)
是第k轮方向组中，依次沿各方向搜索函数下m降值m1iaxn i fm1 fm
第二十页，共46页。
x2k
d
k 2
F3
F
(
xk n1
)
F2 F (xnk )
（5） 判断是否满足迭代终止条件。
xk x0k
则可结束迭代，最优解为 x* xk F* F (x*)
停止计算。否则，继续进行下步。
第二十七页，共46页。
检验鲍威尔判别条件是否成立
F3
F1
(F1
2F2
F3 )(F1
F2
m )2
m 2
(F1
F3 )2
(3)计算各迭代点的函数值 F (xik，) 找出相邻点函数值差最大者
m
max[
F
(
xk i 1
)
F (xik )]
Fm1
Fm
（1≤m≤n）
及与之相对应的两个点 xmk 1和 xmk，并以 dmk表示两点
的连线方向。
第二十六页，共46页。
（4）关键点函数值
xk n1
2 xnk
x0k
F1 F (x0k )
x2k
d
k 2
d
k 3
x1k d1k
xmk
xk m 1
函数最大下降量△m
d
k n
x0k (F1) 始点
dk xk
xnk (F2) 终点
反射点
第二十三页，共46页。
xk n 1
(F3)
k+1轮的初始点取:
x0k+1=xk xk是第k轮沿dk方向搜索的极小点。
x2k
d
k 2
x1k
d
k 3
xmk
函数下降量△
1） 第一轮基本方向组取单位坐标矢量系e1、 e2、 e3 、…、
en，沿这些方向依次作一维搜索，然后将始末两点相连作为新生 方向。
2）再沿新生方向作一维搜索
，完成第一轮的迭代。以后 每轮的基本方向组是将上轮 的第一个方向淘汰，上轮的 新生方向补入本轮的最后而 构成：
d2k , d3k , …… dnk , dk
xk m 1
d
k n
反射点
第二十四页，共46页。
xk n 1
(F3)
dk
xnk (F2)
终点
xk
dk方向极小点
d1k
x0k (F1) 始点
四、 修正算法的迭代步骤及流程图
Powell算法的步骤如下： ⑴ 任选初始迭代点 x，01 选定迭代精度ε，取初始基本
方向组为单位坐标矢量系
di1 ei
其中，i=1，2……n 然后令k=1（轮数）开始迭代
按照以下两种情况处理：
1) 上式中至少一个不等式成立，则第k+1轮的基
本方向仍用老方向组d1k、d2k、 • • • 、 dnk。 k+1轮
的初始点取
x0k+1=xnk
F2<F3
x0k+1=xn+1k
F2F3
第二十二页，共46页。
2）两式均不成立，则淘汰函数值下降最大的方向 ，并用第k轮的新生方向补入k+1轮基本方向组的最后 ，即k+1轮的方向组为d1k、d2k 、 • • • 、 dm-1k、dm+1k 、 • • • 、dnk、 dk 。
度可表示为
gk Gxk b gk1 Gxk1 b
gk1 gk G(xk1 xk )
代入到公式：
dj
T
(gk1 gk ) 0
第十三页，共46页。
§4.6 鲍威尔方法
一、共轭方向的生成
d j
T
(gk1 gk )
dj
T G(xk1 xk ) 0
结论：从不同的点出
发沿某一方向分别对函 数作两次一维搜索，得
如图 a) 所示，二次就收敛到极值点；
如图 b) 所示，多次迭代后逼近极值点；
如图 c) 所示，目标函数等值线出现山脊（或称陡谷）， 若搜索到 A 点，再沿两个坐标轴以±t0步长测试，目标函数 值均上升，计算机判断 A 点为最优点。事实上发生错误
。
第十页，共46页。
§4.6 鲍威尔方法
鲍威尔方法是直接搜索法中一个十分 有效的算法。该算法是沿着逐步产生的共 轭方向进行搜索的，因此本质上是一种共 轭方向法。
,
dk )
xk 1 0
xk
令k←k+1，返回步骤⑵
第二十九页，共46页。
例 试用鲍威尔修正算法求目标函数的最优解。已知
初始点 x0 [1 1，]T 迭代精度ε=0.001
F ( x)
x12
2
x
2 2
4 x1
ቤተ መጻሕፍቲ ባይዱ
2 x1 x2
解：第一轮迭代计算
x01
1 1
F1 F (x01 ) 3
沿第一坐标方向e1进行一维搜索
)
7
第三十三页，共46页。
检查鲍威尔条件
F3 F1
(F1
2F2
F3 )(F1
F2
m )2
m 2
(F1
F3 )2
(F1 2F2 F3 )(F1 F2 m )2 1.25
m 2
(F1
F3 )2
32
于是可知
F3 F1
(F1
2F2
F3 )(F1
F2
m )2
m 2
(F1
F3 )2
鲍威尔条件两式均不成立。第二轮取基本方向组和起始
21 10 0
1 5
以 x11为新起点，沿e2方向一维搜索
x11
5 0
x12
x11
2e2
5 0
2
0
1
5
2
以最优步长原则确定α2，即为极小化
min
F
( x11 )
2 2
10 2
60
2 4.5
x12
5 4.5
第八页，共46页。
对于第一轮按终止条件检验
x12 x01 52 4.52 6.7
0
1
3 1.5
F2 F (x12 ) 7.5
构成新方向
d1
x12
x01
3 1.5
1 1
2 0.5
第三十一页，共46页。
沿d1方向进行一维搜索得极小点与极小值
19
x1
5
17
10
F (x1) 7.9
计算点距
xk x0k
19 5
12
17 10
12
2.886
需进行第二轮迭代计算
若至少其中之一成立转下步，否则转步骤⑺
⑹ 确定k+1轮的基本方向组和起始点
d k 1 i
dik
（即取老方向组）
xk 1 0
xnk
2
xnk
x0k
当F2＜F3 当F2≥F3
令k←k+1，返回步骤⑵
第二十八页，共46页。
⑺ 确定k+1轮的方向组和起始点
d k 1 i
(d1k
,
,
dk m1
,
d
k m1
x1k
鲍
威
d3k
尔
算 法
xmk
函数最大下降量△m
xk m1
的
方
d
k n
向
淘 汰
dk
xnk (F2)
终点
xk
反射点
第二十一页，共46页。
xk n1
(F3)
d1k
x0k (F1)
始点
为了构造第k+1轮基本方向组，采用如下判别 式：
F3 F1
(F1
2F2
F3 )(F1
F2
m )2
m 2
(F1
F3 )2
⑵ 沿 di诸k 方向依次进行n次一维搜索，确定各步长
F
(
xk i 1
k i
dik
)
min
F
(
xk i 1
i dik
)
第二十五页，共46页。
得到点阵
xik
xk i 1
k i
dik
i=1，2……n
构成新生方向
d k xnk x0k
沿 d k方向进行一维搜索求得优化步长
k
xk xnk k d k
到两个极小点，那么
这两个极小点的连线
方向与该方向对G共轭
第十四页，共46页。
二、鲍威尔基本算法
鲍 威 尔 基 本 算 法 的 搜 索 过 程 （ 二 维 ）
第十五页，共46页。
二、鲍威尔基本算法
鲍 威 尔 基 本 算 法 的 搜 索 过 程 （ 三 维 ）
第十六页，共46页。
鲍威尔基本算法的步骤：
给定初始点
x0
0，精度要求ε=0.1 0
解：做第一轮迭代计算
沿e1方向进行一维搜索
x11 x01 1e1
式中， x为01 第一轮的起始点，取
x01 x0
x11
0 0
1
1 0
1
0
第七页，共46页。
按最优步长原则确定最优步长α1，即极小化
min F (x11) 12 101 60
此问题可由某种一维优化方法求出α1:
步长α一般通过一维优化方法求出其最优步长。
⑶判断是否中止迭代
应该是一轮迭代的 始点和终点，不是 某搜索方向的前后 迭代点。
xnk x0k ?
如满足，迭代中止， 并输出最优解
否则，令k←k+1 返回步骤（2）
最优解 x* xk F* F (x*)
第五页，共46页。
坐 标 轮 换 法 的 流 程 图
若在第k轮的优化搜索过程中出现1k=0，则方向dk表示为
d2k、 d3k 、 • • • 、 dnk的线性组合，以后的各次搜索将在降维的 空间进行，无法得到n维空间的函数极小值，计算将失败。
第十八页，共46页。
如图所示为一个 三维优化问题的 示例，设第一轮 中1 =0 ，则新生 方向与e2 、e3共面 ，随后的各环方 向组中，各矢量 必在该平面内， 使搜索局限于二 维空间，不能得 到最优解。
点为
di2 (e2 , d 1 )
x02 x1
F1 F (x02 ) 7.9
第三十四页，共46页。
沿e2方向作一维搜索得
19
x12
5
19
10
F (x12 ) 7.98
以 x12为起点沿d1方向一维搜索得
99
x22
25
min F (x01 1e1) 12 41 3
x11
x01
1e1
1 1
2
1 0
3 1
F (x11) 7
α1=2
第三十页，共46页。
以 x11为起点，改沿第二坐标轴方向e2进行一维搜索
min F (x11 2e2 ) 222 22 7
α2=0.5
x12
x11
2 e2
3 1
0.5
演示文稿第六节无约束优化方 法鲍威尔
第一页，共46页。
第六节无约束优化方法鲍威尔 ppt课件
第二页，共46页。
§4.5 坐标轮换法
一. 坐标轮换法：
1. 基本思想：
每次搜索只允许一个变量变 化，其余变量保持不变，即 沿坐标方向轮流进行搜索的 寻优方法。它把多变量的优 化问题轮流地转化成单变量 （其余变量视为常量）的优 化问题，因此又称这种方法 为变量轮换法。此种方法只 需目标函数的数值信息而不 需要目标函数的导数。
第十一页，共46页。
§4.6 鲍威尔方法
一、共轭方向的生成
xk , xk 1 为两个极小点
根据梯度与等值面之间关系可知
d j T gk 0
d j
T
gk1 0
d j
T
(gk1 gk ) 0
第十二页，共46页。
§4.6 鲍威尔方法
一、共轭方向的生成 对于二次函数， xk , xk两1点处的梯
计算5轮后，有
x25 x05 0.0413
故近似优化解为
x*
x25
7.9883 5.9981
f * f (x*) 7.95025
第九页，共46页。
§4.5 坐标轮换法
3. 方法评价：
• 方法简单，容易实现。
• 当维数增加时，效率明显下降。
收敛慢，以振荡方式逼近最优点。
• 受目标函数的性态影响很大。
第三十二页，共46页。
第二轮迭代计算
首先确定上轮中的最大函数下降量及其相应方向
1 F (x01 ) F (x11) 4 2 F (x11) F (x12 ) 0.5
m max[1, 2 ] 4
d
1 m
e1
映射点及其函数值
x1 n1
2 x12
x01
2
3 1.5
1 1
5 2
F3
F
(