第六节_无约束优化方法 鲍威尔

结论：从不同的点出 发沿某一方向分别对 函数作两次一维搜索 ，得到两个极小点， 那么这两个极小点的 连线方向与该方向对 G共轭
二、鲍威尔基本算法
鲍 威 尔 基 本 算 法 的 搜 索 过 程 （ 二 维 ）
二、鲍威尔基本算法
鲍 威 尔 基 本 算 法 的 搜 索 过 程 （ 三 维 ）
鲍威尔基本算法的步骤：
m max[ F ( xik1 ) F ( xik )] Fm1 Fm （1≤m≤n）
k k k x d x 及与之相对应的两个点 m 1 和 m ，并以 m 表示两点
的连线方向。
（4）关键点函数值
k k k xn 2 x x 1 n 0
k F1 F ( x0 ) k F3 F ( xn 1 ) k F2 F ( xn )
7.9883 x* x 5.9981
5 2
f * f ( x*) 7.95025
§4.5
3. 方法评价：
坐标轮换法
• 方法简单，容易实现。 • 当维数增加时，效率明显下降。
收敛慢，以振荡方式逼近最优点。
•
受目标函数的性态影响很大。 如图 a) 所示，二次就收敛到极值点； 如图 b) 所示，多次迭代后逼近极值点；
按照以下两种情况处理： 1) 上式中至少一个不等式成立，则第k+1轮的 基本方向仍用老方向组d1k、d2k、 • • • 、 dnk。 k+1轮的初始点取 x0k+1=xnk F2<F3 x0k+1=xn+1k F2F3
2）两式均不成立，则淘汰函数值下降最大的方向， 并用第k轮的新生方向补入k+1轮基本方向组的最后， 即k+1轮的方向组为d1k、d2k 、 • • • 、 dm-1k、 dm+1k 、 • • • 、dnk、 dk 。
§4.6
鲍威尔方法
一、共轭方向的生成
x k , x k 1
为两个极小点
根据梯度与等值面之间关系可知
d d d
j T
j T j T
gk 0 g k 1 0
( g k 1 g k ) 0
§4.6
鲍威尔方法
k 1
一、共轭方向的生成
对于二次函数，x 的梯度可表示为
F ( xik1 ik dik ) min F ( xik1 i dik )
k
得到点阵
xik xik1 ik dik
i=1，2……n
构成新生方向 k k d k xn x0
k 沿 d 方向进行一维搜索求得优化步长 k
k xk xn kdk
(3)计算各迭代点的函数值 F ( xik ) ，找出相邻点函数值差最大者
此问题可由某种一维优化方法求出α1:
21 10 0
1 5
5 x 0
1 1
1 x 以 1 为新起点，沿e2方向一维搜索 5 0 5 1 1 x2 x1 2 e2 2 0 1 2
1 min F ( x1 2e2 ) 222 22 7
α2=0.5
3 0 3 x x 2 e2 0.5 1 1 1.5
§4.5
⑵迭代计算
k i
坐标轮换法
k i 1
x x
e
k i i
k为迭代轮数的序号，取k=1，2，……； i为该轮中一维搜索的序号，取i=1，2，……n 步长α一般通过一维优化方法求出其最优步长。
⑶判断是否中止迭代
应该是一轮迭代 的始点和终点， 不是某搜索方向 的前后迭代点。
x x ?
k
,x
两点处
gk Gx b
k
gk 1 Gx
k 1
b
k 1
gk 1 gk G( x
代入到公式：
x )
k
d
j T
( g k 1 g k ) 0
§4.6
鲍威尔方法
j T
一、共轭方向的生成
d
j T

( g k 1 g k ) d

G( x k 1 x k ) 0
x3 e3 S1 e2 x2
2e2
x1
3e3
1=0
鲍威尔基本算法的退化
三、鲍威尔修正算法
在某轮已经取得的n+1个方向中，选取n个线性无关的 并且共轭程度尽可能高的方向作为下一轮的基本方向组 鲍威尔修正算法的搜索方向的构造：在第 k轮 的搜索中 ， x0k 为初始点，搜索方向为d1k、d2k 、 • • • 、 dnk，产生 的新方向为dk ，此方向的极小点为xk。沿dk方向移动得到点 xn+1k=2xnk-x0k ， 称之为x0k对xnk的映射点。 计算x0k 、 x1k、 • • • 、 xnk、xk、xn+1k 各点的函数值， 记作：
若在第k轮的优化搜索过程中出现1k=0，则方向dk表
示为d2k、 d3k 、 • • • 、 dnk的线性组合，以后的各次搜索 将在降维的空间进行，无法得到n维空间的函数极小值， 计算将失败。
S1
如图所示为一个 三维优化问题的 示例，设第一轮 中1 =0 ，则新 生方向与e2 、e3 共面，随后的各 环方向组中，各 矢量必在该平面 内，使搜索局限 于二维空间，不 能得到最优解。
若至少其中之一成立转下步，否则转步骤⑺ ⑹ 确定k+1轮的基本方向组和起始点
dik 1 dik
（即取老方向组） 当F2＜F3
k x n k 1 x0 k k 2 x x 0 n
当F2≥F3
令k←k+1，返回步骤⑵
⑺ 确定k+1轮的方向组和起始点
k k dik 1 (d1k ,, dm , d 1 m1 ,dk )
0
解：做第一轮迭代计算 1 1 x x 沿e1方向进行一维搜索 1 0 1e1 1 x0 式中， 为第一轮的起始点，取
x x
1 0
0
0 1 1 x 1 0 0 0
1 1
按最优步长原则确定最优步长α1，即极小化
1 min F ( x1 ) 12 101 60
1） 第一轮基本方向组取单位坐标矢量系e1、 e2、 e3 、 …、 en，沿这些方向依次作一维搜索，然后将始末两点 相连作为新生方向。 2 ）再沿新生方向作一维搜 索，完成第一轮的迭代 。以后每轮的基本方向 组是将上轮的第一个方 向淘汰，上轮的新生方 向补入本轮的最后而构 成： d2k , d3k , …… dnk , dk
d1k
k x0 (F1)
函数下降量△
k dn
始点
k k xn (F2)
d
x
反射点
k xn 1 (F3)
k
终点 dk方向极小点
四、 修正算法的迭代步骤及流程图
Powell算法的步骤如下：
1 ⑴ 任选初始迭代点 x0 ，选定迭代精度ε，取初始基本 方向组为单位坐标矢量系
di1 ei
其中，i=1，2……n 然后令k=1（轮数）开始迭代 ⑵ 沿 di 诸方向依次进行n次一维搜索，确定各步长
如图 c) 所示，目标函数等值线出现山脊（或称陡 谷），若搜索到 A 点，再沿两个坐标轴以±t0步长 测试，目标函数值均上升，计算机判断 A 点为最优 点。事实上发生错误。
§4.6
鲍威尔方法
鲍威尔方法是直接搜索法中一个十 分有效的算法。该算法是沿着逐步产生的 共轭方向进行搜索的，因此本质上是一种 共轭方向法。
第四章 无约束优化方法
4.1 最速下降法 4.2 牛顿型方法 4.3 共轭梯度法 4.4 变尺度法 4.5 坐标轮换法 4.6 鲍威尔方法 4.7 单形替换法
§4.5
一. 坐标轮换法： 1. 基本思想：
坐标轮换法
每次搜索只允许一个变量 变化，其余变量保持不变， 即沿坐标方向轮流进行搜 索的寻优方法。它把多变 量的优化问题轮流地转化 成单变量（其余变量视为 常量）的优化问题，因此 又称这种方法为变量轮换 法。此种方法只需目标函 数的数值信息而不需要目 标函数的导数。
k x0 (F1)
d
k n
始点
d xk
反射点
k (F3) xn 1
k
k xn (F2)
终点
为了构造第k+1轮基本方向组，采用如下判 别式：
F3 F1 m 2 2 ( F 2 F F )( F F ) ( F F ) 1 2 3 1 2 m 1 3 2
以最优步长原则确定α2，即为极小化
min F ( x ) 102 60
1 1 2 2
2 4.5
5 x 4.5
1 2
对于第一轮按终止条件检验
1 2 2 x1 x 5 4.5 6.7 2 0
计算5轮后，有 故近似优化解为
5 5 x2 x0 0.0413
F1=F(x0k)
F3=F(xn+1k)
Fk)
m max i fm1 fm
1i n
是第k轮方向组中，依次沿各方向搜索函数下降值
k x2
d
鲍 威 尔 算 法 的 方 向 淘 汰
k 2
x1k
d1k
k xm 1
d3k
k xm
函数最大下降量△m
沿第一坐标方向e1进行一维搜索
1 min F ( x0 1e1 ) 12 41 3
α1=2
1 F ( x1 ) 7
1 1 3 x x 1e1 2 1 0 1
1 1 1 0
1 以 x1 为起点，改沿第二坐标轴方向e2进行一维搜索
k x2 k d3 k d2 k x1
d1k
k xm 1
k xm
函数最大下降量△m
k dn
k x0 (F1)
始点
d
x
k
k
k xn (F2)
终点
反射点
k xn 1 (F3)
k+1轮的初始点取: x0k+1=xk xk是第k轮沿dk方向搜索的极小点。
k x2
k d2
k x1
d
k xm
k 3
k xm 1
i←i+1
N
i=n? Y
k k xn x0 ?
k←k+1
x* x
结束
k n
Y
N
k 1 xk x0 n
例:用坐标轮换法求下列目标函数的无约束最优解。
2 F ( x) x12 x2 x1x2 10x1 4x2 60
0 给定初始点 x ，精度要求ε=0.1 0
鲍威尔基本算法的缺陷：
可能在某一轮迭代中出现基本方向组为线性相关的 矢量系的情况。如第k轮中，产生新的方向：
dk=xnk-x0k=1kd1k+ 2kd2k + • • • + nkdnk 式中， d1k、d2k 、 • • • 、 dnk为第k轮基本方向组矢 量， 1k 、 2k、 • • • 、 nk为各方向的最优步长。
（5） 判断是否满足迭代终止条件。
k x k x0
k 则可结束迭代，最优解为 x* x F * F ( x*) 停止计算。否则，继续进行下步。
检验鲍威尔判别条件是否成立
F3 F1 m 2 2 ( F 2 F F )( F F ) ( F F ) 1 2 3 1 2 m 1 3 2
§4.5
坐标轮换法
计算步骤:
⑴任选初始点,确定搜索方向
第一轮的起点
1 ，置n个坐标轴方向矢量为单位坐标矢量 x0
1 0 e1 0 0
0 1 e 2 0 0
0 0 e n 0 1
k 1 x0 xk
令k←k+1，返回步骤⑵
例 试用鲍威尔修正算法求目标函数的最优解。已知
T 初始点 x0 [1 1] ，迭代精度ε=0.001
2 F ( x) x12 2x2 4 x1 2x1 x2
解：第一轮迭代计算 1 1 x0 1
1 F1 F ( x0 ) 3
k n k 0
如满足，迭代中止， 并输出最优解 否则，令k←k+1 返回步骤（2）
最优解
x* x k
F * F ( x*)
开 始 给定 x0 ,ε
0
坐 标 轮 换 法 的 流 程 图
K←1 i←1
沿ei方向一维搜索αi
xk xk k e i i 1 i i
x xik
f←f(x)