最优化方法步长加速法

T1,1 T1,0 1 (0.75,1)T ;
f (T1,1 2 ) 2.125 f (T1,1), f (T1,1 1) 1.125 f (T1,1),
T1,2 T1,1 2 (0.75, 0.75)T ; B2 T1,2.
T2,0 B1 2(B2 B1) (0.5, 0.5)T 第二轮迭代L
1 2
Y0 Yn
Y
步长
N
输出 Yn
停止
Y0 X 0
从Y0出发，依次沿ei 试探，得到Yi直到Yn
Y
f Yn f Y0
N
X k 1 Yn
Y0 X k X k1 X k
f Y0 f X k 1
Y
算法流程
N
Y0 X k 1
N
步长<误差？
Y 停止
三、步长加速法算法
设问题为：
min f x, x En
X0为初始点，e1, e2 ,..... en 依次为n个坐标的
单位方向量，初始坐标循环步长为 ，模式加
速搜索的加速因子为 2 ，迭代终止条件为
（为预先设定的正数）
三、步长加速法算法
开始
Y2 Y1 e2 (0, 2),且f (Y2 ) f(Y0 ), 试探成功
令X 1
Y2

(0,
2),
模矢为X 1

X0
(1, 1),
f
(X1)
f (Y2 ) 12
Y0 X0 (X1 X0 ) (1,1)
f (Y0 ) 4 12 f (X1), 模矢加速成功
第十一节 步长加速法
内容概要
一、步长加速法简介 二、步长加速法原理 三、步长加速法算法 四、步长加速法的性质与评价
一、步长加速法简介
1961年，Hooke和Jeeves提出的解无约束极 值问题的一种直接搜索方法，又称离散步长的 Hook- Jeeves算法。
该方法不需要梯度，仅通过比较目标函数值 的大小来移动迭代点，并最终找出最优点的一种 算法。
Y1+e2 =（0，1），f(Y1+e2 )=3>0=f(Y1) Y1 e2 (0, 1), f (Y1 e2 ) 3 0=f(Y1)
故Y2 Y1 (0, 0), f (Y2 ) f (Y0 ) 0, 坐标循环试探失败
令=
1 2
=0.5，Y0

Yn

k =0
Y0 =X0 =（-1，3），
故 Y0 +e1=（0，3），f(Y0 +e1)=27<f(Y0 )=28
Y1=Y0 +e1=（0，3），f(Y1)=27
Y1+e2 =（0，4），f(Y1+e2 )=48>27=f(Y1)
Y1 e2 (0, 2), f (Y1 e2 ) 12 27=f(Y1)
Y1 e2 (0, 0), f (Y1 e2 ) 0 3=f(Y1)
Y2 Y1 e2 (0, 0),且f (Y2 ) f(Y0 ), 试探成功
令X 2
Y2
(0, 0),
f
(Y2 )

f
(X1)
0,
Y0 X1 (X2 X1) (0, 2), f (Y0 ) 12 f (X2 ) 0
二、步长加速法原理
两个基本阶段
步长加速法的算法过程可以分成两个基本 阶段：坐标循环试探和模矢加速搜索。
坐标循环试探：探求一个沿各坐标方向搜 索得到的一个函数值小于出发点函数值的对应点， 并得到一个有利的方向。
模矢加速搜索：沿此有利方向加速移动。
二、步长加速法原理
1.坐标循环试探 设问题为
min f x, x En
如果探测成功，则执行第二个动作—模式加 速搜索。
二、步长加速法原理
2.模式加速搜索 前一个动作探测移动得到了更好的点Y，我
们把这个点赋给 X k1 ，这是我们的第二个基点。 我们猜测方向 (Xk1 Xk ) 是一个有利方向，则令 Y0 Xk (Xk1 Xk ) ，以得到下一次迭代的出发 点Y。这个动作称为模式加速移动，a称为加速因 子（一般取2） 。
1
. . T11
T10=B1
. T20
.
B2=T12
1
三、步长加速法算法
例题2：
设 X0 （1，3）, 终止条件是 0.3 ，用步长
加速法求解 min f X x12 3x22 。
三、步长加速法算法
解 取=1， =2， =0.3，e1=（1，0）T，e2 =（0，1）T
N
Y Y Y ej
f Y ej f Y ?
Y Y Y ej
N j ←j+1 N j=n?
Y
终点
坐标试探
X 0 Y0
Y1
Y X0 (X1 X0) 加速搜索
二、步长加速法原理
步长加速法解题思想
Y
开始 探测移动
成功？ Y 模式加速
N
成功？ N 退回起点
减缩步长
故Y0

X 2

(0, 0), 模矢加速失败
三、步长加速法算法
Y0 +e1=（1，0），f(Y0 +e1)=1>f(Y0 )=0
Y0 e1 (1, 0), f (Y0 e1) 1 f(Y0 )=0
故Y1 Y0 (0, 0), f (Y1) f (Y0 ) 0
二、步长加速法原理
如果有 f Y0 f X1 ，则加速成功,转入第一
步。 否则，令Y X1 ，转入第一步。
二、步长加速法原理
e2
Y2 X1
步长加速图例
Y0
探测移动,基点 X 0 Y←X 0 , j=1
ej 0 ••010••0T 为坐
标轴的单位方向向量
f Y ej f Y ?
三、步长加速法算法
令=
1 2
=0.25，Y0

Yn

(0, 0),计算结果仍有
f (Y2 ) f (Y0 ) 0,坐标循环试探失败
=0.25<0.3= ,满足终止条件
原问题最优解为X * Y2 (0, 0) 事实上，原问题的精确极小点正是(0, 0)点
三、步长加速法算法
x2
探测移动从一个基点 X0出发，依次沿n个坐 标轴方向用固定步长△探测目标值更小的点（新 的基点）。
二、步长加速法原理
为了形象的描述这个过程，我们可以设立一个动点Y。
探测移动,基点X 0 Y←X 0 , j=0
e j 0 • •010• •0T 为坐
标轴的单位方向向量
f Yj e j1 f Yj ?
(0, 0),有
f (Y0 +e1)=0.25=f (Y0 e1) 0.25 0 f (Y0 )
故Y1 Y0 (0, 0), f (Y1) f (Y0 ) 0
f (Y1+e2 )=f (Y1 e2 ) 0.75 0 f (Y0 )
故Y2 Y1 (0, 0), f (Y2 ) f (Y0 ) 0, 坐标循环试探失败
N
f Yj e j1 f Yj ?
j ←j+1
Y
N
J<n-1?
N
终点
Y
Y Y j e j1
Y
Y Y j e j1
二、步长加速法原理
当探测完成后，有两种可能：
① X0 Y
f Y f X 0
② X0 Y
沿所有方向探测全部失败
如果探测移动失败，则缩短步长，最从初始 基点重新探索…..，直至步长小于预定的△。
(-1,3)
(0,3)
取 1， 2， 0.3，
e1 1,0T , e2 0,1T
(1,1)
(1,0)
x1
三、步长加速法性质与评价
1.步长加速法的收敛速度是线性的，如果目标 函数可微，则可收敛到平稳点；
2.可用于任何形式的目标函数； 3.收敛速度比较慢，但是编制程序比较简单，
而且可靠。
谢谢！
三、步长加速法算法
Y0 +e1=（2，1），f(Y0 +e1)=5>f(Y0 )=4
Y0 e1 (0,1), f (Y0 e1) 3 f(Y0 )=4
故Y1 Y0 e1 (0,1), f(Y1)=3
Y1+e2 =（0，2），f(Y1+e2 )=12>3=f(Y1)
三、步长加速法算法
例题1：
用步长加速法求解min f (x) x12 x22,
初始点B1 (1,1)T ,i 0.wk.baidu.com5(i 1, 2).
三、步长加速法算法
解 : 第一轮迭代
T1,0 B1 (1,1)T , f (T1,0 ) 2,1 2 0.25,
f (T1,0 1) 2.5625 f (T1,0 ), f (T1,0 1) 1.5625 f (T1,0 ),