5- 优化设计-2下降迭代原理和一维优化方法

f p <f 2 x p <x 2 x3=x2 x2=xp f p <f 2 x p >x 2 x1=x2
x2＝xp
22
２) 二次插值法的插值多项式
插值多项式基本形式： f(x) =a0+a1x +a2x2 插值多项式系数计算方法： 2 2 2 2 2 2 x1 x2 f x3 x2 x3 f x1 x3 x1 f x2 a1 x1 x2 x2 x3 x3 x1
13
２）进退法确定初始搜索区间的思路
更新试算点 目 标 函 数 三 个 试 算 点
X1 < X2 < X3
N
f(x1)>f(x2)? f(x3)>f(x2)?
Y
计算 求极小值 比较 三点 求极大值 函数 f(x1)<f(x2)? 值 f(x3)<f(x2)? 更新试算点
单 谷 区 间 单 峰 区 间
x x f x x x f x x x f x a x x x x x x
1 2 3 2 3 1 3 1 2 2 1 2 2 3 3 1
X1,X2,X3是依据进退法所确定极值搜 索区间的两端点和一内点
23
３）插值法多项式极值计算方法
20
４) 黄金分割法运算流程(以求极小值为例)
给定搜索区间[a0, b0]、收敛精度ε a=a0;b=b0 x1=a+0.382(b-a),f1=f(x1) x2=a+0.618(b-a),f2=f(x2)
f1<f2
是 否
以[x1,b]为新搜索区间 a0=x1;b0=b 否 是
b x2 ; b a
10
４、进退法
1）进退法确定初始搜索区间的原理
查找目标函数上相邻三点函数值按 “高－低－高”变化的单谷区间或按“低 －高－低”变化的单峰区间。
11
函数在单谷区间中一定存在极小值
F(x)
t0 a1 a2
t0 a3
2t0 a
12
函数在单峰区间中一定存在极大值
F(x)
t0 a1 a2
t0 a3
2t0 a
代入插值点计算公式可得
x p 0.555, f p 0.292
由于
f p f 2 , x p x2
故新区间为： a , b a , x2 0,1
27
由于 x x 1 0.555 0.445 0.2
2 p
故应继续作第二次插值计算，在新区间 内给定相邻三点及其函数值依次为：
故一维搜索结束，极小点和极小值为：
x x p 0.607, f 0.243
* *
29
X(0)、 X(1)、 X(2)、 …、X(k)、 X(k+1) …X*
保证目标函数值依点列递减
f(X(0)) >f(X(1)) > …> f(X(k)) > f(X(k+1)) …min
2
３） 下降迭代法基本流程
初始点x(k) ∈S, k =1
k=k+1
对x(k)点选择下降 可行方向d(k)
构造新点 使x(k+1)∈S
x ( k 1 ) x ( k ) ( k )d ( k )
no
是否满足收敛条件？
yes
停
3
４）下降迭代算法的关键问题
①下一迭代点的构造方向 搜索方向不同将构成不同的下降迭代算法 ②下一迭代点构造的距离－步长因子 一般通过一维搜索法取得最优步长因子 ③何时停止构造下一迭代点－收敛准则 用以判断迭代点是否能够作为最优点
3 f ( x ) 3 x 4x 2 例：用二次插值法求函数 的极小点，给定 x0 0, h 1, 0.2
解：1）进退法确定初始搜索区间
x1 x0 0, f1 f ( x1 ) 2
x2 x1 h 0 1 1, f 2 f ( x2 ) 1
５） 下降迭代算法迭代算式的基本形式
X
k 1
X
k
aS
k
4
5）下降迭代算法的基本步骤
1）给定一个初始点X(0)和收敛精度ε
2）选取搜索方向S(k)
3）确定步长因子a，沿搜索方向构造新迭
代点
4）基于新迭代点进行收敛性判断（若新点满
足收敛精度，则其为最优点，终止计算；否则，以其为新 起点，转步骤2进行下一轮迭代）
对于目标函数的二次插值法多项式 f(x) =a0+a1x +a2x2 a1 由f’(x)=0可得其极小点为 x p 2a2 代入系数a1, a2计算公式
1 x1 x2 f x3 x2 x3 f x1 x3 x1 f x2 xp 2 x1 x2 f x3 x2 x3 f x1 x3 x1 f x2
x1 0, x2 x p 0.555, x3 x2 1, f1 2, f 2 0.292, f 3 1
将它们代入插值点计算公式得新的插入 点及其函数值为：
x p 0.607, f p 0.243
28
由于
x2 x p 0.555 0.607 0.052 0.2
18
５、黄金分割法、二次插值法原理 区间削去－不断从极值区间一侧删除不含
极值点的部分，使区间逐步缩短逼近极值点
19
６、黄金分割法
1)方法特点：基于区间消去原理
以0.618为缩小比例生成内点，进行 区间削去。
２)、黄金分割法内点迭代公式
X1=a+(1- λ)(b-a) X2=a +λ(b-a) λ=0.618
由于
f1 f 2 ，应加大步长继续前探
x3 x2 h 2, f 3 f ( x3 ) 18
由于
f2 f3
可知初始区间已经找到，即
a , b 0,2
26
2）用二次插值法逼近极小点 给定初始区间内相邻三点及函数值为：
x1 0, x2 1, x3 2, f1 2, f 2 1, f 3 18
极小点在X1左侧
16
3： 如果f(x1)＞f(x2),
f(x2) <f(X3)
搜索结束 区间［X1,X3］ 为极值搜索区间 极小点在X1,X3之间
17
３）进退法算法步骤
１、针对目标函数，给定三个试算点 x1 ，x2，x3， （x1＜x2＜x3） ２、计算比较x1，x2，x3三点函数值大小， 并根据函数值大小更改试算点x1，x2，x3 ３、继续比较三试算点函数值大小直至： f(x1)>f(x2),f(x2)<f(X3) 或 f(x1)<f(x2),f(x3)<f(X2) 为止。
8
一维优化方法
一维搜索法
1.概念：基于下降迭代原理，通过数 值迭代求解一元函数极小值的方法
最基本、简单的优化方法
２.用途：
一元函数求优
多元函数优化问题搜索方向上求最优步
长
9
３、一维搜索法的实现步骤和方法
确定极值点的初始搜索区间
进 退 法
在极值区间搜索极值点
黄 金 分 割 法
二 次 插 值 法
14
Y
N
３）试算点更新方法(以求极小值为例)
１： 如果f(x1)>f(x2), f(x2) >f(X3)
极小点在X3右侧
在 X3 右侧按一定 步长构造两试算 点继续比较 X1=x3 X2=x3+h X3=x3+2h
15
2： 如果f(x1)<f(x2), f(x2) <f(X3) 在X１左侧按一定 步长构造两试算 点继续比较 X３=x１ X2=x１－h X１=x１－2h
一维优化方法
１、概念：针对一元函数进行求
优的相关数值迭代方法的总称。
一维求优的实现原理-数值迭代
1
数值迭代实现求优的方法原理 -下降迭代算法－复杂函数优化方法基本原理
１） 特点用途：解决多变量、多约束的非
线性极小化问题。
２）下降迭代法基本思路
依优化目标，按照某一迭代格式，从一个 初始点X(0)出发逐步构造一个点列
5
７、下降迭代算法收敛准则
(1)点距准则：用相邻两迭代点距离判断
X
k 1
X
k

则: X X
*
k 1
(2)值差准则：用相邻两迭代点函数值 差判断
f X k 1 f X k 或 f X
k 1
f X 则 : X X f X
k
*
k 1
6
k
(3)梯度准则：用相邻两迭代点梯 度模长判断
f X
k 1

k 1
则: X X
*
7
下降迭代算法小节
１）本质和内涵： 下降－优化的目标和依据 迭代－优化的方法和手段 ２）作用价值：
迭代求优的理论依据、方法基础
３）地位： 目前实际中所使用各种一维、多维优 化方法所共同遵循的基本方法。
是 停止 X*=(b+a)/2 否
a x1 ; b a
停止 X*=(b+a)/2
以[a,x2]为新搜索区间 a0=a;b0=x2
21
７、 二次插值法
１)二次插值法特点：以极值点搜索区间
中三点所构造的目标函数的二次插值函数 （目标函数二次近似多项式）的极值点作为内点， 进行区间削去。
2 2 2 2 2 2
24
4)二次插值法收敛条件和极值判定
收敛条件：以当前迭代区间两内点Xp,X 2的距离充分小作为收敛准则．
x p x2
极值判定原则：根据收敛时点Xp,X2 处 函数值大小，以小者或大者为极值点．
Leabharlann Baidu
５）优势
基于目标函数近似插值多项式函数的极 值点，可快速收敛到极值点
25