单变量函数的优化方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为待定常数；
2020/7/12
15
2、在保留下来的区间内再插入一点所形成的区间新三段， 与原来区间的三段具有相同的比例分布 。
设： 区间 [a,b]长度为1，保留下来区间为 [a, a2 ]，其长度
为 ，区间缩短率为 。为了保持相同比例分布，新插入
点 a3 应在 (1 位) 置上， a在1 原区间的 1 位置相当于
X X k tpk
其中 t 为步长因子，为实系数，此时pk方向上任何一点的目标函 数值为 f ( X k tpk ) ，它是参数 t 的一元函数。那么在沿pk方向 求 f (X ) 的极小点，这就是求一元函数 f (Xk tpk ) 的极小问题， 它可表示为：
t : min f ( X k tpk )
它适用于 [ a, b ] 区间上的任何单谷函数求极小值问题。 对函数除要求“单谷”外不作其他要求，甚至可以不连 续。因此，这种方法的适应面相当广。
2020/7/12
14
黄金分割法对插入点的要求：
1、插入点 a1 、 a2的位置相对于区间 [a,b]两端具有对称性，
即：
a1 b a1b b (b a) a2 b a2b a (b a)
2020/7/12
18
3）根据区间消去法原理缩短搜索区间。
为了能用原来的坐标点计算公式，需进行区间名称的代换，并在保 留区间中计算一个新的试验点及其函数值。
如果：f1 f2 如果：f1 f2
[a, 2 ]
[a1 , b]
b 2 , 2 1, f2 f1 记 N0=0； a 1, 1 2 , f1 f2 记 N0=1；
图3-2表示a沿正向试探， 每走一步区间的始点、中间 点依次沿试探方向移动一步 （进行换名），3步后确定 搜索区间为 ，且区间内：
f (a1) f (a2 ) f (a3)
8
图3-3
2020/7/12
图3-3表示a沿正向Baidu Nhomakorabea试探，确定搜索区间 为 [a3, a1] ，且区间内 ：
f (a1) f (a2 ) f (a3)
2020/7/12
19
4）检查区间是否缩短到足够小和函数值收敛到足够精度： 如果收敛条件满足，则取最后两试验点的平均值作为极小点
的数值近似解。如果条件不满足则转向步骤 5）；
5）产生新的插入点：
如N0=0，则取 1 a 0.382(b a), f1 f (1) 如N0=1，则取 2 a 0.618(b a), f2 f (2 )
9
图
3
—
4
外
推
法
MATLAB
的
程序实现
程
OPT4t2waituifa.m
序
框
图
2020/7/12
10
二、区间消去方法
搜索区间确定之后，采用区间消去法逐步缩短搜索区 间，从而找到极小点的数值近似解。
假定在搜索区间内[a, b]任取两点a1，b1，对应函数值 为 f (a，1) f (；b1)
2020/7/12
11
存在三种可能情况：
f (a1) f (b1) [a, b1]
2020/7/12
f (a1) f (b1)
[a1, b]
12
f (a1) f (b1)
[a1, b1]
综合为两种情况：
1、若 f (a1) f (b1)则取 [a, b1为] 缩短后的搜索区间。 2、若 f (a1) f (b1)则取 [a1, b为] 缩短后的搜索区间。
这个过程称为一维搜索过程。
2020/7/12
4
故： 优化方法的基本思想是将优化问题转化为
一系列的一维搜索问题，所以，一维搜索方法 就成为优化设计中最基本的方法。
注意：采用一维搜索法求出极小点，必须考虑三个因素。
一．初始点X0的选取，应尽量选择靠近极值点X*，这佯就能较快地 找到极值点X*。
二．搜索方向pk的确定。从Xk出发沿什么方向可以很快找到F（X） 的极小点X*？以不同的原则选取pk就构成了优化方法中各种不 同的方法。
三．在确定了搜索方向pk以后，关键的问题是如何进行沿pk方向的 一维搜索。
2020/7/12
5
第二节 搜索区间的确定
欲求一元函数 的极小点 必须先确定极小点所在 的区间〔a，b〕。
2020/7/12
图3-1 具有单谷性的函数
6
－、确定搜索区间〔a，b〕的外推法
先假设 f (x)具有图示的单谷性。〔a，b〕区间形成 “高—低—高”趋势。
第四章 单变量函数的优化方法
第一节 优化方法的基本思想 第二节 搜索区间的确定 第三节 黄金分割法 第四节 抛物线插值法
2020/7/12
1
第一节 优化方法的基本思想
求目标函数f (X )的极小点，从理论上说需要 求解方程：
f (X ) 0
其中
X
(
x 1
,
x2
,
, xn )T
那么如何来求 f (X )的极小点呢？
2020/7/12
2
基本思想:
X 0 , X1, , X k , X k1
f ( X 0 ) f ( X1) , , f ( X k ) f ( X k1)
这种方法是逐次迭代的方法，在电子计算机上很容易实现，因此它 在优化设计中被广泛地采用。
2020/7/12
3
pk方向上的任何一点可以表示为
思考： 2、3两中情况为何写在一起 ？
2020/7/12
13
第三节 黄金分割法
黄金分割法也是建立在区间消去法原理基础上的试 探方法。
基本思想是： 在搜索区间内[ a, b ]适当插入两点a1、a2 ，将区间分
成三段，然后利用区间消去法，使搜索区间缩小，通过 迭代计算，使搜索区间无限缩小，从而得到极小点处函 数值近似解。
从a=0开始，以h0为步长向前试探：
1. 函数值上升 → 步长变号； 2. 函数值下降 → 步长加倍 →
区间的始点、中间点依次沿 试探方向移动一步； 3. 重复步骤2直至函数值上升为 止。
最后得到的三点即为搜索区间的 是始点、中间点和终点。
图3-1 具有单谷性的函数
2020/7/12
7
图3-2
2020/7/12
在保留区间的 位2 置。
故: 1 2 2 1 0
5 1 0.618
2
2020/7/12
16
2020/7/12
17
黄金分割法的搜索过程：
1）给出初始搜索区间及收敛精度 ε，将 λ赋以0.618；
2）按坐标点计算公式计算 a1，a2；并计算其对应的函数
值 f1 f (1)， f2 f (2 )；
2020/7/12
15
2、在保留下来的区间内再插入一点所形成的区间新三段， 与原来区间的三段具有相同的比例分布 。
设： 区间 [a,b]长度为1，保留下来区间为 [a, a2 ]，其长度
为 ，区间缩短率为 。为了保持相同比例分布，新插入
点 a3 应在 (1 位) 置上， a在1 原区间的 1 位置相当于
X X k tpk
其中 t 为步长因子，为实系数，此时pk方向上任何一点的目标函 数值为 f ( X k tpk ) ，它是参数 t 的一元函数。那么在沿pk方向 求 f (X ) 的极小点，这就是求一元函数 f (Xk tpk ) 的极小问题， 它可表示为：
t : min f ( X k tpk )
它适用于 [ a, b ] 区间上的任何单谷函数求极小值问题。 对函数除要求“单谷”外不作其他要求，甚至可以不连 续。因此，这种方法的适应面相当广。
2020/7/12
14
黄金分割法对插入点的要求：
1、插入点 a1 、 a2的位置相对于区间 [a,b]两端具有对称性，
即：
a1 b a1b b (b a) a2 b a2b a (b a)
2020/7/12
18
3）根据区间消去法原理缩短搜索区间。
为了能用原来的坐标点计算公式，需进行区间名称的代换，并在保 留区间中计算一个新的试验点及其函数值。
如果：f1 f2 如果：f1 f2
[a, 2 ]
[a1 , b]
b 2 , 2 1, f2 f1 记 N0=0； a 1, 1 2 , f1 f2 记 N0=1；
图3-2表示a沿正向试探， 每走一步区间的始点、中间 点依次沿试探方向移动一步 （进行换名），3步后确定 搜索区间为 ，且区间内：
f (a1) f (a2 ) f (a3)
8
图3-3
2020/7/12
图3-3表示a沿正向Baidu Nhomakorabea试探，确定搜索区间 为 [a3, a1] ，且区间内 ：
f (a1) f (a2 ) f (a3)
2020/7/12
19
4）检查区间是否缩短到足够小和函数值收敛到足够精度： 如果收敛条件满足，则取最后两试验点的平均值作为极小点
的数值近似解。如果条件不满足则转向步骤 5）；
5）产生新的插入点：
如N0=0，则取 1 a 0.382(b a), f1 f (1) 如N0=1，则取 2 a 0.618(b a), f2 f (2 )
9
图
3
—
4
外
推
法
MATLAB
的
程序实现
程
OPT4t2waituifa.m
序
框
图
2020/7/12
10
二、区间消去方法
搜索区间确定之后，采用区间消去法逐步缩短搜索区 间，从而找到极小点的数值近似解。
假定在搜索区间内[a, b]任取两点a1，b1，对应函数值 为 f (a，1) f (；b1)
2020/7/12
11
存在三种可能情况：
f (a1) f (b1) [a, b1]
2020/7/12
f (a1) f (b1)
[a1, b]
12
f (a1) f (b1)
[a1, b1]
综合为两种情况：
1、若 f (a1) f (b1)则取 [a, b1为] 缩短后的搜索区间。 2、若 f (a1) f (b1)则取 [a1, b为] 缩短后的搜索区间。
这个过程称为一维搜索过程。
2020/7/12
4
故： 优化方法的基本思想是将优化问题转化为
一系列的一维搜索问题，所以，一维搜索方法 就成为优化设计中最基本的方法。
注意：采用一维搜索法求出极小点，必须考虑三个因素。
一．初始点X0的选取，应尽量选择靠近极值点X*，这佯就能较快地 找到极值点X*。
二．搜索方向pk的确定。从Xk出发沿什么方向可以很快找到F（X） 的极小点X*？以不同的原则选取pk就构成了优化方法中各种不 同的方法。
三．在确定了搜索方向pk以后，关键的问题是如何进行沿pk方向的 一维搜索。
2020/7/12
5
第二节 搜索区间的确定
欲求一元函数 的极小点 必须先确定极小点所在 的区间〔a，b〕。
2020/7/12
图3-1 具有单谷性的函数
6
－、确定搜索区间〔a，b〕的外推法
先假设 f (x)具有图示的单谷性。〔a，b〕区间形成 “高—低—高”趋势。
第四章 单变量函数的优化方法
第一节 优化方法的基本思想 第二节 搜索区间的确定 第三节 黄金分割法 第四节 抛物线插值法
2020/7/12
1
第一节 优化方法的基本思想
求目标函数f (X )的极小点，从理论上说需要 求解方程：
f (X ) 0
其中
X
(
x 1
,
x2
,
, xn )T
那么如何来求 f (X )的极小点呢？
2020/7/12
2
基本思想:
X 0 , X1, , X k , X k1
f ( X 0 ) f ( X1) , , f ( X k ) f ( X k1)
这种方法是逐次迭代的方法，在电子计算机上很容易实现，因此它 在优化设计中被广泛地采用。
2020/7/12
3
pk方向上的任何一点可以表示为
思考： 2、3两中情况为何写在一起 ？
2020/7/12
13
第三节 黄金分割法
黄金分割法也是建立在区间消去法原理基础上的试 探方法。
基本思想是： 在搜索区间内[ a, b ]适当插入两点a1、a2 ，将区间分
成三段，然后利用区间消去法，使搜索区间缩小，通过 迭代计算，使搜索区间无限缩小，从而得到极小点处函 数值近似解。
从a=0开始，以h0为步长向前试探：
1. 函数值上升 → 步长变号； 2. 函数值下降 → 步长加倍 →
区间的始点、中间点依次沿 试探方向移动一步； 3. 重复步骤2直至函数值上升为 止。
最后得到的三点即为搜索区间的 是始点、中间点和终点。
图3-1 具有单谷性的函数
2020/7/12
7
图3-2
2020/7/12
在保留区间的 位2 置。
故: 1 2 2 1 0
5 1 0.618
2
2020/7/12
16
2020/7/12
17
黄金分割法的搜索过程：
1）给出初始搜索区间及收敛精度 ε，将 λ赋以0.618；
2）按坐标点计算公式计算 a1，a2；并计算其对应的函数
值 f1 f (1)， f2 f (2 )；