一维搜索最优方法(黄金分割法)
第3章_一维优化方法
求解一维目标函数 f (X)最优解的过程，称为一维优化（或一维 搜索），所使用的方法称为一维优化方法。 一维优化方法，它不仅可用来解决一维目标函数的求优问题， 且常用于多维优化问题在既定方向上寻求最优步长的一维搜索。 由前数值迭代法可知，求某目标函数的最优值时，迭代过程每 一步的格式都是从某一定点 X (k ) 出发，沿着某一使目标函数下降的 规定方向S (k ) 搜索，以找出此方向的极小点 X ( k 1)。这一过程是各种 最优化方法的一种基本过程。
在此过程中因 X (k ) 、 S (k ) 已确定，要使目标函数值为最小，只需 找到一个合适的步长 (k )就可以了。 这也就是说，在任何一次迭代计算过程中，当起步点 X (k )和搜索 方向 S (k )确定之后，就把求多维目标函数极小值这个多维问题，化解 为求一个变量（步长因子α ）的最优值 (k ) 的一维问题。 如图3-1 所示。
■ 然后采用缩小区间或插值逼近的方法得到最优步长，即求出该 搜索区间内的最优步长α*和一维极小点 X *。
常用的一维搜索方法主要有： 分数法 黄金分割法( 0.618法 ) 二次插值 三次插值法等 本节介绍最常用的黄金分割法和二次插值法。
3.1 搜索区间的确定
根据函数的变化情况，可将区间分为单峰区间和多峰区间。 所谓单峰区间，就是在该区间内的函数变化只有一个峰值，即函 数的极小值，如图3-2所示。 设区间 [α1，α3] 为单峰区间， 而α2 为该区间内的一点， 若有 α1<α2<α3 或 α1>α2>α3 成立，则必有 f(α1)> f(α2)< f(α3) 同时成立。 图3-2 单峰区间 即在单峰区间内的极小值点 X* 的左侧： 函数值呈下降趋势， 而在极小值点 X* 的右侧： 函数值呈上升趋势。 也就是说，单峰区间的函数值呈 “高-低-高” 的变化特征。
最优化方法 第三章第二讲 一维搜索
第三次迭代
令 x1 0.538， f1 1.751，取 F3 x2 0.077 (1.462 0.077) 0.846， F4 f 2 1.870。
因为 f 1 f 2 ，所以新区间为 0.077,0.846。
第四次迭代
令 x 2 0.538， f 2 1.751，取 F1 x1 0.077 (0.846 0.077) 0.231， F3 则 f 1 1.822。
设其最优解为 k ，得到 xk 1 xk k pk ，
一维搜索是求解一元函数 ( ) 的最优化问题（也叫 一维最优化问题） ，仍表示为 min f ( x ) 或 min f ( x )。 1
xR
a xb
定义：若在 a, b内 f ( x )有唯一极小点 x* ，在 x* 的左边 f ( x )严格下降，在 x* 的右边 f ( x )严格上升， 则称 f ( x )在区间 a, b上是下单峰函数。
step 6 令 k k 1，若 k n 2，则转 step 5； 若 k n 2，则转 step 7。
step 7 若 f1 f 2 ， 则令 b x2 ，x2 x1 ，f 2 f1 ， 转 step 8； 若 f1 f 2 ，则令 a x1，转 step 8。 step 8 令 x1 x2 0.1(b a ) ， f1 f ( x1 ) 1 * 若 f1 f 2 ，则 x (a x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 b ) 。 2
ab step 3 若 b a ，则 x ，停。否则转 step 4。 2
最优化方法-一维搜索
按任务方式插入n个观测点后，剩下的搜索区间的长度不少于原初始长 度的1／ Fn
令缩短后的长度为Ｓ，有： Ｓ （b-a）/ Fn
• Ｆibonacci数列：
• ＝b- (b-a)=a+(1- )(b-a)
• =a+ (b-a)
•
• 2 0.618法算法
设
值
(t)是单谷函数，［ a
t
与精确极小点
t*
0的，最b大0 ］绝是对初误始差搜t索 区t * 间 ， 要求精确极小点近似
记：a= a0,b= b0 , =0.618.
(1) =a+(1- )(b-a), 1 = ()
进退算法的基本步骤：
（（（t0１ ２ ３点 回）））及升：：：，首若若t则0先［＋tt任t00h0＋＋选点，hh一t的点点n个函］的的初数就函 函始值是数 数点．一值 值个下 上t0搜降 升，索， ，初区继 则始间续 从步，前长t算进0h法点,，进停退直到止到到．t某0t个＋0 －ht，h0点并点．计的算函数值
4= a4 +( F0 / F2
b4
)(
=
b4
3 /a4
=2.5 , 4= 3 = 1.625
)=0.75+1/2*1.75=1.625
这时，
＝
4
，（因为已到k=3=n-2)
4
K=4, 因此
(5取5 =)a=0t5.41＝＝=410.,.6542（(5＝b,515).＋5=6=02a.550,47b+6）50,.＝1＝=2(1.b.05476)2255>＝2(.55 )
最优化方法-一维搜索方法
% CopyRight@XiaBo % Date:2008.3.20
%% 定义搜索函数fun function f = fun(x) % 这里是一个简单的函数定义， 倘若在一个大型的优化计算中，这个函数一般是和第k 步的迭代点和下降方向有关的 % 是一个关于步长的函数 % x --- 待求步长值 f = x^2-x+2;
.
一维最优化问题：
极值点的必要条件：
f '( x ) 0
3
1. 下单峰函数 定义：设 f ( x ) 是区间 [ a , b ] 上的一元函数，x 是 f ( x ) 在 [ a , b ] 上的极小点，且对任意的 x1 , x2 [ a , b ], x1 x2 , 有 （a）当 x 2 x 时，f ( x1 ) f ( x2 ); （b）当 x1 x 时，f ( x1 ) f ( x2 ) .
cxbx的极小点解出及其的函数值最小的三个点中选择重新标记为左右两点31作业小结各种精确一维搜索算法3233距离最优解远的时候精度太大算法效率低只要求有充分下降即可这种类似与充分足够等描述词汇在与计算相关的描述中要特别在意因为这里的充分已经不再是理论上的要求这里的充分必须与可计算相关到底要多充分就是这里的非精确搜索的准测34armijo是使得下述不等式成立的最小非负整数下有界wolfe准则
2. 若 bk a k , 停止， 且
bk a k . 否则， 2 当 f ( k ) f ( k ) 时，转 3；当 f ( k ) f ( k ) 时，转 4. x
bk 1 bk ,
3. 令 a k 1 k ,
k 1 k ,
k 1 a k 1 0.618(bk 1 a k 1 ), 计算 f ( k 1 ), 令 k : k 1, 转 2。
黄金分割法机械优化设计
黄金分割法机械优化设计机械优化设计黄金分割法班级：学硕一班学号：_姓名：______黄金分割法黄金分割法也成为0.618法，是一种应用广泛的一维搜索方法。
该方法对函数张)无特殊要求，函数甚至可以是不连续的。
黄金分割法是利用序列消去原理，通过不断缩小单峰区间长度，使搜索区间不断缩小，从而不断逼近目标函数极小点的一种优化方法o在搜索区间［a,b］内必须按下述规则对称地取勺和冬两点，使％= —“)，a2=a + A(b-a)f这两点把区间分为三段，计算插入点的函数值，如图1-1所示。
根据单峰函数的性质，通过比较函数值大小，删去其中一段，使搜索区间缩小。
在新的区间继续上面的过程，使搜索区间不断缩小，当搜索区间无限缩小时，便可得到函数在极小点附近的近似解。
在第一次缩小区间后，新区间只需要再插入一点即可形成区间新三段。
按比例&缩小，新区间三段与原区间三段具有相同的比例分布，每次缩小所得新区间长度与原区间长度之比成为区间收缩率-设初始区间长度为L,为了保证区间收缩率不变，第一次收缩后的长度为弘，第二次收缩后的长度为厶（1 _兄）, 而第二次的收缩率应该相等。
AL/L = （1 一A）/AL ->22 =（1-2）解次方程并舍去负根，就可得到2 = 75-1/2 = 0.618 o所以，⑷和色两点的取法为:a} = b-0.618（Z?-a）9 a2 = “+ 0.618（〃一a） o所以，对于黄金分割法，适用于设计变量少的优化问题中的一维搜索。
二、黄金分割法的搜索过程1）给出初始搜索区间及收敛精度，将別a〕=b-0・618(b-a), = f(a) y a = 6/+ 0.618(Z?-«), f = /(cr)；并计0.6182 ）按坐标点计算公式计算a〕=b-0・618(b-a), = f(a) y a = 6/+ 0.618(Z?-«), f = /(cr)；并计算其对应的函数值。
第3章 一维最优化
一维最优化问题： 一维最优化问题：
min s .t .
f ( x) x∈ R
极值点的必要条件： 极值点的必要条件：
f '( x ) = 0
二、 确定搜索区间的方法— 进退法
实际问题 数学模型 数值计算方法
程序设计
上机计算求出结果
数值解法： 数值解法：利用计算机通过反复迭代计 求得实际问题的近似值。 算，求得实际问题的近似值。
[a, b]称为ϕ ( x)的单谷区间。
显然此时x ∗为ϕ ( x)在[a, b]上唯一的极小点。
☺问题：凸函数是不是单谷函数？严格凸函数是 问题：凸函数是不是单谷函数？ 不是单谷函数？单谷函数是不是凸函数？ 不是单谷函数？单谷函数是不是凸函数？
搜索法求解： 搜索法求解： min ϕ (t)
t≥ 0
否
b − x1 ≤ ε
停止，输出 停止，输出x2 是
是
否
停止，输出 停止，输出x1 以[a,x2]为新的搜索区间 为新的搜索区间
三、黄金分割法
f ( a ) = a 2 − 7a + 10 的初始区间， 的初始区间， 例1：用黄金分割法求
设初始点 。= 1 a，初始步长 h 0 = 0 用进退法确定初始区间： 解：用进退法确定初始区间：
ϕ ( x1 )
x1 x2
3
x
2) 第二轮： 第二轮： x2=1.146, x1=0.708
ϕ
ϕ ( x1 ) = −0.0611 ϕ ( x2 ) = 0.2131
x2-0=1.146>0.5 3) 第三轮： 第三轮： x1=0.438, x2=0.708 0
x1 x2
1.854
x
ϕ
《一维搜索方法》课件
02
线性搜索
线性搜索的定义
线性搜索是一种基本的搜索算法，它 从列表的第一个元素开始，逐个检查 每个元素，直到找到目标元素或遍历 完整个列表。
在线性搜索过程中，我们假设列表中 的元素是按顺序排列的，并且我们不 知道目标元素的确切位置，只知道它 存在于列表中。
线性搜索的步骤
初始化
选择一个起始位置，通常为列表的第一个元素。
抛物线搜索的步骤
3. 比较中间元素与目标值
2. 计算当前区间的中间元 素。
1. 初始化当前搜索区间为 整个数组。
01
03 02
抛物线搜索的步骤
01 如果中间元素等于目标值，返回该位置。
02
如果目标值小于中间元素，将左半部分区 间作为新的当前区间。
03
如果目标值大于中间元素，将右半部分区 间作为新的当前区间。
04
4. 重复步骤2和3，直到找到目标值或当前 区间为空。
抛物线搜索的时间复杂度
最坏情况下，抛物线搜索的时间复杂度为O(n)，其中n为数 组长度。
平均情况下，由于每次比较都可以将搜索区间缩小一半，因 此时间复杂度为O(log n)。
THANKS
THANK YOU FOR YOUR WATCHING
的单峰函数。
一维搜索方法的重要性
解决实际问题
一维搜索方法广泛应用于各种实 际问题中，如参数优化、函数逼 近、插值等。
算法基础
一维搜索方法是许多算法的基础 ，如梯度下降法、牛顿法等都需 要用到一维搜索方法来寻找迭代 步长。
理论分析
一维搜索方法在数学分析中也有 重要应用，如中值定理、单调函 数性质等都需要用到一维搜索方 法。
常用的一维搜索方法
线性搜索
基于黄金分割的一维寻优法
论文关键词：夹逼一维寻优黄金分割法单峰函数算法优化设计论文摘要：本文在黄金分割法的基础上，提出了一种夹逼一维寻优法。
该方法利用对分法选取给定搜索区间中点的原理，将区间对分为两个等分区间，在这两个区间内用黄金分割法同时进行搜索，然后再对这两个区间内所求得的函数值进行比较，运用“去劣存优”的原则，保留含优的搜索区间而摒弃含劣的搜索区间以同时从区间的两侧夹逼来逐步缩小搜索寻优区间，最终求得最优解。
本文给出了具体的算法实施过程和算法证明，结合算法给出算例并进行了理论分析和比较,结果表明本算法思路清晰、编程简单、计算简化，可以有效地求得函数的最优解。
1 引言从数学的观点看，工程中的各种优化问题都可以归结为求极大值或极小值问题。
所谓优化设计[1]就是借助最优化数值计算方法和计算机技术求取工程问题的最优设计方案。
在优化设计的寻优过程中，首先要根据实际设计问题的物理模型建立相应的数学模型，即用数学形式来描述实际设计问题。
其次就是应用数学规划方法的理论[2]，以计算机作为工具，根据数学模型的特点选择最优化方法来求解数学模型，以确定最佳设计参数。
在优化设计过程中，求一元函数的极小点和极小值问题就是一维优化问题。
求解一维优化问题的方法称为一维优化方法[3]。
一维优化法是优化问题中最简单、最基本的方法。
因为它不仅可以解决单变量目标函数的最优化问题，而且在求多变最目标函数的最大值时，大多数方法都要反复多次地进行一维搜索，用到一维优化方法。
一维优化法中的黄金分割法[4]是使用最广泛、操作简单的一维寻优方法，这种方法是在一元单峰函数所定义的区间上按黄金分割率对称取得一系列的黄金分割点，然后对分割点所对应的函数值进行计算和比较，利用区间缩小的序列消去原理[5]，最终确定函数的最优解和对应的最优值。
黄金分割法具有均匀的收敛速度，但每次迭代时只能使给定的搜索区间从单侧进行收缩，使得其收敛速度较慢，区间缩短率偏低。
因此，本文利用黄金分割法具有均匀的区间缩小率的序列消去特性，提出一种可以使给定的搜索区间从双侧同时进行收缩的基于黄金分割的夹逼一维寻优法。
第4章一维搜索优化方法PPT课件
例4-3 用二次插值法求一维函数f(α)=α2-10α+35的最优解。 初始单谷搜索区间[α1,α3]=[1.5,7.5]，迭代精度ε=10-3。
while (abs(x4-x2)>=epsilon)
if x2<x4 if f2>f4
x1 x2 x4 x3 x1 x4 x2 x3
f1=f2;x1=x2;x2=x4;f2=f4;
1. 基本原理：
(1) 初始区间 [a, b], 两内点x1和 x2，区间长度为 L。 其中 ax2 和x1b 的长度分别为 λL。
(2) 求 f(x1) 和 f(x2)。若 f(x1)＞f(x2),
则下一次迭代，保留区间为 [x1,b]，重新命名为 [a1,b1]。
(3) x2 →保留至新区间→ 更名x1，
（1）function QIM(……)函数必须另存一个文件，取名为 QIM.m
（2）QIM.m必须和eg4_3.m在同一个子目录下。
（3）修改循环方式再编写程序。
本章练习
初始步长h需要给定。 每次迭代时，步长是翻倍的。 当连续三点的函数指出现大小大的情况，迭代终止。
二、算法框图
2. 流程图:
yes
h=？2h
c=b+h fc=f（c）
开始
h 2h 2(2h)
输入 h，a fa=f（a）
a ba bc c
hh
b=a+h，fb=f（b） no
fa＞fb
ab cb a
约束条件： 0 ≤ x≤ 3
寻优方向：坐标轴方向
x≥0.5 设计变量：X=[ x] T
可行域
x
0 0.5
3
一、一维搜索方法的重要性
第三章 一维优化方法
10
机械优化设计
3 1.用进退法确定函数f ( x) 3x 8 x 9的一维优
3
化初始区间, 给定初始点x1 0, 初始进退距h0 0.1. 解：
k
1 2 3
h
0.1 0.2 0.4 0.8
x1
0 0.1 0.3
y1
9 8.203 6.681
x2
0.1 0.3 0.7
y2
dF 令 4 20 0, 得 5是最优步长 . d * F 2
7
机械优化设计
三、一维搜索的步骤
1) 确定一个包含最优点的初始搜索区间 特点：高--低--高 函数值：“大－小－大” 2) 将含最优点的区间不断缩小
f
o
a
b
x
当该区间的长度小于预先给定的一个很小的 正数 ，则可认为该区间的中点是最优点。 * 区间缩短率：
4
机械优化设计
§3-1 搜索区间的确定
③ 对α求导，令其为零。 d f ( x ( k ) S ( k ) ) 0 d
[f ( x( k ) )]T S ( k ) [S ( k ) ]T H ( x( k ) )S ( k ) 0
④ 求得最优步长因子：
(k )
[f ( x ( k ) )]T S ( k ) (k ) T [S ] H ( x(k ) )S (k )
y1 y2
y1 y2xb来自a x1 , x1 x2 , y1 y2
x2 a 0.618(b a), y2 f ( x2 )
否
a
f
x1 x2 x1 x2 b
ba
是 x 0.5(a b)
第三章一维优化方法
一维搜索方法概述
初始搜索区间的确定
一维搜索的最优化方法 1、格点法 2、黄金分割法 3、二次插值法 教学要求： 1、掌握初始搜索区间的确定方法 2、掌握黄金分割法 3、掌握二次插值法
第三章一维优化方法
一维搜索方法概述
在优化设计的迭代运算中，在搜索方
向s(k)上寻求最优步长 (k) 的方法称一维
（1- ）/ = 故：1- = 2 2 + -1=0
由此可得： =0.618
黄金分割法可使相邻两次搜索区间都具 有相同的缩短率0.618。
x1=a+ 第0三.章3一8维优2化(方b法 -a)
第三章一维优化方法
黄金分割法
二、黄金分割法的搜索过程 1、给出初始搜索区间[a,b]及收敛精度。 2、按坐标点计算公式计算，并计算相应的函数值 3、缩短搜索区间 4、检查是否满足收敛条件 5、若满足收敛条件，则取最后两点的平均值作为极
区间满足收敛条件x m+1- x m+1 ，则最优解为x* xm ，
y* ym 若不能满足精度要求，把当前区间作为初始搜索区间， 重复上述步骤直至满足精度为止。
第三章一维优化方法
格点法
y1 新区间
a x1
ym-1 xm-1
ym xm
ym+
1
xm+1Biblioteka 格点法的区间缩短第三章一维优化方法
yn xn b
如图所示两种情况 1、若y2 <y1 ，则极小点位于x1点右方，
应继续前进搜索。 2、若y2>y1 ，则极小点位于x1点左方，
应反向后退搜索。
第三章一维优化方法
确定初始搜索区间的进退法
第三章一维优化方法
最优化方法
经过有限次迭代后(在 matlab 可见全部迭代结果)满足要求的结果为： f ������ ∗ = −1.00000047499302 。 采用解析法可求得其精确解为： ������ ∗ = −1， f ������ ∗ = −1，可见通过有限次迭代后可求得精度相当高的数值解，而且收 敛速度也很快。 因此在实际计算中，最常用的一维搜索试探方法就是黄金 分割法。
������1 ← ������ − ������ ������ − ������ ������1 ← ������ ������1
Y
������ − ������ ������2 − 1 < ������和 < ������ ? ������ ������2
N
������∗ ←
1 ������ + ������ 2
对函数f ������ = ������ 2 + 2������,在给定的搜索区间−3 ≤ x ≤ 5上，试用黄金分 割法求极小值点������ ∗ 。如图 2。
四、 算法描述：
黄金分割法的搜索过程是： 1） 2） 给出初始搜索区间[a,b]及收敛精度ε，将μ赋以 0.618。 按坐标点计算公式������1 = b − μ ������ − ������ , ������2 = ������ − μ ������ − ������ , 计算������1 和 ������2 ，并计算其对应的函数值f(������1 ), f ������2 。 3） 跟区间消去法原理缩短搜索区间。 为了能用原来的坐标点计算公式， 需要进行区间名称的代换， 并在保留区间中计算一个新的试验点及 其函数值。 4） 检查区间是否缩短到足够小和函数值收敛到足够近， 如果条件不满 足则返回到步骤 2。 5） 如果条件满足， 则取最后两试验点的平均值作为极小点的数值近似 解。
最优化方法-一维搜索法
搜索区间及其确定方法
• 加步探索法算法的计算步骤： • (1) 选取初始数据．选取初始点 t0 [0, ) (或 t0 [0, tmax ]),
计算0 (t0 ), 给出初始步长h0 0, 加步系数 1,令 k 0 • (2) 比较目标函数值．令 tk 1 tk hk计算 k1 (tk1) ，
方向 Pk 之间应满足
f (Xk1)T Pk 0
4.2
• 事实上，设 (t) f ( X k tPk ), 对 t 求导有
(t) f (X k tPk )T Pk
• 令 '(t) 0, 即 f (X k tPk )T Pk 0 所以 f (X k1)T Pk 0
这一准则对于定义域上的凸函数是完全正确的．若是非凸函数，有 可能导致误把驻点作为最优点。 对于约束优化问题，不同的优化方法有各自的终止准则．
• 定义3.3 当一个算法用于n元正定二次函数求最优 解时，可以从任意初始点出发，至多经过n步迭 代求出最优解，就称此算法具有二次终止性。
• 如果算法具有二次终止性，则认为算法比较好。 • 二次终止性仅仅是判断一个算法优劣的衡量标准
存在
,且
,则称[t1 t2]是函数(t)
的最优解 的一个搜索区间。
搜索区间及其确定方法
•单峰区间和单峰函数有如下有用的性质： •定理3.1 设 : R1 R1, [a, b] 是的单峰区间，任取
t1, t2 [a, b] 并且 t2 t1 ． （1）若有 (t2 ) (t1) ，则 [a, t1 ]是(t) 的单峰区间． （2）若有 (t2 ) (t1) ，则[t2 , b]是(t)的单峰区间．
一维搜索的最优方法(黄金分割法)
05 黄金分割法的应用举例
在函数优化中的应用
一元函数优化
黄金分割法可用于一元函数的极值求解，通过不断缩小搜索区间来逼近最优解。
多元函数优化的辅助手段
在多元函数优化中，黄金分割法可作为辅助手段，用于一维搜索或线搜索过程。
在工程问题中的应用
结构设计优化
在结构设计中，黄金分割法可用于寻 找最优的结构参数，如梁、柱的截面 尺寸等，以实现结构性能和经济性的 平衡。
二分法每次迭代将搜索区间减半，而黄金分割法每次迭代将搜索区间缩小为原来的约 0.618倍。在收敛速度上，二分法通常比黄金分割法更快。但二分法要求函数在搜索区间 内连续且单调，而黄金分割法则没有这样的限制。
与牛顿法相比
牛顿法是一种基于导数信息的搜索方法，具有较快的收敛速度。但在一维搜索问题中，当 导数信息不可用或难以获取时，黄金分割法则更为适用。此外，牛顿法对初始点的选择较 为敏感，而黄金分割法则相对稳健。
解决一维搜索问题的方法有多种，其中黄金分割法是一种较为常用且有效的方法。
黄金分割法简介
黄金分割法是一种通过不断缩小搜索 区间来逼近函数极小值点的方法。
黄金分割法具有简单、快速、稳定等 优点，适用于单峰函数的一维搜索问 题。
它在每次迭代中，通过比较区间两个 端点处的函数值，来确定下一步的搜 索区间。
黄金分割点
在一条线段上，按照黄金分割比 例将线段分割成两部分，分割点
即为黄金分割点。
函数图像
对于一元函数，可以将其图像视 为一条曲线。黄金分割法通过不 断在曲线上选取试探点来逼近最
优解。
搜索区间缩小
每次迭代后，根据试探点的函数 值比较结果，将搜索区间缩小，
使得下一步的搜索更加精确。
黄金分割法的算法步骤
3.一维搜索方法
P(x)的系数确定与极小点的计算
a1
x22
x
2 3
f1
x
2 3
x12 f2
x12 x22 f3
x1 x2 x2 x3 x3 x1
a2
x2 x3 f1 x3 x1 f2 x1 x2 f3 x1 x2 x2 x3 x3 x1
x
a1
1 x22 x32 f1
x32 x12 f2
x12 x22 f3
2a2 2 x2 x3 f1 x3 x1 f2 x1 x2 f3
9
一维搜索方法的分类
• 为了每次缩短区间，只需要在区间内再插入一点并计 算其函数值。然而，对于插入点的位置，是可以用不 同的方法来确定的。
• 黄金分割法 • 一类称作解析法或函数逼近法：构造一个插值函数来
逼近原来函数，用插值函数的极小点作为区间的插入 点
– 牛顿法、二次插值法等
10
一维搜索的试探方法 黄金分割法
f (x)
(a) f a0
f a0 a a0
1 2
f
a0 a
a0 2
• 然后以二次函数的极小点作为极小点的一个新近似点，根据极值 必要条件
对a求偏导 (a1) 0
f a0 f a0 a1 a0 0
ak 1
ak
f ak f ak
k
0, 1, 2,
依此继续可得 牛顿法迭代公式
a1
a0
f a0 f a0
17
• 是最常用的一维搜索试探方法，又称作0.618法 • 适用于区间上的任何单谷函数求极小值问题
– 对函数除要求“单谷”外不作其他要求，甚至可以 不连续
• 基本思路：在搜索区间内适当插入两点，并计算其函 数值。将区间分成三段。应用函数的单谷性质，通过 函数值大小的比较，删去其中一段，使搜索区间得以 缩短。然后再在保留下来的区间上作同样的处置，如 此迭代下去，使搜索区间无限缩小，从而得到极小点 的数值近似解。
一维搜索方法
一维搜索方法：（方法比较）“成功—失败”法、二分法、0.618法（黄金分割法）、牛顿法、二次插值法、D.S.C法、Powell法、D.S.C—Powell组合法。
1、“成功—失败”法：主要思想：从一点出发，按一定的步长搜索新点，若成功，加大步长继续搜索，否则，缩短步长小步后退。
此方法可以求最优解所在区间，称为“搜索区间”。
2、二分法：主要思想：区间[a,b]的中间值x0，判断f（x）的导数在三个点处的值，舍去一部分区间再求f(x)的极小值。
3、0.618法：等比例收缩原则，每次留下来的区间长度是上次留下来的区间长度的w倍。
以及对称原则、去坏留好原则。
W=0.6184、牛顿法：基本思想：在极小值点附近用目标函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数的极小值点的近似值。
5、二次插值法：牛顿法是在x k附近的目标函数用泰勒多项式近似代替，而此法是将f(x)用二次插值多项式p(x)近似代替。
把p(x)的极小值点作为f(x)极小值点的代替，从来求得函数的极小值。
6、D.S.C法：主要思想：利用成功—失败法寻找靠近极小值点的三点，进行二次插值。
优点是：收敛速度快，且不要求函数可微。
7、Powell法：基本思想：在搜索方向开始得到三点x0,x1,x2后，作二次插值，求得最小值x，在四点中去坏留好，在余下的三点中再作二次插值……8、D.S.C—Powell组合法：几种方法比较：D.S.C—Powell组合法是非常好的一种方法，它比任何一个单个方法都好D.S.C—Powell组合法与0.618法比较：D.S.C—Powell法中函数值的计算要比黄金分割法少得多，一般来讲它优于黄金分割法。
但：D.S.C—Powell法不一定能收敛到最优解。
最速下降法与修正牛顿法：对于正定二次函数，牛顿法一步可以求得最优解，对于非二次函数，牛顿法并不能保证有限次求得其最优解，但由于目标函数在极小值的附近近似于二次函数，故当初始点靠近极小值时，牛顿法收敛的速度比较快。
优化练习-黄金分割法
一维搜索——黄金分割法在迭代算法中，需要进行一维搜索。
它的快慢、好坏，直接影响最优化问题的求解速度。
迭代算法的基本公式，可写成()()kkX X S α=+其涵义是从()k X 点出发，沿()k S 方向，寻求最小值点。
当()kαα=时，则找到了最小值点()1k X +，所以X 点的函数值可表示为：()()()()()kk F X F X S αϕα=+=可以看出，当()k X 、()kS 一定，()F X 只是α的函数，这就是一维搜索。
其意义是寻求一最优的α，使函数值最小。
在实际计算中，最常用的一维搜索试探方法是黄金分割法，黄金分割法的计算次数较少。
黄金分割法也称做0.618法。
是在给定的14~αα 区间内，搜索最优步长*α的值。
如图1所示：图1 黄金分割法区间分割 如果14~αα 区间很小，则可令()*1412ααα=+ 如何使14~αα区间缩小，首先在区间内插入两个分割点1α ，2α ，且满足1234αααα<<<，这样就可以根据分割点的函数值，决定割舍区间。
可以证明，对于单峰函数，设*α已在14~αα区间内，且不管*α在哪一点上，只要经过()2ϕα 和()3ϕα函数值比较，将函数值大的邻近部份去掉，*α仍将保留在剩余段的区间内，如图2所示。
图2 缩小分割区间图中阴影部分即为根据函数比较而去掉的部分。
可以看出*α在任何情况下，都将保留在剩余段中。
用这种办法缩小区间，每一步都建立两个分割点，进行两次函数值计算。
如把分割点按对称原则建立，就能利用前次保留的一个分割点，就可使计算工作量减少一半，使计算速度提高一倍。
按这一思路形成的算法，就是黄金分割法。
具体做法如图3所示。
图3确定缩短率第一次区间是14~αα，假定()()32ϕαϕα>,根据缩小规则，去掉34~αα段。
此时区间缩短率λ为：V lλ=式中V 、l 分别对应区段的长度。
第二次区间是14~αα'，假定()()32ϕαϕα''>，去掉34~αα''段。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
min （）＝f ( X (k) （k) S（k) )
◎在极小点附近，函数呈现“大－小－大”
y
y f (x)
y
y f (x)
一维搜索的思路
（1）确定极小点α*所在的区 间[a, b]，在此区间内，函数呈 现“大－小－大”变化趋势。 搜速区间。
x
（2）在[a, b]内找α*－将区
;f3， 重排顺序
(3) (2), f3 f2 ;
(2)+h (3)。计算（ f ( 3 )），令（ f ） (3) f3 (1) 若f3 f1，则[a,b]=[(3),(2)]，停止计算。 (2) 若f3 f1，则 2h h，(2) (1)，f2 f1，
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
设一元函数f (a )的起始搜索区间为[a ,b], *是
函数的极小点。
在搜索区间[ a,b ]内任取两点 (1)、 ( 2 )。且 a (1) ( 2 ) b,计算f ( (1) )、f ( ( 2 ) )。将f ( (1) )与 f ( ( 2 ) )进行比较，可能出现三种情况：
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
返回( 1 )重新开始。
进退试算法步骤
step4. 若在步2中，f2 f1，后退运算
以(1)为起始点，步长反号，反方向搜索。
-h
h; (1) (3), (2) (1), f2
f1 f1
1＝2＝1, 2＝3＝2, 3＝2 h＝4
f1 f (1 ) 10 f2 f (2 ) 4
作前进运算
f3 f (3 ) 0
再作前进运算
f1 f (1 ) 4 f2 f (2 ) 0 f3 f (3 ) 2
d . 比较 f2 f3 再作前进运算
h 22 4
1＝2＝2,
f( )
பைடு நூலகம்
(1) f ( (1) ) f ( ( 2 ) ).取区间[ a, ( 2 ) ]； ( 2 ) f ( (1) ) f ( ( 2 ) ).取区间[ (1) ,b ]。
a a(1)
b * a( 2 )
二、0.618的由来
1. （1）,（2）在[a,b]中位置对称
2. 每次缩短的区间缩短率不变，减少计算量。
f1 f (1 ) 0
2＝
＝4
3
,
f2 f (2 ) 2
3＝2 h＝8 f3 f (3 ) 18
e. 此时有 f1 f2，f2 f3 ,故a=1 2,b 3 .即初始搜索
区间为[2,8].
§4－2 黄金分割法（0.618法）
一、消去法的基本原理
基本思路：逐步缩小搜索区间，直至最小点存在的区 间达到允许的误差范围为止。
的修正量，它们是决定最优化算法好坏的重要因素。
假定给定了搜索方向S（k)，从点X（k)出发沿S（k)方向
进行搜索，要确定步长（k)，使得 f ( X (k1) ) f ( X (k ) （k) S（k) ) f ( X (k ) )
记
（）＝f ( X (k ) （k) S（k) ) 即确定步长（k)，就是单变量函数（）的搜索问题。
间长度逐步缩短。
0.618法与二次插值法就是解 决第二个步骤的方法
a
b
x
在极小点附近，函数呈现“大－小－大”
y
y f (x)
x
y
y f (x)
x
二、确定搜索区间的进退法
• 基本思想
从一点出发，按一定的步长，试图确定出函数值 呈现出”高－低－高“的三个点。一个方向不成功，就 退回来沿相反方向搜索。
(1) f ((1) ) f (( 2 ) ).在这种情况下，可以丢掉(( 2 ) ,b] 部分，而最小点必定在[a,( 2 )]内。
f( )
f( )
a
b a(1 ) *
a( 2 )
a
b * a(1 ) a( 2 )
( 2 ) f ((1) ) f (( 2 ) ).在这种情况下，可以丢掉[ a,(1) ) 部分，而最小点必定在[(1) ,b ]内。
一元函数的极小值问题，就是一维最优化 问题，其数值迭代方法亦称为一维搜索方法。
一维搜索最优化是优化方法中最简单、最基 本的方法。
主要方法有：0.618法、牛顿法、二次插值法 等。
§4－1 一维搜索的搜索区间
一、一维搜索的概念
迭代计算的基本格式
X X S (k1)
(k)
(k) (k)
显然，搜索方向S（k)和步长因子（k)构成了每一次迭代
具体作法：
给出初始点0，初始步长h0 0,若（0＋h0）<（0）,
则下一步从新点0＋h0出发，加大步长向前搜索，直到目标
函数上升就停止。若（0＋h0）>（0）,则下一步仍然从点
出发，沿反方向搜索，直到目标函数上升就停止。这样就
0
可以得到一个搜索区间。
进退法步骤
step1. 给定初始值。给定初始点 ( 0 )，初始步长h 0。
返回( 1 )重新开始。
例4.1 用进退法确定函数
f ( a ) a2 7a 10 的一维优化初始搜索区间[a,b]。
设初始点0 0,初始步长h 1。
解：按顺序进行计算，有
a. 1 0 0 2 1 h 1
b. 比较 f2 f1
3 2 h 2
c. 比较 f2 f3 h 21 2
step2. 令 ( 0 ) (1)， (1) h ( 2 )。计算（ f (1)），（ f ） (2) 令（ f ） (1) f1，（ f ） (2) f2
step3. 若f2 f1，前进运算，(2) h (3)。计算（ f ( 3 )） 令（ f ） (3) f3
(1) 若f2 f3，则[a,b]=[(1),(3)]，停止计算 (2) 若f2 f3，则 2h h，(2) (1)，f2 f1，
f( )
f( )
a a(1)
b * a( 2 )
a a(1 ) a( 2 ) *
b
( 3 ) f ( (1) ) f ( ( 2 ) ).在这种情况下，可以丢掉[ a, (1) ) 部分，也可以丢掉( ( 2 ) ,b ]部分，而最小点必定在[ (1) , ( 2 ) ]
内。因此这种情况可以并入上面的任意一种情况。