一维搜索的最优方法(黄金分割法)
合集下载
最优化方法 第三章第二讲 一维搜索
第三次迭代
令 x1 0.538， f1 1.751，取 F3 x2 0.077 (1.462 0.077) 0.846， F4 f 2 1.870。
因为 f 1 f 2 ，所以新区间为 0.077,0.846。
第四次迭代
令 x 2 0.538， f 2 1.751，取 F1 x1 0.077 (0.846 0.077) 0.231， F3 则 f 1 1.822。
设其最优解为 k ，得到 xk 1 xk k pk ，
一维搜索是求解一元函数 ( ) 的最优化问题（也叫 一维最优化问题） ，仍表示为 min f ( x ) 或 min f ( x )。 1
xR
a xb
定义：若在 a, b内 f ( x )有唯一极小点 x* ，在 x* 的左边 f ( x )严格下降，在 x* 的右边 f ( x )严格上升， 则称 f ( x )在区间 a, b上是下单峰函数。
step 6 令 k k 1，若 k n 2，则转 step 5； 若 k n 2，则转 step 7。
step 7 若 f1 f 2 ， 则令 b x2 ，x2 x1 ，f 2 f1 ， 转 step 8； 若 f1 f 2 ，则令 a x1，转 step 8。 step 8 令 x1 x2 0.1(b a ) ， f1 f ( x1 ) 1 * 若 f1 f 2 ，则 x (a x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 b ) 。 2
ab step 3 若 b a ，则 x ，停。否则转 step 4。 2
最优化方法-一维搜索
优点：按Ｆ法确定插入点的位置，所需使用的观测点的个数最少． Ｆ数列各数所表示的物理意义： Fn ：插入n个点后可以缩短为单位长度为一的区间的最大长度．
按任务方式插入n个观测点后，剩下的搜索区间的长度不少于原初始长 度的1／ Fn
令缩短后的长度为Ｓ，有： Ｓ （b-a）/ Fn
• Ｆibonacci数列：
• ＝b- (b-a)=a+(1- )(b-a)
• =a+ (b-a)
•
• 2 0.618法算法
设
值
(t)是单谷函数，［ a
t
与精确极小点
t*
0的，最b大0 ］绝是对初误始差搜t索 区t * 间 ， 要求精确极小点近似
记：a= a0,b= b0 , =0.618.
(1) =a+(1- )(b-a), 1 = ()
进退算法的基本步骤：
（（（t0１ ２ ３点 回）））及升：：：，首若若t则0先［＋tt任t00h0＋＋选点，hh一t的点点n个函］的的初数就函 函始值是数 数点．一值 值个下 上t0搜降 升，索， ，初区继 则始间续 从步，前长t算进0h法点,，进停退直到止到到．t某0t个＋0 －ht，h0点并点．计的算函数值
4= a4 +( F0 / F2
b4
)(
=
b4
3 /a4
=2.5 , 4= 3 = 1.625
)=0.75+1/2*1.75=1.625
这时，
＝
4
，（因为已到k=3=n-2)
4
K=4, 因此
(5取5 =)a=0t5.41＝＝=410.,.6542（(5＝b,515).＋5=6=02a.550,47b+6）50,.＝1＝=2(1.b.05476)2255>＝2(.55 )
按任务方式插入n个观测点后，剩下的搜索区间的长度不少于原初始长 度的1／ Fn
令缩短后的长度为Ｓ，有： Ｓ （b-a）/ Fn
• Ｆibonacci数列：
• ＝b- (b-a)=a+(1- )(b-a)
• =a+ (b-a)
•
• 2 0.618法算法
设
值
(t)是单谷函数，［ a
t
与精确极小点
t*
0的，最b大0 ］绝是对初误始差搜t索 区t * 间 ， 要求精确极小点近似
记：a= a0,b= b0 , =0.618.
(1) =a+(1- )(b-a), 1 = ()
进退算法的基本步骤：
（（（t0１ ２ ３点 回）））及升：：：，首若若t则0先［＋tt任t00h0＋＋选点，hh一t的点点n个函］的的初数就函 函始值是数 数点．一值 值个下 上t0搜降 升，索， ，初区继 则始间续 从步，前长t算进0h法点,，进停退直到止到到．t某0t个＋0 －ht，h0点并点．计的算函数值
4= a4 +( F0 / F2
b4
)(
=
b4
3 /a4
=2.5 , 4= 3 = 1.625
)=0.75+1/2*1.75=1.625
这时，
＝
4
，（因为已到k=3=n-2)
4
K=4, 因此
(5取5 =)a=0t5.41＝＝=410.,.6542（(5＝b,515).＋5=6=02a.550,47b+6）50,.＝1＝=2(1.b.05476)2255>＝2(.55 )
3.3 一维搜索方法 (一维优化)
2 3
并令： h 2h
x3 x 2 h ，求 y3 f ( x3 )
重复上述步骤，直到函数值出现“高-低-高”为止。
4. 若在步骤2中，出现 y1 y 2 (图a虚线)，则应作后退运算: 令：h h0 置换：x3 x1 y 3 y1 ； x1 x2 y1 y2 ；x2 x3 y2 y3 再令：h 2h
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f 3 b ( x1 x2 )( x2 x3 )( x3 x1 )
教材中，c的表达式缺-号
c
( x3 x2 ) x2 x3 f1 ( x1 x3 ) x1 x3 f 2 ( x2 x1 ) x1 x2 f 3 ( x1 x2 )( x2 x3 )( x3 x1 )
入口
x
(0),ε
X
(1)=x(0)－f/x(0)/f//x(0)
∣f/x(1)∣≤ε 或∣x(1)－x(0)∣≤ε ?
x
(＊)：=x (1)
x
(0)：=x (1)
出口
4 3 2 例： 试用牛顿法求 f ( x) 1 x 2 x 2 x 7 x 8 4 3 值，已知探索区间为[a,b]=[3,4],ε=0.05。
4、牛顿法的特点 优点：收敛速度较快 缺点： 1）计算f’ 、f’’，计算工作量大。 2）用数值微分计算f’ 、f’’时，舍入误差会影响收敛速度。 3）x0与 x不能离太远，否则会发散或收敛于非极小点。 与0.618法比较： 0.618 法：1）收敛慢 2）对函数要求不严格 牛顿法正好相反。
5、牛顿法的框图
x3 x 2 h
3. 若 y 2 y1 ，应作前进运算(图a实线)：
并令： h 2h
x3 x 2 h ，求 y3 f ( x3 )
重复上述步骤，直到函数值出现“高-低-高”为止。
4. 若在步骤2中，出现 y1 y 2 (图a虚线)，则应作后退运算: 令：h h0 置换：x3 x1 y 3 y1 ； x1 x2 y1 y2 ；x2 x3 y2 y3 再令：h 2h
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f 3 b ( x1 x2 )( x2 x3 )( x3 x1 )
教材中，c的表达式缺-号
c
( x3 x2 ) x2 x3 f1 ( x1 x3 ) x1 x3 f 2 ( x2 x1 ) x1 x2 f 3 ( x1 x2 )( x2 x3 )( x3 x1 )
入口
x
(0),ε
X
(1)=x(0)－f/x(0)/f//x(0)
∣f/x(1)∣≤ε 或∣x(1)－x(0)∣≤ε ?
x
(＊)：=x (1)
x
(0)：=x (1)
出口
4 3 2 例： 试用牛顿法求 f ( x) 1 x 2 x 2 x 7 x 8 4 3 值，已知探索区间为[a,b]=[3,4],ε=0.05。
4、牛顿法的特点 优点：收敛速度较快 缺点： 1）计算f’ 、f’’，计算工作量大。 2）用数值微分计算f’ 、f’’时，舍入误差会影响收敛速度。 3）x0与 x不能离太远，否则会发散或收敛于非极小点。 与0.618法比较： 0.618 法：1）收敛慢 2）对函数要求不严格 牛顿法正好相反。
5、牛顿法的框图
x3 x 2 h
3. 若 y 2 y1 ，应作前进运算(图a实线)：
一维搜索的最优方法(黄金分割法)
( 1 )＝ ( 2 )＝0.264， f1＝－1.125
新点 ( 2 )＝a 0.618( b a )＝0.354, f 2＝f ( ( 2 ) ) ＝-1.103 (4) 比较函数值，缩短搜索区间 f1 f 2 a 0.118, b ( 2 ) 0.354 判断迭代终止条件: b - a 0.354 0.118 0.236 继续缩短
区间为[a, b] [－0. 5,0.5]，取迭代精度＝0.15。
解：(1) 在初始区间[a, b]内取点并计算函数值。
( 1 )＝b 0.618( b a )＝ 0.118, f1＝f ( ( 1 ) ) ＝－0.854 ( 2 )＝a 0.618( b a )＝0.118,
( 1 )＝b 0.618( b a ) ( 2 )＝a 0.618( b a )
计算f ( ( 1 ) )和f ( ( 2 ) )，令f ( ( 1 ) ) f1 , f ( ( 2 ) ) f 2
( 2 ) 比较函数值，缩小搜索区间 a. f1 f 2 ,则丢掉区间( ( 2 ) ,b ] 部分，取[ a , ( 2 ) ]为 新区间[ a1 , b1 ],在计算中作置换：
(2)+h (3)。计算（ ），令（ ） f3 f f
(3) (3)
(1) 若f 3 f1，则[a,b]=[(3) ,(2)]，停止计算。 (2) 若f 3 f1，则 2h h，(2) (1)，f 2 f1，
(3) (2)，f 3 f 2 (2) h (3)，计算（ ），令（ ） f3 , f f
h 2 1 2 1＝ 2＝1,
2＝ 3＝2 , 3＝ 2 h＝4
一维搜索-最优化方法
������2=0.538， ƒ2 = 1.751， ������1=������3+������������23 ������3 − ������3 =0.231
则ƒ2 = 1.822， ƒ1 > ƒ2，故得新区间为 [������4，������4]=[0.231， 0.846]
第五次迭代：
取������2=0.538， ƒ2 = 1.751， ������1=������2 − 0.1 ������4 − ������4 =0.477
问题3：按什么方式取点，求n次函数值之后多长的原始区间 缩短为最终区间长度为1？
• １：Ｆibonacci数列：
• F0 =1 ;
F1 = 1 ;
F 迭代公式：Fn2 ＝ Fn1 ＋ n
•
；n 非负整数
n
0
1
2
3
4
5
6
7
…..
1
1
23ຫໍສະໝຸດ 5813 21 …..
Fn
设Ln表示试点个数为n，最终区间长度为1时的原始区间[a ,b] 的最大可能的长度，现在找出Ln的一个上界。设最初的两个 试点为x1,x2,且且x1< x2 。如果极小点位于[a , x1]内，则我们 至多还有n-2个试点，因此x1-a≤Ln-2；如果极小点位于[x1 , b] 内，则包括x2在内还可以有n-1个试点，因此b- x1≦Ln-1。
t （１中）任若设取［两 (a点t,1b)］t1<是<单(tt2谷2) ，函，则数那搜么(索t有) 区的：间一可个缩已短知为搜*［索a区, 间t2］，.在［a,b］
( 2 ) 若 (t1 ) (t2 )，则搜索区间可缩短为［ t1，b］
基于黄金分割的一维寻优法
论文关键词：夹逼一维寻优黄金分割法单峰函数算法优化设计论文摘要：本文在黄金分割法的基础上，提出了一种夹逼一维寻优法。
该方法利用对分法选取给定搜索区间中点的原理，将区间对分为两个等分区间，在这两个区间内用黄金分割法同时进行搜索，然后再对这两个区间内所求得的函数值进行比较，运用“去劣存优”的原则，保留含优的搜索区间而摒弃含劣的搜索区间以同时从区间的两侧夹逼来逐步缩小搜索寻优区间，最终求得最优解。
本文给出了具体的算法实施过程和算法证明，结合算法给出算例并进行了理论分析和比较,结果表明本算法思路清晰、编程简单、计算简化，可以有效地求得函数的最优解。
1 引言从数学的观点看，工程中的各种优化问题都可以归结为求极大值或极小值问题。
所谓优化设计[1]就是借助最优化数值计算方法和计算机技术求取工程问题的最优设计方案。
在优化设计的寻优过程中，首先要根据实际设计问题的物理模型建立相应的数学模型，即用数学形式来描述实际设计问题。
其次就是应用数学规划方法的理论[2]，以计算机作为工具，根据数学模型的特点选择最优化方法来求解数学模型，以确定最佳设计参数。
在优化设计过程中，求一元函数的极小点和极小值问题就是一维优化问题。
求解一维优化问题的方法称为一维优化方法[3]。
一维优化法是优化问题中最简单、最基本的方法。
因为它不仅可以解决单变量目标函数的最优化问题，而且在求多变最目标函数的最大值时，大多数方法都要反复多次地进行一维搜索，用到一维优化方法。
一维优化法中的黄金分割法[4]是使用最广泛、操作简单的一维寻优方法，这种方法是在一元单峰函数所定义的区间上按黄金分割率对称取得一系列的黄金分割点，然后对分割点所对应的函数值进行计算和比较，利用区间缩小的序列消去原理[5]，最终确定函数的最优解和对应的最优值。
黄金分割法具有均匀的收敛速度，但每次迭代时只能使给定的搜索区间从单侧进行收缩，使得其收敛速度较慢，区间缩短率偏低。
因此，本文利用黄金分割法具有均匀的区间缩小率的序列消去特性，提出一种可以使给定的搜索区间从双侧同时进行收缩的基于黄金分割的夹逼一维寻优法。
一维搜索-最优化方法
∈( a , b ) ; （2） ������1 = ������0 - Ψ’(������0) / Ψ’’(������0) ; （3）若 | Ψ’(������0) | ≤ ε ， 输出 ������0 ，计算停
止 ； 否则 ， ������0 = ������1 ，转（2） 。
例题：用切线法求Ψ(t) =������2-5t+2 , 在定义域 t ∈ ( 0 , 10 ) 上的极小点 ， 要求 ε = 0.2 。
切线法（Newton法）
设Ψ(t)是区间(a , b)上的二次可微的单谷函数，������∗ 是 Ψ(t) 在 (a , b)上的极小值点， ������������ 是 ������∗ 的一个近似点。 目标 函数Ψ(t) 的一阶导数为������ = Ψ’(t) ，过点 (������������, Ψ’(������������) ) 作导函数 Ψ’(t) 的图像的切线，则此切线的方程为
在实践工作中，应根据问题的具体特点以及工作条 件来选用相应的合适算法。不过，从以往的实践中 来看，0.618法和对分法使用的更多一些。
可望达到上述的最小值，
所以有 c-a = b-c ， 即 c = 0.5(b-a)
对分法的步骤
设单谷函数 Ψ（t）存在导函数Ψ’（t），极小值点的初始搜索 区间为(a。，b。），要求极小值点的近似值 ������ҧ 与精确极小值 点 t* 的最大绝对误差 ������ − ������ ∗ ҧ 不超过 ε 。
⑴ 令 a=a。 , b=b。;
⑵ 令 c = 0.5(b-a)，计算Ψ’(c);
⑶ 若 Ψ’(c)ຫໍສະໝຸດ <0 ，令 a=c , 转到⑷
若 Ψ’(c)>0 ，令 b=c ，转到⑷
止 ； 否则 ， ������0 = ������1 ，转（2） 。
例题：用切线法求Ψ(t) =������2-5t+2 , 在定义域 t ∈ ( 0 , 10 ) 上的极小点 ， 要求 ε = 0.2 。
切线法（Newton法）
设Ψ(t)是区间(a , b)上的二次可微的单谷函数，������∗ 是 Ψ(t) 在 (a , b)上的极小值点， ������������ 是 ������∗ 的一个近似点。 目标 函数Ψ(t) 的一阶导数为������ = Ψ’(t) ，过点 (������������, Ψ’(������������) ) 作导函数 Ψ’(t) 的图像的切线，则此切线的方程为
在实践工作中，应根据问题的具体特点以及工作条 件来选用相应的合适算法。不过，从以往的实践中 来看，0.618法和对分法使用的更多一些。
可望达到上述的最小值，
所以有 c-a = b-c ， 即 c = 0.5(b-a)
对分法的步骤
设单谷函数 Ψ（t）存在导函数Ψ’（t），极小值点的初始搜索 区间为(a。，b。），要求极小值点的近似值 ������ҧ 与精确极小值 点 t* 的最大绝对误差 ������ − ������ ∗ ҧ 不超过 ε 。
⑴ 令 a=a。 , b=b。;
⑵ 令 c = 0.5(b-a)，计算Ψ’(c);
⑶ 若 Ψ’(c)ຫໍສະໝຸດ <0 ，令 a=c , 转到⑷
若 Ψ’(c)>0 ，令 b=c ，转到⑷
§4.3 一维搜索方法
§4.3 一维搜索方法一维搜索问题：目标函数为单变量的非线性规划问题，即)(min max00t t t t ϕ≤≤≥ （4.3.1）对t 的取值为0≥t 的（4.3.1）称为一维搜索问题，即 )(min 0t t ϕ≥ ；对t 的取值为max 0t t ≤≤的（4.3.1）称为有效一维搜索问题，即 )(minmax0t t t ϕ≤≤。
1、0.618法（近似黄金分割法）单谷函数：称函数)(t ϕ是区间],[b a 上的单谷函数，若存在 ],[*b a t ∈，使得)(t ϕ在],[*t a 上严格递减，且在],[*b t 上严格递增。
区间],[b a 称为)(t ϕ的单谷区间。
求解一维搜索问题的方法：先设法给出一个搜索区间],[b a ，然后通过迭代不断缩小搜索区间，当区间的长度充分小是，可取这个区间中的任一点作为一个近似极小点。
考虑问题)(min t bt a ϕ≤≤ （4.3.2）其中],[b a 是)(t ϕ的单谷区间， 下面将通过迭代不断缩小搜索区间， 获得)(t ϕ的唯一极小点 *t 的近似解。
在],[b a 内任取两点 21,t t ，设 21t t <，由于)(t ϕ是区间],[b a 上的单谷函数，所以有<1> 若)()(21t t ϕϕ≤，则 ],[2*t a t ∈；<2> 若)()(21t t ϕϕ≥，则 ],[1*b t t ∈。
证<1>：若],[2*t a t ∉，则 2*t t >，所以*21t t t a <<<，因为)(t ϕ在],[*t a 上严格递减，所以)()(21t t ϕϕ>，矛盾。
同理可证 <2>。
通过比较)(1t ϕ和)(2t ϕ的大小，可将搜索区间缩小为],[2t a 或],[1b t 。
不妨设为],[2t a ，则在],[2t a 只需另找一个点 2t '，比较 1t 和2t '的目标函数值，又可以进一步缩小搜索区间。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
设一元函数f (a )的起始搜索区间为[a ,b], *是
函数的极小点。
在搜索区间[ a,b ]内任取两点 (1)、 ( 2 )。且 a (1) ( 2 ) b,计算f ( (1) )、f ( ( 2 ) )。将f ( (1) )与 f ( ( 2 ) )进行比较，可能出现三种情况：
具体作法：
给出初始点0，初始步长h0 0,若（0＋h0）<（0）,
则下一步从新点0＋h0出发，加大步长向前搜索，直到目标
函数上升就停止。若（0＋h0）>（0）,则下一步仍然从点
出发，沿反方向搜索，直到目标函数上升就停止。这样就
0
可以得到一个搜索区间。
进退法步骤
step1. 给定初始值。给定初始点 ( 0 )，初始步长h 0。
;f3， 重排顺序
(3) (2), f3 f2 ;
(2)+h (3)。计算（ f ( 3 )），令（ f ） (3) f3 (1) 若f3 f1，则[a,b]=[(3),(2)]，停止计算。 (2) 若f3 f1，则 2h h，(2) (1)，f2 f1，
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
一元函数的极小值问题，就是一维最优化 问题，其数值迭代方法亦称为一维搜索方法。
一维搜索最优化是优化方法中最简单、最基 本的方法。
主要方法有：0.618法、牛顿法、二次插值法 等。
§4－1 一维搜索的搜索区间
一、一维 S (k1)
(k)
(k) (k)
显然，搜索方向S（k)和步长因子（k)构成了每一次迭代
1＝2＝1, 2＝3＝2, 3＝2 h＝4
f1 f (1 ) 10 f2 f (2 ) 4
作前进运算
f3 f (3 ) 0
再作前进运算
f1 f (1 ) 4 f2 f (2 ) 0 f3 f (3 ) 2
d . 比较 f2 f3 再作前进运算
h 22 4
1＝2＝2,
f1 f (1 ) 0
2＝
＝4
3
,
f2 f (2 ) 2
3＝2 h＝8 f3 f (3 ) 18
e. 此时有 f1 f2，f2 f3 ,故a=1 2,b 3 .即初始搜索
区间为[2,8].
§4－2 黄金分割法（0.618法）
一、消去法的基本原理
基本思路：逐步缩小搜索区间，直至最小点存在的区 间达到允许的误差范围为止。
返回( 1 )重新开始。
例4.1 用进退法确定函数
f ( a ) a2 7a 10 的一维优化初始搜索区间[a,b]。
设初始点0 0,初始步长h 1。
解：按顺序进行计算，有
a. 1 0 0 2 1 h 1
b. 比较 f2 f1
3 2 h 2
c. 比较 f2 f3 h 21 2
(1) f ((1) ) f (( 2 ) ).在这种情况下，可以丢掉(( 2 ) ,b] 部分，而最小点必定在[a,( 2 )]内。
f( )
f( )
a
b a(1 ) *
a( 2 )
a
b * a(1 ) a( 2 )
( 2 ) f ((1) ) f (( 2 ) ).在这种情况下，可以丢掉[ a,(1) ) 部分，而最小点必定在[(1) ,b ]内。
的修正量，它们是决定最优化算法好坏的重要因素。
假定给定了搜索方向S（k)，从点X（k)出发沿S（k)方向
进行搜索，要确定步长（k)，使得 f ( X (k1) ) f ( X (k ) （k) S（k) ) f ( X (k ) )
记
（）＝f ( X (k ) （k) S（k) ) 即确定步长（k)，就是单变量函数（）的搜索问题。
f( )
f( )
a a(1)
b * a( 2 )
a a(1 ) a( 2 ) *
b
( 3 ) f ( (1) ) f ( ( 2 ) ).在这种情况下，可以丢掉[ a, (1) ) 部分，也可以丢掉( ( 2 ) ,b ]部分，而最小点必定在[ (1) , ( 2 ) ]
内。因此这种情况可以并入上面的任意一种情况。
f( )
(1) f ( (1) ) f ( ( 2 ) ).取区间[ a, ( 2 ) ]； ( 2 ) f ( (1) ) f ( ( 2 ) ).取区间[ (1) ,b ]。
a a(1)
b * a( 2 )
二、0.618的由来
1. （1）,（2）在[a,b]中位置对称
2. 每次缩短的区间缩短率不变，减少计算量。
间长度逐步缩短。
0.618法与二次插值法就是解 决第二个步骤的方法
a
b
x
在极小点附近，函数呈现“大－小－大”
y
y f (x)
x
y
y f (x)
x
二、确定搜索区间的进退法
• 基本思想
从一点出发，按一定的步长，试图确定出函数值 呈现出”高－低－高“的三个点。一个方向不成功，就 退回来沿相反方向搜索。
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
返回( 1 )重新开始。
进退试算法步骤
step4. 若在步2中，f2 f1，后退运算
以(1)为起始点，步长反号，反方向搜索。
-h
h; (1) (3), (2) (1), f2
f1 f1
称为一维搜索问题。
min （）＝f ( X (k) （k) S（k) )
◎在极小点附近，函数呈现“大－小－大”
y
y f (x)
y
y f (x)
一维搜索的思路
（1）确定极小点α*所在的区 间[a, b]，在此区间内，函数呈 现“大－小－大”变化趋势。 搜速区间。
x
（2）在[a, b]内找α*－将区
step2. 令 ( 0 ) (1)， (1) h ( 2 )。计算（ f (1)），（ f ） (2) 令（ f ） (1) f1，（ f ） (2) f2
step3. 若f2 f1，前进运算，(2) h (3)。计算（ f ( 3 )） 令（ f ） (3) f3
(1) 若f2 f3，则[a,b]=[(1),(3)]，停止计算 (2) 若f2 f3，则 2h h，(2) (1)，f2 f1，
函数的极小点。
在搜索区间[ a,b ]内任取两点 (1)、 ( 2 )。且 a (1) ( 2 ) b,计算f ( (1) )、f ( ( 2 ) )。将f ( (1) )与 f ( ( 2 ) )进行比较，可能出现三种情况：
具体作法：
给出初始点0，初始步长h0 0,若（0＋h0）<（0）,
则下一步从新点0＋h0出发，加大步长向前搜索，直到目标
函数上升就停止。若（0＋h0）>（0）,则下一步仍然从点
出发，沿反方向搜索，直到目标函数上升就停止。这样就
0
可以得到一个搜索区间。
进退法步骤
step1. 给定初始值。给定初始点 ( 0 )，初始步长h 0。
;f3， 重排顺序
(3) (2), f3 f2 ;
(2)+h (3)。计算（ f ( 3 )），令（ f ） (3) f3 (1) 若f3 f1，则[a,b]=[(3),(2)]，停止计算。 (2) 若f3 f1，则 2h h，(2) (1)，f2 f1，
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
一元函数的极小值问题，就是一维最优化 问题，其数值迭代方法亦称为一维搜索方法。
一维搜索最优化是优化方法中最简单、最基 本的方法。
主要方法有：0.618法、牛顿法、二次插值法 等。
§4－1 一维搜索的搜索区间
一、一维 S (k1)
(k)
(k) (k)
显然，搜索方向S（k)和步长因子（k)构成了每一次迭代
1＝2＝1, 2＝3＝2, 3＝2 h＝4
f1 f (1 ) 10 f2 f (2 ) 4
作前进运算
f3 f (3 ) 0
再作前进运算
f1 f (1 ) 4 f2 f (2 ) 0 f3 f (3 ) 2
d . 比较 f2 f3 再作前进运算
h 22 4
1＝2＝2,
f1 f (1 ) 0
2＝
＝4
3
,
f2 f (2 ) 2
3＝2 h＝8 f3 f (3 ) 18
e. 此时有 f1 f2，f2 f3 ,故a=1 2,b 3 .即初始搜索
区间为[2,8].
§4－2 黄金分割法（0.618法）
一、消去法的基本原理
基本思路：逐步缩小搜索区间，直至最小点存在的区 间达到允许的误差范围为止。
返回( 1 )重新开始。
例4.1 用进退法确定函数
f ( a ) a2 7a 10 的一维优化初始搜索区间[a,b]。
设初始点0 0,初始步长h 1。
解：按顺序进行计算，有
a. 1 0 0 2 1 h 1
b. 比较 f2 f1
3 2 h 2
c. 比较 f2 f3 h 21 2
(1) f ((1) ) f (( 2 ) ).在这种情况下，可以丢掉(( 2 ) ,b] 部分，而最小点必定在[a,( 2 )]内。
f( )
f( )
a
b a(1 ) *
a( 2 )
a
b * a(1 ) a( 2 )
( 2 ) f ((1) ) f (( 2 ) ).在这种情况下，可以丢掉[ a,(1) ) 部分，而最小点必定在[(1) ,b ]内。
的修正量，它们是决定最优化算法好坏的重要因素。
假定给定了搜索方向S（k)，从点X（k)出发沿S（k)方向
进行搜索，要确定步长（k)，使得 f ( X (k1) ) f ( X (k ) （k) S（k) ) f ( X (k ) )
记
（）＝f ( X (k ) （k) S（k) ) 即确定步长（k)，就是单变量函数（）的搜索问题。
f( )
f( )
a a(1)
b * a( 2 )
a a(1 ) a( 2 ) *
b
( 3 ) f ( (1) ) f ( ( 2 ) ).在这种情况下，可以丢掉[ a, (1) ) 部分，也可以丢掉( ( 2 ) ,b ]部分，而最小点必定在[ (1) , ( 2 ) ]
内。因此这种情况可以并入上面的任意一种情况。
f( )
(1) f ( (1) ) f ( ( 2 ) ).取区间[ a, ( 2 ) ]； ( 2 ) f ( (1) ) f ( ( 2 ) ).取区间[ (1) ,b ]。
a a(1)
b * a( 2 )
二、0.618的由来
1. （1）,（2）在[a,b]中位置对称
2. 每次缩短的区间缩短率不变，减少计算量。
间长度逐步缩短。
0.618法与二次插值法就是解 决第二个步骤的方法
a
b
x
在极小点附近，函数呈现“大－小－大”
y
y f (x)
x
y
y f (x)
x
二、确定搜索区间的进退法
• 基本思想
从一点出发，按一定的步长，试图确定出函数值 呈现出”高－低－高“的三个点。一个方向不成功，就 退回来沿相反方向搜索。
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
返回( 1 )重新开始。
进退试算法步骤
step4. 若在步2中，f2 f1，后退运算
以(1)为起始点，步长反号，反方向搜索。
-h
h; (1) (3), (2) (1), f2
f1 f1
称为一维搜索问题。
min （）＝f ( X (k) （k) S（k) )
◎在极小点附近，函数呈现“大－小－大”
y
y f (x)
y
y f (x)
一维搜索的思路
（1）确定极小点α*所在的区 间[a, b]，在此区间内，函数呈 现“大－小－大”变化趋势。 搜速区间。
x
（2）在[a, b]内找α*－将区
step2. 令 ( 0 ) (1)， (1) h ( 2 )。计算（ f (1)），（ f ） (2) 令（ f ） (1) f1，（ f ） (2) f2
step3. 若f2 f1，前进运算，(2) h (3)。计算（ f ( 3 )） 令（ f ） (3) f3
(1) 若f2 f3，则[a,b]=[(1),(3)]，停止计算 (2) 若f2 f3，则 2h h，(2) (1)，f2 f1，