一维搜索的最优方法(黄金分割法)
最优化方法 第三章第二讲 一维搜索
第三次迭代
令 x1 0.538， f1 1.751，取 F3 x2 0.077 (1.462 0.077) 0.846， F4 f 2 1.870。
因为 f 1 f 2 ，所以新区间为 0.077,0.846。
第四次迭代
令 x 2 0.538， f 2 1.751，取 F1 x1 0.077 (0.846 0.077) 0.231， F3 则 f 1 1.822。
设其最优解为 k ，得到 xk 1 xk k pk ，
一维搜索是求解一元函数 ( ) 的最优化问题（也叫 一维最优化问题） ，仍表示为 min f ( x ) 或 min f ( x )。 1
xR
a xb
定义：若在 a, b内 f ( x )有唯一极小点 x* ，在 x* 的左边 f ( x )严格下降，在 x* 的右边 f ( x )严格上升， 则称 f ( x )在区间 a, b上是下单峰函数。
step 6 令 k k 1，若 k n 2，则转 step 5； 若 k n 2，则转 step 7。
step 7 若 f1 f 2 ， 则令 b x2 ，x2 x1 ，f 2 f1 ， 转 step 8； 若 f1 f 2 ，则令 a x1，转 step 8。 step 8 令 x1 x2 0.1(b a ) ， f1 f ( x1 ) 1 * 若 f1 f 2 ，则 x (a x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 b ) 。 2
ab step 3 若 b a ，则 x ，停。否则转 step 4。 2
最优化方法-一维搜索
按任务方式插入n个观测点后，剩下的搜索区间的长度不少于原初始长 度的1／ Fn
令缩短后的长度为Ｓ，有： Ｓ （b-a）/ Fn
• Ｆibonacci数列：
• ＝b- (b-a)=a+(1- )(b-a)
• =a+ (b-a)
•
• 2 0.618法算法
设
值
(t)是单谷函数，［ a
t
与精确极小点
t*
0的，最b大0 ］绝是对初误始差搜t索 区t * 间 ， 要求精确极小点近似
记：a= a0,b= b0 , =0.618.
(1) =a+(1- )(b-a), 1 = ()
进退算法的基本步骤：
（（（t0１ ２ ３点 回）））及升：：：，首若若t则0先［＋tt任t00h0＋＋选点，hh一t的点点n个函］的的初数就函 函始值是数 数点．一值 值个下 上t0搜降 升，索， ，初区继 则始间续 从步，前长t算进0h法点,，进停退直到止到到．t某0t个＋0 －ht，h0点并点．计的算函数值
4= a4 +( F0 / F2
b4
)(
=
b4
3 /a4
=2.5 , 4= 3 = 1.625
)=0.75+1/2*1.75=1.625
这时，
＝
4
，（因为已到k=3=n-2)
4
K=4, 因此
(5取5 =)a=0t5.41＝＝=410.,.6542（(5＝b,515).＋5=6=02a.550,47b+6）50,.＝1＝=2(1.b.05476)2255>＝2(.55 )
3.3 一维搜索方法 (一维优化)
并令： h 2h
x3 x 2 h ，求 y3 f ( x3 )
重复上述步骤，直到函数值出现“高-低-高”为止。
4. 若在步骤2中，出现 y1 y 2 (图a虚线)，则应作后退运算: 令：h h0 置换：x3 x1 y 3 y1 ； x1 x2 y1 y2 ；x2 x3 y2 y3 再令：h 2h
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f 3 b ( x1 x2 )( x2 x3 )( x3 x1 )
教材中，c的表达式缺-号
c
( x3 x2 ) x2 x3 f1 ( x1 x3 ) x1 x3 f 2 ( x2 x1 ) x1 x2 f 3 ( x1 x2 )( x2 x3 )( x3 x1 )
入口
x
(0),ε
X
(1)=x(0)－f/x(0)/f//x(0)
∣f/x(1)∣≤ε 或∣x(1)－x(0)∣≤ε ?
x
(＊)：=x (1)
x
(0)：=x (1)
出口
4 3 2 例： 试用牛顿法求 f ( x) 1 x 2 x 2 x 7 x 8 4 3 值，已知探索区间为[a,b]=[3,4],ε=0.05。
4、牛顿法的特点 优点：收敛速度较快 缺点： 1）计算f’ 、f’’，计算工作量大。 2）用数值微分计算f’ 、f’’时，舍入误差会影响收敛速度。 3）x0与 x不能离太远，否则会发散或收敛于非极小点。 与0.618法比较： 0.618 法：1）收敛慢 2）对函数要求不严格 牛顿法正好相反。
5、牛顿法的框图
x3 x 2 h
3. 若 y 2 y1 ，应作前进运算(图a实线)：
一维搜索的最优方法(黄金分割法)
( 1 )＝ ( 2 )＝0.264， f1＝－1.125
新点 ( 2 )＝a 0.618( b a )＝0.354, f 2＝f ( ( 2 ) ) ＝-1.103 (4) 比较函数值，缩短搜索区间 f1 f 2 a 0.118, b ( 2 ) 0.354 判断迭代终止条件: b - a 0.354 0.118 0.236 继续缩短
区间为[a, b] [－0. 5,0.5]，取迭代精度＝0.15。
解：(1) 在初始区间[a, b]内取点并计算函数值。
( 1 )＝b 0.618( b a )＝ 0.118, f1＝f ( ( 1 ) ) ＝－0.854 ( 2 )＝a 0.618( b a )＝0.118,
( 1 )＝b 0.618( b a ) ( 2 )＝a 0.618( b a )
计算f ( ( 1 ) )和f ( ( 2 ) )，令f ( ( 1 ) ) f1 , f ( ( 2 ) ) f 2
( 2 ) 比较函数值，缩小搜索区间 a. f1 f 2 ,则丢掉区间( ( 2 ) ,b ] 部分，取[ a , ( 2 ) ]为 新区间[ a1 , b1 ],在计算中作置换：
(2)+h (3)。计算（ ），令（ ） f3 f f
(3) (3)
(1) 若f 3 f1，则[a,b]=[(3) ,(2)]，停止计算。 (2) 若f 3 f1，则 2h h，(2) (1)，f 2 f1，
(3) (2)，f 3 f 2 (2) h (3)，计算（ ），令（ ） f3 , f f
h 2 1 2 1＝ 2＝1,
2＝ 3＝2 , 3＝ 2 h＝4
一维搜索-最优化方法
������2=0.538， ƒ2 = 1.751， ������1=������3+������������23 ������3 − ������3 =0.231
则ƒ2 = 1.822， ƒ1 > ƒ2，故得新区间为 [������4，������4]=[0.231， 0.846]
第五次迭代：
取������2=0.538， ƒ2 = 1.751， ������1=������2 − 0.1 ������4 − ������4 =0.477
问题3：按什么方式取点，求n次函数值之后多长的原始区间 缩短为最终区间长度为1？
• １：Ｆibonacci数列：
• F0 =1 ;
F1 = 1 ;
F 迭代公式：Fn2 ＝ Fn1 ＋ n
•
；n 非负整数
n
0
1
2
3
4
5
6
7
…..
1
1
23ຫໍສະໝຸດ 5813 21 …..
Fn
设Ln表示试点个数为n，最终区间长度为1时的原始区间[a ,b] 的最大可能的长度，现在找出Ln的一个上界。设最初的两个 试点为x1,x2,且且x1< x2 。如果极小点位于[a , x1]内，则我们 至多还有n-2个试点，因此x1-a≤Ln-2；如果极小点位于[x1 , b] 内，则包括x2在内还可以有n-1个试点，因此b- x1≦Ln-1。
t （１中）任若设取［两 (a点t,1b)］t1<是<单(tt2谷2) ，函，则数那搜么(索t有) 区的：间一可个缩已短知为搜*［索a区, 间t2］，.在［a,b］
( 2 ) 若 (t1 ) (t2 )，则搜索区间可缩短为［ t1，b］
基于黄金分割的一维寻优法
论文关键词：夹逼一维寻优黄金分割法单峰函数算法优化设计论文摘要：本文在黄金分割法的基础上，提出了一种夹逼一维寻优法。
该方法利用对分法选取给定搜索区间中点的原理，将区间对分为两个等分区间，在这两个区间内用黄金分割法同时进行搜索，然后再对这两个区间内所求得的函数值进行比较，运用“去劣存优”的原则，保留含优的搜索区间而摒弃含劣的搜索区间以同时从区间的两侧夹逼来逐步缩小搜索寻优区间，最终求得最优解。
本文给出了具体的算法实施过程和算法证明，结合算法给出算例并进行了理论分析和比较,结果表明本算法思路清晰、编程简单、计算简化，可以有效地求得函数的最优解。
1 引言从数学的观点看，工程中的各种优化问题都可以归结为求极大值或极小值问题。
所谓优化设计[1]就是借助最优化数值计算方法和计算机技术求取工程问题的最优设计方案。
在优化设计的寻优过程中，首先要根据实际设计问题的物理模型建立相应的数学模型，即用数学形式来描述实际设计问题。
其次就是应用数学规划方法的理论[2]，以计算机作为工具，根据数学模型的特点选择最优化方法来求解数学模型，以确定最佳设计参数。
在优化设计过程中，求一元函数的极小点和极小值问题就是一维优化问题。
求解一维优化问题的方法称为一维优化方法[3]。
一维优化法是优化问题中最简单、最基本的方法。
因为它不仅可以解决单变量目标函数的最优化问题，而且在求多变最目标函数的最大值时，大多数方法都要反复多次地进行一维搜索，用到一维优化方法。
一维优化法中的黄金分割法[4]是使用最广泛、操作简单的一维寻优方法，这种方法是在一元单峰函数所定义的区间上按黄金分割率对称取得一系列的黄金分割点，然后对分割点所对应的函数值进行计算和比较，利用区间缩小的序列消去原理[5]，最终确定函数的最优解和对应的最优值。
黄金分割法具有均匀的收敛速度，但每次迭代时只能使给定的搜索区间从单侧进行收缩，使得其收敛速度较慢，区间缩短率偏低。
因此，本文利用黄金分割法具有均匀的区间缩小率的序列消去特性，提出一种可以使给定的搜索区间从双侧同时进行收缩的基于黄金分割的夹逼一维寻优法。
一维搜索-最优化方法
止 ； 否则 ， ������0 = ������1 ，转（2） 。
例题：用切线法求Ψ(t) =������2-5t+2 , 在定义域 t ∈ ( 0 , 10 ) 上的极小点 ， 要求 ε = 0.2 。
切线法（Newton法）
设Ψ(t)是区间(a , b)上的二次可微的单谷函数，������∗ 是 Ψ(t) 在 (a , b)上的极小值点， ������������ 是 ������∗ 的一个近似点。 目标 函数Ψ(t) 的一阶导数为������ = Ψ’(t) ，过点 (������������, Ψ’(������������) ) 作导函数 Ψ’(t) 的图像的切线，则此切线的方程为
在实践工作中，应根据问题的具体特点以及工作条 件来选用相应的合适算法。不过，从以往的实践中 来看，0.618法和对分法使用的更多一些。
可望达到上述的最小值，
所以有 c-a = b-c ， 即 c = 0.5(b-a)
对分法的步骤
设单谷函数 Ψ（t）存在导函数Ψ’（t），极小值点的初始搜索 区间为(a。，b。），要求极小值点的近似值 ������ҧ 与精确极小值 点 t* 的最大绝对误差 ������ − ������ ∗ ҧ 不超过 ε 。
⑴ 令 a=a。 , b=b。;
⑵ 令 c = 0.5(b-a)，计算Ψ’(c);
⑶ 若 Ψ’(c)ຫໍສະໝຸດ <0 ，令 a=c , 转到⑷
若 Ψ’(c)>0 ，令 b=c ，转到⑷
§4.3 一维搜索方法
§4.3 一维搜索方法一维搜索问题：目标函数为单变量的非线性规划问题，即)(min max00t t t t ϕ≤≤≥ （4.3.1）对t 的取值为0≥t 的（4.3.1）称为一维搜索问题，即 )(min 0t t ϕ≥ ；对t 的取值为max 0t t ≤≤的（4.3.1）称为有效一维搜索问题，即 )(minmax0t t t ϕ≤≤。
1、0.618法（近似黄金分割法）单谷函数：称函数)(t ϕ是区间],[b a 上的单谷函数，若存在 ],[*b a t ∈，使得)(t ϕ在],[*t a 上严格递减，且在],[*b t 上严格递增。
区间],[b a 称为)(t ϕ的单谷区间。
求解一维搜索问题的方法：先设法给出一个搜索区间],[b a ，然后通过迭代不断缩小搜索区间，当区间的长度充分小是，可取这个区间中的任一点作为一个近似极小点。
考虑问题)(min t bt a ϕ≤≤ （4.3.2）其中],[b a 是)(t ϕ的单谷区间， 下面将通过迭代不断缩小搜索区间， 获得)(t ϕ的唯一极小点 *t 的近似解。
在],[b a 内任取两点 21,t t ，设 21t t <，由于)(t ϕ是区间],[b a 上的单谷函数，所以有<1> 若)()(21t t ϕϕ≤，则 ],[2*t a t ∈；<2> 若)()(21t t ϕϕ≥，则 ],[1*b t t ∈。
证<1>：若],[2*t a t ∉，则 2*t t >，所以*21t t t a <<<，因为)(t ϕ在],[*t a 上严格递减，所以)()(21t t ϕϕ>，矛盾。
同理可证 <2>。
通过比较)(1t ϕ和)(2t ϕ的大小，可将搜索区间缩小为],[2t a 或],[1b t 。
不妨设为],[2t a ，则在],[2t a 只需另找一个点 2t '，比较 1t 和2t '的目标函数值，又可以进一步缩小搜索区间。
一维搜索
xk 2 xk 1 , ( xk 2) ( xk 1 )
xk 2 是新搜索区间 [ak 1, bk 1] 的黄金分割点的对称点。
（2）计算保留试点的对称点——新搜索区间黄金分割点：
xk 2 ak 1 0.618 bk 1 ak 1), ( 及 算 ( xk 2). 计
(k ) 则在 x 附近可用 (x) 来近似 f (x)
1 f ( x ( k ) )( x x ( k ) ) 2 2
22
3.5.3 牛顿法
因此，可用 (x) 的极小点来近似 f (x) 的极小点。故求 (x)的驻 点 x ( k 1) ： 令 ( x) 0 ，得
(3.5.19) 以 (x)的驻点 x ( k 1)作为 f (x) 在 x (k ) 附近的极小点的k+1级估计值。 同理，如果在 x ( k 1)点将 f (x)作二阶泰勒展开。在 x ( k 1)点 附近用二阶泰勒多项式近似 f (x) ，可得
( x1)及 ( x1 )
并令：k：=0.
ak 1 ak , bk 1 xk 1
9
（3.5.10）
b0 a 0
3.5.1 黄金分割法
1 (ak 1 bk 1) 为近似极小点， (* ) 2 则计算新的一对试点：
*
为近似极小值，否
（1）保留试点的计算
f ( x) f ( x
(k )
) f ( x
(k ) 2
(k )
)(x x
(k )
1 ) f ( x ( k ) )(x x ( k ) ) 2 2
O( x x
)
记 ( x) f ( x ( k ) ) f ( x ( k ) )( x x ( k ) )
黄金分割法,进退法,基础原理及经过流程图
1黄金分割法的优化问题(1)黄金分割法基本思路：黄金分割法适用于［a , b］区间上的任何单股函数求极小值问题，对函数除要求“单谷”外不做其他要求，甚至可以不连续。
因此，这种方法的适应面非常广。
黄金分割法也是建立在区间消去法原理基础上的试探方法，即在搜索区间［a, b］内适当插入两点al, a2,并计算其函数值。
al, a2将区间分成三段，应用函数的单谷性质，通过函数值大小的比较，删去其中一段，是搜索区间得以缩小。
然后再在保留下来的区间上作同样的处理，如此迭代下去，是搜索区间无限缩小，从而得到极小点的数值近似解。
(2)黄金分割法的基本原理一维搜索是解函数极小值的方法之一，其解法思想为沿某一已知方向求目标函数的极小值点。
一维搜索的解法很多，这里主要采用黄金分割法(0.618法)。
该方法用不变的区间缩短率0.618代替斐波那契法每次不同的缩短率，从而可以看成是斐波那契法的近似，实现起来比较容易，也易于人们所接受。
rl=a+0,382(>-a) r2=a+0,618Cb-a) 如图班2户母4) 所以新区间为［a ,于2］以为新区间，继域求新的试点黄金分割法是用于一元函数f(x)在给定初始区间［a,b］内搜索极小点* *的一种方法。
它是优化计算中的经典算法，以算法简单、收敛速度均匀、效果较好而著称，是许多优化算法的基础，但它只适用于一维区间上的凸函数［6］,即只在单峰区间内才能进行一维寻优，其收敛效率较低。
其基本原理是：依照“去劣存优”原则、对称原则、以及等比收缩原则来逐步缩小搜索区间［7］。
具体步骤是：在区间［a,b］内取点：al , a2把［a,b］分为三段。
如果f(a1)>f(a2),令a=a1,a1=a2,a2=a+r*(b-a);如果f(a1)<f(a2) ,令b=a2,a2=a1,a1=b-r*(b-a), 如果 | (b-a)/b | 和 | (y1-y2)/y2 | 都大于收敛精度e重新开始。
最优化理论
一维搜索:1精确一维搜索精确一维搜索可以分为三类：区间收缩法、函数逼近法（插值法）、以及求根法。
区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索区间)。
包括：黄金分割法、成功失败法、斐波那契法、对分搜索法以及三点等间隔搜索法等。
优化算法通常具有局部性质，通常的迭代需要在单峰区间进行操作以保证算法收敛。
确定初始区间的方法：进退法①已知搜索起点和初始步长；②然后从起点开始以初始步长向前试探，如果函数值变大，则改变步长方向；③如果函数值下降，则维持原来的试探方向，并将步长加倍。
1.1黄金分割法：黄金分割法是一种区间收缩方法(或分割方法)，其基本思想是通过取试探点和进行函数值比较，使包含极小点的搜索区间不断缩短以逼近极小值点。
具有对称性以及保持缩减比原则。
优点：不要求函数可微，除过第一次外，每次迭代只需计算一个函数值，计算量小，程序简单；缺点：收敛速度慢；函数逼近法（插值法）：用比较简单函数的极小值点近似代替原函数的极小值点。
从几何上看是用比较简单的曲线近似代替原的曲线，用简单曲线的极小值点代替原曲线的极小点。
1.2牛顿法：将目标函数二阶泰勒展开，略去高阶项后近似的替代目标函数，然后用二次函数的极小点作为目标函数的近似极小点。
牛顿法的优点是收敛速度快，缺点是需要计算二阶导数，要求初始点选的好，否则可能不收敛。
1.2抛物线法：抛物线法的基本思想就是用二次函数抛物线来近似的代替目标函数，并以它的极小点作为目标函数的近似极小点。
在一定条件下，抛物线法是超线性收敛的。
1.3三次插值法：三次插值法是用两点处的函数值和导数值来构造差值多项式，以该曲线的极小点来逼近目标函数的极小点。
一般来说，三次插值法比抛物线法的收敛速度要快。
精确一维搜索的方法选择：1如目标函数能求二阶导数：用Newton法，收敛快。
2如目标函数能求一阶导数：1如果导数容易求出，考虑用三次插值法，收敛较快；2对分法、收敛速度慢，但可靠；3只需计算函数值的方法：1二次插值法, 收敛快，但对函数单峰依赖较强；2黄金分割法收敛速度较慢，但实用性强，可靠；4减少总体计算时间：非精确一维搜索方法更加有效。
凸优化之无约束优化（一维搜索方法：黄金分割法、斐波那契数列法）
凸优化之⽆约束优化（⼀维搜索⽅法：黄⾦分割法、斐波那契数列法）⽬标函数为⼀元单值函数f：R->R的最⼩化优化问题，⼀般不会单独遇到，它通常作为多维优化问题中的⼀个部分出现，例如梯度下降法中每次最优迭代步长的估计。
⼀维搜索⽅法是通过迭代⽅式求解的，这不同于我们⼈脑的直接通过解表达式求解⽅法。
迭代算法是从初始搜索点x(0)出发，产⽣⼀个迭代序列x(1),x(2),...。
在第k=0,1,2，...次迭代中，通过当前迭代点x(k)和⽬标函数 f 构建下⼀个迭代点x(k+1)。
某些算法可能只需要⽤到迭代点处的⽬标函数值，⽽另⼀些算法还可能⽤到⽬标函数的导数 f'(x)，甚⾄是⼆阶导数 f''(x)。
1、问题描述：如果⼀元单值函数 f:R->R 在闭区间[a0,b0]上是单峰的，求解 f 在该区间上的极⼩点。
2、计算机求解⽅法：以下⽅法的本质是：区间压缩(截取)法，通过不断缩⼩极⼩点所在的区间长度到⾜够的精度⽔平来逼近极⼩点。
（1）黄⾦分割法（每次区间截取⽐例为固定值）第⼀步：初始区间[a0,b0]，设定截取⽐例为 r，则第⼀次挑选两个中间点 a1和 b1，它们满⾜对称要求：a1-a0=b0-b1= r(b0-a0)，显然r<1/2，如果 f(a1) < f(b1)，那么极⼩点应该在区间 [a0,b1] 中; 否则，如 f(a1) >= f(b1)，极⼩点应该位于区间 [a1,b0] 中。
第⼆步：经过第⼀次压缩后，极⼩点所在区间变为[a0,b1]，或者[a1,b0]。
假定为[a0,b1]，下⾯需要第⼆次挑选中间点 a2和 b2 。
为了充分利⽤第⼀次的挑选点信息，减少计算次数，那么第⼆次挑选的点 b2可以取第⼀次的挑选点 a1，这样就只需要计算b2（即a1）在新区间上的对称点 a2 和 f(a2) 。
为了实现这样的想法，那么必须满⾜下⾯的要求: r(b1-a0)= b1 - b2=b1-a1 <=> r[b0-r(b0-a0)-a0]=(1-2r)(b0-a0)<=>r2-3r+1=0<=>1-r=(sqrt(5)-1)/2 = 0.618，即每次截取后保留⽐例为0.618 故称此⽅法为黄⾦分割法。
一维搜索的最优方法(黄金分割法)
05 黄金分割法的应用举例
在函数优化中的应用
一元函数优化
黄金分割法可用于一元函数的极值求解，通过不断缩小搜索区间来逼近最优解。
多元函数优化的辅助手段
在多元函数优化中，黄金分割法可作为辅助手段，用于一维搜索或线搜索过程。
在工程问题中的应用
结构设计优化
在结构设计中，黄金分割法可用于寻 找最优的结构参数，如梁、柱的截面 尺寸等，以实现结构性能和经济性的 平衡。
二分法每次迭代将搜索区间减半，而黄金分割法每次迭代将搜索区间缩小为原来的约 0.618倍。在收敛速度上，二分法通常比黄金分割法更快。但二分法要求函数在搜索区间 内连续且单调，而黄金分割法则没有这样的限制。
与牛顿法相比
牛顿法是一种基于导数信息的搜索方法，具有较快的收敛速度。但在一维搜索问题中，当 导数信息不可用或难以获取时，黄金分割法则更为适用。此外，牛顿法对初始点的选择较 为敏感，而黄金分割法则相对稳健。
解决一维搜索问题的方法有多种，其中黄金分割法是一种较为常用且有效的方法。
黄金分割法简介
黄金分割法是一种通过不断缩小搜索 区间来逼近函数极小值点的方法。
黄金分割法具有简单、快速、稳定等 优点，适用于单峰函数的一维搜索问 题。
它在每次迭代中，通过比较区间两个 端点处的函数值，来确定下一步的搜 索区间。
黄金分割点
在一条线段上，按照黄金分割比 例将线段分割成两部分，分割点
即为黄金分割点。
函数图像
对于一元函数，可以将其图像视 为一条曲线。黄金分割法通过不 断在曲线上选取试探点来逼近最
优解。
搜索区间缩小
每次迭代后，根据试探点的函数 值比较结果，将搜索区间缩小，
使得下一步的搜索更加精确。
黄金分割法的算法步骤
《机械优化设计方法》第3章 一维搜索的优化方法(上课课件)
3
2、用二次插值法求解下列问题
min f x x 3x 9x, x0 0, h 0.3, 0.15
3 2
3.3.3 实例
（4）判断迭代终止条件
4 2 3.5 3.5 0
4 3.5, f f (4 ) 2.25
* *
对于二次函数用二次插值法求优，只需一 次插值计算即可； 对于非二次函数，随着区间的缩短使函数 的二次性态加强，收敛也是较快的。
作业
1、用黄金分割法求解以下问题
（3）缩短搜索区间；
3.2 黄金分割法（试探法）
（4）检查区间是否缩短到足够小，如条件不满足 则返回到（2）。 （5）如果条件满足，则取区间中点作为极小点的 数值近似解。
3.2 黄金分割法（试探法）
3.2.3 举例
用黄金分割法求 f ( ) 2 7 10 的最优解。 设初始点 0 0 ，初始步长h=1,取迭代精度 ε=0.35。
扦入点的位置相对于区间端点具有对称性
1 a (1 )(b a ) 2 a (b a )
在保留下来的区间内再扦入一点形成区间 新三段，与原区间三段具有相同的比例。
3.2.1 黄金分割法的基本思想
1 2 2 1 0 b b 2 4ac 2a 1 1 4 1 5 2 2
解：首先用进退法确定搜索区间
1 0 0, f1 f (1 ) 10 2 1 h 1, f2 f ( 2 ) 4
3 2 h 2, f3 f (3 ) 0
3.2.3 举例
一维搜索方法
一维搜索方法：（方法比较）“成功—失败”法、二分法、0.618法（黄金分割法）、牛顿法、二次插值法、D.S.C法、Powell法、D.S.C—Powell组合法。
1、“成功—失败”法：主要思想：从一点出发，按一定的步长搜索新点，若成功，加大步长继续搜索，否则，缩短步长小步后退。
此方法可以求最优解所在区间，称为“搜索区间”。
2、二分法：主要思想：区间[a,b]的中间值x0，判断f（x）的导数在三个点处的值，舍去一部分区间再求f(x)的极小值。
3、0.618法：等比例收缩原则，每次留下来的区间长度是上次留下来的区间长度的w倍。
以及对称原则、去坏留好原则。
W=0.6184、牛顿法：基本思想：在极小值点附近用目标函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数的极小值点的近似值。
5、二次插值法：牛顿法是在x k附近的目标函数用泰勒多项式近似代替，而此法是将f(x)用二次插值多项式p(x)近似代替。
把p(x)的极小值点作为f(x)极小值点的代替，从来求得函数的极小值。
6、D.S.C法：主要思想：利用成功—失败法寻找靠近极小值点的三点，进行二次插值。
优点是：收敛速度快，且不要求函数可微。
7、Powell法：基本思想：在搜索方向开始得到三点x0,x1,x2后，作二次插值，求得最小值x，在四点中去坏留好，在余下的三点中再作二次插值……8、D.S.C—Powell组合法：几种方法比较：D.S.C—Powell组合法是非常好的一种方法，它比任何一个单个方法都好D.S.C—Powell组合法与0.618法比较：D.S.C—Powell法中函数值的计算要比黄金分割法少得多，一般来讲它优于黄金分割法。
但：D.S.C—Powell法不一定能收敛到最优解。
最速下降法与修正牛顿法：对于正定二次函数，牛顿法一步可以求得最优解，对于非二次函数，牛顿法并不能保证有限次求得其最优解，但由于目标函数在极小值的附近近似于二次函数，故当初始点靠近极小值时，牛顿法收敛的速度比较快。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
函数的极小点。
在搜索区间[ a,b ]内任取两点 (1)、 ( 2 )。且 a (1) ( 2 ) b,计算f ( (1) )、f ( ( 2 ) )。将f ( (1) )与 f ( ( 2 ) )进行比较，可能出现三种情况：
具体作法：
给出初始点0，初始步长h0 0,若（0＋h0）<（0）,
则下一步从新点0＋h0出发，加大步长向前搜索，直到目标
函数上升就停止。若（0＋h0）>（0）,则下一步仍然从点
出发，沿反方向搜索，直到目标函数上升就停止。这样就
0
可以得到一个搜索区间。
进退法步骤
step1. 给定初始值。给定初始点 ( 0 )，初始步长h 0。
;f3， 重排顺序
(3) (2), f3 f2 ;
(2)+h (3)。计算（ f ( 3 )），令（ f ） (3) f3 (1) 若f3 f1，则[a,b]=[(3),(2)]，停止计算。 (2) 若f3 f1，则 2h h，(2) (1)，f2 f1，
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
一元函数的极小值问题，就是一维最优化 问题，其数值迭代方法亦称为一维搜索方法。
一维搜索最优化是优化方法中最简单、最基 本的方法。
主要方法有：0.618法、牛顿法、二次插值法 等。
§4－1 一维搜索的搜索区间
一、一维 S (k1)
(k)
(k) (k)
显然，搜索方向S（k)和步长因子（k)构成了每一次迭代
1＝2＝1, 2＝3＝2, 3＝2 h＝4
f1 f (1 ) 10 f2 f (2 ) 4
作前进运算
f3 f (3 ) 0
再作前进运算
f1 f (1 ) 4 f2 f (2 ) 0 f3 f (3 ) 2
d . 比较 f2 f3 再作前进运算
h 22 4
1＝2＝2,
f1 f (1 ) 0
2＝
＝4
3
,
f2 f (2 ) 2
3＝2 h＝8 f3 f (3 ) 18
e. 此时有 f1 f2，f2 f3 ,故a=1 2,b 3 .即初始搜索
区间为[2,8].
§4－2 黄金分割法（0.618法）
一、消去法的基本原理
基本思路：逐步缩小搜索区间，直至最小点存在的区 间达到允许的误差范围为止。
返回( 1 )重新开始。
例4.1 用进退法确定函数
f ( a ) a2 7a 10 的一维优化初始搜索区间[a,b]。
设初始点0 0,初始步长h 1。
解：按顺序进行计算，有
a. 1 0 0 2 1 h 1
b. 比较 f2 f1
3 2 h 2
c. 比较 f2 f3 h 21 2
(1) f ((1) ) f (( 2 ) ).在这种情况下，可以丢掉(( 2 ) ,b] 部分，而最小点必定在[a,( 2 )]内。
f( )
f( )
a
b a(1 ) *
a( 2 )
a
b * a(1 ) a( 2 )
( 2 ) f ((1) ) f (( 2 ) ).在这种情况下，可以丢掉[ a,(1) ) 部分，而最小点必定在[(1) ,b ]内。
的修正量，它们是决定最优化算法好坏的重要因素。
假定给定了搜索方向S（k)，从点X（k)出发沿S（k)方向
进行搜索，要确定步长（k)，使得 f ( X (k1) ) f ( X (k ) （k) S（k) ) f ( X (k ) )
记
（）＝f ( X (k ) （k) S（k) ) 即确定步长（k)，就是单变量函数（）的搜索问题。
f( )
f( )
a a(1)
b * a( 2 )
a a(1 ) a( 2 ) *
b
( 3 ) f ( (1) ) f ( ( 2 ) ).在这种情况下，可以丢掉[ a, (1) ) 部分，也可以丢掉( ( 2 ) ,b ]部分，而最小点必定在[ (1) , ( 2 ) ]
内。因此这种情况可以并入上面的任意一种情况。
f( )
(1) f ( (1) ) f ( ( 2 ) ).取区间[ a, ( 2 ) ]； ( 2 ) f ( (1) ) f ( ( 2 ) ).取区间[ (1) ,b ]。
a a(1)
b * a( 2 )
二、0.618的由来
1. （1）,（2）在[a,b]中位置对称
2. 每次缩短的区间缩短率不变，减少计算量。
间长度逐步缩短。
0.618法与二次插值法就是解 决第二个步骤的方法
a
b
x
在极小点附近，函数呈现“大－小－大”
y
y f (x)
x
y
y f (x)
x
二、确定搜索区间的进退法
• 基本思想
从一点出发，按一定的步长，试图确定出函数值 呈现出”高－低－高“的三个点。一个方向不成功，就 退回来沿相反方向搜索。
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
返回( 1 )重新开始。
进退试算法步骤
step4. 若在步2中，f2 f1，后退运算
以(1)为起始点，步长反号，反方向搜索。
-h
h; (1) (3), (2) (1), f2
f1 f1
称为一维搜索问题。
min （）＝f ( X (k) （k) S（k) )
◎在极小点附近，函数呈现“大－小－大”
y
y f (x)
y
y f (x)
一维搜索的思路
（1）确定极小点α*所在的区 间[a, b]，在此区间内，函数呈 现“大－小－大”变化趋势。 搜速区间。
x
（2）在[a, b]内找α*－将区
step2. 令 ( 0 ) (1)， (1) h ( 2 )。计算（ f (1)），（ f ） (2) 令（ f ） (1) f1，（ f ） (2) f2
step3. 若f2 f1，前进运算，(2) h (3)。计算（ f ( 3 )） 令（ f ） (3) f3
(1) 若f2 f3，则[a,b]=[(1),(3)]，停止计算 (2) 若f2 f3，则 2h h，(2) (1)，f2 f1，