最优化方法(一维搜索)
最优化方法-一维搜索
按任务方式插入n个观测点后，剩下的搜索区间的长度不少于原初始长 度的1／ Fn
令缩短后的长度为Ｓ，有： Ｓ （b-a）/ Fn
• Ｆibonacci数列：
• ＝b- (b-a)=a+(1- )(b-a)
• =a+ (b-a)
•
• 2 0.618法算法
设
值
(t)是单谷函数，［ a
t
与精确极小点
t*
0的，最b大0 ］绝是对初误始差搜t索 区t * 间 ， 要求精确极小点近似
记：a= a0,b= b0 , =0.618.
(1) =a+(1- )(b-a), 1 = ()
进退算法的基本步骤：
（（（t0１ ２ ３点 回）））及升：：：，首若若t则0先［＋tt任t00h0＋＋选点，hh一t的点点n个函］的的初数就函 函始值是数 数点．一值 值个下 上t0搜降 升，索， ，初区继 则始间续 从步，前长t算进0h法点,，进停退直到止到到．t某0t个＋0 －ht，h0点并点．计的算函数值
4= a4 +( F0 / F2
b4
)(
=
b4
3 /a4
=2.5 , 4= 3 = 1.625
)=0.75+1/2*1.75=1.625
这时，
＝
4
，（因为已到k=3=n-2)
4
K=4, 因此
(5取5 =)a=0t5.41＝＝=410.,.6542（(5＝b,515).＋5=6=02a.550,47b+6）50,.＝1＝=2(1.b.05476)2255>＝2(.55 )
最优化方法 第1章(4)
最优化问题的分类
对向量x=(1,–2,3)T,有 || x ||1= 6 || x ||2 = 14 ≈ 3.74166 || x ||3 = 3 36 ≈ 3.30193 || x ||∞= 3.
其中||x||p是p的单调递减函数.
根据数学模型中有无约束函数分为：无约束的最优 化问题和有约束的最优化问题.
m
n
∑ ∑ Q =
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
因此,由数据拟合问题得数学模型为
m
n
∑ ∑ min
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
其中xi,yi (i=1,2,…,m) 及 ϕ j (x), j = 1, 2,L, n 已知.
最优化问题的一般形式为:
P: min f ( x) s.t. hi (x) = 0, i = 1, 2,L, m g j (x) ≥ 0, j = 1, 2,L, p
26
可行点列的产生 在xk处求得一个方向pk(下降方向),在射线 xk+αpk (α >0) 上求一点：xk+1=xk+αk pk , 使得 f (xk+1)≤f (xk), 其中αk 称为步长.
定义1.2.1(下降方向) 在点xk处,对于方向pk≠0, 若存在实数b>0,使得任意的α∈(0,b),都有 f (xk+αpk)<f (xk), 则称pk为函数f (x)在点xk处的一个下降方向.
44
则总支出可表示为: S = ∑ ∑ cij xij i=1 j=1
一维搜索最优方法(黄金分割法)
min （）＝f ( X (k) （k) S（k) )
◎在极小点附近，函数呈现“大－小－大”
y
y f (x)
y
y f (x)
一维搜索的思路
（1）确定极小点α*所在的区 间[a, b]，在此区间内，函数呈 现“大－小－大”变化趋势。 搜速区间。
x
（2）在[a, b]内找α*－将区
;f3， 重排顺序
(3) (2), f3 f2 ;
(2)+h (3)。计算（ f ( 3 )），令（ f ） (3) f3 (1) 若f3 f1，则[a,b]=[(3),(2)]，停止计算。 (2) 若f3 f1，则 2h h，(2) (1)，f2 f1，
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
设一元函数f (a )的起始搜索区间为[a ,b], *是
函数的极小点。
在搜索区间[ a,b ]内任取两点 (1)、 ( 2 )。且 a (1) ( 2 ) b,计算f ( (1) )、f ( ( 2 ) )。将f ( (1) )与 f ( ( 2 ) )进行比较，可能出现三种情况：
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
返回( 1 )重新开始。
进退试算法步骤
step4. 若在步2中，f2 f1，后退运算
以(1)为起始点，步长反号，反方向搜索。
-h
h; (1) (3), (2) (1), f2
f1 f1
1＝2＝1, 2＝3＝2, 3＝2 h＝4
f1 f (1 ) 10 f2 f (2 ) 4
作前进运算
最优化方法实验报告（1）
最优化方法实验报告（1）最优化方法实验报告Numerical Linear Algebra And Its Applications学生所在学院：理学院学生所在班级：计算数学10-1学生姓名：甘纯指导教师：单锐教务处2013年5月实验一实验名称：熟悉matlab基本功能实验时间: 2013年05月10日星期三实验成绩：一、实验目的：在本次实验中，通过亲临使用MATLAB，对该软件做一全面了解并掌握重点内容。
二、实验内容：1. 全面了解MATLAB系统2. 实验常用工具的具体操作和功能实验二实验名称：一维搜索方法的MATLAB实现实验时间: 2013年05月10日星期三实验成绩：一、实验目的：通过上机利用Matlab数学软件进行一维搜索，并学会对具体问题进行分析。
并且熟悉Matlab软件的实用方法，并且做到学习与使用并存，增加学习的实际动手性，不再让学习局限于书本和纸上，而是利用计算机学习来增加我们的学习兴趣。
二、实验背景：(一）0.618法（黄金分割法），它是一种基于区间收缩的极小点搜索算法，当用进退法确定搜索区间后，我们只知道极小点包含于搜索区间内，但是具体哪个点，无法得知。
1、算法原理黄金分割法的思想很直接，既然极小点包含于搜索区间内，那么可以不断的缩小搜索区间，就可以使搜索区间的端点逼近到极小点。
2、算法步骤用黄金分割法求无约束问题min (),f x x R ∈的基本步骤如下：（1）选定初始区间11[,]a b 及精度0ε>，计算试探点：11110.382*()a b a λ=+-11110.618*()a b a μ=+-。
（2）若k k b a ε-<，则停止计算。
否则当()()k k f f λμ>时转步骤（3）。
当()()k k f f λμ≤转步骤（4）。
（3）置11111110.382*()k kk k k k k k k k a b b a b a λλμμ+++++++=??=??=??=+-?转步骤（5）（4）置11111110.382*()k k k k k k k k k k a a b a b a μμλλ+++++++=??=??=??=+-?转步骤（5）（5）令1k k =+，转步骤（2）。
最优化理论
一维搜索:1精确一维搜索精确一维搜索可以分为三类：区间收缩法、函数逼近法（插值法）、以及求根法。
区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索区间)。
包括：黄金分割法、成功失败法、斐波那契法、对分搜索法以及三点等间隔搜索法等。
优化算法通常具有局部性质，通常的迭代需要在单峰区间进行操作以保证算法收敛。
确定初始区间的方法：进退法①已知搜索起点和初始步长；②然后从起点开始以初始步长向前试探，如果函数值变大，则改变步长方向；③如果函数值下降，则维持原来的试探方向，并将步长加倍。
1.1黄金分割法：黄金分割法是一种区间收缩方法(或分割方法)，其基本思想是通过取试探点和进行函数值比较，使包含极小点的搜索区间不断缩短以逼近极小值点。
具有对称性以及保持缩减比原则。
优点：不要求函数可微，除过第一次外，每次迭代只需计算一个函数值，计算量小，程序简单；缺点：收敛速度慢；函数逼近法（插值法）：用比较简单函数的极小值点近似代替原函数的极小值点。
从几何上看是用比较简单的曲线近似代替原的曲线，用简单曲线的极小值点代替原曲线的极小点。
1.2牛顿法：将目标函数二阶泰勒展开，略去高阶项后近似的替代目标函数，然后用二次函数的极小点作为目标函数的近似极小点。
牛顿法的优点是收敛速度快，缺点是需要计算二阶导数，要求初始点选的好，否则可能不收敛。
1.2抛物线法：抛物线法的基本思想就是用二次函数抛物线来近似的代替目标函数，并以它的极小点作为目标函数的近似极小点。
在一定条件下，抛物线法是超线性收敛的。
1.3三次插值法：三次插值法是用两点处的函数值和导数值来构造差值多项式，以该曲线的极小点来逼近目标函数的极小点。
一般来说，三次插值法比抛物线法的收敛速度要快。
精确一维搜索的方法选择：1如目标函数能求二阶导数：用Newton法，收敛快。
2如目标函数能求一阶导数：1如果导数容易求出，考虑用三次插值法，收敛较快；2对分法、收敛速度慢，但可靠；3只需计算函数值的方法：1二次插值法, 收敛快，但对函数单峰依赖较强；2黄金分割法收敛速度较慢，但实用性强，可靠；4减少总体计算时间：非精确一维搜索方法更加有效。
最优化方法课程实验报告
项目一 一维搜索算法（一）[实验目的]编写加步探索法、对分法、Newton 法的程序。
[实验准备]1．掌握一维收搜索中搜索区间的加步探索法的思想及迭代步骤； 2．掌握对分法的思想及迭代步骤； 3．掌握Newton 法的思想及迭代步骤。
[实验内容及步骤] 编程解决以下问题：1．用加步探索法确定一维最优化问题的搜索区间，要求选取．加步探索法算法的计算步骤： (1)选取初始点，计算．给出初始步长，加步系数，令。
(2) 比较目标函数值．令k k k h t t +=+1，计算 )(11++=k k t ϕϕ，若k k ϕϕ<+1，转(3)，否则转(4)。
(3) 加大探索步长．令，同时，令，转(2)。
(4) 反向探索．若，转换探索方向，令，转（2）。
否则，停止迭代，令。
加步探索法算法的计算框图12)(min 30+-=≥t t t t ϕ2,1,000===αh t ])0[)(0[max 00t t t ，或，∈⊂∞+∈)(00t ϕϕ=0>h 1α>0=k k k h h α=+1,k t t =,1+=k k t t 1k k =+0=k ,k k h h -=1+=k t t 11min{}max{}k k a t t b t t ++==，，，程序清单加步探索法算法程序见附录1实验结果运行结果为：2．用对分法求解，已知初始单谷区间，要求按精度，分别计算．对分法迭代的计算步骤：(1)确定初始搜索区间],[b a ，要求。
(2) 计算],[b a 的中点)(21b ac +=． (3) 若0)(<'c ϕ，则c a = ，转(4)；若0)(='c ϕ，则c t =*，转(5)；若0)(>'c ϕ，则c b = ，转(4)．)2()(min +=t t t ϕ]5,3[],[-=b a 3.0=ε001.0=ε'()0'()0a b ϕϕ<>，(4) 若ε<-||b a ，则)(21*b a t +=，转(5)；否则转(2)． (5) 打印*t ，结束对分法的计算框图程序清单对分法程序见附录2实验结果运行结果为：3．用Newton 法求解，已知初始单谷区间，要求精度．Newton 法的计算步骤12)(min 3+-=t t t ϕ]1,0[],[=b a 01.0=ε(1) 确定初始搜索区间],[b a ，要求 (2) 选定0t(3) 计算(4) 若 ε≥-||0t t ，则t t =0，转（3）；否则转（5）． (5) 打印 ，结束．Newton 法的计算框图程序清单Newton 法程序见附录3实验结果运行结果为：'()0'()0a b ϕϕ<>，000'()/"()t t t t ϕϕ=-()t t ϕ，项目二 一维搜索算法（二）[实验目的]编写黄金分割法、抛物线插值法的程序。
最优化实验报告
《最优化方法及其应用》课 程 实 验 报 告一、 实验内容项目一 一维搜索算法（一） [实验目的]编写加步探索法、对分法、Newton 法的程序。
[实验学时]2学时[实验准备]1．掌握一维收搜索中搜索区间的加步探索法的思想及迭代步骤；2．掌握对分法的思想及迭代步骤；3．掌握Newton 法的思想及迭代步骤。
[实验内容及步骤]编程解决以下问题：1．用加步探索法确定一维最优化问题12)(min 30+-=≥t t t t ϕ的搜索区间，要求选取2,1,000===αh t ．2．用对分法求解)2()(min +=t t t ϕ，已知初始单谷区间]5,3[],[-=b a ，要求按精度3.0=ε，001.0=ε分别计算．3．用Newton 法求解12)(min 3+-=t t t ϕ，已知初始单谷区间]1,0[],[=b a ，要求精度01.0=ε．项目二 一维搜索算法（二）[实验目的]编写黄金分割法、抛物线插值法的程序。
[实验学时]2学时[实验准备]1．掌握黄金分割法的思想及迭代步骤；2．掌握抛物线插值法的思想及迭代步骤。
[实验内容及步骤]编程解决以下问题：1．用黄金分割法求解)2()(min +=t t t ϕ，已知初始单谷区间]5,3[],[-=b a ，要求精度001.0=ε．2．用抛物线插值法求解3728)(min 23+--=x x x x f ，已知初始单谷区间001.0]20[][==ε，，，b a ．项目三 常用无约束最优化方法（一）[实验目的]编写最速下降法、Newton 法（修正Newton 法）的程序。
[实验学时]2学时[实验准备]1．掌握最速下降法的思想及迭代步骤。
2．掌握Newton 法的思想及迭代步骤；3．掌握修正Newton 法的思想及迭代步骤。
[实验内容及步骤]编程解决以下问题：1．用最速下降法求22120min ()25[22]0.01T f X x x X ε=+==，，，．2．用Newton 法求22121212min ()60104f X x x x x x x =--++-，初始点0[00]0.01T X ε==，，． 3．用修正Newton 求221212min ()4(1)2(1)10f X x x x x =++-+++，初始点0[00]0.01T X ε==，，．项目四 常用无约束最优化方法（二）[实验目的]编写共轭梯度法、变尺度法（DFP 法和BFGS 法）程序。
3.一维搜索方法
1.8 12.096 1.9 14.377
1.8 12.096 1.6 8.488
可得初始搜索区间
1.9 1.8
1.6 1.2
14.377 12.096
8.488 4.584
b 0 . 4 ,
1.6 8.488 1.2 4.584 0.4 5.992
1 . 6 .
a ,
y2 > y1
消去区间[a2,b]，新的搜索区间[a,b]的端点 a=-3不变，而b=a2=1.944
21
例题：黄金分割法（二）
• 依次重复黄金分割法的迭代过程，前五次迭代的结果
迭代序号 0 1 2 3 4 5 a -3 -3 -3 -1.832 -1.832 -1.386 a1 0.056 -1.111 -1.832 -1.111 -1.386 -1.111 a2 1.944 0.056 -1.111 -0.665 -1.111 -0.940 b 5 1.944 0.056 0.056 -0.665 -0.665 y1 0.115 -0.987 -0.306 -0.987 -0.851 比较 ＜ ＜ ＞ ＜ ＞ y2 7.667 0.115 -0.987 -0.888 -0.987
) = y1 - y2 ) = y2 - y3
a1 =
2 2 2 2 2 2 ( x 2 - x 3 )y 1 + ( x 3 - x 1 )y 2 + ( x 1 - x 2 )y 3
( x 1 - x 2 )( x 2 - x 3 )( x 3 - x 1 ) ( x 2 - x 3 )y1 + ( x 3 - x1 )y 2 + ( x1 - x 2 )y 3 ( x 1 - x 2 )( x 2 - x 3 )( x 3 - x 1 )
常用一维搜索算法
无约束优化：不对定义域或值域做任何限制的情况下，求解目标函数的最小值。
这是因为实际应用中，许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。
（直接法：又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。
间接法：又称解析法，是应用数学极值理论的解析方法。
首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造何种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。
）在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同。
根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法,牛顿法,拟牛顿法以及共辄梯度法等。
一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础,是求解无约束非线性规划问题的基本方法之一。
一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。
由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。
在多变量函数的最优化中,迭代格式X k+1=X k+a k d k其关键就是构造搜索方向d k和步长因子a k设Φ(a)=f(x k+ad k)这样从凡出发,沿搜索方向d k,确定步长因子a k,使Φ(a)<Φ(0)的问题就是关于步长因子a的一维搜索问题。
其主要结构可作如下概括:首先确定包含问题最优解的搜索区间，然后采用某种分割技术或插值方法缩小这个区间，进行搜索求解。
一维搜索通常分为精确的和不精确的两类。
如果求得a k使目标函数沿方向d k达到极小,即使得f (x k+a k d k)=min f (x k+ ad k) ( a>0)则称这样的一维搜索为最优一维搜索,或精确一维搜索,a k叫最优步长因子;如果选取a k使目标函数f得到可接受的下降量,即使得下降量f (x k)一f (x k+a k d k)>0是用户可接受的,则称这样的一维搜索为近似一维搜索,或不精确一维搜索,或可接受一维搜索。
最优化设计：第5章 一维最优化方法
➢用切线代替弧线来逐渐逼近函数根值。
华南理工大学机械与汽车工程学院
19
华南理工大学机械与汽车工程学院
20
5.5 格点法
首先利用m 个等分点α1、 α2 、α3 、…、αm将目标函 数f (α) 的初始单峰搜索区间[a,b]分成m＋1 个大小相 等的子区间，计算目标函数f (α) 在这m 个等分点的 函数值，并比较找出其中的最小值f (αk)
华南理工大学机械与汽车工程学院
21
那么在连续的三点αk −1 、αk 和αk +1处目标函数值呈 现“两头大、中间小”的情况，因此极小值点α*必
然位于区间[αk −1 , αk +1] 内，做置换 a = αk −1 ， b = αk +1
若αk +1−αk -1 ≤ε ，则将αk 作为α*的近似解。否则，将 新区间等分，并重复上述步骤，直至区间长度缩至
第5章 一维最优化方法
min f ( xk1 ) f ( xk sk )
✓一维搜索是多维搜索的基础。 ✓求解一维优化问题首先要确定初始的搜索区 间，然后再求极小值点。 ✓一维优化方法可分为两类： 直接法：按某种规律取若干点计算其目标函 数值，并通过直接比较目标函数值来确定最 优解； 间接法：即解析法，需要利用导数。
3
➢进退法一般分两步：一是初始探察确定进 退，二是前进或后退寻查。
华南理工大学机械与汽车前工程进学运院 算
4
华南理工大学机械与汽车工程学院
5
后退运算
华南理工大学机械与汽车工程学院6Biblioteka 华南理工大学机械与汽车工程学院
7
5.2 黄金分割法
➢黄金分割法是利用区间消去法的原理，通 过不断缩小单峰区间长度，即每次迭代都 消去一部分不含极小值点的区间，使搜索 区间不断缩小，从而逐渐逼近目标函数极 小值点的一种优化方法。
最优化理论与算法一维搜索
最优化理论与算法一维搜索一维是最优化问题求解中常用的一种算法。
在一维中，我们需要在给定的区间内寻找函数的最小值或最大值。
一维算法的基本思想是通过不断的迭代，在区间内不断缩小最优解的范围，最终找到最优解。
常用的一维算法包括黄金分割法、斐波那契法、插值法等。
黄金分割法是一种较为简单且常用的一维算法。
该算法基于黄金分割点的性质，通过不断缩小区间来逼近最优解。
黄金分割法的具体步骤如下：1.初始化区间的上下界，确定迭代终止条件；2.计算黄金分割点的位置；3.根据黄金分割点分割区间；4.更新区间的上下界；5.判断是否满足迭代终止条件，如果满足，则输出最优解；如果不满足，则返回第2步。
斐波那契法是另一种常用的一维算法。
该算法通过斐波那契数列的性质，不断缩小区间来逼近最优解。
斐波那契法的具体步骤如下：1.初始化斐波那契数列，确定迭代终止条件；2.计算斐波那契点的位置；3.根据斐波那契点分割区间；4.更新区间的上下界；5.判断是否满足迭代终止条件，如果满足，则输出最优解；如果不满足，则返回第2步。
插值法是一种基于函数插值的一维算法。
该算法通过插值函数来拟合原函数，并通过求解插值函数的最小值或最大值来近似求解原函数的最小值或最大值。
插值法的具体步骤如下：1.初始化区间的上下界，确定迭代终止条件；2.根据插值函数拟合原函数，得到插值函数的表达式；3.求解插值函数的最小值或最大值；4.更新区间的上下界；5.判断是否满足迭代终止条件，如果满足，则输出最优解；如果不满足，则返回第2步。
除了上述算法，还存在其他一维算法，如割线法、牛顿法等。
这些算法各有特点，适用于不同类型的最优化问题。
一维算法的优势在于其计算简单、耗时少的特点。
然而，一维算法也存在一些缺点，例如容易陷入局部最优解、收敛速度较慢等。
因此，对于一些复杂的最优化问题，可能需要使用更高维度的算法进行求解。
总之，一维是最优化问题求解中常用的一种算法。
通过在给定的区间内不断迭代，可以逼近最优解。
第三章-一维搜索方法
数值解法基本思路：
先确定 k 所在的搜索区间，然后根据区间消去法原理 不断缩小此区间，从而获得 k 的数值近似解。
一维搜索一般分为两大步骤： (1)确定初始搜索区间[a，b]，该区间应是包括一维函数 极小点在内的单谷区间。 (2)在单谷区间[a,b]内通过缩小区间寻找极小点。
x2 a 0.618(b a), y2 f (x2 )
否 ba
是
x 0.5(a b)
止
f f (x)
b x2, x2 x1, y2 y1 x1 a 0.382(b a), y1 f (x1)
f
也可采用迭代次数是否大于或等于 k 作终止准则。
y1 y2 x a x1 x2 b
当方向 d k 给定，求最佳步长 k 就是求一元函数
f x k1 f xk kd k k
的极值问题。这一过程被称为一维搜索。
第三章 一维搜索方法
f (x (k+1) ) = min. f (x (k) + α S (k) ) = f (x (k) + α(k) S ( k) )
一维搜索是优化搜索方法的基础。
第三章 一维搜索方法
求解一元函数 a 的极小点 a* ，可用解析法。 f x ad f x adTf x 1 ad T G ad
2
f x dTf x 1 2dTGd
2
上式求α的极值，即求α导数为零。
dTf x *dTGd 0
则
*
dTf x
d T Gd
第三章 一维搜索方法
5
-1.386 -1.111 -0.940 -0.665
最优化方法-一维搜索法
搜索区间及其确定方法
• 加步探索法算法的计算步骤： • (1) 选取初始数据．选取初始点 t0 [0, ) (或 t0 [0, tmax ]),
计算0 (t0 ), 给出初始步长h0 0, 加步系数 1,令 k 0 • (2) 比较目标函数值．令 tk 1 tk hk计算 k1 (tk1) ，
方向 Pk 之间应满足
f (Xk1)T Pk 0
4.2
• 事实上，设 (t) f ( X k tPk ), 对 t 求导有
(t) f (X k tPk )T Pk
• 令 '(t) 0, 即 f (X k tPk )T Pk 0 所以 f (X k1)T Pk 0
这一准则对于定义域上的凸函数是完全正确的．若是非凸函数，有 可能导致误把驻点作为最优点。 对于约束优化问题，不同的优化方法有各自的终止准则．
• 定义3.3 当一个算法用于n元正定二次函数求最优 解时，可以从任意初始点出发，至多经过n步迭 代求出最优解，就称此算法具有二次终止性。
• 如果算法具有二次终止性，则认为算法比较好。 • 二次终止性仅仅是判断一个算法优劣的衡量标准
存在
,且
,则称[t1 t2]是函数(t)
的最优解 的一个搜索区间。
搜索区间及其确定方法
•单峰区间和单峰函数有如下有用的性质： •定理3.1 设 : R1 R1, [a, b] 是的单峰区间，任取
t1, t2 [a, b] 并且 t2 t1 ． （1）若有 (t2 ) (t1) ，则 [a, t1 ]是(t) 的单峰区间． （2）若有 (t2 ) (t1) ，则[t2 , b]是(t)的单峰区间．
最优化第3章一维搜索方法
§3.1 搜索区间的确定
根据函数的变化情况，可将区间分为单峰区间和多峰区间。 所谓单峰区间，就是在该区间内的函数变化只有一个峰值， 即函数的极小值。
§3.4 插值方法
一、牛顿法
f(x)
利用一点的函数值、 一阶导数以及二阶 导数构造二次多项 式。用构造的二次 多项式的极小点作 为原函数极小点的 近似。
φ0(x)
φ1(x) f(x)
x*
x2
x1
x0 x
§3.4 插值方法
一、牛顿法
设f(x)为一个连续可微的函数，则在点x0附近 进行泰勒展开并保留到二次项：
§3.1 搜索区间的确定
f(x)
f(x)
f(a0) f(a0+h)
f(a0+3h)
f(a0-h) f(a0)
f(a0+h)
0 a0 a
a0+h
a0+3h x b
0 a0-h
a0
a
进退试算法的运算步骤如下：
a0+h x b
(1)给定初始点α0和初始步长h (2)将α0及α0+h 代入目标函数 f(x) 进行计算并比较大小
φ0(x)
φ1(x) f(x)
f ′ (x)
x*
x2 x1
x0
φ ′ 1(x) f ′ (x)
x* x2
x1
x0
牛顿法程序框图
开始
x 给定初始点 ，误差 0
,
令k=0
一维搜索的最优方法(黄金分割法)
05 黄金分割法的应用举例
在函数优化中的应用
一元函数优化
黄金分割法可用于一元函数的极值求解，通过不断缩小搜索区间来逼近最优解。
多元函数优化的辅助手段
在多元函数优化中，黄金分割法可作为辅助手段，用于一维搜索或线搜索过程。
在工程问题中的应用
结构设计优化
在结构设计中，黄金分割法可用于寻 找最优的结构参数，如梁、柱的截面 尺寸等，以实现结构性能和经济性的 平衡。
二分法每次迭代将搜索区间减半，而黄金分割法每次迭代将搜索区间缩小为原来的约 0.618倍。在收敛速度上，二分法通常比黄金分割法更快。但二分法要求函数在搜索区间 内连续且单调，而黄金分割法则没有这样的限制。
与牛顿法相比
牛顿法是一种基于导数信息的搜索方法，具有较快的收敛速度。但在一维搜索问题中，当 导数信息不可用或难以获取时，黄金分割法则更为适用。此外，牛顿法对初始点的选择较 为敏感，而黄金分割法则相对稳健。
解决一维搜索问题的方法有多种，其中黄金分割法是一种较为常用且有效的方法。
黄金分割法简介
黄金分割法是一种通过不断缩小搜索 区间来逼近函数极小值点的方法。
黄金分割法具有简单、快速、稳定等 优点，适用于单峰函数的一维搜索问 题。
它在每次迭代中，通过比较区间两个 端点处的函数值，来确定下一步的搜 索区间。
黄金分割点
在一条线段上，按照黄金分割比 例将线段分割成两部分，分割点
即为黄金分割点。
函数图像
对于一元函数，可以将其图像视 为一条曲线。黄金分割法通过不 断在曲线上选取试探点来逼近最
优解。
搜索区间缩小
每次迭代后，根据试探点的函数 值比较结果，将搜索区间缩小，
使得下一步的搜索更加精确。
黄金分割法的算法步骤
9一维搜索
9. 一维搜索-试探法5
0.618法的基本思想:通过取试探点使包含极小点的 区间(不确定区间)不断缩小,当区间长度小到一定 程度时,区间上各点的函数值均接近极小值,此时 该区间内任一点都可以作为极小点的近似值.
( ) f ( x ( k ) d ( k ) )
的极小点.
设 ( )的极小点为k , 称k 为沿方向d ( k )的步长因子 于是f ( x)在直线L上的极小点为 x
( k 1)
x
(k )
k d
(k )
(9.1.3)
9. 一维搜索-概念3
一维 搜索
{
试探法 函数逼近法/插值法
步4:若 k ak , 停止计算,输出 k ; 否则,令 ak+1 : ak , bk+1 : k , k 1 : k , ( k+1 ) : ( k ), k+1 ak+1 0.382(bk+1 ak+1 )， 计算( k 1 ), 转步5
由( 2.3)和(2.4)得到
k ak (1 r)(bk ak ) , k ak r (bk ak ),
(2.5) (2.6)
9. 一维搜索-试探法7
今考虑( 2.1)的情形,此时新的搜索区间为 [ak 1 , bk 1 ] [ak , k ] (2.7)
显然x (1)不是极小点.此时要么极小点x [a, x (1) ] 要么x [ x (1) , b]. 若x [a, x ], 则f ( x ) f ( x ), 矛盾.
最优化方法 4第四章
（2）若有 (t 2 ) (t1 )，则[t 2 , b] 是 (t ) 的单谷区间．
18
a
.
. t2
t*
.
t1
.
.
b
证明略．
定理 4.1 说明，经过函数值的比较可以把单谷区间缩短为一个较 小的单谷区间．换句话说利用这个定理可以把搜索区间无限缩小， 从而求到极小点．以下介绍的几种一维搜索方法都是利用这个定 理通过不断地缩短搜索区间的长度，来求得一维最优化问题的近
c=(a+b)/2
(c) 0
N
a=c
Y
N
(c) 0
Y
T*=c
b=c
t*=(a+b)/2
Y
(c) 0
N
输出t* 结束
图4.6
24
4.3 Newton切线法
一、Newton切线法基本原理 设 : R1 R1在已获得的搜索区间 [a, b] 内具有连 续二阶导数，求 min (t ) ． a t b 因为 (t ) 在 [a, b] 上可微，故 (t ) 在 [a, b] 上有最 小值，令 (t ) 0 ． 下面不妨设在区间 [a, b] 中经过 k 次迭代已求得方 程 (t ) 0的一个近似根 t k．过(t k , (t k )) 作曲线 y (t ) 的切线,其方程是 y (t k ) (t k )(t t k ) （4.4）
6
下面解释迭代点 X k 1 X k t k Pk 的空间位置．容 易证明，若从X k出发，沿 Pk 方向进步一维搜索得 极小点 X k 1 X k t k P ，则该点 处的梯度方 X k k 1 P 向 f ( X k 与搜索方向 之间应满足 k 1)
斐波那契法(最优化一维搜索)
短后的区间不大于区间[0,10]的5% 。
解：由题意=δ5%，由斐波那契数列δ1≥n F ，则n=7， 00=a ，100=b1t =0b )(0076a b F F --=2180 , 21130)(00760'1=-+=a b F F a t , 将1t 和'1t 代入函数，比较大小有)()('11t f t f <则有001==a a ，21801'2==t t ，21130'11==t b ，2150)(116512=--=a b F F b t ， 将2t 和'2t 代入函数，比较大小有)()('22t f t f < ,则有012==a a ，21502'3==t t ，2180'22==t b ，2130)(225423=--=a b F F b t ， 将3t 和'3t 代入函数，比较大小有)()('33t f t f >， 则有213033==t a ，2150'34==t t ，218023==b b ，2160)(33433'4=-+=a b F F a t ， 将4t 和'4t 代入函数，比较大小有)()('44t f t f >， 则有215044==t a ,2160'45==t t ,218034==b b ,2170)(44324'5=-+=a b F F a t ， 将5t 和'5t 代入函数，比较大小有)()('55t f t f >， 则有216055==t a ，2170'56==t t ，218045==b b ， 则令105351)21602180()01.05.0(2160))((55215'6=-⨯++=-++=a b F F a t ε， 将6t 和'6t 代入函数，比较大小有)()('66t f t f <，则216056==a a ，105351'66==t b ，区间为：⎥⎦⎤⎢⎣⎡105351,2160 所以选择6t 为极小点，=)(6t f 89.6)2170(-=f 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• % 寻找初始分割点 • x1=a+.382*(b-a); • x2=a+.618*(b-a);
• % 搜索主体 • while(abs(b-a)>eps) • % 计算分割点处 的函数值 • f1=fun(x1); • f2=fun(x2);
% 比较判断两个分割点处的 函数值，进而缩短区间长度 if(f1>f2) a=x1; x1=x2; x2=a+.618*(b-a); elseif(f1==f2) a=x1; b=x2; x1=a+.382*(b-a); x2=a+.618*(b-a); else b=x2; x2=x1; x1=a+.382*(b-a); end end % 返回搜索值 20 answ=(a+b)/2;
并假设
f ( x (1) ) f ( x ( 2 ) ),
f ( x ( 2 ) ) f ( x ( 3 ) ).
f ( x)
( x)
x* x (1 )
x
x ( 2)
x ( 3)
30
如何计算函数 ( x ) ?
设
( x ) a bx cx 2 ,
( x ) a bx cx
(1) (1) (1) 2
令
f ( x (1) ) f ( x( 2) ) f ( x( 3) )
( x ) a bx
( 2) ( 3)
( 2)
cx
( 2)2 ( 3)2
( x ) a bx
再求函数 ( x ) 的极小点， 解得
x b 2c
( 2 )2 ( 3 )2
k k k k
p
x
k
k
.
k
min f ( x) s.t . x R
.
一维最优化问题：
极值点的必要条件：
f '( x ) 0
5
1. 下单峰函数 定义：设 f ( x ) 是区间 [ a , b ] 上的一元函数，x 是 f ( x ) 在 [ a , b ] 上的极小点，且对任意的 x1 , x2 [ a , b ], x1 x2 , 有 （a）当 x 2 x 时，f ( x1 ) f ( x2 ); （b）当 x1 x 时，f ( x1 ) f ( x2 ) .
设 f ( x ) 在 [a1 , b1 ] 上单峰，极小点 x [a1 , b1 ]. 假设进行 第 k 次迭代前 x [ak , bk ], 取 k , k [a k , bk ], 规定 k k .
计算 f ( k ) 和 f ( k ) , 分两种情况： 1. 若 f (k ) f ( k ) , 则令 a k 1 k , bk 1 bk ; 2. 若 f ( k ) f ( k ) , 则令 a k 1 a k , bk 1 k . 如何确定 k 与 k？
(k )
( 3) 从 x (1) , x ( 2) , x ( 3)和 x 中选择 f ( x ) 的函数值最小的三个点及其
左、右两点， 重新标记为 x (1) , x ( 2 ) , x ( 3 ) 。 令 k : k 1 。 转（2） 。
(k )
32
作业
• 小结各种精确一维搜索算法
33
不精确一维线搜索
34
为什么不精确的搜索好？
• 距离最优解远的时候，精度太大 算法效率低 • 有些算法的收敛速度不依赖与搜索的精度 • 只要求有充分下降即可 这种类似与“充分”、“足够”等描述词汇， 在与计算相关的描述中，要特别在意，因为， 这里的“充分”，已经不再是理论上的要求， 这里的“充分”必须与“可计算”相关 （到底要多充分，就是这里的非精确搜索的准测） 35
( 3)
cx
解上述方程组，可得逼近函数 ( x ) 的系数b 和 c.
令
( x ) b 2cx 0,
( x x ) f ( x ) ( x x ) f ( x ) ( x x ) f ( x ( 3) ) 2 [ ( x ( 2 ) x ( 3 ) ) f ( x (1) ) ( x ( 3 ) x (1) ) f ( x ( 2 ) ) ( x (1) x ( 2 ) ) f ( x ( 3 ) ) ]
26
( 2) (4) 6. 令 h : h, x( 2) x( 4) , f ( x ) f ( x ),
转 2.
7. 令 x (3) x ( 2 ) , x( 2) x(1) , x(1) x( 4) , 停止计算。
区间 [ x (1) , x ( 3 ) ] 或[ x ( 3 ) , x (1) ] 即为包含极小点的区间。
4. 令 a k 1 a k ,
bk 1 k ,
k 1 k ,
18
k 1 a k 1 0.382(bk 1 a k 1 ), 计算 f (k 1 ), 令 k : k 1, 转 2。
• • • • •
• 一个以前很好的例子 function answ = goldsection(a,b,eps) % 黄金分割法实现一维搜索 % a ---- 搜索区间左端点 % b ---- 搜索区间右端点 % eps ---- 搜索精度
例：
x ( 0) x (1 ) x ( 2) x ( 3)
x(4) x(1) h x (1 ) x ( 2)
x ( 4) x (1 )
h : h x ( 4) x (1 )
x ( 0) x (1 ) x (1 ) x ( 2)
x ( 4) x ( 2) x ( 3)
27
极小点区间 ： [ x ( 3 ) , x ( 1) ]
ak 2 (bk ak )
如果令 2 1 ， 则uk 1 k ,因此 uk 1 不必重新计算 。
5 1 1 0.618 2 (2) 若在第k 次迭代时有f (k ) f ( k ) 。 同理可得。
2
17
算法步骤：
1. 给定初始区间 [a1 , b1 ], 精度要求 0. 令 1 a1 0.382 (b1 a1 ), 1 a1 0.618 (b1 a1 ), 并计算 f (1 ) 与 f ( 1 ). 令 k : 1.
2. 若 bk a k , 停止， 且
bk a k . 否则， 2 当 f ( k ) f ( k ) 时，转 3；当 f ( k ) f ( k ) 时，转 4. x
bk 1 bk ,
3. 令 a k 1 k ,
k 1 k ,
k 1 a k 1 0.618(bk 1 a k 1 ), 计算 f ( k 1 ), 令 k : k 1, 转 2。
15
要求其满足以下两个条 件：
1. bk k k a k
(1)
ak
k
k
bk
2. 每次迭代区间长度缩短比率相同，即 bk 1 a k 1 (bk a k ) ( 0)
( 2)
由式（ 1）与（2）可得：
k ak (1 )(bk ak ) k ak (bk ak )
( 3)
(4)
16
取值的确定？
通过确定 的取值，使上一次迭代剩余的迭代点恰与下一次 迭代的一个迭代点重合，从而减少算法的计算量。
(1) 设在第 k 次迭代时有 f ( k ) f ( uk ) , 则有
[ a k 1 , bk 1 ] [ a k , uk ]。
在第 k 1 次迭代时选取 k 1 , uk 1 , 则由（4）有 uk 1 a k 1 (bk 1 a k 1 )
• % CopyRight@XiaBo • % Date:2008.3.20
• %% 定义搜索函数fun • function f = fun(x) % 这里是一个简单的函数定义， 倘若在一个大型的优化计算中，这个函数一般是和第k 步的迭代点和下降方向有关的 • % 是一个关于步长的函数 • % x --- 待求步长值 • f = x^2-x+2; 19
令 k : k 1.
3. 若 f ( x ( 4 ) ) f ( x (1) ), 4. 令 x ( 2 ) x ( 1 ) ,
则转 4， 否则，转5.
f ( x (1) ) f ( x ( 4 ) ),
x(1) x( 4) , f ( x ( 2 ) ) f ( x (1) ), 令 h : 2h, 转 2. 5. 若 k 1, 则转 6； 否则，转7.
极小点区间： [ x ( 1) , x ( 3 ) ]
平分法 (优点和缺点都突出的方法)
能否看出 优点和缺点？
28
29
5. 抛物线插值
为什么非要是二次三项式？
思想 在极小点附近，用二次三项式 ( x ) 逼近目标函数 f ( x ),
令 ( x ) 与 f ( x ) 在三点 x (1) x ( 2 ) x ( 3 ) 处有相同的函数值，
的三点。一个方向不成功，就退回来，再沿相反方向寻找。
进退法的计算步骤（与教材的算法比较P20）
1. 给定初始点 x ( 0 ) R, 初始步长h0 0, 令 h h0 , x(1) x( 0) ,
计算 f ( x (1) ), 并令 k 0.
2. 令 x ( 4 ) x (1) h, 计算 f ( x ( 4 ) ),
黄金分割法的迭代效果：第k次后迭代后所得区间长度为
初始区间长度的 ( 5 1)k 倍 。
2
作业
21
22