第三章 一维搜索(线性搜索)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
精品课件
4）比较函数值y2和y3： a）如果y2>y3 ，加大步长h=2h，a1=a2,a2=a3,转（3）继 续探测； b）如果y2<y3，则初始区间得到： a=min[a1,a3],b=max[a1,a3]，函数最小值所在区间为 [a,b]。
精品课件
右图表示沿
的正向试
探。每走一步都将区间的始 点、中间点沿试探方向移动
先确定 k 在的搜索区间，然后根据区间消去法原理
不断缩小此区间所，从而获得 k 的数值近似解。
一维搜索一般分为两大步骤： (1)确定初始搜索区间[a，b]，该区间应是包括一维函数 极小点在内的单谷区间。 (2)在单谷区间[a,b]内通过缩小区间寻找极小点。
一维搜索也称直线搜索。这种方法不仅对于解决 一维最优化问题具有实际意义，而且也是求解多维最优 化问题的重要支柱。
第三章 一维搜索方法
3.1 概述 3.2 确定初始区间 3.3 缩小区间 3.4 黄金分割法（0.618法） 3.5 一维搜索的插值方法
精品课件
第3章 一维搜索方法
3.1 概述
3.1.1 一维问题是多维问题的基础
求目标函数 f (X)的极小点，从理论上说需要求解方程：
f (X) 0 其中 X(x1,x2, ,xn)T
取到二阶项，即
将上式对
进行微分并令其等于零，给出
极值点 应满足的条件
从而求得 精品课件
这里是直接利用函数 而不需要把它化成步长因
子 。的函数
。不过，此时需要计算
点处
梯度
和海赛矩阵 H 。
解析解法的缺点——需要进行求导计算。
对于函数关系复杂、求导困难或无法求导的情况，使 用解析法将是非常不便的。
③ 对α求导，令其为零。 dd f(x(k)S(k))0
[ f( x ( k ) ) ] T S ( k ) [ S ( k ) ] T G ( x ( k ) ) S ( k ) 0
④ 求得最优步长
(k) [f(x(k))]TS(k)
[S(k)]TG(x(k))S(k)
精品课件
解析解法对于函数关系复杂、求导困难等情况难以 实现。在实际优化设计中，数值解法的应用更为有效， 且适合计算机的运算特点。 数值解法基本思路：
为f XkkSk
，它是参数α的一元函数。那么在沿f ( X )
的极小Sk 点方，向这求就是求一元函数 f XkkSk
的极小问题，它可表
: m fX ik n k S k
这个过程称为一维搜索过程。
如： F (X )x 1 2x 2 2 8 x 1 1x 2 2 52
当
X000T,d011T
那么如何来求 f (X)的极小点呢？
基本思想:
X0,X1, ,Xk,Xk1
f( X 0 ) f( X 1 ) , , f( X k ) f( X k 1 )
这种方法是逐次迭代的方法，在电子计算机上很容易
实现，因此它在优化设精品计课件中被广泛地采用。
2
Sk方向上的任何一点可以表示为
Xk1XkakSk 其中α是步长因子，为实系数，此时 Sk 方向上任何一点的目标函数值
f (x)
f (x)
0 α1
α
α3
0
α1
α3ቤተ መጻሕፍቲ ባይዱ
精品课件
外推方法
基本思想：对 f (x)任选一个初始点 a 1 及初始步长 h ，
通过比较这两点函数值的大小，确定第三点位置，比较这 三点的函数值大小，确定是否为“高—低—高”形态。
步骤：
1）选定初始点a1，初始步长h=h0，计算y1=f(a1)和y2=f(a1+h) 2）比较y1和y2； a）如果y1>y2，向右前进，加大步长h=2h0，转（3）向前； b）如果y1<y2，向左后退， h=-2h0，将a1和a2,y1和y2的值互 换。转（3）向后探测； c）如果y1=y2，极小点在a1和a1+h之间。 3）产生新的探测点a3=a2+h，y3=f(a3)；
因此，在优化设计中，求解最佳步长因子 主要采用数 值解法，利用计算机通过反复迭代计算求得最佳步长因子 的近似值。
数值解法的基本思路是：首先确定 所在的搜索区间 ，然后根据区间消去法原理不断缩小此区间，从而获得 的数 值近似解。
精品课件
f( x k 1 ) f( x k k s k ) (k )
精品课件
3.2 确定初始区间
1、确定搜索区间的外推法
在给定区间内仅有一个谷值（或有唯一的极小点）的 函数称为单谷函数，其区间称为单谷区间。
函数值：“大—小—大” 图形：“高—低—高” 单谷区间中一定能求得一个极小点。
精品课件
从
开始，以初始步长
向前试探。
如果函数值上升，则步长变号，即改变试探方向。
y1
y2→y1 y3→y2
一步（进行换名）。经过三
步最后确定搜索间1,3
，并且得到区间始点、中间 点和终点12 3
X0011
则 F x 1 2 x 2 2 8 x 1 1 x 2 2 5 2 2 2 2 0 52
精品课件
3
X k 1 X kS k(k 0 ,1 ,2 )
一维搜索示意图
精品课件
3.1.2 的确定方法
求多元函数极值点，需要进行一系列的一维搜索。可见一 维搜索是优化搜索方法的基础。
求解一元函数 ()的极小点 *，可采用解析解法 ，即利用一元函数的极值条件'(*)0 求 * 在用函数 () 的导数求 * 时，所用的函数()
是仅以步长因子 为变量的一元函数，而不是以
设计点 x 为变量的多元函数 f (x) 。
为了直接利用 。
的函数式求解最佳步长因子
把
或它的简写形式
进行泰勒展开，
如果函数值下降，则维持原来的试探方向，并将步长加倍 。
区间的始点、中间点依次沿试探方向移动一步。
此过程一直进行到函数值再次上升时为止，即可找到搜索 区间的终点。
最后得到的三点即为搜索区间的始点、中间三点和终点， 形成函数值的“高－低－高”趋势。
单谷区间
精品课件
说明：单谷区间内，函数可以有不可微点，也可以是不 连续函数；
解析法:
① f(X(k) + αS(k) ) 沿S(k) 方向在x(k) 点泰勒展开；
② 取二次近似：
fx ( k ) S ( k ) f( x ( k ) ) [ f( x ( k ) ) ] TS ( k ) 1 2 [ S ( k ) ] T G ( x ( k ) ) S ( k ) 2
4）比较函数值y2和y3： a）如果y2>y3 ，加大步长h=2h，a1=a2,a2=a3,转（3）继 续探测； b）如果y2<y3，则初始区间得到： a=min[a1,a3],b=max[a1,a3]，函数最小值所在区间为 [a,b]。
精品课件
右图表示沿
的正向试
探。每走一步都将区间的始 点、中间点沿试探方向移动
先确定 k 在的搜索区间，然后根据区间消去法原理
不断缩小此区间所，从而获得 k 的数值近似解。
一维搜索一般分为两大步骤： (1)确定初始搜索区间[a，b]，该区间应是包括一维函数 极小点在内的单谷区间。 (2)在单谷区间[a,b]内通过缩小区间寻找极小点。
一维搜索也称直线搜索。这种方法不仅对于解决 一维最优化问题具有实际意义，而且也是求解多维最优 化问题的重要支柱。
第三章 一维搜索方法
3.1 概述 3.2 确定初始区间 3.3 缩小区间 3.4 黄金分割法（0.618法） 3.5 一维搜索的插值方法
精品课件
第3章 一维搜索方法
3.1 概述
3.1.1 一维问题是多维问题的基础
求目标函数 f (X)的极小点，从理论上说需要求解方程：
f (X) 0 其中 X(x1,x2, ,xn)T
取到二阶项，即
将上式对
进行微分并令其等于零，给出
极值点 应满足的条件
从而求得 精品课件
这里是直接利用函数 而不需要把它化成步长因
子 。的函数
。不过，此时需要计算
点处
梯度
和海赛矩阵 H 。
解析解法的缺点——需要进行求导计算。
对于函数关系复杂、求导困难或无法求导的情况，使 用解析法将是非常不便的。
③ 对α求导，令其为零。 dd f(x(k)S(k))0
[ f( x ( k ) ) ] T S ( k ) [ S ( k ) ] T G ( x ( k ) ) S ( k ) 0
④ 求得最优步长
(k) [f(x(k))]TS(k)
[S(k)]TG(x(k))S(k)
精品课件
解析解法对于函数关系复杂、求导困难等情况难以 实现。在实际优化设计中，数值解法的应用更为有效， 且适合计算机的运算特点。 数值解法基本思路：
为f XkkSk
，它是参数α的一元函数。那么在沿f ( X )
的极小Sk 点方，向这求就是求一元函数 f XkkSk
的极小问题，它可表
: m fX ik n k S k
这个过程称为一维搜索过程。
如： F (X )x 1 2x 2 2 8 x 1 1x 2 2 52
当
X000T,d011T
那么如何来求 f (X)的极小点呢？
基本思想:
X0,X1, ,Xk,Xk1
f( X 0 ) f( X 1 ) , , f( X k ) f( X k 1 )
这种方法是逐次迭代的方法，在电子计算机上很容易
实现，因此它在优化设精品计课件中被广泛地采用。
2
Sk方向上的任何一点可以表示为
Xk1XkakSk 其中α是步长因子，为实系数，此时 Sk 方向上任何一点的目标函数值
f (x)
f (x)
0 α1
α
α3
0
α1
α3ቤተ መጻሕፍቲ ባይዱ
精品课件
外推方法
基本思想：对 f (x)任选一个初始点 a 1 及初始步长 h ，
通过比较这两点函数值的大小，确定第三点位置，比较这 三点的函数值大小，确定是否为“高—低—高”形态。
步骤：
1）选定初始点a1，初始步长h=h0，计算y1=f(a1)和y2=f(a1+h) 2）比较y1和y2； a）如果y1>y2，向右前进，加大步长h=2h0，转（3）向前； b）如果y1<y2，向左后退， h=-2h0，将a1和a2,y1和y2的值互 换。转（3）向后探测； c）如果y1=y2，极小点在a1和a1+h之间。 3）产生新的探测点a3=a2+h，y3=f(a3)；
因此，在优化设计中，求解最佳步长因子 主要采用数 值解法，利用计算机通过反复迭代计算求得最佳步长因子 的近似值。
数值解法的基本思路是：首先确定 所在的搜索区间 ，然后根据区间消去法原理不断缩小此区间，从而获得 的数 值近似解。
精品课件
f( x k 1 ) f( x k k s k ) (k )
精品课件
3.2 确定初始区间
1、确定搜索区间的外推法
在给定区间内仅有一个谷值（或有唯一的极小点）的 函数称为单谷函数，其区间称为单谷区间。
函数值：“大—小—大” 图形：“高—低—高” 单谷区间中一定能求得一个极小点。
精品课件
从
开始，以初始步长
向前试探。
如果函数值上升，则步长变号，即改变试探方向。
y1
y2→y1 y3→y2
一步（进行换名）。经过三
步最后确定搜索间1,3
，并且得到区间始点、中间 点和终点12 3
X0011
则 F x 1 2 x 2 2 8 x 1 1 x 2 2 5 2 2 2 2 0 52
精品课件
3
X k 1 X kS k(k 0 ,1 ,2 )
一维搜索示意图
精品课件
3.1.2 的确定方法
求多元函数极值点，需要进行一系列的一维搜索。可见一 维搜索是优化搜索方法的基础。
求解一元函数 ()的极小点 *，可采用解析解法 ，即利用一元函数的极值条件'(*)0 求 * 在用函数 () 的导数求 * 时，所用的函数()
是仅以步长因子 为变量的一元函数，而不是以
设计点 x 为变量的多元函数 f (x) 。
为了直接利用 。
的函数式求解最佳步长因子
把
或它的简写形式
进行泰勒展开，
如果函数值下降，则维持原来的试探方向，并将步长加倍 。
区间的始点、中间点依次沿试探方向移动一步。
此过程一直进行到函数值再次上升时为止，即可找到搜索 区间的终点。
最后得到的三点即为搜索区间的始点、中间三点和终点， 形成函数值的“高－低－高”趋势。
单谷区间
精品课件
说明：单谷区间内，函数可以有不可微点，也可以是不 连续函数；
解析法:
① f(X(k) + αS(k) ) 沿S(k) 方向在x(k) 点泰勒展开；
② 取二次近似：
fx ( k ) S ( k ) f( x ( k ) ) [ f( x ( k ) ) ] TS ( k ) 1 2 [ S ( k ) ] T G ( x ( k ) ) S ( k ) 2