常用一维搜索算法
3.1搜索算法结构
23 0.618034 0.618034
-1.1922e-005 2.9804e-006 1.219e-005 2.7093e-005
24 0.618035 0.618035
-1.1922e-005 -2.7117e-006 2.9804e-006 1.219e-005
25 0.618032 0.618032
f(x)
a x0 x1 x* x2 b x
（二）算法
1、选定初始点a 和步长h; 2、计算并比较f(a)和f(a+h)；有前进(1)和后退(2)两种情况：
(1) 前进运算：若f(a) ≥f(a+h), 则步长加倍，计算f(a+3h)。若f(a+h) ≤f(a+3h)，
令 a1=a, a2=a+3h, 停止运算；否则将步长加倍，并重复上述运算。 (2) 后退运算：若f(a) < f(a+h), 则将步长改为－h。计算f(a－h), 若f(a－h) ≥ f(a)，
方法分类：
1、直接法：迭代过程中只需要计算函数值； 2、微分法：迭代过程中还需要计算目标函数的导数；
§3.2 搜索区间的确定
常用的一维直接法有消去法和近似法两类。它们都是从 某个初始搜索区间出发，利用单峰函数的消去性质，逐步缩 小搜索区间，直到满足精度要求为止。
§3.2.1 单峰函数
定义：如果函数f(x)在区间[a,b]上只有一个极值点, 则称f(x)为
（3）对称： x1 – a = b-x2 ；（4）保持缩减比：λ=(保留的区间长度／原
区间长度) 不变。（使每次保留下来的节点， x1或 x2 ，在下一次的比 较中成为一个相应比例位置的节点 ）。
（一）黄金分割
第三章 一维搜索法
0
x1 x2
x3
3-1 确定初始区间的进退法
探测初始空间的进退法步骤: 探测初始空间的进退法步骤 (1)给定初始点 x0 ,初始步长 h ,令 x1 = x0 ,记: f1 = f ( x1 ) 给定初始点 初始步长 令 记 (2)产生新的探测点 x2 = x1 + h ，记 f 2 = f ( x2 ) 产生新的探测点 (3)比较函数值 f1 和 f 2 的大小 确定向前或向后探测的策略 比较函数值 的大小,确定向前或向后探测的策略 则加大步长,令 若: f1 > f 2 则加大步长 令 h = 2h ,转(4)向前探测 转 向前探测 (4)产生新的探测点 x3 = x0 + h ,令 f 3 = f ( x3 ) 产生新的探测点 令 (5)比较函数值 f 2 和 f 3 的大小 比较函数值 则调转方向,令 若: f1 < f 2 则调转方向 令 h = − h ,转(4)向后探测 转 向后探测
3-1 确定初始区间的进退法
f (x ) f ( x1 )
f ( x2 )
f ( x1 ) > f ( x2 ) > f ( x3 )
极小点在右端点的
f (x3 ) (x
x
x3 右侧
0
x1
x2 x3
3-1 确定初始区间的进退法
f (x ) f ( x1 ) f ( x2 )
f ( x3 )
f ( x1 ) < f ( x2 ) < f ( x3 )
h=-h；x2=x0+h；f2=f(x2)； ； ； ； End
3-2 黄金分割法
一维搜索试探方法的基本思想： 一维搜索试探方法的基本思想：在确定了搜索区间的 前提下，不断缩小搜索区间， 前提下，不断缩小搜索区间，同时保持搜索区间内函数值 “大-小-大”的走势，直到区间的宽度小于预定的精度。 小 大 的走势，直到区间的宽度小于预定的精度。 黄金分割法基本思想： 黄金分割法基本思想 ： 在搜索区间内插入两个黄金分 割点，将区间分成三段。利用函数的单谷性质，通过函数值 割点，将区间分成三段。利用函数的单谷性质， 大小的比较，删去其中一段。 大小的比较，删去其中一段。在保留下来的区间上作同样的 处置，如此往复送代，使搜索区间缩小到精度范围内， 处置，如此往复送代，使搜索区间缩小到精度范围内，得到 极小点的近似解。 极小点的近似解。
3.3 一维搜索方法 (一维优化)
并令： h 2h
x3 x 2 h ，求 y3 f ( x3 )
重复上述步骤，直到函数值出现“高-低-高”为止。
4. 若在步骤2中，出现 y1 y 2 (图a虚线)，则应作后退运算: 令：h h0 置换：x3 x1 y 3 y1 ； x1 x2 y1 y2 ；x2 x3 y2 y3 再令：h 2h
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f 3 b ( x1 x2 )( x2 x3 )( x3 x1 )
教材中，c的表达式缺-号
c
( x3 x2 ) x2 x3 f1 ( x1 x3 ) x1 x3 f 2 ( x2 x1 ) x1 x2 f 3 ( x1 x2 )( x2 x3 )( x3 x1 )
入口
x
(0),ε
X
(1)=x(0)－f/x(0)/f//x(0)
∣f/x(1)∣≤ε 或∣x(1)－x(0)∣≤ε ?
x
(＊)：=x (1)
x
(0)：=x (1)
出口
4 3 2 例： 试用牛顿法求 f ( x) 1 x 2 x 2 x 7 x 8 4 3 值，已知探索区间为[a,b]=[3,4],ε=0.05。
4、牛顿法的特点 优点：收敛速度较快 缺点： 1）计算f’ 、f’’，计算工作量大。 2）用数值微分计算f’ 、f’’时，舍入误差会影响收敛速度。 3）x0与 x不能离太远，否则会发散或收敛于非极小点。 与0.618法比较： 0.618 法：1）收敛慢 2）对函数要求不严格 牛顿法正好相反。
5、牛顿法的框图
x3 x 2 h
3. 若 y 2 y1 ，应作前进运算(图a实线)：
第三节一维搜索方法
a3 a2 , y3 y2 a2 ap , y2 yp
特点：程序结构简单容易理解可靠性好。但计算 效率偏低，使用于低维优化的一维搜索。
三、二次插值法（抛物线法）
(1)基本思想：在寻求目标函数 f (x ) 极小点的区间 内取三个点的函数值来构造一个二次插值多项式 p(x )用它的极小点近似地作为原目标函数的极小 点。若近似程度不满足精度要求时，可反复使用 此法随着区间的缩短，二次插值多项式的极小点 就逼近原目标函数的极小点一维函数 f (x ) 在搜索 区间[a b] 内为单峰函数，在区间内取三点 x1 x2 x3 且 x1 x2 x3 三点的函数值为 f1 f (x1) f2 f (x2 ) f3 (x3 ) 且 f1 f2 f3 即满足函数值是大—小—大变化。原目
1、基本原理： 通过不断缩短搜索区间的长度来寻求一维函数
f (x ) 的极小点原理。
a
x1 x2
b
a
x1 x2
b
它是一种等比例缩短区间的直接搜索方法。
设目标函数 f (x) 在搜索区间 [a,b] 内 为单峰函数，区间长设为 l
在区间内按如下规则对 称地取两点 x1和 x2
x1 a 0.382(b a) x2 a 0.618(b a)
x b 2a
x*p
1 2
(x22 x32 ) f1 (x32 x12 ) f2 (x12 x22 ) f3 (x2 x3 ) f1 (x3 x1 ) f2 (x1 x2 ) f3
c1
f3 x3
f1 x1
c2
(
f2
f1 ) (x2
x2 x3
《现代机械优化设计》第3章 一维搜索
a xp, f (a) f (xp ), f (a) f (xp )
b xp, f (b) f (xp ), f (b) f (xp )
计算 f (x*p ), f (x*p )
否
f (x*p ) 0 是
否
f (x*p )
x xp , f f (xp )
是
结束
否
是
K>0
否
xp-xp0 ≤ε
是
x*=x2, f*=f2
是
x*=xp,f*=fp
xp
1 2
f1(x22 x32 ) f2 (x32 x12 ) f3(x12 x22 ) f1(x2 x3) f2 (x3 x1) f3(x1 x2 )
结束
由于区 间缩到很 小时因计 算机舍入 误差引起， 可取中间 点输出。
x3
ⅱ) (xP x1)(x3 xP ) 0
f1
x1
f2
f3
x2 x3
补充 §3-5 格点法
一）基本思路
先将搜索区间分成若干等分，计算出当中的n个等分 点的目标函数值. 再通过比较,找出其中的最小点，则该 点的两个邻近点围成缩短了的新区间。
f
a
xmx1 m xm1 b
x
二）每轮迭代区间的缩短率
ⅰ)A=0
f1(x2 x3 ) f2 (x3 x1) f3 (x1 x2 ) 0
f1[( x2 x1) (x3 x1)] f2 (x3 x1) f3(x1 x2 ) 0
f2 f1 f3 f1 这表明此时三个插值点共线。 x2 x1 x3 x1
f2
f3
f1
x1
x2
a=x3、b=x1
x3=x2+h、y3=f(x3)
《一维搜索方法》课件
02
线性搜索
线性搜索的定义
线性搜索是一种基本的搜索算法，它 从列表的第一个元素开始，逐个检查 每个元素，直到找到目标元素或遍历 完整个列表。
在线性搜索过程中，我们假设列表中 的元素是按顺序排列的，并且我们不 知道目标元素的确切位置，只知道它 存在于列表中。
线性搜索的步骤
初始化
选择一个起始位置，通常为列表的第一个元素。
抛物线搜索的步骤
3. 比较中间元素与目标值
2. 计算当前区间的中间元 素。
1. 初始化当前搜索区间为 整个数组。
01
03 02
抛物线搜索的步骤
01 如果中间元素等于目标值，返回该位置。
02
如果目标值小于中间元素，将左半部分区 间作为新的当前区间。
03
如果目标值大于中间元素，将右半部分区 间作为新的当前区间。
04
4. 重复步骤2和3，直到找到目标值或当前 区间为空。
抛物线搜索的时间复杂度
最坏情况下，抛物线搜索的时间复杂度为O(n)，其中n为数 组长度。
平均情况下，由于每次比较都可以将搜索区间缩小一半，因 此时间复杂度为O(log n)。
THANKS
THANK YOU FOR YOUR WATCHING
的单峰函数。
一维搜索方法的重要性
解决实际问题
一维搜索方法广泛应用于各种实 际问题中，如参数优化、函数逼 近、插值等。
算法基础
一维搜索方法是许多算法的基础 ，如梯度下降法、牛顿法等都需 要用到一维搜索方法来寻找迭代 步长。
理论分析
一维搜索方法在数学分析中也有 重要应用，如中值定理、单调函 数性质等都需要用到一维搜索方 法。
常用的一维搜索方法
线性搜索
常用的一维搜索方法
称为搜索方向；
k 称为步长或步长因子。
图1
线搜索迭代法的步骤
0 x (1) 选定某一初始点 ，并令 k : 0;
(2) 确定搜索方向 d
k
k
;
k
(3) 从 x 出发，沿方向 d x k 1; (4) 检查得到的新点
求步长 λ
k
，以产生下一个迭代点
x
k 1
是否为极小点或近似极小点。
若是，则停止迭代。 否则，令 k :k1，转回(2)继续进行迭代。 在以上步骤中，选取搜索方向是最关键的一步。 各种算法的区分，主要在于搜索方向 d
最优解
从当前点出发，按照某 种规则找下一个迭代点 注：迭代格式 不同，对应着 不同的算法
找下一个迭代点
迭代法的分类
可 行 算 法 ： 所 有 迭 代 点 都 是 可 行 点 据 迭 代 点 初始点不好找 的 可 行 性 不 可 行 算 法 ： 至 少 有 一 个 迭 代 点 不 是 可 行 点 初始点任意选取
k k k Tk kk
T k T k g d g k 1 k d,
其中
(, 1 ) ,0 1 .
常用的一维搜索方法
我们主要介绍下面几种方法
“成功—失败”法 0.618法（黄金分割法） 二分法 牛顿法（Newton）和插值法 Armiji-Goldstein 准则 Wolfe-Powell 准则
注意: 1. h 选择要适当.(太大含多个单峰区间,太小迭代次数多)； 2. f (x)单调时无结果, (加迭代次数限制)；
“成功—失败”法----算例
3 例 ：利用“成功-失败”法求函数 f( x )x 2 x 1 的搜索区间， 1 取初始点 x 1 ，步长 h . 2 21 1 h , 解：取初始点 x ，步长 2 2 1 1 5 11 f (x ) f ( ) , f ( x h ) f ( ) f ( 0 ) 1 , 2 8 22 搜 索 成 功 ， 步 长 加 倍 ； 因 为 f () x f ( x h ) ， 1 1 计 算 f ( x h + 2 h ) f ( x 3 h ) f ( 3 ) f ( 1 ) 0 , 2 2 搜 索 成 功 ， 步 长 加 倍 ； 因 为 fxh ( ) fx ( 3 h ) ， 1 1 计 算 f ( x 3 h + 4 h ) f ( x 7 h ) f ( 7 ) f ( 3 ) 2 2 , 2 2 搜 索 失 败 ， 停 止 迭 代 ； 因 为 fx ( 3 h ) fx ( 7 h ) ，
04工程优化 第3章-2常用一维搜索牛顿法
解： f '( x) 4 x3 12 x 2 12 x 16, f ''( x) 12 x 2 24 x 12,
f '( x0 ) f '(6) 89 x1 x0 6 6 4.75 f ''( x0 ) f ''(6) 69
f '( x1 ) f '(4.75) 84.94 102 , 继续迭代； f '( x1 ) x2 x1 f ''( x1 ) f '(4.75) 84.94 4.75 =4.75 =4.163 f ''(4.75) 144.75 f '( x2 ) f '(4.163) 14.666 102 , 继续迭代；
3.若 x2 x ，则迭代结束，取 x* x ，否则在点
x1 , x2 , x3 , x 中，选取使f (x) 最小的点作为新的x2，并使新的
x 1 ， x3各是新的x2近旁的左右两点，继续进行迭代，直到满 足终止准则。
例
用二次插值法求函数f(x)=3x3-4x+2的极小点， 给定 x0=0, h=1, ε=0.2。
应继续迭代。
(2) 在新区间，相邻三点及其函数值: x1=0, x2=0.555, x3=1;
根据公式计算差值多项式的极小点 f1=2, f2=0.292, f3=1.
1 c1 x a1 / 2a2 ( x1 x3 ), f1 f 2 2 c2 c1 f1 f 3 x1 x2 c1 , c2 x1 x3 x2 x3
Newton法----算例
f '( x2 ) x3 x2 f ''( x2 )
常用一维搜索算法
常用一维搜索算法常用一维算法一维算法是解决一维问题的常用方法。
一维算法主要通过在一维数据集中查找目标元素来解决问题。
以下是一些常用的一维算法：1. 线性（Linear Search）：线性算法是一种最简单的算法，也是最基本的一维算法。
它从头到尾依次检查数据集中的每个元素，直到找到目标元素或遍历完整个数据集。
线性算法的时间复杂度为O(n)。
2. 二分（Binary Search）：二分算法是一种高效的算法，但它要求数据集必须是有序的。
算法通过将数据集分成两半，并与目标元素进行比较，从而确定目标元素在哪个半部分中。
然后，它将重复这个过程，直到找到目标元素或数据集被划分为一个元素。
二分算法的时间复杂度为O(log n)。
3. 插值（Interpolation Search）：插值算法是改进的二分算法，它根据目标元素与数据集中元素的相对位置来确定的起始位置。
它使用目标元素与数据集首尾元素之间的比例来估计目标元素的位置。
插值算法在数据集分布均匀的情况下具有较好的性能。
4. 斐波那契（Fibonacci Search）：斐波那契算法基于斐波那契数列来确定的起始位置。
它通过比较目标元素与斐波那契数列中的元素来确定的范围，并将数据集划分成两部分。
然后，它在适当的部分中重复这个过程，直到找到目标元素。
斐波那契算法的时间复杂度为O(log n)。
5. 插入（Interpolation Search）：插入算法是一种改进的线性算法，它使用了数据集中元素的顺序信息来提高效率。
与线性算法一样，它从头到尾依次检查数据集中的每个元素，但是当元素不满足条件时，它会根据元素的顺序信息来确定的方向，从而减少的次数。
6. 哈希（Hash Search）：哈希算法使用哈希函数将数据集中的元素映射到哈希表中的索引。
然后，它通过查找哈希表中的索引来确定目标元素的位置。
哈希算法通常具有很高的效率，但是它需要额外的内存空间来存储哈希表。
上述算法是一维问题的常用解决方法。
线搜索算法_一维搜索
k 1 k搜索成功 , 步骤3：若 , 转步骤4；否则，搜索失败，
转步骤5。
步骤4： k : k 1 ,
停止迭代 。
h : 2h, k k 1 转步骤 2。
步骤5：反向搜索，若 k 0, 令 h h ，转步骤2；否则
一、精确一维搜索—初始区间 例 1：利用进退法求函数 f ( x) x3 2 x 1 的搜索区间， 1 1 取初始点 ，步长 x h . 2 2 解： 1 15 1 1 f ( x) f ( ) , f ( x h) f ( ) f (0) 1, 2 8 2 2 因为f ( x) f ( x h)，搜索成功，步长加倍； 1 1 计算 f ( x h+2h) f ( x 3h) f ( 3 ) f (1) 0, 2 2 搜索成功，步长加倍； 因为f ( x h) f ( x 3h)，
一、精确一维搜索—初始区间 确定初始区间的方法---进退法 ① 已知搜索起点和初始步长； ② 然后从起点开始以初始步长向前试探，如果函数值 变大，则改变步长方向； ③ 如果函数值下降，则维持原来的试探方向，并将步 长加倍。
一、精确一维搜索—初始区间
进退法算法流程
步骤1：选取初始点 x∈R , 初始步长 h > 0 及精度ε> 0，计算 0 f ( x). 并记 k : 0 步骤2：令 k 1 k h ， 计算 k 1 f (k 1 ).
一、一维搜索—分类 非精确的一维搜索：通过计算少量的函数值，得到一 步长 k ，使得后续迭代点 xk 1 x k k d k 满足
f ( xk 1 ) f ( xk ) ，即使目标函数要“充分”下降。
Goldstein准则 Armijo准则 Wolfe准则
常用的一维搜索方法
x
解： f ′ (x) =arctan x , f ″(x)=1／(1+ x2) 迭代公式： xk +1= xk - (1+ xk 2) arctan xk 取 x1= 1，计算结果： f′ (xk) 1／f″(xk ) k xk 1 1 0.7854 2 2 -0.5708 -0.5187 1.3258 3 0.1169 -0.1164 1.0137 4 -0.001095 -0.001095 x4≈ x* =0 取 x1=2，计算结果如下：
Proof. 1°反证法：设 x* ∈[a, b]为最小点， z 若x* ∈[a, x1]，由定义 知 f (x1)< f (x2 )，矛盾 （假设）； 2 °若x* ∈[x2 , b ]，由定义知 f (x1 ) > f (x2 ), 矛盾（条件）； 结论成立。 注：上述定理为缩短区间的算法提供了理论根据。
( x12 − x22 ) g ( x3 ) + ( x22 − x32 ) g ( x1 ) + ( x32 − x12 ) g ( x2 ) b= ( x1 − x2 )( x2 − x3 )( x3 − x1 )
x = −
−
b 2a
算法思路： 1. 寻找满足如下条件的点，成为两头大中间小的点： x 1 < x 2 < x3，f (x1 ) > f (x2 ), f (x2 ) < f (x3 ) 2. 两头大中间小，可得a>0, 则 x 为g(x)的极小值 点，且 x ∈ [ x1 , x3 ] 3.若 x2 − x < ε ，则迭代结束，取 x* = x ，否则在点 中 x1 , x2 , x3 , x ，选取使f (x) 最小的点作为新的x2， 并使新的x 1 ， x3各是新的x2近旁的左右两点，继续 进行迭代，直到满足终止准则。
常用一维搜索算法
无约束优化：不对定义域或值域做任何限制的情况下，求解目标函数的最小值。
这是因为实际应用中，许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。
（直接法：又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。
间接法：又称解析法，是应用数学极值理论的解析方法。
首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造何种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。
）在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同。
根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法,牛顿法,拟牛顿法以及共辄梯度法等。
一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础,是求解无约束非线性规划问题的基本方法之一。
一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。
由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。
在多变量函数的最优化中,迭代格式Xk+1=Xk+akdk其关键就是构造搜索方向dk和步长因子ak设Φ(a)=f(xk+adk)这样从凡出发,沿搜索方向dk,确定步长因子ak,使Φ(a)<Φ(0)的问题就是关于步长因子a的一维搜索问题。
其主要结构可作如下概括:首先确定包含问题最优解的搜索区间，然后采用某种分割技术或插值方法缩小这个区间，进行搜索求解。
一维搜索通常分为精确的和不精确的两类。
如果求得ak使目标函数沿方向dk达到极小,即使得f (xk+akdk)=minf(xk+adk) (a>0)则称这样的一维搜索为最优一维搜索,或精确一维搜索,ak叫最优步长因子;如果选取ak使目标函数f得到可接受的下降量,即使得下降量f(xk)一f(xk+akdk)>0是用户可接受的,则称这样的一维搜索为近似一维搜索,或不精确一维搜索,或可接受一维搜索。
一维搜索
单谷函数的性质
单谷函数的性质 Questions
单谷函数的性质有什么用？ 单谷函数的性质有什么用？
寻找单谷函数的方法----加步探索法 寻找单谷函数的方法 加步探索法
寻找单谷函数的方法----加步探索法 寻找单谷函数的方法 加步探索法
加步探索法----具体步骤 加步探索法 具体步骤
加步探索法----具体步骤 加步探索法 具体步骤
13/21 = 0.6190 21/34 = 0.6176 34/55 = 0.6182 55/89 = 0.6180 89/144 = 0.6181
令Fn表示经过N个试点函数值的计算 Fn表示经过N 表示经过 能达到的最大区间长度。 能达到的最大区间长度。
n=2
Q 2 − ε → 2(ε → 0) ∴ Fn = 2
n=3
n=4
Fibonacci 数
n Fn 0 1 1 1 2 2 0.5 3 3 0.333 4 5 0.2 5 8 0.125 6 13 0.076923 7 21 0.043478
Fibonacci 法和 法和0.618法的关系 法的关系 Questions
相邻Fibonacci数的比值构成一个点列， 数的比值构成一个点列， 相邻 数的比值构成一个点列 这个点列的极限是多少？ 这个点列的极限是多少？
Fibonacci 法和 法和0.618法的关系 法的关系
1/2 = 2/3 = 3/5 = 5/8 = 8/13 = 0.5000 0.6667 0.6000 0.6250 0.6154
应用
医学与0.618有着千丝万缕的联系，它可解释人为什么在 有着千丝万缕的联系， 医学与 有着千丝万缕的联系 环境22至 摄摄氏度时感觉最舒适 摄摄氏度时感觉最舒适。 环境 至24摄摄氏度时感觉最舒适。因为人的体温为 37°C与0.618的乘积为 的乘积为22.8° C，而且这一温度中肌体 ° 与 的乘积为 ° ， 的新陈代谢、生理节奏和生理功能均处于最佳状态。 的新陈代谢、生理节奏和生理功能均处于最佳状态。现 代医学研究还表明，0.618与养生之道息息相关 与养生之道息息相关， 代医学研究还表明，0.618与养生之道息息相关，动与静 是一个0.618的比例关系，大致四分动六分静，才是最佳 的比例关系， 是一个 的比例关系 大致四分动六分静， 的养生之道。医学分析还发现， 的养生之道。医学分析还发现，饭吃六七 成饱的几乎 不生胃病。 不生胃病。
第二部分：03第三章 一维搜索方法
一、一维搜索的基本思想
选定初始点1，初始步长h0。计算函数值y1=f(1)和 y2=f(1+ h0)，比较y1和y2，可分三种情况：
y1>y2，则极小点*必在1右方，作正向搜索寻求第三点。 y1<y2，则极小点*必在1+h0左方，作反向搜索寻第三点。 y1=y2，则极小点*必在1和1+h0之间，则为“高-低-高” 形态，找到初始单峰区间为[1 ， 1+h0]
y 2 y1
1
y3
3
h0
O
22 2 1 1 1
h0
2013年9月22日星期日8时42分35秒
2013年9月22日星期日8时42分36秒
8
第 2 部分：优化设计
第三章 一维搜索方法
y
y3
y1 y1 2 y2
y 2 y y3 3
第 2 部分：优化设计
第三章 一维搜索方法
昆明理工大学机电工程学院
一、一维搜索的基本思想
一维最优化搜索是要在单峰区间求单峰函数的极小 点，通常分两步进行： 确定一个最小值所在的区间； 求出该区间内的最优步长因子k值。 确定搜索区间的外推法 在一维搜索时，假设函数f()具有单谷性，即在所考 虑的区间内部，函数f()有唯一得极小点*。为了确定 极小点*所在得区间[a, b]，应使函数f()在[a, b]区间形 f() 成“高－低－高”趋势。 对于一般情况，分正向 搜索和反向搜索的外推法。
*
b
5
2013年9月22日星期日8时42分35秒
1
2013/9/24
第 2 部分：优化设计
第三章 一维搜索方法
第 2 部分：优化设计
第三节 一维搜索方法
若令 t1′ = t1 ，则有 w = 1 ；若令 t2′ = t1 ，则有 w = 0.618 以后类似迭代
0.618法步骤 0.618法步骤
称为在[a,b]上是单谷 [a,b]上是单谷的 函数 ϕ (t ) 称为在[a,b]上是单谷的，如果存在一个 t * ∈ [a , b] ，使得 ϕ (t ) 在 [a , t * ] 上严格递减，且在 [t * , b] 上严格递增。区间[a,b]称为 ϕ (t ) 的单谷区间。 上严格递减， 上严格递增。区间[a,b] [a,b]称为 单谷区间。
• 例4.3.3 用Goldstein法求解 Goldstein法求解 min ϕ (t ) = t 3 − 2t + 1
t ≥0
t0 取= 2, m1 = 0.2, m2 = 0.7, α = 2
解答
4.Armijo法 4.Armijo法
• Armijo法 法
ϕ (0)
y = ϕ (t )
tk
Mt
第三节 一维搜索方法
目标函数为单变量的非线性规划问题称为一维搜索问 目标函数为单变量的非线性规划问题称为一维搜索问 线性搜索问题) 题(或线性搜索问题)，其数学模型为 min ϕ (t) ，
t ≥0 ( 0≤ t ≤ t max )
其中 t ∈ R 。
精确一维搜索方法： 0.618法 Newton法 精确一维搜索方法： 0.618法，Newton法 非精确一维搜索方法： Goldstein法 Armijo法 非精确一维搜索方法： Goldstein法，Armijo法
1. 0.618法 0.618法
• 0.618法——思想 0.618法——思想
第一步： 插入 t1 , t2使 [ a, t2 ][t1 , b ] 等长度，令 第一步： 等长度，
常用的一维搜索方法
§4
牛顿法（Newton）和插值法
§4 .1、Newton法： 对 f (x) 在 x k 点展开： f (x )= f (xk )+ f ′(xk )( x-xk ) +(1/2) f ″(xk )(x-xk )2 + o ||(x- xk) 2 || 取二次式（略去高阶项） g(x) = f (xk) +f ′(xk)(x-xk) + (1/2)f ″(xk)(x-xk)2 用 g(x)作为f (x)的近似，当 f ″(xk) > 0时，其驻点为极小点： g′ (x)= f ′(xk) +f ″(xk)(x - xk )=0 得 xk +1= xk –f '(xk) /f ″(xk). 取 xk +1为新的迭代点。 以上过程即Newton法。 特点：收敛速度快，二阶收敛。缺点：须计算二次导数，对初 始点要求高、局部收敛。
西安电子科技大学 穆学文 18
Newton法算法框
初始 x1 ,ε1, ε2 >0 k=1
︱ f '(xk ) ︱<ε1?
y
停；解 xk
N
停k=k+1
Y
xk +1= xk - f′ (xk ) ／ f″(xk )
Y
| xk +1 - xk |< ε2
N
西安电子科技大学 穆学文 19
西安电子科技大学
穆学文
3
§1
“成功—失败” 法
以下方法称为“成功—失败”法（进退法）： 步骤1：选取初始点 x∈R , 初始步长 h > 0 及精度ε> 0， ϕ11 = f ( x). 步骤2：计算 ϕ22 = f ( x + h). 步骤3：若 ϕ 22 < ϕ11, 搜索成功, 转步骤4；否则，搜索失败， 转步骤5。 步骤4：令 x:= x + h, ϕ11 := ϕ 22, h := 2h 步骤5：判断 h ≤ ε ? 若 h ≤ ε , 停止迭代， x** = x ；否则令 h 转步骤 2。 h=− ,
3.一维搜索方法
P(x)的系数确定与极小点的计算
a1
x22
x
2 3
f1
x
2 3
x12 f2
x12 x22 f3
x1 x2 x2 x3 x3 x1
a2
x2 x3 f1 x3 x1 f2 x1 x2 f3 x1 x2 x2 x3 x3 x1
x
a1
1 x22 x32 f1
x32 x12 f2
x12 x22 f3
2a2 2 x2 x3 f1 x3 x1 f2 x1 x2 f3
9
一维搜索方法的分类
• 为了每次缩短区间，只需要在区间内再插入一点并计 算其函数值。然而，对于插入点的位置，是可以用不 同的方法来确定的。
• 黄金分割法 • 一类称作解析法或函数逼近法：构造一个插值函数来
逼近原来函数，用插值函数的极小点作为区间的插入 点
– 牛顿法、二次插值法等
10
一维搜索的试探方法 黄金分割法
f (x)
(a) f a0
f a0 a a0
1 2
f
a0 a
a0 2
• 然后以二次函数的极小点作为极小点的一个新近似点，根据极值 必要条件
对a求偏导 (a1) 0
f a0 f a0 a1 a0 0
ak 1
ak
f ak f ak
k
0, 1, 2,
依此继续可得 牛顿法迭代公式
a1
a0
f a0 f a0
17
• 是最常用的一维搜索试探方法，又称作0.618法 • 适用于区间上的任何单谷函数求极小值问题
– 对函数除要求“单谷”外不作其他要求，甚至可以 不连续
• 基本思路：在搜索区间内适当插入两点，并计算其函 数值。将区间分成三段。应用函数的单谷性质，通过 函数值大小的比较，删去其中一段，使搜索区间得以 缩短。然后再在保留下来的区间上作同样的处置，如 此迭代下去，使搜索区间无限缩小，从而得到极小点 的数值近似解。
一维搜索方法
一维搜索方法：（方法比较）“成功—失败”法、二分法、0.618法（黄金分割法）、牛顿法、二次插值法、D.S.C法、Powell法、D.S.C—Powell组合法。
1、“成功—失败”法：主要思想：从一点出发，按一定的步长搜索新点，若成功，加大步长继续搜索，否则，缩短步长小步后退。
此方法可以求最优解所在区间，称为“搜索区间”。
2、二分法：主要思想：区间[a,b]的中间值x0，判断f（x）的导数在三个点处的值，舍去一部分区间再求f(x)的极小值。
3、0.618法：等比例收缩原则，每次留下来的区间长度是上次留下来的区间长度的w倍。
以及对称原则、去坏留好原则。
W=0.6184、牛顿法：基本思想：在极小值点附近用目标函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数的极小值点的近似值。
5、二次插值法：牛顿法是在x k附近的目标函数用泰勒多项式近似代替，而此法是将f(x)用二次插值多项式p(x)近似代替。
把p(x)的极小值点作为f(x)极小值点的代替，从来求得函数的极小值。
6、D.S.C法：主要思想：利用成功—失败法寻找靠近极小值点的三点，进行二次插值。
优点是：收敛速度快，且不要求函数可微。
7、Powell法：基本思想：在搜索方向开始得到三点x0,x1,x2后，作二次插值，求得最小值x，在四点中去坏留好，在余下的三点中再作二次插值……8、D.S.C—Powell组合法：几种方法比较：D.S.C—Powell组合法是非常好的一种方法，它比任何一个单个方法都好D.S.C—Powell组合法与0.618法比较：D.S.C—Powell法中函数值的计算要比黄金分割法少得多，一般来讲它优于黄金分割法。
但：D.S.C—Powell法不一定能收敛到最优解。
最速下降法与修正牛顿法：对于正定二次函数，牛顿法一步可以求得最优解，对于非二次函数，牛顿法并不能保证有限次求得其最优解，但由于目标函数在极小值的附近近似于二次函数，故当初始点靠近极小值时，牛顿法收敛的速度比较快。
04第三章 第四节一维搜索
现在分析该法是如何进行寻优的：设已知单峰函数 f(t) 的 峰点t*（最小点）处在t =[a，b]区间（见图a） 在区间 [a ， b]中，任取两点 a1、 b1且 a1<b1 ，并计算 f(a1)和 f(b1)，则可出现下列结果： 1）f(a1) <f(b1)，则t*必在区间[a，b1]中，如图(a)所示。
（二）黄金分割法（0.618法） 1、0.618数字的由来：
L1 x11 L2 x12 x21 x22 L3 r1 r2 r3
如f(x11)>f(x12),则[L2,r2]=[x11,r1] x11=L1+(1- 1 )(r1-L1) x12=L1+ 1(r1-L1 ) 如f(x21)>f(x22),则[L3,r3]=[x21,r2] x21=L2+(1- 2 )(r2-L2 ) x22=L2+ 2(r2-L2 ) 要使x12=x21 =?
f(b) f(a) f(x1 ) f(x2 )
则x*必在[x1,b]内。
a x1
x*x2
b
因而应舍去[a, x1]，保 留[x1,b]并继续在[x1,b] 内任选一点，再对比决 定新一轮区间的取舍。
§3.4 一维搜索
一、基本概念
二、一维搜索原理
三、“成功-失败”法 四、斐波那契法（Fibonacci）与黄金 分割法（0.618法） 五、切线法（牛顿法）
n 1 ln / ln 1 2.1ln
③按0.618法则在[a,b]内取对称的两点：
左点： x1 a (1 )(b a) 右点： x2 a (b a)
④决定[a,b]内取舍区间
已知点 函数值
a<x1<x2< b f(a)>f(x1)<f(x2)>f(b)
第三章 一维搜索(线性搜索)
一维搜索一般分为两大步骤： (1)确定初始搜索区间[a，b]，该区间应是包括一维函数 极小点在内的单谷区间。 (2)在单谷区间[a,b]内通过缩小区间寻找极小点。
一维搜索也称直线搜索。这种方法不仅对于解决 一维最优化问题具有实际意义，而且也是求解多维最优 化问题的重要支柱。
可得初始搜索区间 a, b 0.4, 1.6.
运用进退法确定出初始搜索区间[a,b]后，便可采用一维优化方 法来求出函数f(x)在区间内的最优点x*。
20
2. 程序框图
初始进退距
给定x1、h0 h=h0
h=-h
x3=x1 y3=y1
y1=f(x1)、x2=x1+h、y2=f(x2)
否
y1≥y2
是
这个过程称为一维搜索过程。
如： F(X ) x12 x22 8x1 12x2 52
当
X 0 0 0T , d0 1 1T
X
0 0
1 1
则 F x12 x22 8x1 12x2 52 22 20 52
X k1 X k S k (k 0,1,2 )
一维搜索示意图
3.1.2 的确定方法
解:
kh
x1
y1
x2
y2
x3
y3
0.1 1.8 12.096 1.9 14.377 1
-0.2 1.9 14.377 1.8 12.096 1.6 8.488
2 -0.4 1.8 12.096 1.6 8.488 1.2 4.584
3 -0.8 1.6 8.488 1.2 4.584 0.4 5.992
h=2h
x1=x2 y1=y2 x2=x3 y2=y3
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无约束优化：不对定义域或值域做任何限制的情况下，求解目标函数的最小值。
这是因为实际应用中，许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。
（直接法：又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。
间接法：又称解析法，是应用数学极值理论的解析方法。
首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造何种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。
）
在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同。
根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法,牛顿法,拟牛顿法以及共辄梯度法等。
一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础,是求解无约束非线性规划问题的基本方法之一。
一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。
由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。
在多变量函数的最优化中,迭代格式X k+1=X k+a k d k其关键就是构造搜索方向d k和步长因子a k
设Φ(a)=f(x k+ad k)
这样从凡出发,沿搜索方向d k,确定步长因子a k,使Φ(a)<Φ(0)的问题就是关于步长因子a的一维搜索问题。
其主要结构可作如下概括:首先确定包含问题最优解的搜索区间，然后采用某种分割技术或插值方法缩小这个区间，进行搜索求解。
一维搜索通常分为精确的和不精确的两类。
如果求得a k使目标函数沿方向d k达到
极小,即使得f (x k+a k d k)=min f (x k+ ad k) ( a>0)
则称这样的一维搜索为最优一维搜索,或精确一维搜索,a k叫最优步长因子;
如果选取a k使目标函数f得到可接受的下降量,即使得下降量f (x k)一f (x k+a k d k)>0是用
户可接受的,则称这样的一维搜索为近似一维搜索,或不精确一维搜索,或可接受一维
搜索。
由于在实际计算中,一般做不到精确的一维搜索,实际上也没有必要做到这一点,因为精确的
一维搜索需要付出较高的代价,而对加速收敛作用不大,因此花费计算量较少的不精确一维搜索方法受到了广泛的重视和欢迎。
精确一维搜索,作为一种理想的状态,虽然在实际计算中被采用的概率较之不精确一维搜索要小,但有关精确一维搜索技术的研究历史悠久成果相当丰富,方法众多,其理论体系也相对比较完备,对其进行进一步的研究仍有着重要的理论意义和现实意义。
通常我们根据算法中有无使用导数的情况,将精确一维搜索算法分为两大类:一类是不用函数导数的方法,这其中就包括二分法(又称作对分法或中点法)、0.618法(黄金分割脚、Fibonacci法(分数法)、割线法、成功一失败法等;另一类是使用函数导数的方法,包括经典的Newton法、抛物线法以及各种插值类方法等。
（1）在不用导数的方法中,二分法、0.618法(黄金分割法)以及Fibonacci法均是分割方法,其基本思想就是通过取试探点和进行函数值比较,使包含极小点的搜索区间不断缩短,当区间长度缩短到一定程度时,区间上各点的函数值均接近函数的极小值,从而各点均可看作极小点的近似。
分割类方法仅需计算函数值,因此使用的范围较广,尤其适用于非光滑及导数表达式复杂或写不出等情形。
二分法是一种最简单的分割方法,每次迭代都将搜索区间缩短一半,故二分法的收敛速度是线性的,收敛比为0.5,收敛速度较慢。
其优势就是每一步迭代的计算量都相对较小,程序简单,而且总能收敛到一个局部极小点。
黄金分割法是一种针对目标函数是单峰函数亦即目标函数为凸的情形的分割类方法,因其不要求函数可微,且每次迭代只需计算一个函数值,程序简单容易实现而被广泛采用。
由于黄金分割法是以等比例τ=0.618分割缩小区间的,因此它是一种近似最优方法。
针对在实际中遇到的目标函数往往不是单峰函数的情况,HPonfiger(1976)提出了.0618法的改进形式,即在缩小区间时,不只是比较两个内点处的函数值,而是对两内点及其两端点处的函数值进行综合比较,以避免搜索得到的函数值反而比初始区间端点处的函数值大的情况。
经过这样的修改,算法比.0618法要更加可靠。
Fibonacci法是另一种与.0618法相类似的分割类方法,两者的主要区别在于Fibonacci法搜索区间的缩短比率不是采用黄金分割数τ,而是采用Fibonacci数列。
在使用Fibonacci法时,通常是由用户给定最终区间长度的上限,从而确定探索点的个数,逐步进行搜索。
通过对Fibonacci数列进行分析表明,在迭代次数n趋于无穷的情形。
Fibonacci法与.0618法的区间缩短率相同,因而Fibonacci法的收敛速度也是线性的,收敛比也是黄金分割数τ。
可以证明,Fibonacci法是分割方法求解一维极小化问题的最优策略,而0.618法只是近似最优的,但因0.618法不必预先知道探索点的个数,程序实现更加容易,因而应用也更加广泛。
抛物线法也可称作三点二次插值法,其基本思想与下面要叙述的牛顿法相同,也是用二次函数
近似目标函数,并以其极小点去近似目标函数的极小点,不同之处是牛顿法是利用目标函数fx()在x0处的二阶Tyalor展式来逼近f(x),而抛物线法则是利用目标函数fx()在三个点x0,xl,xZ处的函数值构造一个二次函数作为其近似。
一般地,抛物线法并不能保证算法一定收敛,在迭代过程中有可能会出现相邻迭代点x k，x k+1充分接近且x k+1并非函数近似极小点的退化情况。
但在己知迭代点列收敛到目标函数极小点的情况,可以证明:在一定的条件下,抛物线法是超线性收敛的,收敛的阶约为1.3。
割线法与分割法类似,也是通过取试探点和进行函数值比较,使包含所求点的搜索区间缩小,但试探点的取法与分割法不同,它是选取连接两个端点的线段与横轴的交点作为试探点。
割线法不能保证每次都使搜索区间缩小一定的比例,因而不具有全局线性收敛性,但是它却利用了函数的一些性质。
在函数接近线性时,它是非常快的。
如果函数本身是线性函数时,它可以一步找到解。
(ii)一般地,使用导数的方法通常包括牛顿法、插值法等,其中插值法又有一点二次插值法(牛顿法)、二点二次插值法)、三点二次插值法以及三次插值法、有理插植法等常用方法。
求一维无约束极小化问题的牛顿法是从计算方法中方程求根的牛顿法演化而来的,其基本思想是用目标函数f (x)在己知点x0处的二阶Tylor展式g (x)来近似代替目标函数,用g (x)的极小点作为f (x)的近似极小点,迭代公式是
x k+1=x k=f′(x k) f′′(x k)
牛顿法的优点是收敛速度快,具有局部二阶收敛速度;缺点是要在每个迭代点处计算函数的二阶导数值,增加了每次迭代的工作量,而且它要求迭代初始点要选的好,也就是说初始点不能离极小值太远,在极小点未知的情况下,做到这一点是很困难的,这就限制了算法的应用范围,导致算法不实用。
事实上,牛顿法也是插值类方法的一种。
插值法是一类重要的一维搜索方法,其基本思想是在搜索区间内不断用低次(通常不超过三次)多项式来逼近目标函数,并用插值多项式的极小点去近似目标函数的极小点。
实践表明,在目标函数具有较好的解析性质时,插值方法比直接方法(如.0618或Fibonacci法)效果更好。
所谓不精确一维搜索方法是指应用各种可接受的步长选择律的线性搜索方法。
常用的不精确一维搜索算法包括利用简单准则的后退方法、经典的Armijo-Goldstein方法、Wolfe-Powell方法和强Wolfe-Powell方法、以及其后发展起来的利用Curry-Altman步长律、改进的Curry-Altman步长律、Danilin-Pshenichuyi步长律、De Leone-Grippo步长律、Backtracking步长律等的各种方法
（P19-24）
坐标轮换法：可靠性较高，算法效率太低，操作方便，一般只用于低维问题，n<10 鲍威尔法：可靠性高，算法效率较高，操作较复杂，一般适用于n<10~20的问题
梯度法：可靠性较高，算法效率低，操作方便用于低维、低精度的问题。
牛顿法：可靠性低，算法效率高，操作不方便，很少用。
变尺度法：可靠性高(BFGS比DFP更高)，算法效率高,使用较复杂,适用于高维问题。