第05章 一维搜索方法

ϕ'(α2 ) − ϕ'(α1) ϕ'(α) ≈ ϕ'(α1) + (α − α1) α2 − α1
该式给出ϕ'(α ) = 0的点α 的近似值α3
*
α3 = α2 −
由此可见 ρ =
ϕ'(α2 ) (α2 −α1) ϕ'(α2 ) − ϕ' (α1)
ϕ'(α2 ) 。 ϕ' (α2 ) −ϕ' (α1)
4) 令
ak +1 = ak
，
bk +1 = µk
， 再 令
，
λk +1 = ak +1 + (1− α)(bk +1 − ak +1) ，计算ϕ(λk +1) ，转5)。
5) 令k = k +1，返回2)。
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
一个例题
m in f (x) = x − 4x − 6x −16x + 4
出解析解，更严重的是在很多实际问题中，ϕ(α) 不可微，或无 法写出其导数表达式， 因此一般地说就要用迭代的方法数值求解 上列极小化问题，这就是所谓的一维搜索。
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
主要内容
一点法——牛顿－芮弗逊迭代法 一点法——牛顿－芮弗逊迭代法 两点格式 三点法——0.618法 三点法——0.618法 初始区间、初始点确定方法 不精确一维搜索
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
不精确一维搜索(1) 不精确一维搜索(1)
在实际计算中， 一般做不到精确的一维搜索， 实际上， 也没 有必要做到这一点。因为精确的一维搜索需要付出较高的代价， 而对加速收敛作用不大。 所以， 不精确一维搜索方法收到广泛的 重视和欢迎。 设要求min ϕ(λ) = f x(k ) + λs(k ) ，在不精确一维搜索中， 通过要求 f x(k +1) 比 f x(k ) 下降一定的数量，而且在新点
ቤተ መጻሕፍቲ ባይዱ
(
)
( )
(
)
x(k +1) = x(k) + λs(k ) 处沿s(k ) 的方向导数比在 x(k) 点沿 s(k ) 的方
向导数值大一定的数量。 通常采用的是W olfe-Powell 不精确一维 搜索准则，简称 W olfe-Powell 准则，即对给定的常数
0 < c1, c2 < 1，要求λk 满足如下条件：
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
总结
一维搜索是下降算法的核心之一； 根据目标函数的可微性以及导函数是否容易求解， 可以分别采用牛顿法、弦位法和黄金分割法等； 牛顿法要注意初始点的选择； 弦位法和黄金分割法要注意区间的修正格式及收 敛性判断方法； 其它一维搜索方法：成功－失败法，抛物线法， 三次插值法。
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
牛顿－芮弗逊迭代法(1) 牛顿－芮弗逊迭代法(1)
如果对于给定的初始点α1 ，已经求出ϕ(α1) 、ϕ'(α1) 和
ϕ''(α1) ， α1 邻近可以用二次函数q(α) 近似ϕ(α) ， 则在 且保证
q(α) 近似ϕ(α) 在α1 点有相同的函数及一、二阶导数值： 1 q(α) = ϕ(α1) + ϕ'(α1)(α −α1) + ϕ'' (α1)(α − α1)2 2
优化设计方法(Optimization Method)
一维搜索方法
交通与车辆工程学院 刚宪约 2012年5月14日 年 月 日
一维搜索方法
本节要讨论的问题是求解一元函数的极小值问题
min ϕ(α)
α
当ϕ(α) 可微时，理论上说，这个问题的最优解可由方程式
ϕ'(α) = 0求得。但是，这个方程往往是高度非线性的，很难求
两点格式
假定我们已经定出一个区间[α1,α2 ] ，已知
ϕ' (α1) ≤ 0 ，ϕ' (α2 ) ≥ 0
两点格式的核心就是逐步缩小区间[α1,α2 ] ， 直到以足够的精度 求出目标函数的最小值。缩小区间的方法是每次迭代时利用下列公 式求得一个最小值的新估计：
α3 = α2 − ρ(α2 − α1)
λ* = (bk + ak ) / 2 ；否则，若 ϕ(λk ) > ϕ(µk ) ，则转 3) ，
。 ϕ(λk ) ≤ ϕ(µk ) ，则转4） 3) 令
ak +1 = λk
，
bk +1 = bk
， 再 令
λk +1 = µk µk +1 = λk
，
µk +1 = ak+1 + α(bk +1 − ak +1 ) ，计算ϕ(µk +1) ，转5)。
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
不精确一维搜索(2) 不精确一维搜索(2)
a. f x
( ) − f (x ) ≥ −c λ [∇f (x )] s
(k ) (k +1) 1 k
(k +1) T (k )
( k ) T (k )
b. ∇f x
[ (
)] s
4 3 2
分别使用牛顿－芮弗逊方法、弦位法和 0.618法进行求解。 0.618法进行求解。
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
初始区间、初始点确定方法(1) 初始区间、初始点确定方法(1)
前面讲的一维搜索方法，有的需要从一个初始的 搜索区间出发，逐次进行迭代计算；大多数算法，都 要从一个初始点出发，逐次进行迭代。下面给出一种 进退算法， 它可以同时确定初始的搜索区间和初始点。 (1) 选定初始点的一个估计值t0 ，初始步长h > 0 ，计 算ϕ(t0 ) ； (2) 令t2 = t0 + h ，计算ϕ(t2 ) ；
≥ c2 ∇f x
[ ( )] s
(k ) T ( k )
根据计算经验，常取c1 = 0.1，c2 = 0.5。
不精确一维搜索算法的计算步骤： 设点x 已求得，为书写简便，令 fk = f x
(k )
gk = ∇f (x(k ) ), gk +1 = ∇f (x(k +1) ) 。求出 fk ，gk 。
式中， ∈[0,1] 是根据所采用的插值公式而决定的实数。 ρ 决定ρ 的方法常见的有弦位法和两分法
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
弦位法
弦位法是利用α1 点的ϕ' (α1) 和α2 点的ϕ' (α2 ) ，在α1 和α2 之 间对ϕ' (α) 进行线性插值，即
当得到α2 后又可以计算利用同样的方法计算α3 、α4 ……，直 至收敛。 主要优点：收敛速度快，在最优解附近至少是二阶收敛。 主要缺点：初始点选择对收敛影响很大，需要计算二阶导 数。如果必须用数值方法求二阶导数，则计算时的舍入误 差和近似误差就会对算法的效率影响很大。
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
二分法
用二分法求解时，简单地将 ρ 取成 0.5，即
α3 =
α1 + α2
2
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
0.618法 0.618法(1)
0.618 法又叫做黄金分割法， 是不用导数的一维搜索方法中比较 常用的一种方法。 设ε > 0 为允许的最后的搜索区间长度， α = 0.618 ， 令 则0.618 法的计算步骤如下： (1) 计算
λ1 = a1 + (1− α)(b1 − a1) ，ϕ(λ1) µ1 = a1 + α(b1 − a1) ，ϕ(µ1)
令k = 1。
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
0.618法 0.618法(2)
2) 若 bk − ak < ε ，则计算结束，最优解 λ* ∈[bk , ak ] ，可取
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
初始区间、初始点确定方法(2) 初始区间、初始点确定方法(2)
(3) 若ϕ(t2 ) ≤ ϕ(t0 ) ，转第 4 步；否则，若ϕ(t2 ) > ϕ(t0 ) ，令
h = −h ，转第4 步；
(4) 令t1 = t0 + h ，计算ϕ(t1) ； (5) 若ϕ(t1) ≤ ϕ(t0 ) ， 则令h = 2h ，t2 = t0 ，t0 = t1 ， 转第4 步； 否则，若ϕ(t1) > ϕ(t0 ) ，转第6 步。 (6) 令 a = min(t1, t2 ) ，b = max(t1, t2 ) ，则[a, b] 即为所求的初 始区间，而t0 = (b + a) / 2 可作为所求的初始点，计算结束。
( ), f
(k )
， 搜索方向s
(k )
= f x(k +1) ， k +1
(
)
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
不精确一维搜索(3) 不精确一维搜索(3)
(1) 给定c1 ∈(0,1) ，c2 ∈(c1,1)，令a = 0, b = −∞, λ = 1, j = 0 。 (2) 令x(k +1) = x(k ) + λsk ， 计算 fk +1 ， k +1 ， λ 满足条件a、 g 若 b， 则令λk = λ ， 计算结束； 否则令 j = j +1， 若不满足条件a， 则转第3 步；若不满足条件b，则转第4 步。 (3) 令b = λ, λ = (λ + a) / 2 ，返回第2 步。 (4) 令a = λ, λ = min( 2λ, (λ + a) / 2) ，返回第2 步。
代替求ϕ(α) 的极小点。我们来求q(α) 的极小点α2 ，它应满足
q'(α) = ϕ'(α1) + ϕ'' (α1)(α −α1) = 0
交通与车辆工程学院 刚宪约 gangxianyue@sdut.edu.cn
牛顿－芮弗逊迭代法(2) 牛顿－芮弗逊迭代法(2)
由此
α2 = α1 −
ϕ' (α1) ϕ' '(α1)