最优化方法第三章

a
2. 直线搜索的方法 （1）黄金分割法 黄金分割法属于区间收缩法。它适用于任何单谷函 数求极小值问题。对函数除“单谷”外，不作其它要求， 甚至可以不连续。因此这种方法的适用面相当广。 黄金分割法的思想是：在每次迭代中，合理地设置两 个插入点的位置，以使得在计算函数值次数同样多的条件 下，将区间缩小得最快。 设区间 [a, b] 的长为1。在距点 a 分 别为 和 的地方插入 t 1和 t 2。 为了确定 和 ，提出以下条 件： 第一，希望 t 1 和 t 2在 [a, b]中的位置是对称的。按这 一条件，有
但对于在下降算法模式中所引入的 (t ) f ( xk tpk )
而言，可选取 t 0 等于0（理论上）或接近0（实际计算中）。 而对于 h ，如果选得过小，那么需要迭代许多次才能找到 一个搜索区间；如果选得太大，虽然很少几步就可能把极 小点包括进来，但是这又会给下一步搜索极小点的过程增 加负担。下面是确定 h 的一种比较合理而有效的方法。
Βιβλιοθήκη Baidu
at1 t 2 b
1 . （3.6） 即 这样无论删去哪一段，总保留长为 的区间。
第二，删掉一段，例如删掉[t 2 , b] ，在保留下来的区间 里再插入一个点 t 3 ，使得 t 3 , t1 在[a, t 2 ] 中的位置与 t1 , t2 在[a, b] 中的位置具有相同的比例，从而保证每次迭代都能 以同一比率 缩小区间。按这一条件，有
at 1 at 2 at 2 ab
即 1 2 . （3.7） 或 把（3.7）代入（3.6）中，得到关于 的一元二次方程
其合理的根是 5 1 0.618 （3.8）
(t ) 第一次迭代（ k 0 ，即从 x0 到 x1 的迭代）时， 的初始步长可取为1，或根据问题中出现的数据的数量级 估计选定。而以后各次迭代的初始步长可按公式（3.5） 计算， x k x k 1 （3.5） h pk xk 到 xk 1 的距离 xk 1 xk 一 其中 0 1。这是因为从 x 般比从 x k 1 到 k 的距离 xk xk 1 小或接近，所以把按 （3.5）算出的作为下一次迭代的初始步长是合适的。在 实际计算中，当 k 较小时，相应的 可取得小些，而随 着的 k 增大，相应的 可取得接近1。
1 1
*
显然，单谷函数的定义域区间是搜索区间。 单谷函数的性质。 定理3.1 设 {a , b}是单谷函数 (t )极小点的一个搜索区 在 ( a , b) 内任取两点 t1 , t2 t1 t2 ，若 (t1 ) (t 2 ) ，则 间。 {a, t 2 } 是 (t ) 极小点的一个搜索区间；若 (t1 ) (t 2 ) ，则 {t1 , b} 是 (t ) 极小点的一个搜索区间。 直线搜索算法的第一步一般得先确定 (t ) 的一个 （初始）搜索区间。根据定理3.1，可以给出确定搜索区 间的如下算法。
定义3.2 设 : L R R , t 是 (t ) 在L上的 * t [t1 , t2 ], t , t L ，使得 全局极小点。如果能够找到 1 2 那么闭区间 [t1 , t 2 ] 就称为 (t ) 极小点的一个搜索区间， {t1 , t 2 }。搜索区间有时也记作{t1 , t3 , t2 }，其中 t1 t3 t2 记为
算法3.1（确定搜索区间） 已知：目标函数 (t ) 。 ①选定初始点 t 0 和步长 h 。 2 (t 2 ) 。 ②计算 0 (t 0 ) ，t 2 t 0 h ， ③若 2 0 ，则置 t1 t 0 ， 1 0 ，h h, 转⑤； 否则转④。 ④置 t1 t 0 ， 1 0 ，t 0 t 2 ， 0 2 ，h 2h 。 2 (t 2 ) 。若 2 0 ，则转⑥； ⑤计算 t 2 t 0 h ， 否则转④。 t1 , t 2 } ， b max{ t1 , t 2 } （[ a, b] 即为 ⑥置 a min{ 搜索区间），计算结束。 上述过程开始时，必须选定初试点 t 0 和步长 h 。对于 无固定选取模式。 任意给定的 (t ) ，一般来说，
精确的直线搜索算法的实现通常是在所谓的搜索区间 上进行的 1. 搜索区间的确定 在以下讨论中，总假定一元函数 (t ) 是单谷函数。 1 1 定义3.1 设 : L R R ，t * 是 (t ) 在L上的全局 * t , t t t t t 极小点。如果对于L上任意的两点 1 2 1 2 ，当 2 (t1 ) (t 2 ) ，那么称 (t ) 时， (t1 ) (t 2 ) ；当 t1 t * 时， 是区间L上的单谷函数。 下图给出了单谷函数的基本图形。
3.1 直线搜索 直线搜索（一维搜索）是指求解如下一元函数极小化 问题 min (t ) （3.3） 的迭代方法，其中 : R1 R1 。 在微积分中，解决问题（3.3）的范围一般限于方程 (t ) 0 （3.4） 可以直接解出的情况。而这里介绍的直线搜索对 不作 严格的要求。当然，对于可以求出导数的情况，相应的求 解方法一般也会简单些。 直线搜索，理论上，分为精确的和不精确的。 精确的直线搜索方法主要分为两类：一类为区间收缩 法，另一类为函数逼近法。本节将相应地介绍两种常用的 精确的直线搜索方法：适用于一般函数的黄金分割法和适 用于一般连续函数的抛物线插值法。最后还将介绍实用的 不精确一维搜索技术。