最优化方法第三章(3)

其中
0（一般取 1 或用直线搜索技术来确定），
以获得新的参考点（新的迭代点）。然后再开始探测搜索， 模式移动，……。交替进行的“探测搜索”和“模式移动” 将使得迭代点逐渐地向极小点靠近。
T 参考点 r r1 , r2 , , rn 。
2. 算法 算法3.11a（探测搜索） T 已知：目标函数 f (x ) ，步长向量 s s1 , s2 , , sn ,
T yk H k y k T 1 T T H k 1 H k T (1 T ) sk sk H k yk sk sk yk H k sk yk sk yk
（3.87）
只要把DFP算法中涉及DFP校正公式的部分改为 BFGS校正公式便得到BFGS算法。BFGS算法具有与DFP 算法完全相同的性质，但是因为它的 H k 不易变为奇异，
.
可以保证该式成立。
第二，为易于计算，要求 H k 到 H k 1 之间具有简单 的迭代形式。 （3.70） Ek 称为校正矩阵，（3.70）称为校正公式。 最简单的迭代关系为 H k 1 H k Ek
H k 确实近似 Gk1 第三，为使 ，要求每一个 H k 必须 满足逆Newton条件。 H和 设迭代已进行到第 k 1 步， k xk 1均已求出，现在 推导 H k 1 所必须满足的条件。 将 f ( x ) 在点 xk 1 处作Taylor级数展开，
。
r x0 , b0 x0 , c 1, w 0.5(或0.1) .
. ②置 s cs0
③在点 搜索得 b . f (b ) f (r ) ，则转⑤；否则，转⑧. ④若 ⑤做模式移动 r b b0 ，并置 b0 b , f 0 f b . 2 ⑥在点 r 处，以 s 为步长向量按算法3.11a做探测 搜索得b .
，则有
g k g k 1 Gk 1 ( xk xk 1 xk 1 xk Gk 1 ( g k 1 g k )
对于正定二次函数（3.36），近似式（3.72）将变为 等式，即
1 xk 1 xk Gk 1 ( g k 1 g k )
sk xk 1 xk
yk g k 1 g k
H k 1 yk sk
那么逆Newton条件可简记为
（3.77）
对于满足（3.70）的 H k 1 ，逆Newton条件可写为
Ek yk sk H k yk
2. 算法 P172 算法3.9（拟Newton算法）
证 由定理3.8可知 H nQp j p j , j 0,1, , n 1 ，即 H nQ p0 p1 pn 1 p0 p1 pn 1
H nQ I
故 H n Q 1 。
4. BFGS算法 比DFP算法更好的是BFGS算法。这个算法是由 Broyden,Fletcher,Goldfarb和Shanno等人给出的，其校正 公式为
1 T T f ( x ) f ( xk 1 ) f ( xk 1 ) ( x xk 1 ) ( x xk 1 ) Gk 1 ( x xk 1 ) 2
于是
令
x xk
f ( x ) gk 1 Gk 1 ( x xk 1 )，
1. 基本思想 考虑Newton迭代公式
1 xk 1 xk Gk g k , k 0,1,
这里搜索方向为
(3.68）
1 pk Gk g k ，步长因子为1。
我们从以下两点考虑对Newton迭代公式的改进： 一、为避免求逆矩阵，设想用某种近似矩阵 H k H xk 替换 Gk1，上式则变为
如果取
u k s k , vk H k y k ，那么有
T T sk sk H k yk yk H k （3.80） H k 1 H k T T . sk yk yk H k y k
1 1 k T , k T , sk yk yk H k y k
因子 。 (3.69）是代表面很广的一类迭代公式。例如，当 H k I H k Gk1 时，它是阻尼 时，它是最速下降法公式。当 Newton法公式。
二、为了取得更大的灵活性，考虑更一般的公式
这样的 H k 存在吗？假如存在，那么为使 H k确实近似 Gk1并易于计算，我们要对 H k 人为地附加某些条件。 第一，为保证搜索方向 pk H k g k 总是下降方向， G 1 要求每一个 H k 都是对称正定矩阵。 k 对称，故要求 H k 对称； T T T pk g k 0 g k H k g k 0 g k H k g k 0 ，H k 正定
其中 u k , v k 是待定向量， k , k 是待定常数。校正矩阵 T T Ek k uk uk k vk vk
根据拟Newton条件（3.78），有
T T k uk uk yk k vk vk yk sk H k g k
T T sk sk H k yk yk H k T T H k 1 H k T T ( yk H k yk ) wk wk （3.88） sk yk yk H k y k sk H k yk wk T T 其中 yk sk yk H k yk 。 这个公式由Broyden(1967年)给出。公式中有一个参 数 ，它可以取任何实数，每取一个实数，就对应一种拟 Newton算法，因此称为算法族。 Broyden证明了，当选取 0 和选取 H 0 为对称 正定矩阵，则矩阵序列 H k 中的每一个都将是正定的， 这将保证算法是下降算法。
这时搜索方向为 pk H k g k ，步长因子仍为1。
xk 1 xk H k g k , k 0,1,
xk 1 xk tk H k g k , k 0,1, (3.69） 这时搜索方向仍为 pk H k g k ，但步长因子取为最优步长
（3.78）
3. DFP算法
DFP法是首先由Davidon(1959年)提出，后由 Fletcher和Powell（1963年）改进的算法。它是无约束优 化方法中最有效的方法之一。DFP法虽说比共轭梯度法有 效，但它对直线搜索有很高的精度要求。 （1）公式的推导 考虑如下校正公式 T T H k 1 H k k u k u k k vk vk
3.5 拟Newton法
Newton法的优缺点都很突出。优点：高收敛速度 （二阶收敛）；缺点：对初始点、目标函数要求高，计算 量、存储量大（需要计算、存储Hesse矩阵及其逆）。拟 Newton法是模拟Newton法给出的一个保优去劣的算法。 拟Newton法是效果很好的一大类方法。它当中的 DFP算法和BFGS算法是直到目前为止在不用Hesse矩阵 的方法中的最好方法。 本节内容是最优化方法的重点之一。
（2）算法 拟Newton算法3.9的第5步代入（3.80）便得到DFP法。 考虑到计算中有舍入误差，特别是直线搜索的不精确， 都可能破坏 H k 的正定性以及搜索方向的共轭性，从而导 致算法失效。对此，也采取迭代 n 1 次后重置初始点的 策略。 算法3.10（DFP法） P174
例3.4 P174 （3）DFP算法的性质 定理3.7 在DFP算法中，若初始矩阵 H 0 对称正定， 则{ H k }中每一个都对称正定。 定理3.8 设将DFP算法施用于具有对称正定矩阵 Q 的二次函数（3.36），如果 ⅰ）初始矩阵 H 0 对称正定； ⅱ）迭代点互异，产生的搜索方向向量依次为 p0 , p1 ,, pk (k n 1) ，则有 T pi Qp j 0, i, j 0,1, , k (i j) H k 1Qp j p j , j 0,1, , k. 推论3.9 若定理3.8的条件都满足，并且经过 n 次迭代才求到极小点，则 H n Q 1 。
（3.73）
1 其中 Gk1 Q 1 。 因此，如果迫使 H k 1 满足类似于（3.73）的等式
（3.74） 1 Gk1。关系式（3.74）称为 那么 H k 1 就有可能很好地近似于 逆Newton条件或逆Newton方程。 记
, .
xk 1 xk H k 1 ( gk 1 gk )，
所以BFGS算法要比DFP算法具有更好的数值稳定性。 BFGS算法是直到目前为止所公认的最好的拟Newton算法。 采用不精确直线搜索技术的BFGS算法的全局收敛性 已得到证明。 5. Broyden算法族 前面讨论了三个拟Newton算法。它们是作为Newton 法的推广而导出的。它们具有较好的性质。这种拟 Newton算法有一族，其中最有实用价值的几个算法都包 含在所谓的Broyden算法族中，其校正公式为
；置 b r , fb f r . ①计算 f r f (r )
b r ；否则，探测搜索称为失败，此时未得到模式。
算法3.11b(步长加速法) 已知：目标函数 f (x )，步长收缩系数的终止限 ①选定初始点 x 0 ，初始步长量 s0 ，置
时，探测搜索称为成功，此时必有 b r ，即得到模式
②依次沿第 i 1,2,, n 个坐标轴方向作直线搜索： 计算 f1 f (b si ei ), f 2 f (b si ei ) 则有以下三种情况： ，则置 b b s e , f f ； ⅰ）若 f 1 f b i i b 1 ⅱ）若 f 2 fb f1，则置 b b si ei , f f 2 ； b ⅲ）若 f1 f b , f 2 f b ，则 b 与 f b 不变。 依次对 i 1,2,, n 计算后，最终的 b 是从 r 出发以 s 为步长向量探测搜索的终点。当 f (b ) f (r )