最优化方法第一章(2)

不同的规则对应着不同的最优化方法。 综上所述，无约束问题下降算法的基本迭代格式如下： ⑴选定初始点 x0，置 k 0 。 ⑵按某种规则确定下降方向 pk 。 f ( xk tk pk ) f ( xk ). ⑶按某种规则确定 t k ，使得
和 f ( xk 1 ) ；否则，置 k: k 1 转⑵。
n 1
2 * x Q1b 是它的唯一极小点。
利用上节和本节的定理不难说明下面的两个论断。 1 T T i）对于正定二次函数 f ( x ) x Qx b x c ，
ii）若多元函数在极小点处的Hesse矩阵是正定的,则 在这个极小点附近其等值面近似地呈现为同心椭球面族。 推证如下：i）首先求出二次函数的驻点。令
是点 z ls( x, p) 相矛盾。 处的下降方向， 这都与 故必有 f ( z )T p 0 。
z
（1.46）的几何意义是明显的。
若
搜索得到的极小点，则（1.46）指出，梯度 f ( z ) 必与 又因为 f ( z ) 与目标函数过点 z 搜索方向向量 p 正交。 f 的等值面（等直线） ( x ) f ( z ) 正交，所以搜索方向向量 p与这个等值面（等直线）在点 z 处相切。
f ( xk tk pk ) min f ( xk tpk ) （1.43）
t
按这种方法确定的步长因子称为最优步长因子。这种 选取方法是很自然的。既然下降方向已经确定，就应该沿 这个方向找到使目标函数取极小值的点。
t
同时这又是容易办到的，因为 (t ) f ( xk tpk ) 是以 t
xk 和 xk 1 已经很 从图中可以看到，相邻两个迭代点
*
也必然很小。因此，如果加上
f ( xk 1 ) f ( xk ) 2
（1.52）
这个条件，那么可靠性就会加强。上图2指出了只采 用（1.52）也是不可靠的。虽然 f k 1 与 f k 相差很小，可 是相应的两个迭代点 xk 1 和 xk 却相距很远，它们距极 * 小点 x 也很远。 需要注意的是，实际应用中，由于 xk 和 f k 所取的量 纲有时太大，这时如果仍然以（1.51）和（1.52）作为终 止准则就太严格了。结果要么是用更多的计算才能使得 （1.51）和（1.52）得到满足，而这是不划算的；要么是 永远不能满足。解决这个问题的办法是，先对 xk 和 f k 作无量纲处理，然后再结合（1.51）和（1.52），给出
x
1.7 极小点的判定条件 函数 f ( x ) 在局部极小点满足什么条件？反之，满足 什么条件的点是 f ( x )的局部极小点？ * n 1 定理1.15 设 f : D R R 具有一阶连续偏导数，x * D 的内点。若 x 是 f ( x ) 的局部极小点，则 是 * f ( x ) 0 （1.40） 注意，条件式（1.40）不是充分的，仅仅是必要的。 T 例如， f x1, x2 x1x2 在点 x 0, 0 处的梯度是
xk 1 xk 1 xk 1 f k 1 f k 2 fk 1
z ls( x, p) ，则
直线搜索的一个重要性质。 定理 1.19 设目标函数 f ( x ) 具有一阶连续偏导数。若
T f ( z ) p 0 f ( z )T p 0 ，则 证 使用反证法。假设
T f ( z ) p 0 （1.47） 或 T f ( z ) p 0 （1.48） （1.47）表明 p 是点 z 处的下降方向，（1.48）表明 p
方程。这正是我们所要说明的。
1.8 算法及有关概念 1. 下降迭代算法 在集合 X 上的迭代算法是指：开始，选定一个初始点 x0 X ，置 k 0 。然后按某种规则 A ，把第 k 次迭代点 xk 映射为新的一点 xk 1 X，记为 xk 1 A( xk ) ，并置 k k 1. 这称为完成了第 k 1 次迭代。这个过程无限地进行下去， 就会产生一个点列 {xk }。因此，规则 A 称为算法。 若点列 {xk } 收敛于 X ，则称算法 A 在 X 上是收敛的； A 否则，称算法 A 在 X上是发散的。特别地 ，当 X是最优化 问题（1.6）的容许集时，若除满足计算终止准则的迭代点 外，对于每个 k ，都有 f ( xk 1 ) f ( xk )，则称 A 为下降迭代
f 0, 0 0, 0 但是点
T
x
是这个双曲抛物面的鞍点，而
不是极小点。 根据定理1.15与推论1.13， 容易得到凸规划问题全局极小 点的一个一阶充分且必要条件。
推论1.16
C 设 f : C Rn R1 是可微凸函数，
x * C 。则 是非空开凸集，
* 充要条件是 f ( x ) 0 .
t k 称为步长因子。
不过，计算机只能进行有限次迭代。因此，一般说来， 数值计算不能求到精确解，而只能得到近似解。当迭代点 满足事先给定的精度要求时，就终止计算，并把这个迭代 点当作问题的最优解。
下降方向 pk 的选取规则；一个是步长因子 t k 的选取规则。
在上数述迭代过程中，有两个规则需要确定：一个是
f ( x ) 是充分 ii）设 x 是多元函数的极小点，并设 * *
充分小。把 f ( x )
* * T * 1 * T 2 * * * 2 f ( x ) f ( x ) f ( x ) ( x x ) ( x x ) f ( x )( x x ) o( x x ) 2 *
* x 是（1.36）的全局极小点的
n 1
定义1.17 设 f : D R R * ，则 * 称为 f ( x ) 的驻点。 f ( x ) 0 x 驻点包括极大值点、极小值点和鞍点。
x* C 若 可微，
f : D Rn R1 具有二阶连续偏导数， 定理1.17 设 * * 。若 2 * 正定，则 *是 x C ，且 f ( x ) 0 f (x) f (x ) x
x 是极小点而消失，再略去
（1.42）
第四项，那么二次曲面
1 f ( x * ) ( x x * )T f ( x * )( x x * ) 2 就是等值面 f ( x ) 的近似曲面。
* 按假设，f ( x )
是正定的，因此，
* （1.42）是以 x 为中心的椭球面
为变量的一元函数。 求一元函数极小点的迭代法称为直线搜索或一维搜 索。许多最优化方法都采用将多维问题转化为一维问题的 处理技术。因此可以说，一维搜索是最优化方法的一个重 要支柱。这种方法的优点是，它使目标函数值在搜索方向 上下降得最多；缺点是，计算量较大。在第3章的3.1节中 将全面介绍直线搜索。 为简便起见，今后用记号 z ls( x, p) （1.44） 方向对目标函数 f ( x ) 作直线 表示从点 x 出发沿 p 。在目标函数 f ( x ) 确定的条件下， 搜索得到极小点 z （1.44）等价于 f ( x t0 pk ) min f ( x tpk ), t （1.45） z x t0 p
f ( x) Qx b 0,
因为 Q 是正定矩阵，所以解出唯一驻点为
* 1 x Q b.
（1.41）
* x 因此根据推论1.13可以断定， 是唯一的极小点。
*
靠近极小点 x 的一个等值面， 即 x x * 在点 x 处按Tay源自or公式展开，得到 上式右端第二项因为
t
按这种方法确定的步长因子称为最优步长因子。这种 选取方法是很自然的。既然下降方向已经确定，就应该沿 这个方向找到使目标函数取极小值的点。
2. 直线搜索及其性质 在搜索方向 pk 已经确定的前提下，选取步长因子的 方法有多种。例如，取步长因子为某个常数。但在实际计 算中，最常用的方法是直线搜索（又称一维搜索）， 即选取 t k ，使得
z
x 出发沿 p 方向对目标函数 f ( x ) 作直线 是从点
3. 计算终止准则 设某个算法产生的点列 {xk } 收敛于（1.6）的最优解 * x 。现在的问题是：在计算机上计算时，计算到哪一个 迭代点才有把握地说它就是所求问题的（近似）最解？ * 显然，当 xk x 小于预先给定的误差限时就可以 * 认为 xk 就是所求的最优解。但事实上 x 是未知的，因而 * * 无法计算 xk x 。不过，由极限理论知道，当 xk x * 与 xk 1 x 都很小时， xk 1 xk 也必然很小。于是，在 数值计算中，可以用 xk 1 xk 1 （1.51） 作为计算终止的一个判定条件，其中 1是预先给定的计算 终止的界限，今后称为终止限。 但是，用（1.51）作为终止准则是不可靠的，因为 xk 1 xk 很小并不能保证 xk x * 很小。
许多最优化方法都采用将多维问题转化为一维问题的 处理方式。下面以无约束问题为例，说明采用这种方式时 的下降算法的基本迭代格式。
设第 k 次迭代点 xk 已求得。若它不满足终止准则， 那么在该点必存在下降方向 p 。对于可微目标函数，即 T 是满足 f ( xk ) p 0 的 p 。按某种规则选取一个 p ，例如
xk 1 xk tk pk ，使得 上确定一个新点
pk ，再沿这个方向适当地前进一步，即在直线 x xk tpk
f ( xk 1 ) f ( xk tk pk ) f ( xk )
这就完成了第 k 1 迭代。上式中的 pk 称为搜索方向，
的严格局部极小点。
一般来说，这个定理仅具有理论意义。因为对于复杂 的目标函数，Hesse矩阵不易求得，其正定性也很难判定。