最优化方法第四章(1)概要

（4.7）
D {x si ( x) 0, i 1,2, , 对于约束问题（4.7），设 x D 。若 x 使得 某个不等式约束有 si ( x ) 0 ，则该不等式约束 si ( x ) 0 称为是关于容许点 x 的起作用约束；否则，若 si ( x ) 0 ， 则该不等式约束称为是关于容许点 x 的不起作用约束。
*
*
G( x* ) S ( x* ) * * p C ( x ) ， 证 根据引理4.3，若 p G( x ) ，则 * * C ( x ) S ( x ) , 从而 G( x* ) C( x* ) 。又根据定理4.5，有 故必有 G( x* ) S ( x* ) 。
j 1
l
Lagrange 函数（4.4)的梯度是
x L L L
其中
x L f ( x ) j h j ( x )
l
L h1 ( x ), h2 ( x ),
最优性必要条件
j 1
hl ( x )
T
L( x* , 1* , 2* ,
C 是凸集，则称为凸锥。
显然，由 的集合
n 维向量 v1, v2 ,
m i 1
, vm 的全部非负组合构成
C {x x i vi , i 0}
是一个以原点为顶点的凸锥。由于这样的凸锥的边界是 （超）平面或直线，所以也称为由 v1 , v2 , , vm 张成的 凸多面锥。 n 是 D 定义4.3 设 R 中的非空集，且 x D。对于非零 n 向量 p R ，若存在 0 ，当 t (0, ) 时，必有 x tp D ，则 p 称为点 x 的容许方向向量，其方向 称为点 x 的容许方向。由点 x 的全部容许方向向量构成的 集合称为点 x 的容许方向锥，记作 C ( x* )
m A b b i ai , 1 0, 2 0, i 1
p 使得
T i
n
维向量，
a p 0, i 1, 2,
,m
成立的必要条件是，存在不全为零的非负数 m 使得
1, 2 , , m
a
i 1
i i
0
p 使得 aiT p 0(i 1, 2, , m) 在几何上表示向量 a1 , a2 , , am
点 x *称为问题（4.1）的最优解。由于带有了约束，使得 对约束最优化问题（4.1）的求解变得比对无约束最优化 问题（3.1）的求解复杂得多，也困难得多。本章将讨论 求解约束最优化问题常用的两类最优化方法。一类是所谓 的容许方向法。它是一种直接处理约束的方法。另一类是 所谓的罚函数法。相对前者而言，它是一种直接处理约束 问题本身的方法，其主要特点是用一系列无约束问题的极 小点去逼近约束问题的最优点。在4.1节中将首先讨论约 束问题的最优性条件，为后面算法的终止准则提供理论依 据；在4.2-4.3节中将讨论二种容许方向法，包括 Zoutendijk容许方向法、Rosen梯度投影法；在4.6-4.8节中 将讨论三种罚函数法，它们是外部罚函数法、内部罚函数 法和乘子法。
T G ( x ) { p s ( x ) p 0, i I } ，则依引理4.3可知， 记 i
G( x) C( x) 。 由这个引理看到一个事实，若 x 仅使某个约束，例如 si ( x ) 0，变成起作用约束，且 si ( x) 0 ，而其它约束 是不起作用约束，则 p si ( x ) 就是点 x 的一个容许 方向向量。换句话说，约束曲面 si ( x ) 0 把整个空间分成 两部分，梯度 si ( x ) 总是指向包含容许集的那一侧。
再考虑某个 i I 。因为 si ( x ) 0，且 si ( x ) 在点 x 处连续，故存在 i 0 ，当 t (0, i ) 时， si ( x tp) 0 。 min{ i } ，则当 t (0, ) 时，对于所有的 i ， 取 1 i m 必有 si ( x tp) 0 ，即 x tp D 。根据定义4.3，即 p 是点 x 的容许方向向量。
L( x, 1 , 2 , , l ) f ( x ) j h j ( x )
j 1 l
(4.4)
称为Lagrange函数，其中
1 , 2 , , l 称为Lagrange乘子，
则求解等式约束问题（4.2）等价于求解无约束问题
min L( x, 1 , 2 ,
, l ) f ( x ) j h j ( x )
l* ) 0
及
hj ( x) 0, j 1,2,
,l
下面的定理给出了（4.2）的最优性二阶充分条件。 定理4.2 P218
2. 不等式约束问题的最优性条件 （1）几何最优性条件 下面将给出约束问题
min f ( x ); s.t. si ( x ) 0, i 1, 2, 的最优性条件。 设容许集仍用 D 表示，即 , m.
下面的定理给出的约束问题（4.7）的最优性条件是 仅借助点集的概念给出的，所以称为几何最优性条件。 * 定理4.5 在约束问题（4.7）中，若 x 是局部最优点， 则点 x *处的容许方向锥和下降方向锥的交集是空集。 这个定理表明：在最优点 x *处，一定不存在下降容 许方向。
换句话说，在最优点 x 处，或者不存在下降方向，或者 任何下降方向都不是容许方向。 定理4.6 在问题（4.7）中，假设： * * I { i s ( x ) 0, i 1, 2, , m}; i） x 是局部最优点， i ii） f ( x ) 在点 x 处可微；当 i I 时， si ( x ) 在点 x * 处 * 可微，当 i I 时，si ( x ) 在点 x 处连续。那么，
容许方向向量。
证 考虑某个 i I 。因为 si ( x)T p 0 ，所以 p 是
x 处可微，当 i I 时，si ( x ) 在点
i
si ( x ) 在点 x 处的上升方向。根据定义1.10，存在i 0 ,
si ( x tp) si ( x) 0 。 当 t (0, i ) 时，
例如，
不等式约束关于容许集的任意内点都是不起作用约束。 只有容许集的边界点才能使某个或某些不等式约束变为起 作用约束。 n 定义4.2 设 C 是 R 中的非空集，且 x C 。对于 n p R ，若当 x p C 时，对于 t 0 ，必有
x tp C ，则集合 C 称为以 x 为顶点的锥。若锥
例4.1 P222
定理4.5和定理4.6给出的最优性条件仅仅是必要的， 而不是充分的。习题4.6和习题4.7可以说明这一点。几何 最优性条件直观易懂，但在实际计算中使用起来并不简便。 以下讨论的Fritz-John条件和Kuhn-Tucker条件是经常用到 的最优性条件。
（2）Fritz-John条件 首先介绍两个引理，这两个引理本身在最优化理论中 处于很重要的地位。 引理4.7（Farkas） 设 a1 , a2 , , am 和 b 是 维 向量，则满足
4.1 最优性条件
所谓最优性条件，就是最优化问题的目标函数与约束 函数在最优点所满足的充分条件和必要条件。最优性必要 条件是指，最优点应该满足的条件；最优性充分条件是指， 可使得某个容许点成为最优点的条件。最优性条件对于最 优化算法的终止判定和最优化理论的推证都是至关重要的。 本节仅讲述最基本的结论。 在第2章和第1章中，已经分别讨论过线性规划问题和 无约束问题的最优性条件。定理 2.9 是线性规划问题的最 优性充分条件。定理 1.15 、定理 1.17 和定理 1.18 以及推论 1.16分别是无约束问题的最优性必要条件、充分条件以及 充分且必要条件。本节主要讨论一般约束问题的最优性条 件。我们将先从仅含等式约束或不等式约束的问题入手， 然后自然过渡到一般约束问题。
1a1 2a2 3a3 4a4 0
。
定理4.9（Fritz-John） 在问题（4.7）中，设 x 是 * f ( x ), s1 ( x ), s2 ( x ), , sm ( x) 在点 x 处可微。 局部最优解， 那么，存在不全为零的实数 0 , 1 , , m ，使得 m * * 0f ( x ) i si ( x ) 0, i 1 * i si ( x ) 0, i 1, 2, , m, （4.9） i 0, i 1, 2, , m. * s ( x 其中 i i ) 0(i 1, 2, , m) 称为互补松弛条件。它表明： * 若 si ( x ) 0 ，即 i I ，则必有 i 0 ；若 i 0 ，则 * 必有 si ( x ) 0 ，即 i I 。 这个定理给出了问题（4.7）的一个最优性必要条件。 （4.9）称为问题（4.7）的Fritz-John条件，
1. 等式约束问题的最优性条件 考虑仅含等式约束的问题
min f ( x ); s.t. h j ( x ) 0, j 1, 2,
, l.
（4.2）
这个问题的最优性条件与求解方法在微积分中已从理 论上得到了解决，这就是Lagrange定理和Lagrange乘子 法。 定理4.1（Lagrange定理） P217 Lagrange乘子法 定义函数
第 4 章 约束最优化方法
在第2章中已讨论过带有约束的线性规划问题，而本 章要讨论的则是带有约束的非线性规划问题，其一般形式 为
（4.1） s.t. s ( x ) 0, h ( x ) 0. n 1 n m n l 其中 f : R R , s : R R , h : R R 。这个问题的 n 求解是指，在容许集 D {x s ( x ) 0, h ( x ) 0, x R } * 内找一点 x ，使得对于任意的 x D ，都有 * f ( x ) f ( x) min f ( x );