最优化：最优性条件

g i ( x ) T d 0 和 h j ( x ) T d 0, 即d LFD( x, D ) 注意：尽管 LFD( x, D )具有代数表示, 但上面的命题表明 LFD( x, D )是SFD( x, D )的一个子集,因此还不能用 LFD( x, D )替换定理 9.1.1中的SFD( x, D )
令 xk x k d k , 由定义9.1.2知, {xk } D.
为理解序列可行方向, 我们来看看它的几何解释：
xk
D
D
●
dk
●
xdຫໍສະໝຸດ xkdk●●
d
x
(a ) 点x在D内部
(b) 点x在D的边界上
序列可行方向实际 上就是可行方向
显然,
序列可行方向包含可行 方向和边界的切线方向
FD( x, D) SFD( x, D) (只需取d k d )
定义9.1.1 设x D, d R n .若存在数 0, 使得 x d D, (0, ], 则称d是D在x处的一个可行方向.
记x处所有可行方向的集合为FD( x, D)
若记x处函数f 的所有下降方向 集合为GD( x ) * 容易看出, 如果x 是(9.1)的最优 解, 则在该点不存在既下降又 可行的方向, 即
等式 h j ( x) 0 : h j ( x)T d 0
由上面分析可知：d FD( x, D ), 则有 h j ( x )T d 0, j E T g ( x ) d 0, i I 且 g i ( x ) 0 i
但反之不一定成立.
为方便起见, 记
可行域：D {x : g i ( x ) 0, i I ; h j ( x ) 0, j E}
这里我们假设函数f , gi , h j 连续可微
显然可行域D为闭集.
第一节
可行方向
在第二章我们提到, 约束问题问题的最优性条件有四 个, 为导出这些条件, 我们需做一些准备工作
首先, 我们需介绍与约束条件有关的可行方向.
事实上： 对于d R , 类似于GD( x)的计算
n
不是可行方向 T h j ( x) d 0 不是可行方向 h j ( x)T d 0 包含可行方向 不等式 gi ( x) 0 : gi ( x)T d 0 是可行方向 不等式 gi ( x) 0 : 0 d R n 是可行方向
g3 ( x) 0
D
● ● ●
如图：观察不同点处
g 2 ( x) 0
的有效约束
D内的点没有有效约束 仅边界上的点存在有 效约束
g1 ( x) 0
总结：x处的有效约束是指该约束对该点处的可行方 向起限制作用, 反之无效约束即对该点处的可行方向 没有任何影响.不同的可行点一般有不同的有效约束.
f ( x * ) T d 0
类似于无约束问题的极值条件, 进一步我们有关于SFD的 最优解的充分条件：
定理 9.1.2 设x * D且满足 f ( x * ) T d 0, 0 d SFD( x * , D ) 则x *问题 (9.1)的一个严格局部最优解 .
证明：构造性的反证法
定义 9.1.2 设x D, d R n . 若存在向量序列 {d k }和正数序 列{ k }, 使得 x k d k D, 且 lim d k d
k
k
和
lim k 0
k
则称 d是D在x处的一个序列可行方向 . D在x处的所有序 列可行方向的集合记作 SFD( x, D ).
所有存在有效约束的点构成可行域的边界.
例9.1.1 考察如下约束问题： x
2
min s.t.
f ( x) x x
2 1
2 2
x2 3
x1 2 x2 8 0 x1 4 0 x2 3
x1 2 x2 8
●
x1 0
O
●
可行域
(0, 0)
x2 0
x (1) (4, 2)
h j ( x) a T j x bj , jE
对d LFD( x, D ), 则有d 满足 aT j d 0, j E T ai d 0, i I ( x ) 分三种情形讨论：
（1）j E , 由于h j ( x ) a T j x b j 0, 则对任意的 0,
*
我们注意到：由于序列可行方向集SFD( x * , D ) 没有便 于计算的公式, 上面两个定理给出的最优解的判别条件 仅具有理论意义, 并没有实际的应用价值.
为将上面给出的最优解的判别条件代数化, 我们需研 究可行方向集的代数表示.
策略：将SFD( x* , D)放大到某一具有代数表示式的方向 集— 从前面介绍的LD( x, D（具有代数表示）得到 ) 启示：
x1 4
x1
x
( 0)
标 准 形 式
g1 ( x ) 8 - x1 - 2 x2 0 g 2 ( x ) x1 0 g 3 ( x ) 4 - x1 0
A( x ( 0) ) {2, 4}
A( x ) {1, 3}
(1)
g 4 ( x ) x2 0 g 5 ( x ) 3 - x2 0
GD ( x * ) FD( x * , D )
●
d
D
x x d
可行
●
●
不可行
该条件称为几何最优性条件
我们的目的是将几何最优性条件转化为便于计算的代 数最优性条件. 这要求GD( x )和FD( x, D )的代数条件
x D, 对于GD( x ), 我们有 GD ( x ) {d R n | f ( x )T d 0} 但可行方向集FD( x, D )的计算是困难的
定理9.1.3 若gi ( x), i I , h j ( x), j E 都是线性函数 , 则 FD(x, D) SFD( x, D) LFD(x, D)
证明：x D, 由前面的命题知, 现在我们只需证
令
LFD( x, D ) FD( x, D ). g i ( x ) aiT x bi , i I
i I ( x ), 由于g i ( x ) 0, 因此
i k k k i
怎么办？ g ( x d ) g ( x ) d o(|| d 不用急啊
T k k k
k
||) 0
j E , 由于h j ( x ) 0, 因此
我们下面来研究在什么 条件下： h j ( x k d k ) k h j ( x ) T d k o(|| k d k ||) 0 SFD( x , D ) LFD( x , D ) 在上面两式的两端同时处以 , 然后令k , 即有
线性化可行方向只与有效集有关, 且具有线性表达式, 便于计算. 而且下面的命题成立：
命题 设 x D, 则 FD( x, D ) SFD( x, D ) LFD( x, D )
定理 9.1.1 设x * D是问题 (9.1)的一个局部最优解 , 则 f ( x * )T d 0, d SFD( x * , D) 证明：只需证第二个关系. d SFD( x, D ), 则存在 d k d , k 0, 使得x k d k D. 故
可行方向必是序列可行方向, 但反之不然.
定理 9.1.1 设x * D是问题 (9.1)的一个局部最优解 , 则 f ( x * )T d 0, d SFD( x * , D) 必要条件
证明：因为x * 是局部最优解, 由定义, 必存在邻域N ( x * )，
* * 使得 f ( x ) f ( x ), x N ( x ) 定理表明最优解处的任何序列可行方向不可能 是目
若x *不是问题(9.1)的最优解, 则必定存在序列{xk } D, 使得 f ( x * ) f ( xk ) 且 xk x * ( xk x * ) xk x* * * 令 dk , || x x || . 则 x x k d k 且 k 0. k k k * || xk x ||
T h ( x ) d 0, j E n j LD( x, D ) d R T g i ( x ) d 0, i I 且 g i ( x ) 0 显然 FD( x, D) LD( x, D)
为了更好地描述FD( x, D ), 我们去掉LD( x, D )中的某些 " 多余" 的向量, 而得到一个新的方向集合. 具体如下：
利用有效集, 我们给出下面线性化可行方向的定义：
定义9.1.3 设x D, 集合
T d g i ( x ) 0, i I ( x ) n LFD( x, D ) d R T d h ( x ) 0 , i E j 中的向量d称为D在x处的线性化可行方向.
* 另一方面 , d SFD( x , D),方向 存在可行点序列 {xk }满足 标函数在该点处的下降 . xk x * k d k x *
其中 k 0, d k d .
所以, 当k充分大时, xk N ( x* ).
故 f ( x* ) f ( xk ) f ( x* k d k ) f ( x* ) k f ( x* )T d k o(|| k d k ||) 在上式两端除以 k , 然后令 k 0, 取极限即可得
T
当 g i ( x ) 0时, 则对d 0无要求
基于上面的分析, 我们引入如下的定义：
定义 对 x D, 记索引集合 I ( x ) {i I | g i ( x ) 0}, A( x ) E I ( x ) 称集合A( x )为可行点x处的有效集或积极集. 若i I ( x ) 或 j E , 称相应的约束为x处的有效约束, 即有 gi ( x) 0 或 h （ i x) 0 其它约束称为x处的非有效约束或无效约束.
将约束条件线性化而得到某种可行方向.
线性化可行方向

在前面, 我们已经看到：x D, 在x处的可行方向d的 要求与约束有关, 具体如下：
对等式 h j ( x ) 0, j E : 要求 h j ( x ) T d 0
对不等式 : g i ( x ) 0, j I , 分两种情形： 当 g i ( x ) 0时, 要求 g i ( x ) d 0
由于序列{d k }有界, 必存在收敛的子列. 不妨设d k d .
由SFD( x * , D)的定义可知, 所构造的向量d SFD( x * , D).
然而, 由
f ( x * ) f ( xk ) f ( x * k d k ) f ( x * ) k f ( x * )T d k o(|| k d k ||)
T T h j ( x d ) a T ( x d ) b a x b a j j j j j d 0,
在上式两端除以 k , 然后令 k 0, 取极限即可得 f ( x * ) T d 0 这与定理假设矛盾. 因此x * 是问题(9.1)的一个严格局部 最优解. 证毕
定理表明 : 若可行点x 处的所有序列可行方向都是目 标函数 f 在该点处的上升方向, 则x *必定是严格局部 最优解.
唯楚有材
於斯为盛
最优化
主讲：刘陶文
学好最优化，走遍天下都不怕
课件制作：刘陶文
第九章
约束问题的最优性条件
第一节 可行方向 第二节 约束问题最优性条件
考虑一般约束问题：
min s.t. f ( x) g i ( x ) 0, i I {1, 2, , m1} h j ( x ) 0, j E {m1 1, , m} (9.1)