最优化理论与算法(第八章)

第八章 约束优化最优性条件

§8.1 约束优化问题

一、 问题基本形式

min ()f x

1()0 1,,.. ()0 ,,i e

i e c x i m s t c x i m m

+==⎧⎨

≥=⎩L L （8.1） 特别地，当()f x 为二次函数，而约束是线性约束时，称为二次规划。

记 {}

1()0 (1,,);()0 ,,i e i e X x c x i m c x i m m +===≥=L L ，称之为可行域（约束域）。

{}1,,e E m =L ，{}1,,e I m m +=L ，{}()()0 i I x i c x i I ==∈

称()E I x U 是在x X ∈处的积极约束的指标集。积极约束也称有效约束，起作用约束或紧约束（active constraints or binding constraints ）。

应该指出的是，如果x *

是（1）的局部最优解，且有某个0i I ∈，使得

0()0i c x *>

则将此约束去掉，x *

仍是余下问题的局部最优解。

事实上，若x *不是去掉此约束后所得问题的局部极小点，则意味着0δ∀>，存在x δ，使得

x x δδ*-<，且()()f x f x δ*<，这里x δ满足新问题的全部约束。注意到当δ充分小时，由0()

i c x 的连续性，必有0()0i c x δ≥，由此知x δ是原问题的可行解，但()()f x f x δ*<，这与x *

是局部极小

点矛盾。

因此如果有某种方式，可以知道在最优解x *

处的积极约束指标集()()A x E I x *

*=U ，则问题

可转化为等式的约束问题：

min ()f x

.. ()0i s t c x = ()i A x *∈ （8.2）

一般地，这个问题较原问题（8.1）要简单，但遗憾的是，我们无法预先知道()A x *

。

§8.2 一阶最优性条件

一、几种可行方向

定义8.1 设x X *∈，n d R ∈是一非零向量。如果存在0δ>，使得x td X *

+∈，[0,]t δ∀∈

则称d 是x *处的一个可行方向。X 在x *

处的的所有可行方向的集合记为(,)FD x X *

定义8.2 设x X *∈，若n

d R ∈满足：

()0T i d c x *∇= i E ∈ （8.3） ()0T i d c x *∇≥ ()i I x *∈ （8.4）

则称d 是x *处的线性化可行方向。X 在x *

处的的所有线性化可行方向的集合记为(,)LFD x X *

。

定义8.3 设x X *→，n

d R ∈，若存在序列k d 和0k δ>，使得对一切k ，有k k x d X δ*+∈，且

k d d →，0k δ→，则称d 是x *处的序列可行方向。X 在x *处的的所有序列可行方向的集合记为(,)SFD x X *。

引理8.4 设x X *

∈，且所有约束函数都在x *

处均可微，则有：

(,)(,)(,)FD x X SFD x X LFD x X ***⊆⊆ （8.5）

证明： 对任何*

(,)d FD x X ∈，由定义8.1可知，存在0δ>使得

x td X *+∈，[0,]t δ∀∈

令 k d d =，和

(1,2,,)2

k k

k δ

δ=

=K

则显然有 k k x d X δ*

+∈，且 k d d →，0k δ→

因而*(,)d SFD x X ∈，由d 的任意性，即知**

(,)(,)FD x X SFD x X ⊆。

又对任何*(,)d SFD x X ∈，如果0d =，则显然*

(,)d LFD x X ∈。假定0d ≠，由定义8.3，

存在序列(1,2,,)k d k =K 和0(1,2,,)k k δ>=K ，使得k k x d X δ*

+∈，且0k d d →≠和0k δ→。由k k x d X δ*

+∈有，

0()()(), T

i k k k k i k k c x d d c x o d i E δδδ**=+=∇+∈ 0()()(), ()T i k k k k i k k c x d d c x o d i I x δδδ***≤+=∇+∈

在上两式的左右两端除以k δ，然后令k 趋于无穷，即得d 满足

()0T i d c x *∇= i E ∈ ()0T i d c x *∇≥ ()i I x *∈

因而*

(,)d LFD x X ∈，由d 的任意性，即知*

*

(,)(,)SFD x X LFD x X ⊆，证毕。

二、一阶最优性条件

引理8.5 设x X *∈是问题（8.1）的局部极小点，若()f x 和()i c x (1,,)i m =L 都在x *

处可微，则必有*

()0T

d f x ∇≥，(,)d SFD x X *

∀∈。

证明：对任何*

(,)d SFD x X ∈，存在序列(1,2,,)k d k =K 和0(1,2,,)k k δ>=K ，使得

k k x d X δ*+∈，且k d d →和0k δ→。

由k k x d x δ**+→，而且x *

是局部极小点，故对充分大的k 有：

()()()()()T

k k k k k k f x f x d f x d f x o d δδδ****≤+=+∇+

由上式可知，*

()0T d f x ∇≥，引理于是证毕。

引理8.5表明：在极小点处，所有的序列可行方向都不是下降方向。 引理8.6 （Farkas 引理）线性方程组和不等式组

00 1,, (8.6)0 1,,' (8.7)0 (8.8)

T i T

i T

d a i l d b i l d a ⎧==⎪≥=⎨⎪<⎩L L 无解的充要条件是存在实数 (1,,)i i l λ=L 和非负实数 (1,,')i i l μ=L 使得：

'

01

1

l l i i i i i i a a b λμ===+∑∑ （8.9）

证明：假定（8.9）式成立，且 0i μ≥，那么对任意满足（8.6），（8.7）的d ，都有

'

01

1

0l l T

T

T i i i i i i d a d a d b λμ===+≥∑∑

因而不等式组无解。