最优化理论与算法(第八章)

第八章 约束优化最优性条件§8.1 约束优化问题一、 问题基本形式min ()f x1()0 1,,.. ()0 ,,i ei e c x i m s t c x i m m+==⎧⎨≥=⎩ （8.1）特别地，当()f x 为二次函数，而约束是线性约束时，称为二次规划。

记 {}1()0 (1,,);()0 ,,i e ieX x c x i m c x i m m +===≥= ，称之为可行域（约束域）。

{}1,,e E m = ，{}1,,e I m m += ，{}()()0 i I x i c x i I ==∈称()E I x 是在x X ∈处的积极约束的指标集。

积极约束也称有效约束，起作用约束或紧约束（active constraints or binding constraints ）。

应该指出的是，如果x *是（1）的局部最优解，且有某个0i I ∈，使得0()0i c x *>则将此约束去掉，x *仍是余下问题的局部最优解。

事实上，若x *不是去掉此约束后所得问题的局部极小点，则意味着0δ∀>，存在x δ，使得x xδδ*-<，且()()f x f x δ*<，这里x δ满足新问题的全部约束。

注意到当δ充分小时，由0()i c x 的连续性，必有0()0i c x δ≥，由此知x δ是原问题的可行解，但()()f x f x δ*<，这与x *是局部极小点矛盾。

因此如果有某种方式，可以知道在最优解x *处的积极约束指标集()()A x E I x **= ，则问题可转化为等式的约束问题：min ()f x.. ()0i s t c x = ()i A x *∈ （8.2）一般地，这个问题较原问题（8.1）要简单，但遗憾的是，我们无法预先知道()A x *。

§8.2 一阶最优性条件一、几种可行方向定义8.1 设x X *∈，n d R ∈是一非零向量。

如果存在0δ>，使得x td X *+∈，[0,]t δ∀∈ 则称d 是x *处的一个可行方向。

X 在x *处的的所有可行方向的集合记为(,)FD x X * 定义8.2 设x X *∈，若n d R ∈满足：()0Ti d c x *∇= i E ∈ （8.3） ()0Ti d c x *∇≥ ()i I x *∈ （8.4）则称d 是x *处的线性化可行方向。

X 在x *处的的所有线性化可行方向的集合记为(,)LFD x X *。

定义8.3 设x X *→，n d R ∈，若存在序列k d 和0k δ>，使得对一切k ，有k k x d X δ*+∈，且k d d →，0k δ→，则称d 是x *处的序列可行方向。

X 在x *处的的所有序列可行方向的集合记为(,)SFD x X *。

引理8.4 设x X *∈，且所有约束函数都在x *处均可微，则有：(,)(,)(,)FD x X SFD x X LFD x X ***⊆⊆ （8.5）证明： 对任何*(,)d FD x X ∈，由定义8.1可知，存在0δ>使得x td X *+∈，[0,]t δ∀∈令 k d d =，和 (1,2,,)2k kk δδ==则显然有 k k x d X δ*+∈，且 k d d →，0k δ→因而*(,)d SFD x X ∈，由d 的任意性，即知**(,)(,)FD x X SFD x X ⊆。

又对任何*(,)d SFD x X ∈，如果0d =，则显然*(,)d LFD x X ∈。

假定0d ≠，由定义8.3，存在序列(1,2,,)k d k = 和0(1,2,,)k k δ>= ，使得k k x d X δ*+∈，且0k d d →≠和0k δ→。

由k k x d X δ*+∈有，0()()(), T i k k k k i k k c x d d c x o d i E δδδ**=+=∇+∈ 0()()(), ()Ti k k k k i k k c x d d c x o d i I x δδδ***≤+=∇+∈在上两式的左右两端除以k δ，然后令k 趋于无穷，即得d 满足()0Ti d c x *∇= i E ∈ ()0Ti d c x *∇≥ ()i I x *∈因而*(,)d LFD x X ∈，由d 的任意性，即知**(,)(,)SFD x X LFD x X ⊆，证毕。

二、一阶最优性条件引理8.5 设x X *∈是问题（8.1）的局部极小点，若()f x 和()i c x (1,,)i m = 都在x *处可微，则必有*()0T d f x ∇≥，(,)d SFD x X *∀∈。

证明：对任何*(,)d SFD x X ∈，存在序列(1,2,,)k d k = 和0(1,2,,)k k δ>= ，使得k k x d X δ*+∈，且k d d →和0k δ→。

由k k x d x δ**+→，而且x *是局部极小点，故对充分大的k 有：()()()()()T k k k k k k f x f x d f x d f x o d δδδ****≤+=+∇+由上式可知，*()0T d f x ∇≥，引理于是证毕。

引理8.5表明：在极小点处，所有的序列可行方向都不是下降方向。

引理8.6 （Farkas 引理）线性方程组和不等式组00 1,, (8.6)0 1,,' (8.7)0 (8.8)T i Ti Td a i l d b i l d a ⎧==⎪≥=⎨⎪<⎩ 无解的充要条件是存在实数 (1,,)i i l λ= 和非负实数 (1,,')i i l μ= 使得：'011ll i ii ii i a a bλμ===+∑∑ （8.9）证明：假定（8.9）式成立，且 0i μ≥，那么对任意满足（8.6），（8.7）的d ，都有'0110ll TT Tii ii i i d a da db λμ===+≥∑∑因而不等式组无解。

另一方面，若不存在实数i λ，非负实数i μ，使（8.9）式成立。

考虑集合：'11,,0ll i ii i i i i i S a a a b R λμλμ==⎧⎫==+∈≥⎨⎬⎩⎭∑∑易证S 是n R 中的一个闭凸锥，且0a S ∉。

由凸集分离定理：必存在n d R ∈，使得0TTd a d a α<≤ a S ∀∈ （a 是一常数）由于0S ∈，所以00T d a α<≤。

又由于S 是锥，故0λ∀>，有i b S λ∈，从而T i d b λα≥ 因而必有 0T i d b ≥ (1,,')i l = 再由 , i i a a S -∈ (1,,)i l = 有 ,, 0i i a a S λλλ-∈∀> 类似可得 0T i d a ≥，()0Ti d a -≥(1,,)i l =亦即 0Ti d a =(1,,)i l = 由以上讨论可见，d 是不等式组（8.6）——（8.8）的一个解。

注： 这里介绍的Farkas 引理，以及其他教科书上给出的择一定理、Motzkin 定理与Gordan 定理，均是由凸集分离定理得出的同一类定理，它们在导出约束最优性条件方面起着至关重要的作用。

定理8.7（Karush-Kuhn-Tucker 定理）设x *是（8.1）的局部极小点，若(,)(,)SFD x X LFD x X **=，则必存在i λ*(1,,)i m = ，使得：1()()0 ()0mi ii ii i f x c x c x i I λλλ***=***⎧∇=∇⎪⎨⎪≥=∈⎩∑ （8.10） 证明：由引理8.5，(,)d SFD x X *∀∈，有()0Td f x *∇≥，因而 (,)d LFD x X *∀∈，有()0Td f x *∇≥。

由L F D 的定义，知()0 ()0 ()()0T i TiT i d c x i E d c x i I x d c x ****⎧∇=∈⎪∇≥∈⎨⎪∇<⎩无解。

由Farkas 引理，知存在i R λ*∈()i E ∈和0i λ*≥(())i I x *∈，使得()()()()ii i i i Ei I x f x c x c x λλ******∈∈∇=∇+∇∑∑再令0iλ*= (())i I I x *∈-，即得1()()mi i i f x c x λ***=∇=∇∑，且满足0,()0()i i i c x i I λλ***≥=∈。

注：1) 称1(,)()()()()mTi i i L x f x c x f x c x λλλ==-=-∑为Lagrange 函数，i λ称为Lagrange 乘子；2）（8.10）通常称为问题（8.1）的K-T-T 条件（或K-T 条件），而满足（8.10）的点x X *∈称为K-T-T 点（或K-T 点），（8.10）中的第二式称为互补松弛条件；3）当约束规范性条件(,)(,)SFD x X LFD x X **=不成立时，局部极小点不一定是K-T 点。

三、(,)(,)SFD x X LFD x X **=的一些充分条件定理8.8 若所有的()i c x (())i E I x *∈ 都是线性函数，则(,)(,)SFD x X LFD x X **=。

证明：(,)d LFD x X *∀∈，有()0()0 ()T i Ti d c x i E d c x i I x ***⎧∇=∈⎪⎨∇≥∈⎪⎩ 取k d d =，12k kδ=，那么当i E ∈时，有()()()0Ti k k i k i c x d c x d c x δδ***+=+∇=当 ()i I x *∈时，有 ()()()0Ti kk i kic xd c x dc x δδ***+=+∇≥ 而当()i I I x *∈-时，由()0i c x *>知：当k 充分大时（0k δ→），有()0i k k c x d δ*+≥。

即有 k k x d X δ*+∈这表明 (,)d S F D x X *∈即 (,)(,)L F Dx X S F D x X**⊆再由(,)(,)SFD x X LFD x X **⊆，即得(,)(,)SFD x X LFD x X **=，证毕。

定理8.8 若1) ()()i c x i E *∇∈线性无关；2）集合{}()0,; ()0,()T T i i S d d c x i E d c x i I x ****=∇=∈∇>∈非空。

则(,)(,)SFD x X LFD x X **=。