最优化方法4-1第四章 约束最优化方法-KKT条件

而x非局部最优解,
▽f(x )与▽c(x )不共线。
考虑等式约束问题中当 n=3,l=2 时的情形，即
Min f(x1,x2,x3) s.t. c1(x1,x2,x3)=0 c2(x1,x2,x3)=0
(曲面 s1) (曲面 s2)
若 x*为的局部最优解，则 x*必在二曲面 s1 和 s2 的 交线 D（即可行域）上，并且目标函数和约束函数的梯 度▽f(x*)，▽c 1(x)，▽c2(x*)共面。
s.t . x12 x22 5 0
x1 2 x2 4 0
x1 0
x2
x2 0
-▽f(x*)
2
x*
1 x1
1 23 4
在x*= （2，1）T 有效集I* {1, 2}

2( x1 3)＋1 2 x1＋2－3 0L L (1)

2( x2 2) 1 2 x2 22 4 0L L (2)
2( x1 x2 1) 0 2 0 x1 x2 1 0
(4) 1 0, 2 0 得

x12

x22

9
x1 x2 1
1 17

Байду номын сангаас

x1

2

x2

1m 2
17
矛盾.
min f ( x) x12 x2
问题 s.t. x12 x22 9 0
引理 4.1.3(Farkas 引理)
设 a1, …,ar 和 b 为 n 维向量，则所有满足 aiTd≥0,i=1, …r 的向量 d∈Rn 同时也满足不等 式 bTd≥0 的充要条件是：
存在非负实数 1… r 使得
l
b= i a i . i1
引理 4.1.5： 在不等式约束问题中，假设
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
2( x1 x2 1) 0 2 0 x1 x2 1 0

2 x1 1


1

2 2
x1 x2


2

1 1



0 0

1( x12 x22 9) 0 1 0 x12 x22 9 0
sT▽2x L（x*, *）s>0
则 x*是等式约束问题的严格局部极小点。
4.1.2 不等式约束最优化问题的最优性条件
考虑不等式约束问题： Min f(x) x∈Rn s.t. c i (x)≥0, i∈{1,2,…,m}
记可行域为 D={x∈Rn|ci(x)≥0,i=1,2,…,m}
定义 4.1.1 若不等式约束问题的一个可行点 x%使某个 不等式约束 c j (x)≥0 变成等式，即 c j ( x%)=0，则该不等式 约束 c j (x)≥0,称为关于 x%的有效约束。


1 (－x12－x22＋5)

0,
1

0, －x12－x22＋5

0L
L
(3)

2
(－x1－2
x2＋4)

0, 2

0, －x1－2 x2＋4

0L
L
(4)

3 x1 0, 3 0, x1 0L L (5)

4 x2 0, 4 0, x2 0L L (6)
否则，若对于某个 k 使得 c k ( x%)>0，则该不等式约 束 c k ( x%)≥0 称为关于 x%的非有效约束。
c2(x)=0
x* c1(x)=0
c1(x*)=0, c1为有效约束
称所有在 x%处的有效约束的指标组合的集合 I=I（ x%）={i| c i ( x%)=0 }
为 x%处有效约束指标集，简称为 x%处的有效集。
i1
i*c i(x*)=0 i=1, …,m
i*≥0,
i=1, …,m
当 i∈I*时
i*≥0
而当 j∈{1,2, …,m}\ I*时，
j*=0
故第二、三式也成立。
称
m
▽f(x*)─ i*▽ci(x*)=0
i1
i*c i(x*)=0 i=1, …,m
i*≥0,
i=1, …,m
2 4 1 0

2


1

2


2

2
称为严格互补松驰条件成立。
KT 条件的几何意义
删去非有效约束函数的梯度，则化为
▽f(x*)= i*▽c i(x*) i*≥0 i∈I* iI *
若 x*为不等式约束问题的最优解，则在 x*处 目标函数的梯度必位于有效约束函数的梯度所张 成的凸锥中。
x*
c2
c1
x%
f
c3 c2
4.1 约束最优化问题的最优性条件
约束优化问题的最优性条件指出最优化问题的目标函数 与约束函数在最优解处应满足的必要条件、充分条件和充 要条件，它们是最优化理论的重要组成部分，对最优化算 法的构造及算法的理论分析都是至关重要的。
本节分等式约束、不等式约束及一般约束三种情形，分 别讨论它们的最优性条件。个别定理的证明由于篇幅冗长 或已超出课程的范围，我们就不作证明，而只阐述定理的 内容及作用。
min f ( x) x12 x2 s.t. x12 x22 9 0
x1 x2 1 0
解:Lagrange 函数为:
m
▽f(x*)─ i*▽ci(x*)=0
i1
i*c i(x*)=0 i=1, …,m
i*≥0,
i=1, …,m
L( x, ) x12 x2 1( x12 x22 9)

1


1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
即 GS= .
定理 4.1.7：(Kuhn-Tucker 一阶必要条件)
在不等式约束问题中，若 (i) x* 为 局 部 最 优 解 ， 有 效 集 I(x*)={i| ci(x*)=0,
i=1, …,m}； (ii) f(x)及 ci(x)(i=1, …,m)在点 x*处可微； (iii) 对于 i∈I*的▽ci(x*)线性无关 （此条件叫 Kuhn-Tucker 约束规范）
（ i∈I*）
由 Farkas 引理，存在 i*≥0，（ i∈I*）使
▽f(x*)= i *▽c i(x*) iI *
令
j*=0， j∈{1,2, …,m}\ I*,
有
m
▽f(x*)= i *▽c i(x*) i1
即第一式成立。
m
▽f(x*)─ i*▽ci(x*)=0
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
定理 4.1.2(二阶充分条件) 在等式约束问题中，若 （I） f(x)与 ci(x)(1≤i≤l)是二阶连续可微函数
（II）存在 x*∈R n 与 *∈R n 使 lagrange 函数的梯度 为零，即▽L（x*, *）=0
(III) 对于任意非零向量 s∈R n 且 sT▽ci(x*)=0， i=1,2,…,l 均有
则存在向量 *=（ 1*，…， m*）T 使
m
▽f(x*)─ i*▽ci(x*)=0
1
i*c i(x*)=0 i=1, …,m
i*≥0,
i=1, …,m
证明：因 x*为局部最优解及条件（iii）， 故在 x*不存在下降的可行方向，
即对任何满足 dT▽c i(x*)≥0
的 d0 都有 dT▽f(x*)≥0
（I） x*为问题的局部最优解且 I*={i| c i (x*)=0, 1≤i≤m };
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
l
其中▽xL(x, )=▽f(x)- i▽ci(x) i1
▽ L(x, )=-( c1(x), …, cl(x))T
Min L(x, )的最优性条件 ▽L(X*, *)=0
2( x1 x2 1)
问题的 K-T 条件为

2 x1 1


1

2 2
x1 x2


2

1 1



0 0

1( x12 x22 9) 0 1 0 x12 x22 9 0
也称为 Karush－Kuhn－Tucker 条件，或 KKT 条件。
条件
* i
c
i(x*)=0
称为互补松弛条件。
它表
明

* i
与
c i(x*)至少一个为零，即非有效约束的
Lagrange 乘子必为零。
但

* i
与 c i(x*)也可同时为零。
当所有有效约束的乘子都不为零，即
i*>0（ i∈I*）
2( x1 x2 1) 0 2 0 x1 x2 1 0
(1) 1 2 0 矛盾.
(2) 1 0, 2 0 得2 1 矛盾. (3) 1 0, 2 0 得
1(1211)xx21

0 0

x12

x22
第四章 约束最优化方法
本章研究约束最优化问题： Min f(x),x∈R n s.t. ci(x)=0, i∈E={1,2,…,l} ci(x) ≥0, i∈I={l+1,l+2, …,m}
的计算方法。
主要内容有 （1） 讨论约束最优化问题的最优性条件； （2） 惩罚函数法（包括乘子法）； （3） 可行方向法；

9


x1

0
x2 3

1

1 6
x* (0, 3)T，* ( 1 ,0)T
6

2 x1 1


1

2 2
x1 x2


2

1 1


0 0

1( x12 x22 9) 0 1 0 x12 x22 9 0
4.1.1 等式约束最优化问题的最优性条件
考虑等式约束最优化问题 Min f(x),x∈R n s.t. ci(x)=0,i∈E={1,2,…,l}
的最优性条件。
在多元函数微分学中已有一阶必要条件，即 Lagrange 定理。
定理 4.1.1（一阶必要条件） 若(i) x*是等式约束问题的局部最优解； （ii）f(x)与 ci(x)，(i=1,2,…,l)在 x*的某邻域内连续可微；
f
D
在图中，x*为最优解，在 x*处▽f(x*)位于▽c 1(x*)和 ▽c 2(x*)所张成的凸锥中，即满足 KT 条件。
在 x%处▽f( x%)不在由▽c 2( x%)和▽c 3( x%)张成的凸锥中， 即 x%不满足 KT 条件，因此 x%肯定不是最优解。
例 1 求下面约束优化问题的 K-T 点及相应的乘子.
为 Kuhn-Tucker 条件（简称为 KT 条件）。
满 足 Kuhn-Tucker 条 件 的 点 x* 称 为 Kuhn-Tucker 点（简称为 KT 点）。
称 n+m 维向量（x* *）为 KT 对，其中向量 *叫
lagrange 乘子向量。
上述条件是 H.W. Kuhn 和 A. W. Tucker 在 1951 年给出 的。后来发现 W. Karush 在 1939 年发现了类似的最优性条件，