最优性条件(非线性的规划)kuhn-tucker条件

j=1,2, …,l
若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
l
f(x*)
* j hj(x*)0
j 1
矩阵形式：
f(x*) h (x*) *0 x
一、等式约束性问题的最优性条件： (续) 几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(ㄡ ) ㄡ
▽h(ㄡ )
h(x)
非线性规划
最优性条件
（Kuhn-Tucker 条件）
数学规划
设 x(x1,..x.n,)TRn，f(x);gi(x)i,1,..p .;,hj(x),j1,..q.:,RnR, 如 下 的 数 学 模 型 称 为 数 学 规 划 (M athem atical Program m ing, M P)：
mifn(x)
s.t. gi(x)0,i1,..p.,
hj(x)0,j1,..q.,
S xRnhgji((xx)) 0 0,,ij 11,,......,,p q 约束集或可行域
xS
MP的可行解或可行点
向量化表示
令
g(x) (g1(x),...,g p (x))T
h(x) (h1(x),...,hp (x))T ，
▽h(x*)
这里 x* ---l.opt. ▽f(x*)与 ▽h(x*) 共线，而ㄡ非l.opt. ▽f(ㄡ )与▽h(ㄡ )不共线。
最优性条件即：
h
f(x*) * jhj(x*) j1
二、不等式约束问题的Kuhn-Tucker条件：
考虑问题
min f(x)
(fg) s.t. gi(x) ≤0 i=1,2, …,m
2 f (x)
2
f
(
x)
x 2 x1
.
.
2
f
(
x)
xnx1
2 f (x)
x1 x2 2 f (x)
x
2 2
2 f (x) x n x 2
2 f (x)
....
x1
xn
...
2 f (x)
x 2 x n
.
.
2
f
(
x)
x
2 n
问题 min f(x)
(fgh) s.t. g(x) ≤0 h(x)=0 约束集 S={x|g(x) ≤0 , h(x)=0}
x2
▽g2(x*) -▽f(x*)
(2,2)T
2 1
x*
▽g1(x*)
g4=0
1 23 4
g1=0
x1 g2=0
二、不等式约束问题的Khun-Tucker条件： （续）
在 x *点
g g
1 2
( x1 , ( x1 ,
x2 x2
) )
0 0
交点（ 2，1）T
起作用集 I {1,2}
g1 ( x ) (2 x1 ,2 x 2 )T (4,2)T
及 CQ
定理 设 S Rn 是非空开凸集， f : S R 二阶连续可导，则 f 是 S 上的凸函数的充要条件
是 f 的 Hesse 矩阵 2 f ( x) 在 S 上是半正定的。
当 2 f ( x) 在 S 上是正定矩阵时，f 是 S 上的严格凸函数。（注意：该逆命题不成
立。）
2 f (x)
x12
u1,u2 ,u3,u4 0 u1(x12 x22 5) 0(3)
u2
(x1
2x2 4) 0(4) u3x1 0(5)
6个方程6个未知量
u4 x2 0(6)
二、不等式约束问题的Kuhn-Tucker条件： （续）
可能的K-T点出现在下列情况：
①两约束曲线的交点：g1与g2,g1与g3,g1与g4,g2与g3,g2与g4,g3与 g4。
二、不等式约束问题的Kuhn-Tucker条件： （续）
特别 有如下特征：如图
-▽f(x*) -▽f(ㄡ ) X*
▽g(x*)
▽g(ㄡ )
在x* ： ▽f(x*)+u* ▽g(x*)=0 u*>0
要使函数值下降，必须使g(x)值变大，则
在ㄡ 点使f(x)下降的方向（- ▽f(ㄡ ) 方向）指向约束集合内 部，因此ㄡ不是l.opt. 。
一、等式约束问题的最优性条件：
考虑 (fh)
min f(x) s.t. h(x)=0
回顾高等数学中所学的条件极值：
问题 求z=f(x,y)极值
即 min f(x,y)
在ф(x,y)=0的条件下。
S.t. ф(x,y)=0
引入Lagrange乘子：λ
Lagrange函数 L(x,y;λ)= f(x,y)&#
0,i
I,
v
j
R,
j
1,2 ,
,l
l
f ( x )
u
i
g
i(x
)
v
j
h
j
(
x
)
0
i I
j1
如果还有 g i ( x )( i I ) 在 x 亦可微，那么
f
(
x
)
m
u
i
g
i
(x
)
i1
l
v
j
h
j
(
x
)
0
j1
u
i
0
i 1,2, , m
u
i
g
i
(
x
)
0
若 ( fgh ) 为凸规划，满足可微性 则 x l .opt . x 是 K T 点。
设gi (x)(iI)在x可微, gi (x)(i I)在x连续，hj，（j 1,2, ,l） 在x的某邻域内连续可微。（CQ,约束规格）。 向量组{gi (x)(iI),h1(x), ,hl (x)}线性无关。
三、一般约束问题的Kuhn-Tucker 条件 (续)
如果
x l .opt .那么
得(
1435,
2 1
30)S
故均不K是 T点 g2(x1,x2) 14352 123047 15340.340
三、一般约束问题的Kuhn-Tucker 条件
min f (x)
( fgh)s.t. gi(x) 0 i 1,2, ,m
hj (x) 0
j 1,2,
,l
定理：问题( fgh)，x S {x | g(x) 0,h(x) 0}, I为起作用集。
得 u 11 3,u23 20
故 x(2 ,1 )T是 K T 点。
二、不等式约束问题的Kuhn-Tucker条件： （续）
● g1与g3交点 x： 12 xx122050
得x(0, 5)T
(0, 5)T S,故不K 是 T点；
(0, 5)T S,不满g足 2 0,故不K 是 T点。
● g3,g4交点 :x(0,0)T S I {3,4}故u1 u2 0
解22((00 23)) uu34 00得u3 60,u4 40 故非 KT点.
二、不等式约束问题的Kuhn-Tucker条件： （续） ●
目标函f (数 x)与g1(x) 0相切的情况： I {1},则u2 u3 u4 0
解22((xx21
3)2x1u1 2)2x2u1
0 0
x12 x22 50
f ( x )
u
i
g
i
(
x
)
0
i I
如 果 在 x * , g i ( x )可 微 ， i。 那 么 ，
m
f ( x )
u
i
g
i
(
x
)
0
i 1
u
* i
0
i 1, 2 ,
,m
u
i
g
i
(
x
)
0
i 1, 2 ,
, m (互 补 松 弛 条 件 )
满 足 K T 条 件 的 点 x*称 K T 点 。
d d
，如果极限
lim f (x e) f (x) , R
0
存在，则称此极限为函数
f(x)在点
x
处的方向导数,记做
f (x d
)
定理 如果 f(x)在点 x 处可微，这 f(x)在点 x 处沿任何非
零向量
d
的方向导数存在，且
f (x ) d
f
(x )T
e, e
d d
。
定理 如果 f(x)在点 x 处沿非零向量 d 的方向导数存在，且 f (x )T d 0 （成锐角），则 d 是 f(x)在点 x 处的上升方向。如 果 f (x )T d 0 （成钝角），则 d 是 f(x)在点 x 处的下降方向
②目标函数与一条曲线相交的情况： g1，g2, g3, g4
对每一个情况求得满足(1)~(6)的点(x1,x2)T及乘子u1,u2,u3,u4,验 证当满足可得，且ui≥ 0时，即为一个K-T点。
下面举几个情况：
● g1与g2交点：x=(2,1)T∈S ,I={1,2} 则u3=u4=0 解
2 2 (( xx 21 2 3 )) 2 2 u u 1 1 x x 2 1 2 u u 22 0 0
其中， g : Rn R p , h : Rn Rq ，那么(MP)可简记为
min f (x) s.t. g(x) 0 h(x) 0
或者
min xS
f
(x)
当p=0,q=0时，称为无约束非线性规 划或者无约束最优化问题。
否则，称为约束非线性规划或者约束 最优化问题。
非线性规划方法概述
定义 1. 设 f : Rn R, x Rn , d Rn , d 0 ，若存在 0，使
1
0
g3(x) 0 ,g4 1
二、不等式约束问题的Khun-Tucker条件： （续）
f (x) m ui gi (x) 0
i
ui 0, i 1,2,, m
ui gi (x) 0
2(x1 3) u12x1 u2 u3 0(1)
2(x2 2) u12x2 2u2 u4 0(2)
g 2 ( x ) (1,2) T
f
(x*)
( 2( x1*
3),
2
(
x
* 2
2)) T
(2,2)T
计算可得
u
* 1
1 3
u
* 2
2使
3
f (x*)
1 3
g1
(x
)
2 3
g
2
(x
)
0
用K-T条件求解：
f(x) 2 2((x x2 1 3 2)) ,g1(x) 2 2x x1 2 ,g2(2) 1 2
二、不等式约束问题的Kuhn-Tucker条件： （续）
定理（最优性必要条件）： （K-T条件）
问题(fg), 设S={x|gi(x) ≤0},x*∈S,I为x*点处的起作用集，设f,
gi(x) ,i ∈I在x*点可微， gi(x) ,i I在x*点连续。
向量组{▽gi(x*), i ∈I}线性无关。 如果x*----l.opt. 那么， u*i≥0, i ∈I使
二、不等式约束问题的Kuhn-Tucker条件： （续）
例
min f (x1, x2) (x1 3)2 (x2 2)2
s.t.
g1(x1, x2) x12 x22 5 0
g2(x1, x2) x1 2x2 4 0
g3(x1, x2) x1 0
g4(x1, x2) x2 0
g3=0
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使
fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况：
min f(x) 分量形式：
s.t. hj(x)=0
设 x*∈S={x|gi(x) ≤0 i=1,2, …,m}
令
I={i| gi(x*) =0 i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。
如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约 束时，才产生影响，如：
g2(x)=0 x*
g1(x)=0
g1(x*)=0, g1为起作用约束
f (x td) f (x), t (0, )
则称向量 d 是函数 f(x)在点 x 处的下降方向。
定义 2 设 S Rn, x S,d Rn,d 0 ，若存在 t 0 ，使
x td S
则称向量 d 是函数 f(x)在点 x 处关于 S 的可行方向。
定义 3. 设 f : Rn
R, x Rn , d Rn , d 0, e