等式约束优化

二、不等式约束问题的Khun-Tucker条件： （续） 可能的K-T点出现在下列情况：
①两约束曲线的交点：g1与g2,g1与g3,g1与g4,g2与g3,g2与g4,g3与 g4。
②目标函数与一条曲线相交的情况： g1，g2, g3, g4
, g 2 (2)
1 2
1
0
g 3 ( x)
0
, g 4
1
第六章 6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
f ( x)
m
ui g i ( x) 0
i
ui 0, i 1,2, , m
ui gi (x) 0
2( x1 3) u1 2x1 u2 u3 0 (1)
例
s.t.
g1 ( x1 , x2 ) x12 x22 5 0
g 2 ( x1 , x2 ) x1 2x2 4 0
g 3 ( x1 , x2 ) x1 0
g 4 ( x1 , x2 ) x2 0
g3=0
x2
▽g2(x*) -▽f(x*)
(3,2)T
2 1
x*
▽g1(x*)
g2(x)=0 x*
g1(x)=0
g1(x*)=0, g1为起作用约束
第六章 6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
特别 有如下特征：如图
-▽f(x*) -▽f(ㄡ ) X*
▽g(x*)
▽g(ㄡ )
在x* ： ▽f(x*)+u* ▽g(x*)=0 u*>0
2( x2 2) u1 2x2 2u2 u4 0 (2)
u1 , u2 , u3 , u4 0
u1 ( x12
x
2 2
5)
0
(3)
u
2
(
x1
2x2
4)
0
(4)
u3 x1 0 (5)
6个方程6个未知量
u4 x2 0 (6)
பைடு நூலகம்
第六章 6.1 Kuhn-Tucker 条件
g 2 ( x ) (1,2)T
f ( x* ) (2( x1* 3),2( x2* 2))T (2,2)T
计算可得
u1*
1 3
u
* 2
2使
3
f
(x* )
1 3
g1
(
x
)
2 3
g 2 ( x )
0
用K-T条件求解：
f
( x)
2( x1 2( x2
3) 2) , g1 ( x)
2 x1 2x2
i 1
u
* i
0
i 1,2, , m
u
i
g
i
(x )
0
i 1,2, , m(互补松弛条件)
满足K T条件的点x*称K T点。
第六章 6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
min
f ( x1 , x2 ) ( x1 3) 2 ( x2 2) 2
fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况：
min f(x) 分量形式：
s.t. hj(x)=0
j=1,2, …,l
若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
g4=0
1 23 4
g1=0
x1 g2=0
第六章 6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
在x *点
g1 g2
( x1 , ( x1 ,
x2 x2
) )
0 0
交点（2， 1）T
起作用集I {1,2}
g1 ( x ) (2x1 ,2x2 )T (4,2)T
gi(x) ,i ∈I在x*点可微， gi(x) ,i I在x*点连续。
向量组{▽gi(x*), i ∈I}线性无关。 如果x*----l.opt. 那么，u*i≥0, i ∈I使
f (x )
u
i
g
i
(x )
0
iI
如果在x* , gi ( x)可微，i。那么，
m
f ( x ) uig i ( x ) 0
问题 求z=f(x,y)极值
即
在ф(x,y)=0的条件下。
引入Lagrange乘子：λ
min f(x,y) S.t. ф(x,y)=0
Lagrange函数 L(x,y;λ)= f(x,y)+ λ ф(x,y)
第六章 6.1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使
▽h(x*)
这里 x* ---l.opt. ▽f(x*)与 ▽h(x*) 共线，而ㄡ非l.opt. ▽f(ㄡ )与▽h(ㄡ )不共线。
最优性条件即：
h
f (x*) *j h j (x*) j 1
第六章 6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件：
考虑问题
min f(x)
(fg) s.t. gi(x) ≤0 i=1,2, …,m
设 x*∈S={x|gi(x) ≤0 i=1,2, …,m}
令
I={i| gi(x*) =0 i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。
如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约 束时，才产生影响，如：
要使函数值下降，必须使g(x)值变大，则
在ㄡ 点使f(x)下降的方向（- ▽f(ㄡ ) 方向）指向约束集合内 部，因此ㄡ不是l.opt. 。
第六章 6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
定理（最优性必要条件）： （K-T条件）
问题(fg), 设S={x|gi(x) ≤0},x*∈S,I为x*点处的起作用集，设f,
l
f ( x* )
*j h j ( x* ) 0
j 1
矩阵形式：
f ( x * ) h( x * ) * 0
x
第六章 6.1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件： (续) 几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(ㄡ ) ㄡ
▽h(ㄡ )
h(x)
第六章
约束最优化方法
第六章 约束最优化方法
问题 min f(x)
(fgh) s.t. g(x) ≤0
分量形式略
h(x)=0
约束集 S={x|g(x) ≤0 , h(x)=0}
6.1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件：
考虑 (fh)
min f(x) s.t. h(x)=0
回顾高等数学中所学的条件极值：