3不等式约束最优化问题的最优性条件

x处可微.若x是问题(3.3.2)的局部极小点, 则
F0 D .
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
仅考虑在某点起作用的约束
定理3.3.2: 在问题(3.3.1)中，假设：
(1) x*为局部最优解且I * i ci x* 0,1 i m ；
*i 0 i 0,1,2, , m
不等式约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
例2： min f x1 , x2 x1 s.t c1 x1 , x2 x13 x2 0 c2 x1 , x2 x2 0
验证 x* 0, 0T 处Fritz-John条件是否成立？
定义
设(3.3.1)中的一个可行点 x 满足
有效约束：c j x 0, 则称约束 c j x 0为在
x Active
Constraint
处的有效约束或紧约束．
非有效约束： 若有 ck x 0, 则 称 ck x 0 为
inactive
在 x 处的非有效约束或松约束．
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶必要条件 (1951)
定理3.3.4
设 x* 为 (3.3.1)局部最优解, I * i ci x* 0 ;
f x, ci x 1 i m在 x* 点可微，对于 i I *
的ci x* 线性无关，则存在非零向量 * *1 , , *m 使得：

1 2
,
c2
x




3 2
.
不等式约ຫໍສະໝຸດ Baidu最优化问题的最优性条件
几何最优性条件—一阶必要条件
f

x



2 x1 12 2x2 4
,
f

x



8 2
.
设 d d1 , d2 T , 则d T c1 x 0, d1 2d2 0;
d T c2 x 0, 3d1 2d2 0;
d T f x 0, 8d1 2d2 0.
故该问题在x处的可行下降方向集合为
FD

{d

R2
|
1 4
d2

d1


2 3
d2,d2

0}.
由于FD ，故x一定不是问题的极小点.
不等式约束最优化问题的最优性条件
f x* *i gi x*
(a)
i 1
式(a)的几何意义:在局部
极小点 xk 处,目标函数的梯度能 表示成有效约束梯度的 非负组合,即目标函数的 梯度属于有效约束的梯度 所生成的凸锥内.
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶必要条件
例3： min f x1 , x2 x1 s.t c1 x1 , x2 x13 x2 0 c2 x1 , x2 x2 0
f
(x(k
)
)

2(
x1(k ) 2 x2(k )
2)

2

0

g2
(x(k
)
)

0 1
g3 (x(k)
)


2 x1(k ) 1



2 1
§5-1 约束最优解及其必要条件
3）代入K-T条件，求乘子：
f (x(k) ) 2g2 (x(k) ) 3g3 (x(k) ),即
2 0 2
0

2
1

3


1
解得： 2 1,
即该点是K-T点.
3 1.
又该问题为凸规划, 因此该点是最优点.
*1c1 x* 0, *2c2 x* 0.
即该问题在x*处Fritz-John条件成立.
不等式约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
注: (1)上例说明在Fritz John条件中有可能λ0=0. 此时，目
标 函数的梯度就会从Fritz John中消失, 即Fritz John 条件实际上不包含目标函数的任何信息，仅仅表明 起作用约束函数的梯度线性相关，而这对表述最优 点没有什么实际价值.
解： I * 1, 2, f x* 1, 0T , c1 x* 0,1T , c2 x* 0,1T .
取*0 0 *1 *2 0, 有
*0f x* *1c1 x* *2c2 x* 0,
下降方向锥：f在点 x处的下降方向锥
F0 {d | f ( x)T d 0}.
不等式约束最优化问题的最优性条件
可行方向锥与下降方向锥的几何解释
x F0
f (x)
S
D
在极小点处，任何 下降方向都不是可 行方向，而任何可 行方向也不是下降 方向，即，不存在 可行下降方向.
不等式约束最优化问题的最优性条件
K-T f x* m *i ci x* 0
条
件
i 1
*i ci x* 0 i 1,2, , m
*i 0 i 1,2, , m
互补 松弛 条件
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶必要条件
m
s.t. g1( x1 , x2 ) x1 0
g2 ( x1 , x2 ) x2 0
g3 ( x1 , x2 ) 1 x12 x2 0
解：1）判断该点起作用约束：
2）计算目标函数及有效约束在 该点梯度：
g1( x1, x2 ) 1 0 g2( x1, x2 ) 0 g3 ( x1 , x2 ) 0
(2) f x与ci xi I * 在 x* 点可微；
(3) ci x i I \ I * 在 x* 点连续；
则
F0 G0 ,
其中G0 d Rn ci x* T d 0 , i I *
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
不等式约束最优化问题的最优性条件
不等式约束最优化问题
min f x
3.3.1
s.t. ci x 0, i 1,2, m,
其中f : Rn R,ci:Rn R(i 1,2,...,m).
不等式约束最优化问题的最优性条件
定 闭包： 设S Rn , S的闭包定义为： 义 Closure clS { x | S N ( x) , 0}.
f x, ci x1 i m 在 x* 点可微，则存在非零
则存在非零的向量* *0 , *1 , , *m , 使得：
m
*0f x* *i ci x* 0
i 1
*i ci x* 0 i 1,2, , m
x 是(3.3.1)的全局极小点.
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
K-T条件对于约束问题的重要性在于： 1）检验某点是否为约束最优点； 2）检验一种搜索方法是否可行。
例4：判断x(k)=[1 0]T是否为下列约束优化问题最优点：
min
f ( x1 , x2 ) ( x1 2)2 x22
x Constraint 在可行点 处的有效约束的指标集：
有效集：I I x i ci x 0
不等式约束最优化问题的最优性条件
有效约束与非有效约束---几何解释
g1(x)=0
x
g2(x)=0
S
g3(x)=0
(1) 在点 处x ,
g1(x)≥0 和 g2 (x)≥0是有效约束； g3(x)≥0是非有效约束.
s.t. g1( x1 , x2 ) x1 0
g2 ( x1 , x2 ) x2 0
g3 ( x1 , x2 ) 1 x12 x2 0
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
min
f ( x1 , x2 ) ( x1 2)2 x22
几何最优性条件—一阶必要条件
几何最优性条件直观,但难以在实际
计算中应用.
???
将几何最优性条件转化为代数
最优性条件.
(1) Fritz John 条件 (2) Kuhn-Tucker 条件
不等式约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件 (1948)
定理3.3.3: 设 x*为问题(3.3.1)的局部最优解且
Feasible direction cone
注:当 x int S时, S在 x 处的可行方向锥是全空间Rn .
不等式约束最优化问题的最优性条件
定
义设S下降Rn方, x向 (Sd,edsceRnnt,
direction)：
d 0, 且f : S
R在点x处可微，
f ( x)T d 0,则d为f在点x处的下降方向.
x x (2) 的非有效约束g3(x)≥0对 处的可行方向没有影响，
故非有效约束也称为不起作用的约束.
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
定理3.3.1: 考虑约束最优化问题
min f ( x), xS
(3.3.2)
其中S Rn是非空集合，f : S R, 且f在
(2) 为了保证λ0 >0, 还需要对约束再加上一些限制条件．这种限 制条件通常称为约束规格(Constraint Qualification)． 一个 自然的想法是附加 ci ( x)(i I( x)) 线性无关的约束规格 (当然还有许多其他的约束规格)，这样就得到了著名的 Kuhn—Tuker条件.
可行方向：设S Rn , x clS, d Rn , d 0, 若存在〉0，使得
x d S, (0, ),
则称d为集合S在点x处的可行方向( feasible direction).
可行方向锥： S在点 x处的可行方向锥
D {d | d 0, 0,使x d S, (0, )}.
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
定理3.3.5
设 在问题(3.3.1)中 f x,ci x 1 i m
是凸函数, x 是可行点， 且 f x,ci x(i 1,2,..., m) 在 x处可微. 若 x是(3.3.1)的K-T点, 则
验证 x* 0, 0T处kuhn-Tucker条件是否成立？
解：对 1 , 2 T , 有
f x*
所以
1c1 x* 2c2 x*
x* 0, 0T 不是K-T点．


1
1
2


0,
原因是c1 x* ,c2 x* 线性相关．
例1：确定： min f x x1 62 x2 22
s.t x1 2 x2 4 0
3 x1 2 x2 12 0
x1 , x2 0
在点 x 2,3T处的可行下降方向.
解：x 2,3T， Ix 1,2.
c1
x