最优化方法 第三章(约束最优性条件)

, m .
一、最优性条件
约束优化问题的求解困难
极小点可能位于约束域中间，
也可能位于边界；
迭代点处可行方向有限制，
不再是任意方向；
无约束问题的最优性条件不
再适用；
一、最优性条件
等式约束优化问题的最优性条件
min f x, y
s.t. g x, y 0
求解方法
然成立；
此时 ，目标函数的一阶变分
的“零梯度条件”类似。
，与无约束优化
一、最优性条件
定理 (等式约束二阶必要条件)
l
y ( f ( x ) v j h j ( x ))y 0
T
2
2
j 1
y V ( x ) x h j ( x)x 0, j 1, , l
f ( x ) wi gi ( x ) v j h j ( x ) 0
wi 0, i 1,..., m
wi gi ( x ) 0, i 1,..., m
当 i I ( x ) 时， gi ( x ) 0，可知， wi 0,
wig ( x ) 0(i I ( x )) 自然消失。
得到
i 1
x1 3
1
1
0

1 2 3 0
1
0
1
x2 3
K-T点计算：不知道 x
的位置
一、最优性条件
x1 3wenku.baidu.com
1
1
0

1 2 3 0
为满足约束的严格局部最小值点。
一、最优性条件
例: 求约束极值问题 min
s.t.
的K-T点。
f ( x) x12 x22 6 x1 6 x2 8
x1 x2 4

x1 0
x 0
2
解： 记 g1 ( x) 4 x1 x2 , g2 ( x) x1 , g3 ( x) x2 , 则
一、最优性条件
min f x
事实上，对于不等式约束优化问题，
s.t.
在点 x 处，下降方向需满足
gi x 0, i I
f x d 0
T
可行方向需满足 gi x d 0
T
若 x 为局部极小值点，则在该点处一定不存在可行下降方
向，即
Gordan引理
f x d 0
y V ( x ) x h j ( x )T x 0, g i ( x )T x 0, i I
有
yT 2xx L( x , w, v) y 0
(二阶充分条件) 若目标函数和约束函数二阶连续可微，
y V ( x )
yT 2xx L( x , w, v) y 0 则 x
一、最优性条件
(1) 若 x1 x2 0 :
由1 (4 x1 x2 ) 0 可得 1 0
1 2 3 2 3
与2 0 矛盾。
( 2) 若 x1 0 , x2 0 :
3 0
x1 1 2 3
或者
l
L ( x, v ) f ( x ) v j h j ( x )
j 1
的海塞矩阵关于 y 在 x 处半正定。定理当然还需要目
标函数和约束函数二阶连续可微。
一、最优性条件
定理 (等式约束二阶充分条件)
若目标函数和约束函数二阶连续可微，且满足
l
yT (2 f ( x ) v j 2 h j ( x ))y 0
g3 ( x) x1 0. 令 x ( 2 , 2 )T ,
2 2
求在
x 的起作用约束集。
解：因为
2 2
2
g1 ( x) 2 ( )
0,
2
2
2 2
2 2
g 2 ( x ) ( ) ( ) 1 0,
2
2
2
g3 ( x)
0,
2
I ( x ) {1, 2}.
s.t.
xR
n
hi x 0, i E.
xR n
gi x 0, i I ( x ),
hi x 0, i E
一、最优性条件
一般约束优化的一阶最优性必要条件
定理 (一阶必要条件) 考虑一般约束优化问题 , x 为可行点
I ( x ) i gi ( x ) 0 ， f (x) 和 gi (x) (i I ( x )) 在 x 处可微
wi gi ( x ) 0, i 1,..., m
x L( x* , w* , v* ) 0.
m
l
w* 0, v* R l
L( x, w, v) f ( x) wi gi ( x) v j h j ( x)
wi gi ( x ) 0
i 1
j 1
拉格朗日函数
j 1
y V ( x ) x h j ( x)x 0, j 1, , l
或者
l
L ( x, v ) f ( x ) v j h j ( x )
j 1
的关于y的矩阵在 x 处关于正定，则 x 是满足约束的局
部最小点。
2
xx L( x, v)
一、最优性条件
是在 x 处的积极约束（active constraint）或称紧约束、
起用作约束。积极约束指标的全体组成的集合，称为 x
处的积极约束指标集，记为 I ( x )，
I ( x ) {i | gi ( x ) 0, i 1, 2,
, m}
一、最优性条件
例：设 g1 ( x) 2 x12 x2 0, g2 ( x) x12 x22 1 0,
1
0
1
x2 3
x1 1 2 3
x2 1 3 3
(1 1)
由K-T约束条件 i 0, i gi ( x ) 0, i 1, 2,3 ， 得到
1 , 2 , 3 0
1 (4 x1 x2 ) 0
(1 2)
使得
f ( x )
l
w g ( x ) v h ( x ) 0
iI ( x )
i
wi 0, i I ( x )
i
j 1
j
j
, l)
一、最优性条件
定理中的条件gi (x) (i I ( x )) 在 x 处连续加强为连续可微，
则上述结论等价于
m
l
i 1
j 1
代入法（消元法）
g ( x, y) 0 y ( x)
拉格朗日乘子法
F f ( x, y) g ( x, y)
z f ( x, ( x))
一、最优性条件
推广到多元函数，多等式约束问题
min f ( x)
s.t. h j ( x) 0, j 1, 2,..., l
1
0
1
x1 3
f ( x) 2
, g1 ( x) 1 , g 2 ( x) 0 , g3 ( x) 1 ,



x2 3
由K-T条件
3
f ( x ) i gi ( x ) 0,
l
f ( x ) v j h j ( x ) 0
j 1
拉格朗日函数
l
L( x, v) f ( x) v j h j ( x)
j 1
一、最优性条件
等式约束一阶必要条件的含义
目标函数的梯度
属于约束函数在 x 处的梯度
张成的子空间，共面，在正交补空间投影为0；
单个约束
一、最优性条件
约束优化的一阶必要条件是由Kuhn和Tuchker与1951年
提出，所以一阶必要条件又称为K-T条件，满足K-T条件
的点称为K-T点。
1939年，Karush也类似考虑了约束优化的最优性条件，
所以也有人一阶必要条件称作K-K-T条件，将K-T点称
作K-K-T点。
互补松弛条件
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
, m .
可行域：D { x | g ( x) 0, h( x) 0}, 其中的元素可行点；
设可行解 x D, 若 gi ( x ) 0，则称不等式约束gi ( x ) 0
最优性条件
一
约
束
优
化
五
二
可行方向法
三
罚函数法
四
乘子法
二次逼近法
一、最优性条件
约束优化问题的分类
min f x
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
等式约束问题
不等式约束问题
x
O
一、最优性条件
如果 x 是不等式约束问题的局部最小点，那么仍是
该问题不考虑在 x 处的非积极约束后新问题的局部
极小值点；
非积极约束不重要，可以在最优性条件中忽略这些
非积极约束；
在局部最小点处，积极约束可以转化为等式约束进
行处理；
min
f x
min f x
s.t.
gi x 0, i I ,
cos t
f ( x x) f ( x )
可推广至非


b
b
线性约束
拉格朗日乘子为最优目标费用随约束的增长而递减的变化率。
l
多个线性约束情形： cos t i bi o( x )
i 1
一、最优性条件
不等式约束优化问题的最优性条件
min f x
2 x1 0
3 x2 0
g1 ( x) 4 x1 x2 0
g2 ( x) x1 0
g3 ( x) x2 0
再加上问题本身的约束条件
x1 x2 4 0, x1 0, x2 0
(1 3)
联立(1-1),(1-2)和(1-3),求x和相应的乘子
拉格朗日乘子的意义----灵敏度
仅考虑一个线性约束的等式优化问题
x
x x
min f ( x)
s.t. aT x b

x
aT x b
f ( x ) a
cos t f ( x x) f ( x ) f ( x )T x o( x )
aT x o( x ) b o( x )
f x wi gi x 0
gi x d 0
wi 0, w 0
T
T
无解
一、最优性条件
一般约束优化的二阶最优性条件
(二阶必要条件) 若目标函数和约束函数二阶连续可微，
m
l
i 1
j 1
L( x, w, v) f ( x) wi gi ( x) v j h j ( x)
一、最优性条件
目标函数的梯度
正交于一阶可行变分子空间，即
V ( x ) x h j ( x)x 0, j 1, , l
l
f ( x ) v j h j ( x ) 0
j 1
一阶可行变分子空间是指由变分
构成的子空间，这些
变分使得约束函数展开到一阶时，在向量 x x x 处仍
定理 (等式约束一阶必要条件) 考虑等式约束优化问题, x 为
可行点，f (x) 在 x 处可微, hj (j=1,…,l)在 x 处连续可微，向量
集 h j ( x ) j 1, , l 线性无关。若 x 是等式约束问题的局部最
优解，则存在数 v j ( j 1, , l ) ，使得
gi (x) (i I ( x )) 在 x 处连续, hj (j=1,…,l)在 x 处连续可微
向量集 gi ( x ), h j ( x ) i I ( x ), j 1,
, l 线性无关。
若 x 是局部最优解，则存在数wi (i I ( x )) 和 v j ( j 1,
一、最优性条件
一阶最优性必要条件几何解释
假设约束优化问题不含有等式约束，令


c y y wi gi ( x), wi 0, w 0
iI


显然，上述集合是由紧约束梯度
张成的锥。因此，KKT条件可解
释为：
若 x 是约束优化问题
的最优解， 则− 必
位于点 x 的上述锥中。