等式约束最优化问题的最优性条件

v
L(x,
)
,
l
这里 x L(x, ) f(x) jc j(x), j1
L(x,) c(x).
等式约束最优化问题的最优性条件
一阶必要条件
定理 3.2.1
若(1) x*是问题(3.2.1)的局部最优解；
(2) f x 与 ci xi 1,2, l 在 x*
的某邻域内一阶连续可微；
Lagrange (3) ci xi 1,2, l 线性无关；
( x1 x2 8)
从而得L( X , )稳点( 8, 8,2)T 和( 8, 8,2)T .对应有
X1 ( 8, 8 )T , 1 2和X 2 ( 8, 8 )T , 2 2.
等式约束最优化问题的最优性条件
二阶充分条件
由
于
2 xx
L(
X1
,
1 )
2 xx
L(
X2
, 2
)
2 2
2
等式约束最优化问题的最优性条件
Lagrange函数(Lagrange Function)
L( x, ) f ( x) T c( x),
其中 (1, 2 ,..., l )T 为Lagrange 乘子向量，
c(x) (c1(x),c2(x),...,cl(x))T ,则
L(
x,
)
x L(x, )
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性条件
二阶充分条件
定理3.2.2 对等式约束问题(3.2.1)，若：
(1) f x 与 ci x1 i l 是二阶连续可微函数；
(2) x* Rn 与 * Rl 使：L x*, * 0;
定理
则存在一组不全为零的实数 1*, *2 , *l
使得：f x* l *i ci x* 0.
i 1
等式约束最优化问题的最优性条件
一阶必要条件 定理3.2.1说明：
若
x
为方程组f
c j (
l
( x)
j 1
x) 0, j
jc j ( x)
1,2,..., l
0
的 解, 则 对 应 的x可 能 就 是 问 题(3.2.1)的 最 优 解.
s.t
x12 x12
x2 x22
0 2
(1)可行域S为 图中的弧AB.
(2)最优解在B点 达到,即 x*=(1,1)T, 但 f (x*) 0
等式约束最优化问题的最优性条件
等式约束最优化问题
min f x
3.2.1
s.t. cj x 0, j 1,2, l,
其中f : Rn R, c j : Rn R ( j 1,2,..., l ).
(3) s Rn且 s 0 ,且 sT ci x* 0, i 1,2, l
均有
sT
2 xx
L
x*, *
s0
则 x* 是问题(3.2.2)的严格局部极小点．
等式约束最优化问题的最优性条件
二阶充分条件 定理3.2.2的几何意义
在Lagrange函数的驻点 x处 ,如果
Lagrange函数关于x的Hesse矩阵在约束曲面
8
2
,h( X1 )
, 8
h( X 2 )
8
,因
此,
M
(
X
1
)
(z1 , z2 )T (z1 , z2 )h( X1 ) 0
8
(z1, z2 )T z1 z2 0 .
则对任意z
M ( X1 ),
z
0, 有zT
2 xx
L(
X
1
,
1
)z
2z12
4 z1 z 2
2z22
8z12
0.
故
由
定
理3.2.2知
:
X
1
是
问
题
的
严
格
局
部
极
小点.同
理,
X
也
2
是
问
题
的
严格局部极小点.
x 的切平面上正定(并不需要在Rn上正定)，则
就是问题(3.2.1)的严格局部极小点.
等式约束最优化问题的最优性条件
二阶充分条件
例 试用最优性条件求解
min f ( X ) x12 x22
解:Lagrange函数为
s.t. h( X ) x1 x2 8 0.
2x1 x2 L( X , ) x12 x22 ( x1 x2 8), 则 L( X , ) 2x2 x1 ,
约束最优化问题的最优性条件
一般约束最优化问题
min f x
s.t. cj x 0, j 1,2, l, cj x 0, j l, l 1, m,
其中f : Rn R, c j : Rn R ( j 1,2,..., m).
约束最优化问题的最优性条件
min f (x1, x2) (x1 1.5)2 2x22
注：无约束最优化问题min L( x, )最优性条件L( x, ) 0
恰是方程组f
( x)
l
jc j ( x)
j 1
0
c j ( x) 0, j 1,2,..., l.
将等式约束最优化问题转化为无约束最优化问题求解.
等式约束最优化问题的最优性条件
一阶必要条件
• Example
Solution: