约束最优化问题的最优性条件

ci ( x ) ≥ 0
i ∈ I = {l + 1, , m}
一阶必要条件
定理6: (Kuhn-Tucker一阶必要条件)
*
I * = i ci x * = 0, i ∈ I ; 设 x 为问题(3)的局部最优解, f ( x ), ci ( x ) (1 ≤ i ≤ m ) 在 x * 点可微, 对于i ∈ E ∪ I *
*
λ f (x ) ∑ λ ci (x ) = 0
m * 0 *
λ c (x ) = 0 i = 1,2, , m
* i i *
i =1
* i
*
λ ≥ 0 i = 0,1,2, , m
* i
例2: 验证是否满足Fritz-John条件:
min f ( x1 , x2 ) = x1 s.t
*
3 c1 ( x1 , x2 ) = x1 x2 ≥ 0
* 则存在一组不全为零的实数 λ1 , λ* , λ* 使得: 2 l
f x * ∑ λ*ci x * = 0 i
i =1
( )
l
( )
二阶充分条件
定理2: 对等式约束问题,若: (1) f ( x ) 与 ci ( x )(1 ≤ i ≤ l ) 是二阶连续可微函数; (3) s ∈ R n且 s ≠ 0 , 且 s T ci (x * ) = 0 , i = 1,2, l 均有 s T 2 L (x * , λ* )s > 0 xx 则 x* 是等式约束问题的严格局部极小点. (2) x * ∈ R n 与 λ* ∈ R l 使: L(x* , λ* ) = 0 ;
{ ( ) }
的ci (x * ) 线性无关, 则存在非零向量 * λ* = (λ1 , , λ* ) 使得: m
( ) λ c (x ) = 0
m
f x * ∑ λ*ci x * = 0 i
i =1
( )
* i i * i
*
i = 1,2, , m
λ ≥ 0 i = 1,2, , m
例3: 验证是否满足Kuhn-Tucker条件:
{ ( )
}
的 ci (x * ) 线性无关, 则存在非零向量 * λ* = (λ1 , , λ* ) 使得: m
f x * ∑ λ*ci x * = 0 i
( )
m
λ c (x ) = 0 λ ≥0
i =1
( )
* i i * i
*
i∈I
例4: 验证是否满足Kuhn-Tucker条件:
min f ( x ) = 3 x x 2 x
min f ( x1 , x2 ) = x1 s.t
*
3 c1 ( x1 , x2 ) = x1 x2 ≥ 0
验证 x = (0, 0 ) 处kuhn-Tucker条件是否成立?
T
c2 ( x1 , x2 ) = x2 ≥ 0
解: λ = (λ1 , λ2 )T 对
f x λ1c1 x λ2c2 x
对一切满足 s T ci (x * ) = 0 , i = 1,2, m , i ∈ I (x * ) 的方向 s 均成立.
二阶充分条件
定理8: 设(3)的函数 f ( x ) 与ci ( x )(1 ≤ i ≤ m ) 是二阶连续可微函数.又设 约束规范条件在点 若存在 λ* 使KT条件成立. x * 成立, 如果严格互补松弛条件在 x* 成立, 且对所有 s T ci (x * ) = 0 , i = 1,2, m , i ∈ I (x * ) 满足 的非零向量 s 有: T 2 * * s xx L (x , λ )s > 0 则 x* 是问题(3)的一个严格局部最优解.
定理3: 在(2)中,假设: (1) x* 为(2)的局部最优解且
I = i ci x
* *
(2) f ( x ) 与 ci ( x )(i ∈ I * ) 在 x* 点可微; (3) ci ( x )(i ∈ I \ I * ) 在 x* 点连续;
{ ( ) = 0,1 ≤ i ≤ m};
n * T
理论部分 约束最优性条件
等式约束问题
min st . f (x ) x ∈ Rn
(1)
ci ( x ) = 0
i ∈ E = { ,2, l } 1
一阶必要条件
定理1: 若(1) x* 是等式约束问题的局部最优解; (2) f ( x ) 与 ci ( x )(i = 1,2, l ) 在 x* 的某邻域内 连续可微; (3) ci ( x )(i = 1,2, l ) 线性无关;
在点 x = (2,3)T 处的可行下降方向. 解: = (2,3)T I ( x ) = { ,2} x 1
1 c1 ( x ) = 2 3 c 2 ( x ) = 2
2 x1 12 8 f ( x ) = 2 x 4 f ( x ) = 2 2
c4 ( x ) = x2 ≥ 0
解: I * = { , 2} f (x * ) = ( 6,2,4 )T 1
c1 x
( ) = (2,2, 2)
*
T
c2 x
( ) = ( 1,1, 0 )
*
T
令
6 2 1 0 2 λ1 2 λ2 1 = 0 4 2 0 0
解:I * = { , 2} f (x * ) = (1, 0 )T 1
c1 x
验证 x = (0, 0 ) 处Fritz-John条件是否成立?
T
c2 ( x1 , x2 ) = x2 ≥ 0
( ) = (0,1)
*
T
c2 x
( ) = (0,1)
*
T
* 取 λ* = 0 λ1 = λ* = α > 0 0 2
不等式约束问题
min st . f (x ) x ∈ Rn
(2)
ci ( x ) ≥ 0
i = { ,2, m} 1
定义1:有效约束: 若(2)中的一个可行点 x 使得 某个不等式约束c j ( x ) ≥ 0 变成等式, c j ( x ) = 0, 即 则 c j ( x ) ≥ 0 称为关于 x 的有效约束. 非有效约束: 若对 ck ( x ) > 0, 则 ck ( x ) ≥ 0 称为 关于 x 的非有效约束. 有效集: I = I ( x ) = {i ci ( x ) = 0} 定义2:锥: n 的子集, 如果它关于正的数乘运算 R 是封闭的. 如果锥也是凸集,则称为凸锥. 凸锥关于加法和正的数乘运算是封闭的.
所以 λ1 = 2 , λ2 = 2
即: f (x* ) = 2c1 (x* ) + 2c2 (x* ) λ2 > 0 λ2 c2 (x * ) = 0 所以:x 是KT点.
*
二阶必要条件
定理7: 设 x* 是(3)的最优解且函数 f ( x ) 与 ci ( x )(1 ≤ i ≤ m )是二阶连续可微函数.又设 约束规范条件在点 x* 成立, 从而存在 λ* 使 KT条件成立. 如果严格互补松弛条件在 x* 成立,则: T 2 L (x * , λ* )s > 0 s xx
{ d 与 G ={ ∈R
交为空.
则 S = d ∈ R f (x
n
ci x
( )
)
d <0
}
* T
d > 0,i ∈ I*
}
例1: 确定:
min f ( x ) = ( x1 6 ) + ( x2 2 )
2 2
s.t
x1 2 x2 + 4 ≥ 0 3 x1 2 x2 + 12 ≥ 0 x1 , x2 ≥ 0
* *
( )
( )
T
( )
*
x * = (0, 0
原因是c1 (x * ), c2 (x* ) 线性相关.
一般约束问题
min st . f (x ) x ∈ Rn
(3)
ci ( x ) = 0
i ∈ E = { ,2, l } 1
* 总有 λ* f (x * ) λ1c1 (x * ) λ* c2 (x * ) = 0 成立 0 2
一阶必要条件
定理5: (Kuhn-Tucker一阶必要条件)(1951)
*
I * = i ci x * = 0 ; 设 x 为问题(2)的局部最优解, f ( x ), ci ( x )(1 ≤ i ≤ m ) 在 x * 点可微, 对于i ∈ I *
�
设 d = (d1 , d 2 )T
d T c1 ( x ) ≥ 0
T
d1 2d 2 ≥ 0
d c2 ( x ) ≥ 0 3d1 2d 2 ≥ 0 d T f ( x ) < 0
8d1 + 2d 2 < 0
一阶必要条件
定理4: (Fritz-John一阶必要条件)(1948) 设 x 为问题(2)的局部最优解且 f ( x ), ci ( x ) (1 ≤ i ≤ m ) 在 x* 点可微, 则存在非零向量 * * * * λ = (λ0 , λ1 , , λm ) 使得:
2 1 2 2
s.t
c3 ( x ) = x1 ≥ 0
c2 ( x ) = x1 + x2 ≥ 0
c3 ( x ) = x1 ≥ 0
2 2 2 c1 ( x ) = x1 + x2 + x3 3 = 0
2 3
试验证最优点 x = (1, 1,1) 为KT点.
* T
c5 ( x ) = x3 ≥ 0