约束问题

第7 章 约束极值问题
约束极值问题（规划问题）：带有约束条件的极值问题。
非线性规划的一般形式为 min f ( X ) hi ( X ) = 0, i = 1, L , m g ( X ) ≥ 0, j = 1, L , l j
或 min f ( X ) g j ( X ) ≥ 0, j = 1,L , l
13
举例说明：用库恩 − 塔克条件解非线性规划 min f ( x) = ( x − 3) 2 g1 ( x) = x ≥ 0 g ( x) = 5 − x ≥ 0 2
min f ( x) = ( x − 3) 2 0≤ x≤5
解：将原问题改写为
∇f ( x) = 2( x − 3), ∇g1 ( x) = 1, ∇g 2 ( x) = −1
g1 ( X ) = 0
∇g 2 ( X )
6
5
X
R
∇g1 ( X )
− ∇f ( X )
g2 ( X ) = 0
11
（2）X *位于可行域的边界上（续） 2)若X *有两个起作用约束，不失一般性，设g1 ( X * ) = 0, g 2 ( X * ) = 0.此时，∇f ( X * ) 必定位于∇g1 ( X * )和∇g 2 ( X * )的夹角之内。若不然，在X *必定有可行下降方向，它 就不会是极小点。因此，假定∇g1 ( X * )和∇g 2 ( X * )线性无关, 则可将∇f ( X * )和表示为 ∇g1 ( X * )和∇g 2 ( X * )的非负线性组合。也即：在上述条件下，必定存在实数γ 1* ≥ 0和
或
min f ( X ), X ∈ R ⊂ E n R = { X | g j ( X ) ≥ 0, j = 1, L , l}
1
2
第1节 最优性条件
1、基本概念 考虑一般非线性规划问题 : min f ( X ) hi ( X ) = 0, i = 1, L, m g j ( X ) ≥ 0, j = 1, L, l 假定f ( X )、hi ( X )和g j ( X )(i = 1, L, m; j = 1,L , l )和具有一阶连续偏导数。 设X ( 0 )是上述非线性规划的一个可行点，考虑某一不等式约束g j ( X ( 0 ) ) ≥ 0, 若g j ( X ( 0 ) ) > 0, 则称该约束是X ( 0)点的不起作用约束（无效约束）； 若g j ( X ( 0 ) ) = 0, 则称该约束是X ( 0)点的起作用约束（有效约束）。 等式约束对于所有可行点来说都是起作用约束。
4
点X ( 0 ) 处的可行方向 D
g1 ( X ) = 0
∇g 2 ( X ( 0 ) )
∇g1 ( X ( 0 ) )
R
D
X (0)
g2 ( X ) = 0
∇g j ( X ( 0 ) )T D > 0, j ∈ J
5
min f ( X ), X ∈ R ⊂ E n 定理1 设X *是非线性规划 的一个局部极小点， R = { X | g j ( X ) ≥ 0, j = 1, L , l} f ( X )是X *处可微，且 g j ( X )在X *处可微，当j ∈ J ( X * ) g j ( X )在X *处连续，当j ∉ J ( X * ) 则在X *处不存在可行下降方向，从而不存在向量D同时满足： ∇f ( X * ) T D < 0 * T ∇g j ( X ) D > 0,
j ∈ J (X *)
6
2、库恩 − 塔克条件 分析： min f ( X ), X ∈ R ⊂ E n 设X *是非线性规划 （f ( X )、g j ( X ), j = 1, L , l , 都连续可微） R = { X | g j ( X ) ≥ 0, j = 1,L , l} 的极小点。若 （ ）X *位于可行域的内部, 则该规划问题实际上是无约束问题, X *必定满足∇f ( X * ) = 0. 1 （2）X *位于可行域的边界上， 1)若X *只有一个起作用约束，不失一般性，设X *位于第一个约束条件形成的边界 上, 即只有g1 ( X ) ≥ 0为X *的起作用约束, 则∇g1 ( X * )必与 − ∇f ( X * )在一条直线上且方向 相反(假定∇g1 ( X * )和∇f ( X * )都不为零), 否则, 该点就一定存在可行下降方向。也即： 在上述条件下，必定存在实数γ 1 ≥ 0，使 ∇f ( X * ) − γ 1∇g1 ( X * ) = 0
* γ 2 ≥ 0，使 * ∇f ( X * ) − γ 1*∇g1 ( X * ) − γ 2 ∇g 2 ( X * ) = 0
3）一般地，可以得到库恩 − 塔克条件
l * ∇f ( X ) − ∑ γ *∇g j ( X * ) = 0 j j =1 * * γ j g j ( X ) = 0, j = 1,L , l γ * ≥ 0, j = 1,L, l j
其中，在X *处各起作用约束的梯度线性无关。 注意：上述条件中，也将不起作用约束包含了进去。
9
* ∇f ( X * ) − γ 1*∇g1 ( X * ) − γ 2 ∇g 2 ( X * ) = 0 极小点X *处有两个起作用约束时 * γ 1* , γ 2 ≥ 0
g1 ( X ) = 0
对于可行点 X ( 0 )的任意方向 D来说，若存在实数 λ'0 > 0, 使对任意 λ ∈ [0，λ'0 ]都有 f ( X ( 0 ) + λD) < f ( X ( 0 ) )， 则称D为X ( 0 )的一个下降方向。
如果方向 D既是X ( 0 )的可行方向，又是 X ( 0)的下降方向，则称它是 该点的可行下降方向。
m l * * * * * ∇f ( X ) − ∑ λi ∇hi ( X ) − ∑ γ j ∇g j ( X ) = 0 i =1 j =1 * * γ j g j ( X ) = 0, j = 1,L , l γ * ≥ 0, j = 1, L, l j
其中，在极小点X *处各起作用约束的梯度∇hi ( X * )(i = 1.L, m)和∇g j ( X * ) = （j ∈ J） 0 线性无关。
∇g 2 ( X * )
− ∇f ( X )
*
R
X*
∇g1 ( X * )
5
6
( X )不在 ∇g1 ( X )和∇g 2 ( X )的夹角之内( g1 ( X ) ≥ 0和g 2 ( X ) ≥ 0为起作用约束 )， 则在X处必定有可行下降方向 ，X就不会是极小点 .
* γ 2 ≥ 0，使 * ∇f ( X * ) − γ 1*∇g1 ( X * ) − γ 2 ∇g 2 ( X * ) = 0
3）一般地，可以得到库恩 − 塔克条件
l * ∇f ( X ) − ∑ γ *∇g j ( X * ) = 0 j j =1 * * γ j g j ( X ) = 0, j = 1,L , l γ * ≥ 0, j = 1,L, l j
由于该规划问题为凸规划，故x* = 3是全局极小点。
14
课堂练习：写出下面问题的库恩 − 塔克条件：
5 41 2 min x12 + x2 − 2 x1 − x2 + 2 16 2 x1 + x2 ≤ 2 x1 ≥ 0, x2 ≥ 0
5 41 2 min f ( X ) = x12 + x2 − 2 x1 − x2 + 2 16 g1 ( X ) = 2 − 2 x1 − x2 ≥ 0 解：将问题改写为 g 2 ( X ) = x1 ≥ 0 g 3 ( X ) = x2 ≥ 0 2 x1 − 2 − 2 1 0 ∇f ( X ) = 5 , ∇g1 ( X ) = , ∇g 2 ( X ) = , ∇g 3 ( X ) = , −1 0 1 2 x2 − 2 2 x1 − 2 + 2λ1 − λ2 = 0 5 2 x2 − + λ1 − λ3 = 0 2 λ1 (2 − 2 x1 − x2 ) = 0 λ2 x1 = 0 λ3 x2 = 0 λ1 , λ2 , λ3 ≥ 0
* 2( x* − 3) − γ 1* + γ 2 = 0 γ 1* x* = 0 * γ 2 (5 − x* ) = 0 * γ 1* , γ 2 ≥ 0
则该问题的K - T条件为
分情况讨论：
* 1 （ ）γ 1* ≠ 0且γ 2 ≠ 0，无解。 * （2）γ 1* ≠ 0且γ 2 = 0，解得x* = 0，γ 1* = −6，不是K - T点。 * * （3）γ 1* = 0且γ 2 ≠ 0，解得x* = 5，γ 2 = −4，不是K - T点。 * （4）γ 1* = γ 2 = 0，解得x* = 3，是不是K - T点，f ( x* ) = 0。
7
极小点X *处只有一个起作用约束时 ∇f ( X * ) − γ 1*∇g1 ( X * ) = 0, γ 1* ≥ 0
R
8
∇g1 ( X )
∇g1 ( X * )
β
− ∇f ( X )
6
D
X*
5
g1 ( X ) = 0
− ∇f ( X * )
8
（2）X *位于可行域的边界上（续） 2)若X *有两个起作用约束，不失一般性，设g1 ( X * ) = 0, g 2 ( X * ) = 0.此时，∇f ( X * ) 必定位于∇g1 ( X * )和∇g 2 ( X * )的夹角之内。若不然，在X *必定有可行下降方向，它 就不会是极小点。因此，假定∇g1 ( X * )和∇g 2 ( X * )线性无关, 则可将∇f ( X * )和表示为 ∇g1 ( X * )和∇g 2 ( X * )的非负线性组合。也即：在上述条件下，必定存在实数γ 1* ≥ 0和