非线性规划

第1节 最优性条件
考虑非线性规划的某一可行点X(0) ，对该点的任一方向D来说，若存在实数 λ' ，0 使对任意 λ [0, λ'] 均有
f ( X (0) λD) f ( X (0) )
就称方向D为X(0)点的一个下降方向。 将目标函数f(X)在点X(0)处作一阶泰勒展开，可知满足条件
f ( X (0) )T D 0
第1节 最优性条件
库恩-塔克条件：
设X*是非线性规划(7-3)式的极小点，而且在X*点的各起作用
约束的梯度线性无关，则存在向量
*
(1*, 2*,L
,
* l
)，T 使下述条件成立：
f ( X *)
l
* j
g j ( X *)
0
* j
g
j
(
X
*
)
j 1
0,
j 1, 2,L ,l
* j
0,
j 1, 2,L ,l
x*
5,
* 2
4
，不是K-T点。
(4) 令
1*
* 2
0
，解之，得
x*
3，此为K-T点，其目标函数值
f
( x* )
0
由于该非线性规划问题为凸规划，故 x* 3 就是其全局极小点。该点 是可行域的内点，它也可直接由梯度等于零的条件求出。
例题：求
min f (x1, x2 ) (x1 2)2 (x2 3)2
s.t
(2
x1 )3
x2
0
2x1 x2 1
它的K T点及全局最优解。
解： f ( x) (2( x1 2)，2( x2 3))T
g ( x)
3(2
1
x1 )2
,
h( x)
(2,1)T
2( 2(
x1 x2
2) 3 (2 x1)2 3) 0
2
0
故K T条件为： ( x2 (2 x1)3 ) 0
的方向D必为X(0)点的下降方向。
如果方向D既是X(0)点的可行方向，又是这个点的下降方向，就称它 是该点的可行下降方向。假如X(0)点不是极小点，继续寻优时的搜索方向 就应从该点的可行下降方向中去找。显然，若某点存在可行下降方向， 它就不会是极小点。另一方面，若某点为极小点，则在该点不存在可行 下降方向。
第1节 最优性条件
该问题的K-T条件为：2(x*
* 1
x*
3) 0
* 1
* 2
0
1*
* 2
(5
x*
)
0
* 1
³,
* 2
0
为解上述方程组，考虑以下几种情形：
(1)
令
1*
0,
* 2
0
，无解。
(2) 令
1*
0,
* 2
0
，解之，得 x* 0,
1* 6 ，不是K-T点。
(3) 令
1*
0,
* 2
0
，解之，得
*
)
的非负线性组合。也就是说，在这种情况下存在实数1 0 和 2 0 ，使
f ( X *) 1g1( X *) 2g2 ( X *) 0
第1节 最优性条件
图7-2 如上类推，可以得到
f (X *) j g j (X *) 0 jJ
图7-3
第1节 最优性条件
为了把不起作用约束也包括进式(7-9)中，增加条件Βιβλιοθήκη 使下述条件成立：* j
g
j
(
X
*
)
i 1
0,
j 1
j 1, 2,L ,l
* j
0,
j 1, 2,L ,l
(7-11)
(7-10)式和(7-11)式中的 λ1*, λ1*,L ,λ*m 以及
1* , 1* ,L
,
* l
称为广义拉格朗日乘子。
第1节 最优性条件
例1 用库恩－塔克条件解非线性规划
包括：无约束极值问题，约束极值问题
约束优化问题的最优解及其必要条件
一、局部最优解与全局最优解
对于具有不等式约束的优化问题，若目标函数是凸集上 的凸函数，则局部最优点就是全局最优点。如左图所示，无 论初始点选在何处，搜索将最终达到唯一的最优点。否则， 目标函数或可行域至少有一个是非凸性的，则可能出现两个 或更多个局部最优点，如右图所示，此时全局最优点是全部 局部最优点中函数值最小的一个。
x2
2 x1
1
0
0
下面分两种情况讨论:
(1) 0
2(x1 2) 2 0 2(x2 3) 0
x2 2x1 1 0
解得：x1＝2，x2＝3， 0
代入原问题，它不是可行解，故不是K T点。
(2) 0
2( 2(
x1 x2
2) 3)
3 (2 x1 )2 0
2
0
( x2 (2 x1 )3 ) 0
第1节 最优性条件
1.2 库恩－塔克条件 假定X*是非线性规划(7-3)式的极小点，该点可能位于可行域的内部，也 可能处于可行域的边界上。若为前者，这事实上是个无约束问题，X*必 满足条件
f (X*) 0
若为后者，情况就复杂得多了。
下面讨论当极小点位于可行域边界的情形。
第1节 最优性条件
不失一般性，设X*位于第一个约束条件形成的可行域边界上，即第 一个约束条件是X*点的起作用约束( g1(X*) 0 )。若X*是极小点，则 g1(X *) 0必与 f ( X *) 在一条直线上且方向相反。
否则，在该点就一定存在可行下降方向(图7-2中的X*点为极小点；X点不满 足上述要求，它不是极小点，角度β表示了该点可行下降方向的范围)。 上面的论述说明，在上述条件下，存在实数 1 0 ，使
f (X *) 1g1(X *) 0
第1节 最优性条件
若X*点有两个起作用约束，例如说有
g1(X *) 0 g2 (X *) 0
g j (X ) 0, j 1, 2,L ,l
(7-2)
问题(7-2)也常写成
min f ( X ), X R En
R X g j ( X ) 0, j 1, 2,L ,l
(7-3)
第1节 最优性条件
1.1 起作用约束和可行下降方向的概念 现考虑上述一般非线性规划，假定f(X)、hi(X)和g j (X )(i 1, 2,L ,m; j 1,2,L ,l) 具有一阶连续偏导数。 设 X (是0) 非线性规划的一个可行解。现考虑某一不等式约束条件
min f (x) (x 3)2 0x5 解： 先将该非线性规划问题写成以下形式
min f (x) (x 3)2
g1(x) x 0
g2(x) 5 x 0
写出其目标函数和约束函数的梯度：
f (x) 2(x 3), g1(x) 1, g2 (x) 1
对第一个和第二个约束条件分别引入广义拉格朗日乘子，设K-T点为X*， 则可以得到该问题的K-T条件。
设X*是非线性规划(7-1)式的极小点，而且X*点的所有起作用约束的梯度 hi (X*)(i 1, 2,L ,m) 和 g j (X *)( j J ) 线性无关，则存在向量
*
(λ1*, λ*2 L
,λ*m )T
和 *
(
* 1
,
* 2
,L
,
* l
)T
f ( X *) m λ*i hi ( X *) m *jg j ( X *) 0
(7-10)
条件(7-10)式常简称为K-T条件。满足这个条件的点(它当然也满足非线 性规划的所有约束条件)称为库恩-塔克点(或K-T点)。
第1节 最优性条件
现考虑带有等约束非线性规划(7-1)式的库恩－塔克条件，我们用
hih(iX( X)
0 )
0
代替约束条件 hi ( X ) 0
即可使用条件(7-10)，得到库恩-塔克条件如下：
对所有起作用约束，当λ>0足够小时，只要
g j (X (0) )T D 0, j J （7-6）
就有
g j (X (0) λD) 0, j J
图7-1
此外，对X(0)点的不起作用约束，由约束函数的连续性，当λ>0足够小时亦有 上式成立。从而，只要方向D满足(7-6)式，即可保证它是X(0)点的可行方向。
在这种情况下，f (X *) 必处于 g1(X *) 和 g2 (X *) 的夹角之内。
如若不然，在X*点必有可行下降方向，它就不会是极小点(图7-3)。由此可
和见，如g2果(XX*)*线是性极无小关点，，则而可且将X*点f的( X起*)作表用示约成束条g件1(的X *梯) 和度g2(gX1
(X *)
第1节 最优性条件
定理1 设X*是非线性规划(7-3)式的一个局部极小点，目标函数 f(X)在 X*处可微，而且
g j (X ) 在X*处可微，当 j J
g j (X ) 在X*处连续，当 j J
则在X*不存在可行下降方向，从而不存在向量D同时满足：
f ( X *)T D 0 g j ( X *)T D 0, j J
就称方向D是X(0)点的一个可行方向。
第1节 最优性条件
若D是可行点X(0)处的任一可行方向，则对该点的所有起作用约束
均有
gj(X) 0 g j (X (0) )T D 0, j J
（7-5）
其中J为这个点所有起作用约束下标的集合。 另一方面，由泰勒公式
g j (X (0) λD) g j (X (0) ) λg j (X (0) )T D o(λ)
x2 2 x1 1 0
解得：x1＝1，x2＝1， 2, 2
经检验x=(1,1)T是原问题的可行解，故 它是K-T点。