非线性规划

第1节 最优性条件
库恩-塔克条件：
设X*是非线性规划(7-3)式的极小点，而且在X*点的各起作用
约束的梯度线性无关，则存在向量
*
(1*, 2*,L
,
Baidu Nhomakorabea
* l
)，T 使下述条件成立：
f ( X *)
l
* j
g j ( X *)
0
* j
g
j
(
X
*
)
j 1
0,
j 1, 2,L ,l
* j
0,
j 1, 2,L ,l
第1节 最优性条件
1.2 库恩－塔克条件 假定X*是非线性规划(7-3)式的极小点，该点可能位于可行域的内部，也 可能处于可行域的边界上。若为前者，这事实上是个无约束问题，X*必 满足条件
f (X*) 0
若为后者，情况就复杂得多了。
下面讨论当极小点位于可行域边界的情形。
第1节 最优性条件
不失一般性，设X*位于第一个约束条件形成的可行域边界上，即第 一个约束条件是X*点的起作用约束( g1(X*) 0 )。若X*是极小点，则 g1(X *) 0必与 f ( X *) 在一条直线上且方向相反。
第1节 最优性条件
定理1 设X*是非线性规划(7-3)式的一个局部极小点，目标函数 f(X)在 X*处可微，而且
g j (X ) 在X*处可微，当 j J
g j (X ) 在X*处连续，当 j J
则在X*不存在可行下降方向，从而不存在向量D同时满足：
f ( X *)T D 0 g j ( X *)T D 0, j J
包括：无约束极值问题，约束极值问题
约束优化问题的最优解及其必要条件
一、局部最优解与全局最优解
对于具有不等式约束的优化问题，若目标函数是凸集上 的凸函数，则局部最优点就是全局最优点。如左图所示，无 论初始点选在何处，搜索将最终达到唯一的最优点。否则， 目标函数或可行域至少有一个是非凸性的，则可能出现两个 或更多个局部最优点，如右图所示，此时全局最优点是全部 局部最优点中函数值最小的一个。
第1节 最优性条件
考虑非线性规划的某一可行点X(0) ，对该点的任一方向D来说，若存在实数 λ' ，0 使对任意 λ [0, λ'] 均有
f ( X (0) λD) f ( X (0) )
就称方向D为X(0)点的一个下降方向。 将目标函数f(X)在点X(0)处作一阶泰勒展开，可知满足条件
f ( X (0) )T D 0
点处于该约束条件形成的可行域边界上，它对 X (0) 的摄动起到了某种限制作用，故称这个约束是 X (0) 点的起作用约束(有效约束)。
显而易见，等式约束对所有可行点来说都是起作用约束。
第1节 最优性条件
假定X(0)是非线性规划(7-3)式的一个可行点，现考虑此点的
某一方向D，若存在实数 λ0 0，使对任意 λ 0,λ0 均有 X (0) λD R
x*
5,
* 2
4
，不是K-T点。
(4) 令
1*
* 2
0
，解之，得
x*
3，此为K-T点，其目标函数值
f
( x* )
0
由于该非线性规划问题为凸规划，故 x* 3 就是其全局极小点。该点 是可行域的内点，它也可直接由梯度等于零的条件求出。
例题：求
min f (x1, x2 ) (x1 2)2 (x2 3)2
g j (X ) 0, j 1, 2,L ,l
(7-2)
问题(7-2)也常写成
min f ( X ), X R En
R X g j ( X ) 0, j 1, 2,L ,l
(7-3)
第1节 最优性条件
1.1 起作用约束和可行下降方向的概念 现考虑上述一般非线性规划，假定f(X)、hi(X)和g j (X )(i 1, 2,L ,m; j 1,2,L ,l) 具有一阶连续偏导数。 设 X (是0) 非线性规划的一个可行解。现考虑某一不等式约束条件
(7-10)
条件(7-10)式常简称为K-T条件。满足这个条件的点(它当然也满足非线 性规划的所有约束条件)称为库恩-塔克点(或K-T点)。
第1节 最优性条件
现考虑带有等约束非线性规划(7-1)式的库恩－塔克条件，我们用
hih(iX( X)
0 )
0
代替约束条件 hi ( X ) 0
即可使用条件(7-10)，得到库恩-塔克条件如下：
第1节 最优性条件
该问题的K-T条件为：2(x*
* 1
x*
3) 0
* 1
* 2
0
1*
* 2
(5
x*
)
0
* 1
³,
* 2
0
为解上述方程组，考虑以下几种情形：
(1)
令
1*
0,
* 2
0
，无解。
(2) 令
1*
0,
* 2
0
，解之，得 x* 0,
1* 6 ，不是K-T点。
(3) 令
1*
0,
* 2
0
，解之，得
s.t
(2
x1 )3
x2
0
2x1 x2 1
它的K T点及全局最优解。
解： f ( x) (2( x1 2)，2( x2 3))T
g ( x)
3(2
1
x1 )2
,
h( x)
(2,1)T
2( 2(
x1 x2
2) 3 (2 x1)2 3) 0
2
0
故K T条件为： ( x2 (2 x1)3 ) 0
gj(X) 0
X (0)满足它有两种可能：其一为 g j ( X ) ，0这时，点 X (0) 不是处于由这一约束条件形成的可行域边界上，因而这一约束对 X (0) 点的微小摄动不起限制作用，从而称这个约束条件是X (0) 点的不起作用约束(或无效约束)；其二是 g j (X (0)) 0 ，这时X (0)
设X*是非线性规划(7-1)式的极小点，而且X*点的所有起作用约束的梯度 hi (X*)(i 1, 2,L ,m) 和 g j (X *)( j J ) 线性无关，则存在向量
*
(λ1*, λ*2 L
,λ*m )T
和 *
(
* 1
,
* 2
,L
,
* l
)T
f ( X *) m λ*i hi ( X *) m *jg j ( X *) 0
非线性规划
——最优性条件
某金属制品厂要加工一批长方形容器，按规格要求，上
下底的材料为25元/m2，侧面的材料为40元/m2，试确 定长、宽、高的尺寸，使这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。
根据题意得：
min
f
( x1 ,
x2
)
50
x1x2
80[
1 x1x2
(
x1
x2
x2
2 x1
1
0
0
下面分两种情况讨论:
(1) 0
2(x1 2) 2 0 2(x2 3) 0
x2 2x1 1 0
解得：x1＝2，x2＝3， 0
代入原问题，它不是可行解，故不是K T点。
(2) 0
2( 2(
x1 x2
2) 3)
3 (2 x1 )2 0
2
0
( x2 (2 x1 )3 ) 0
j g j ( X *) 0 j 0
当 g j (X *) 0 时， j 可不为零；当 g j (X *) 0 时，必有 j 0
如此即可得到著名的库恩－塔克(Kuhn－Tucker,简写为K-T)条件。 库恩－塔克条件是非线性规划领域中最重要的理论成果之一，是确定某 点为最优点的必要条件。只要是最优点(而且该点起作用约束的梯度线性无 关。满足这种要求的点称为正则点)，就必须满足这个条件。但一般说它并 不是充分条件，因而满足这个条件的点不一定就是最优点(对于凸规划，它 既是最优点存在的必要条件，同时也是充分条件)。
*
)
的非负线性组合。也就是说，在这种情况下存在实数1 0 和 2 0 ，使
f ( X *) 1g1( X *) 2g2 ( X *) 0
第1节 最优性条件
图7-2 如上类推，可以得到
f (X *) j g j (X *) 0 jJ
图7-3
第1节 最优性条件
为了把不起作用约束也包括进式(7-9)中，增加条件
在这种情况下，f (X *) 必处于 g1(X *) 和 g2 (X *) 的夹角之内。
如若不然，在X*点必有可行下降方向，它就不会是极小点(图7-3)。由此可
和见，如g2果(XX*)*线是性极无小关点，，则而可且将X*点f的( X起*)作表用示约成束条g件1(的X *梯) 和度g2(gX1
(X *)
min f (x) (x 3)2 0x5 解： 先将该非线性规划问题写成以下形式
min f (x) (x 3)2
g1(x) x 0
g2(x) 5 x 0
写出其目标函数和约束函数的梯度：
f (x) 2(x 3), g1(x) 1, g2 (x) 1
对第一个和第二个约束条件分别引入广义拉格朗日乘子，设K-T点为X*， 则可以得到该问题的K-T条件。
的方向D必为X(0)点的下降方向。
如果方向D既是X(0)点的可行方向，又是这个点的下降方向，就称它 是该点的可行下降方向。假如X(0)点不是极小点，继续寻优时的搜索方向 就应从该点的可行下降方向中去找。显然，若某点存在可行下降方向， 它就不会是极小点。另一方面，若某点为极小点，则在该点不存在可行 下降方向。
对所有起作用约束，当λ>0足够小时，只要
g j (X (0) )T D 0, j J （7-6）
就有
g j (X (0) λD) 0, j J
图7-1
此外，对X(0)点的不起作用约束，由约束函数的连续性，当λ>0足够小时亦有 上式成立。从而，只要方向D满足(7-6)式，即可保证它是X(0)点的可行方向。
第1节 最优性条件
大多数极值问题其变量的取值都会受到一定限制，这种限制由约束 条件来体现。带有约束条件的极值问题称为约束极值问题。非线性 规划的一般形式为
min f ( X )
hi ( X ) 0,i 1, 2,L , m
g j ( X ) 0, j 1, 2,L ,l
(7-1)
或
min f ( X )
x2 2 x1 1 0
解得：x1＝1，x2＝1， 2, 2
经检验x=(1,1)T是原问题的可行解，故 它是K-T点。
因为f,g是凸函数，h是线性函数， 所以x*= (1,1)T是全局最优解。 在实际问题讨论中，常常会对决策变量 附加非负的限制。
使下述条件成立：
* j
g
j
(
X
*
)
i 1
0,
j 1
j 1, 2,L ,l
* j
0,
j 1, 2,L ,l
(7-11)
(7-10)式和(7-11)式中的 λ1*, λ1*,L ,λ*m 以及
1* , 1* ,L
,
* l
称为广义拉格朗日乘子。
第1节 最优性条件
例1 用库恩－塔克条件解非线性规划
就称方向D是X(0)点的一个可行方向。
第1节 最优性条件
若D是可行点X(0)处的任一可行方向，则对该点的所有起作用约束
均有
gj(X) 0 g j (X (0) )T D 0, j J
（7-5）
其中J为这个点所有起作用约束下标的集合。 另一方面，由泰勒公式
g j (X (0) λD) g j (X (0) ) λg j (X (0) )T D o(λ)
)]
x1, x2 0
如果目标函数或约束条件中含有一个或多个
是变量的非线性函数，我们称这类规划问题 为非线性规划（nonlinear programming， 可简记为NP）。 一般地，解非线性规划问题要比解线性规划
问题困难的多，因为它不像解线性规划问题
有单纯形法这一通用的方法，非线性规划目
前还没有适合于各种问题的一般算法，各个 方法都有自己特定的应用范围。
否则，在该点就一定存在可行下降方向(图7-2中的X*点为极小点；X点不满 足上述要求，它不是极小点，角度β表示了该点可行下降方向的范围)。 上面的论述说明，在上述条件下，存在实数 1 0 ，使
f (X *) 1g1(X *) 0
第1节 最优性条件
若X*点有两个起作用约束，例如说有
g1(X *) 0 g2 (X *) 0