非线性规划

* * * * f ( x )0 x 3 ，此为 K-T 点，其目标函数值 0 ，解之，得 (4) 令 1 2
x 3 就是其全局极小点。该点 由于该非线性规划问题为凸规划，故 是可行域的内点，它也可直接由梯度等于零的条件求出。
*
例题：求
min f ( x1 , x2 ) ( x1 2) 2 ( x2 3) 2 (2 x1 )3 x2 0 s.t 2 x1 x2 1 它的K T点及全局最优解。
考虑非线性规划的某一可行点X(0) ，对该点的任一方向D来说，若存在实数 λ [0, λ' ] 均有 λ' ，使对任意 0
f ( X (0) λD) f ( X (0) )
就称方向D为X(0)点的一个下降方向。 将目标函数f(X)在点X(0)处作一阶泰勒展开，可知满足条件 f ( X (0) )T D 0 的方向D必为X(0)点的下降方向。 如果方向D既是X(0)点的可行方向，又是这个点的下降方向，就称它 是该点的可行下降方向。假如X(0)点不是极小点，继续寻优时的搜索方向 就应从该点的可行下降方向中去找。显然，若某点存在可行下降方向， 它就不会是极小点。另一方面，若某点为极小点，则在该点不存在可行 下降方向。
第1节 最优性条件
大多数极值问题其变量的取值都会受到一定限制，这种限制由约束 条件来体现。带有约束条件的极值问题称为约束极值问题。非线性 规划的一般形式为
min f ( X ) hi ( X ) 0, i 1, 2, , m g j ( X ) 0, j 1, 2, , l
f ( X * ) 1g1 ( X * ) 0
第1节 最优性条件
若X*点有两个起作用约束，例如说有
g1 ( X * ) 0
g2 ( X * ) 0
* * * 在这种情况下，f ( X ) 必处于 g1 ( X ) 和 g2 ( X ) 的夹角之内。
如若不然，在X*点必有可行下降方向，它就不会是极小点(图7-3)。由此可 见，如果X*是极小点，而且X*点的起作用约束条件的梯度 g1 ( X * ) 和 g2 ( X * ) 线性无关，则可将 f ( X * ) 表示成 g1 ( X * ) 和 g2 ( X * ) 的非负线性组合。也就是说，在这种情况下存在实数 1 0 和 2 0 ，使
1
1
m
第1节 最优性条件
例1 用库恩－塔克条件解非线性规划
min f ( x) ( x 3)2 0 x5 解： 先将该非线性规划问题写成以下形式
min f ( x) ( x 3) 2 g1 ( x) x 0 g 2 ( x) 5 x 0
如果目标函数或约束条件中含有一个或多个 是变量的非线性函数，我们称这类规划问题 为非线性规划（nonlinear programming， 可简记为NP）。 一般地，解非线性规划问题要比解线性规划 问题困难的多，因为它不像解线性规划问题 有单纯形法这一通用的方法，非线性规划目 前还没有适合于各种问题的一般算法，各个 方法都有自己特定的应用范围。 包括：无约束极值问题，约束极值问题
约束优化问题的最优解及其必要条件
一、局部最优解与全局最优解
对于具有不等式约束的优化问题，若目标函数是凸集上 的凸函数，则局部最优点就是全局最优点。如左图所示，无 论初始点选在何处，搜索将最终达到唯一的最优点。否则， 目标函数或可行域至少有一个是非凸性的，则可能出现两个 或更多个局部最优点，如右图所示，此时全局最优点是全部 局部最优点中函数值最小的一个。
* 2( x* 3) 1* 2 0
为解上述方程组，考虑以下几种情形： * 0 ，无解。 (1) 令 1* 0, 2
* * * * (2) 令 1 0, 2 0 ，解之，得 x 0, 1 6 ，不是K-T点。
* * * 0, 2 0 ，解之，得 x* 5, 2 (3) 令 1 4 ，不是K-T点。
* 当 g j ( X ) 0 时， j 可不为零；当 g j ( X * ) 0 时，必有
j 0
如此即可得到著名的库恩－塔克(Kuhn－Tucker,简写为K-T)条件。 库恩－塔克条件是非线性规划领域中最重要的理论成果之一，是确定某 点为最优点的必要条件。只要是最优点(而且该点起作用约束的梯度线性无 关。满足这种要求的点称为正则点)，就必须满足这个条件。但一般说它并 不是充分条件，因而满足这个条件的点不一定就是最优点(对于凸规划，它 既是最优点存在的必要条件，同时也是充分条件)。
第1节 最优性条件
定理1 设X*是非线性规划(7-3)式的一个局部极小点，目标函数 f(X)在 X*处可微，而且 jJ g j ( X ) 在X*处可微，当 g j ( X ) 在X*处连续，当 j J
则在X*不存在可行下降方向，从而不存在向量D同时满足：
* T f ( X ) D 0 * T g ( X ) D 0, j
f ( X * ) 1g1 ( X * ) 2g2 ( X * ) 0
第1节 最优性条件
图7-2 如上类推，可以得到
图7-3
f ( X * ) j g j ( X * ) 0
jJ
第1节 最优性条件
为了把不起作用约束也包括进式(7-9)中，增加条件
* g ( X )0 j j j 0
(7-10)
条件(7-10)式常简称为K-T条件。满足这个条件的点(它当然也满足非线 性规划的所有约束条件)称为库恩-塔克点(或K-T点)。
第1节 最优性条件
现考虑带有等约束非线性规划(7-1)式的库恩－塔克条件，我们用
hi ( X ) 0 hi ( X ) 0
代替约束条件
hi ( X ) 0
非线性规划
——最优性条件
某金属制品厂要加工一批长方形容器，按规格要求，上 下底的材料为25元/m2，侧面的材料为40元/m2，试确 定长、宽、高的尺寸，使这个容器的成本最低。 设容器的长为x1，宽为x2，则高为1/x1x2。 根据题意得：
1 ( x1 x2 )] min f ( x1 , x2 ) 50x1 x2 80[ x1 x或
min f ( X ) g j ( X ) 0,
j 1, 2,, l
(7-2)
问题(7-2)也常写成
min f ( X ), X R En R X g j ( X ) 0, j 1, 2,,l
(7-3)
第1节 最优性条件
g j (X ) 0
（7-5）
均有
g j ( X (0) )T D 0,
jJ
其中J为这个点所有起作用约束下标的集合。 另一方面，由泰勒公式
g j ( X (0) λD) g j ( X (0) ) λg j ( X (0) )T D o(λ)
对所有起作用约束，当λ>0足够小时，只要
jJ
第1节 最优性条件
1.2 库恩－塔克条件 假定X*是非线性规划(7-3)式的极小点，该点可能位于可行域的内部，也 可能处于可行域的边界上。若为前者，这事实上是个无约束问题，X*必 满足条件
f (X *) 0
若为后者，情况就复杂得多了。
下面讨论当极小点位于可行域边界的情形。
第1节 最优性条件
不是处于由这一约束条件形成的可行域边界上，因而这一约束对 X (0) 点的微小摄动不起限制作用，从而称这个约束条件是 X
(0) (0) 点的不起作用约束(或无效约束)；其二是 g j ( X ) 0 ，这时X
(0)
点处于该约束条件形成的可行域边界上，它对 X (0) 的摄动起到了某种限制作用，故称这个约束是 X (0) 点的起作用约束(有效约束)。 显而易见，等式约束对所有可行点来说都是起作用约束。
1.1 起作用约束和可行下降方向的概念 现考虑上述一般非线性规划，假定f(X)、hi(X)和g j ( X )(i 1, 2,,m; j 1,2,,l) 具有一阶连续偏导数。 是非线性规划的一个可行解。现考虑某一不等式约束条件 设 X (0)
g j (X ) 0
X (0)满足它有两种可能：其一为 g j ( X ) ，这时，点 0 X (0)
写出其目标函数和约束函数的梯度：
f ( x) 2( x 3), g1 ( x) 1, g 2 ( x) 1
对第一个和第二个约束条件分别引入广义拉格朗日乘子，设K-T点为X*， 则可以得到该问题的K-T条件。
第1节 最优性条件
该问题的K-T条件为：
* * 1 x 0 * * * 1 2 (5 x ) 0 * * ³ 1 , 2 0
g j ( X (0) )T D 0, j J
（7-6） 图7-1
就有
g j ( X (0) λD) 0, j J
此外，对X(0)点的不起作用约束，由约束函数的连续性，当λ>0足够小时亦有 上式成立。从而，只要方向D满足(7-6)式，即可保证它是X(0)点的可行方向。
第1节 最优性条件
不失一般性，设X*位于第一个约束条件形成的可行域边界上，即第 一个约束条件是X*点的起作用约束( g1 ( X * ) 0 )。若X*是极小点，则
g1 ( X * ) 0必与 f ( X * ) 在一条直线上且方向相反。
否则，在该点就一定存在可行下降方向(图7-2中的X*点为极小点；X点不满 足上述要求，它不是极小点，角度β表示了该点可行下降方向的范围)。 上面的论述说明，在上述条件下，存在实数 1 0 ，使
第1节 最优性条件
库恩-塔克条件：
设X*是非线性规划(7-3)式的极小点，而且在X*点的各起作用 * T 约束的梯度线性无关，则存在向量 * ( 1* , 2 ,, l* )，使下述条件成立：
l * * * f ( X ) g ( X )0 j j j 1 * * j g j ( X ) 0, j 1, 2, ,l * j 1, 2, ,l j 0,
第1节 最优性条件
假定X(0)是非线性规划(7-3)式的一个可行点，现考虑此点的 某一方向D，若存在实数 λ0 0，使对任意 λ 0, λ0 均有
X (0) λD R
就称方向D是X(0)点的一个可行方向。
第1节 最优性条件
若D是可行点X(0)处的任一可行方向，则对该点的所有起作用约束
即可使用条件(7-10)，得到库恩-塔克条件如下： 设X*是非线性规划(7-1)式的极小点，而且X*点的所有起作用约束的梯度 * hi ( X * )(i 1, 2,,m) 和 g j ( X )( j J ) 线性无关，则存在向量
* * T * * * * T * (λ1 , λ* 2 ,λm ) 和 ( 1 , 2 ,, l )
解： f ( x ) ( 2( x1 2)， 2( x2 3))T 3( 2 x1 ) 2 T g ( x ) , h( x ) ( 2,1) 1 2( x1 2) 3 ( 2 x1 ) 2 2 0 2( x2 3) 0 3 故K T条件为： ( x2 ( 2 x1 ) ) 0 x 2x 1 0 1 2 0
m m * * * * * f ( X ) λi hi ( X ) j g j ( X ) 0 i 1 j 1 * (7-11) g j ( X * ) 0, j 1, 2,,l j 使下述条件成立： * j 1, 2, ,l j 0, * * * * * * (7-10)式和(7-11)式中的 λ , λ ,,λ 以及 1 , 1 ,, l 称为广义拉格朗日乘子。