第7章 约束极值问题
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
假定X(0)是非线性规划(7-3)式的一个可行点，现考虑此点的 某一方向D，若存在实数 λ 0 > 0，使对任意 λ ∈ [0, λ 0 ] 均有
X (0) + λD ∈ R
就称方向D是X(0)点的一个可行方向 可行方向。 可行方向
清华大学出版社
第1节 最优性条件
若D是可行点X(0)处的任一可行方向，则对该点的所有起作用约束
代替约束条件
hi ( X ) = 0
即可使用条件(7-10)，得到库恩-塔克条件如下： 设X*是非线性规划(7-1)式的极小点，而且X*点的所有起作用约束的梯度 * ∇hi ( X * )(i = 1, 2,L ,m) 和 ∇g j ( X )( j ∈ J ) 线性无关，则存在向量
* * Λ* = (λ1 , λ* L ,λ* ) T 和 Γ* = (γ 1* , γ 2 ,L ,γ l* ) T 2 m
1
1
m
清华大学出版社
第1节 最优性条件
例1 用库恩－塔克条件解非线性规划
min f ( x) = ( x − 3) 2 0≤ x≤5 解： 先将该非线性规划问题写成以下形式
min f ( x) = ( x − 3) 2 g1 ( x) = x ≥ 0 g 2 ( x) = 5 − x ≥ 0
清华大学出版社
第1节 最优性条件
不失一般性，设X*位于第一个约束条件形成的可行域边界上，即第 一个约束条件是X*点的起作用约束( g1 ( X * ) = 0 )。若X*是极小点，则
∇g1 ( X * ) = 0必与 −∇f ( X * ) 在一条直线上且方向相反。
否则，在该点就一定存在可行下降方向(图7-2中的X*点为极小点；X点不满 ( 7-2 X* X 足上述要求，它不是极小点，角度β表示了该点可行下降方向的范围)。 上面的论述说明，在上述条件下，存在实数 γ 1 ≥ 0 ，使
第1节 最优性条件
考虑非线性规划的某一可行点X(0) ，对该点的任一方向D来说，若存在实数 λ' >，使对任意 λ ∈ [0, λ' ] 均有 0
f ( X (0) + λD) < f ( X (0) )
就称方向D为X(0)点的一个下降方向。 将目标函数f(X)在点X(0)处作一阶泰勒展开，可知满足条件 f(X) X ∇f ( X (0) )T D < 0 的方向D必为X(0)点的下降方向 下降方向。 下降方向 如果方向D既是X(0)点的可行方向，又是这个点的下降方向，就称它 是该点的可行下降方向。假如X(0)点不是极小点，继续寻优时的搜索方向 就应从该点的可行下降方向中去找。显然，若某点存在可行下降方向， 它就不会是极小点。另一方面，若某点为极小点，则在该点不存在可行 下降方向。
清华大学出版社
第1节 最优性条件
库恩-塔克条件 库恩 塔克条件：
设X*是非线性规划(7-3)式的极小点，而且在X*点的各起作用 * T 约束的梯度线性无关，则存在向量 Γ* = (γ 1* , γ 2 ,L , γ l* )，使下述条件成立：
l * ∇f ( X ) − ∑ γ * ∇g j ( X * ) = 0 j j =1 * * γ j g j ( X ) = 0, j = 1, 2,L ,l * j = 1, 2,L ,l γ j ≥ 0,
(7-10)
条件(7-10)式常简称为K-T条件。满足这个条件的点(它当然也满足非线 性规划的所有约束条件)称为库恩 塔克点 库恩-塔克点 库恩 塔克点(或K-T点)。
清华大学出版社
第1节 最优性条件
现考虑带有等约束非线性规划(7-1)式的库恩－塔克条件，我们用
hi ( X ) ≥ 0 −hi ( X ) ≥ 0
m m * * * ∇f ( X ) − ∑ λ i ∇hi ( X ) − ∑ γ *∇g j ( X * ) = 0 j i =1 j =1 * * (7-11) γ j g j ( X ) = 0, j = 1, 2,L ,l 使下述条件成立： * j = 1, 2,L ,l γ j ≥ 0, * * * * * * (7-10)式和(7-11)式中的 λ , λ ,L ,λ 以及 γ 1 , γ 1 ,L ,γ l 称为广义拉格朗日乘子。
j∈J
清华大学出版社
第1节 最优性条件
1.2 库恩－塔克条件 库恩－ 假定X*是非线性规划(7-3)式的极小点，该点可能位于可行域的内部，也 可能处于可行域的边界上。若为前者，这事实上是个无约束问题，X*必 满足条件
f (X *) = 0
若为后者，情况就复杂得多了。 下面讨论当极小点位于可行域边界的情形。
* * * γ 1* = γ 2 = 0 ，解之，得 x = 3，此为K-T点，其目标函数值 f ( x ) = 0 (4) 令
x* = 3 就是其全局极小点。该点 由于该非线性规划问题为凸规划，故 是可行域的内点，它也可直接由梯度等于零的条件求出。
清华大学出版社
第2节 二次规划
若非线性规划的目标函数为自变量X的二次函数，约束条件全是线 性的，称这种规划为二次规划 二次规划。二次规划的数学模型为： 二次规划
g j (X ) ≥ 0
（7-5）
均有
∇g j ( X (0) )T D ≥ 0,
j∈J
ห้องสมุดไป่ตู้其中J为这个点所有起作用约束下标的集合。 另一方面，由泰勒公式
g j ( X (0) + λD) = g j ( X (0) ) + λg j ( X (0) )T D + o(λ)
对所有起作用约束，当λ>0足够小时，只要
* 2( x* − 3) − γ 1* + γ 2 = 0
为解上述方程组，考虑以下几种情形： * (1) 令 γ 1* ≠ 0, γ 2 ≠ 0 ，无解。
* * * * (2) 令 γ 1 ≠ 0, γ 2 = 0 ，解之，得 x = 0, γ 1 = −6 ，不是K-T点。
* * (3) 令 γ 1* = 0, γ 2 ≠ 0 ，解之，得 x* = 5, γ 2 = −4 ，不是K-T点。
min f ( X ) hi ( X ) = 0, i = 1, 2,L , m g j ( X ) ≥ 0, j = 1, 2,L , l
(7-1)
或
min f ( X ) g j ( X ) ≥ 0,
j = 1, 2,L , l
(7-2)
问题(7-2)也常写成
min f ( X ), X ∈ R ⊂ En R = { X g j ( X ) ≥ 0,
γ j g j ( X * ) = 0 γ j ≥ 0
* 当 g j ( X ) = 0 时，γ j 可不为零；当 g j ( X * ) ≠ 0 时，必有
γj =0
如此即可得到著名的库恩－塔克(Kuhn－Tucker,简写为K T)条件。 如此即可得到著名的库恩－塔克(Kuhn－Tucker,简写为K-T)条件。 库恩 (Kuhn 简写为 条件 库恩－塔克条件是非线性规划领域中最重要的理论成果之一， 库恩－塔克条件是非线性规划领域中最重要的理论成果之一，是确定 某点为最优点的必要条件。只要是最优点( 某点为最优点的必要条件。只要是最优点(而且该点起作用约束的梯度线性 无关。满足这种要求的点称为正则点) 就必须满足这个条件。 无关。满足这种要求的点称为正则点)，就必须满足这个条件。但一般说它 并不是充分条件，因而满足这个条件的点不一定就是最优点(对于凸规划， 并不是充分条件，因而满足这个条件的点不一定就是最优点(对于凸规划， 它既是最优点存在的必要条件，同时也是充分条件) 它既是最优点存在的必要条件，同时也是充分条件)。
清华大学出版社
第1节 最优性条件
定理1 定理 设X*是非线性规划(7-3)式的一个局部极小点，目标函数 f(X)在 X*处可微，而且 j∈J g j ( X ) 在X*处可微，当 g j ( X ) 在X*处连续，当 j ∈ J
则在X*不存在可行下降方向，从而不存在向量D同时满足：
∇ f ( X * ) T D < 0 * T ∇g j ( X ) D > 0,
写出其目标函数和约束函数的梯度：
∇f ( x ) = 2( x − 3), ∇g1 ( x) = 1, ∇g 2 ( x ) = −1
对第一个和第二个约束条件分别引入广义拉格朗日乘子，设K-T点为X*， 则可以得到该问题的K-T条件。
清华大学出版社
第1节 最优性条件
该问题的K-T条件为：
* * γ 1 x = 0 * * * γ 1 γ 2 (5 − x ) = 0 γ * ³, γ * ≥ 0 1 2
∇f ( X * ) − γ 1∇g1 ( X * ) − γ 2∇g 2 ( X * ) = 0
清华大学出版社
第1节 最优性条件
图7-3 图7-2 如上类推，可以得到
f (X *) − ∑γ j g j (X *) = 0
j∈J
清华大学出版社
第1节 最优性条件
为了把不起作用约束也包括进式(7-9)中，增加条件
∇f ( X * ) − γ 1 g1 ( X * ) = 0
清华大学出版社
第1节 最优性条件
若X*点有两个起作用约束，例如说有
g1 ( X * ) = 0
g2 ( X * ) = 0
* * * 在这种情况下，∇f ( X ) 必处于 ∇g1 ( X ) 和 ∇g 2 ( X ) 的夹角之内。
如若不然，在X*点必有可行下降方向，它就不会是极小点(图7-3)。由此可 见，如果X*是极小点，而且X*点的起作用约束条件的梯度 ∇g1 ( X * ) 和 ∇g 2 ( X * ) 线性无关，则可将 ∇f ( X * ) 表示成 ∇g1 ( X * ) 和 ∇g 2 ( X * ) 的非负线性组合。也就是说，在这种情况下存在实数γ 1 ≥ 0 和 γ 2 ≥ 0 ，使
四*、 非线性规划 、
第6章 无约束问题 第7章 约束极值问题
清华大学出版社
第7章 约束极值问题
第1节 最优性条件 第2节 二次规划 第3节 可行方向法 第4节 制约函数法
清华大学出版社
第1节 最优性条件
大多数极值问题其变量的取值都会受到一定限制，这种限制由约束 条件来体现。带有约束条件的极值问题称为约束极值问题。非线性 规划的一般形式为
n 1 n n min f ( X ) = ∑ c j x j + 2 ∑∑ c j k x j xk j =1 j =1 k =1 c j k = ck j , k = 1, 2,L ,n n ∑ ai j x j + bi ≥ 0, i = 1, 2,L ,m j =1 x j ≥ 0, j = 1, 2,L ,n
∇g j ( X (0) )T D > 0, j ∈ J
（7-6） 图7-1
就有
g j ( X (0) + λD) ≥ 0, j ∈ J
此外，对X(0)点的不起作用约束，由约束函数的连续性，当λ>0足够小时亦有 上式成立。从而，只要方向D满足(7-6)式，即可保证它是X(0)点的可行方向。
清华大学出版社
g j (X ) ≥ 0
X (0)满足它有两种可能：其一为 g j ( X ) > 0 ，这时，点 X (0)
不是处于由这一约束条件形成的可行域边界上，因而这一约束对 X (0) 点的微小摄动不起限制作用，从而称这个约束条件是 X
(0) (0) 点的不起作用约束 不起作用约束(或无效约束)；其二是 g j ( X ) = 0 ，这时X 不起作用约束
j = 1, 2,L ,l}
(7-3)
清华大学出版社
第1节 最优性条件
1.1 起作用约束和可行下降方向的概念 现考虑上述一般非线性规划，假定f(X)、hi(X)和g j ( X )(i = 1, 2,L ,m; j = 1,2,L ,l ) 具有一阶连续偏导数。 是非线性规划的一个可行解。现考虑某一不等式约束条件 设 X (0)
(0)
点处于该约束条件形成的可行域边界上，它对 X (0) 的摄动起到了某种限制作用，故称这个约束是 X (0) 点的起作用约束 起作用约束(有效约束)。 起作用约束 显而易见，等式约束对所有可行点来说都是起作用约束。 显而易见，等式约束对所有可行点来说都是起作用约束。
清华大学出版社
第1节 最优性条件
X (0) + λD ∈ R
就称方向D是X(0)点的一个可行方向 可行方向。 可行方向
清华大学出版社
第1节 最优性条件
若D是可行点X(0)处的任一可行方向，则对该点的所有起作用约束
代替约束条件
hi ( X ) = 0
即可使用条件(7-10)，得到库恩-塔克条件如下： 设X*是非线性规划(7-1)式的极小点，而且X*点的所有起作用约束的梯度 * ∇hi ( X * )(i = 1, 2,L ,m) 和 ∇g j ( X )( j ∈ J ) 线性无关，则存在向量
* * Λ* = (λ1 , λ* L ,λ* ) T 和 Γ* = (γ 1* , γ 2 ,L ,γ l* ) T 2 m
1
1
m
清华大学出版社
第1节 最优性条件
例1 用库恩－塔克条件解非线性规划
min f ( x) = ( x − 3) 2 0≤ x≤5 解： 先将该非线性规划问题写成以下形式
min f ( x) = ( x − 3) 2 g1 ( x) = x ≥ 0 g 2 ( x) = 5 − x ≥ 0
清华大学出版社
第1节 最优性条件
不失一般性，设X*位于第一个约束条件形成的可行域边界上，即第 一个约束条件是X*点的起作用约束( g1 ( X * ) = 0 )。若X*是极小点，则
∇g1 ( X * ) = 0必与 −∇f ( X * ) 在一条直线上且方向相反。
否则，在该点就一定存在可行下降方向(图7-2中的X*点为极小点；X点不满 ( 7-2 X* X 足上述要求，它不是极小点，角度β表示了该点可行下降方向的范围)。 上面的论述说明，在上述条件下，存在实数 γ 1 ≥ 0 ，使
第1节 最优性条件
考虑非线性规划的某一可行点X(0) ，对该点的任一方向D来说，若存在实数 λ' >，使对任意 λ ∈ [0, λ' ] 均有 0
f ( X (0) + λD) < f ( X (0) )
就称方向D为X(0)点的一个下降方向。 将目标函数f(X)在点X(0)处作一阶泰勒展开，可知满足条件 f(X) X ∇f ( X (0) )T D < 0 的方向D必为X(0)点的下降方向 下降方向。 下降方向 如果方向D既是X(0)点的可行方向，又是这个点的下降方向，就称它 是该点的可行下降方向。假如X(0)点不是极小点，继续寻优时的搜索方向 就应从该点的可行下降方向中去找。显然，若某点存在可行下降方向， 它就不会是极小点。另一方面，若某点为极小点，则在该点不存在可行 下降方向。
清华大学出版社
第1节 最优性条件
库恩-塔克条件 库恩 塔克条件：
设X*是非线性规划(7-3)式的极小点，而且在X*点的各起作用 * T 约束的梯度线性无关，则存在向量 Γ* = (γ 1* , γ 2 ,L , γ l* )，使下述条件成立：
l * ∇f ( X ) − ∑ γ * ∇g j ( X * ) = 0 j j =1 * * γ j g j ( X ) = 0, j = 1, 2,L ,l * j = 1, 2,L ,l γ j ≥ 0,
(7-10)
条件(7-10)式常简称为K-T条件。满足这个条件的点(它当然也满足非线 性规划的所有约束条件)称为库恩 塔克点 库恩-塔克点 库恩 塔克点(或K-T点)。
清华大学出版社
第1节 最优性条件
现考虑带有等约束非线性规划(7-1)式的库恩－塔克条件，我们用
hi ( X ) ≥ 0 −hi ( X ) ≥ 0
m m * * * ∇f ( X ) − ∑ λ i ∇hi ( X ) − ∑ γ *∇g j ( X * ) = 0 j i =1 j =1 * * (7-11) γ j g j ( X ) = 0, j = 1, 2,L ,l 使下述条件成立： * j = 1, 2,L ,l γ j ≥ 0, * * * * * * (7-10)式和(7-11)式中的 λ , λ ,L ,λ 以及 γ 1 , γ 1 ,L ,γ l 称为广义拉格朗日乘子。
j∈J
清华大学出版社
第1节 最优性条件
1.2 库恩－塔克条件 库恩－ 假定X*是非线性规划(7-3)式的极小点，该点可能位于可行域的内部，也 可能处于可行域的边界上。若为前者，这事实上是个无约束问题，X*必 满足条件
f (X *) = 0
若为后者，情况就复杂得多了。 下面讨论当极小点位于可行域边界的情形。
* * * γ 1* = γ 2 = 0 ，解之，得 x = 3，此为K-T点，其目标函数值 f ( x ) = 0 (4) 令
x* = 3 就是其全局极小点。该点 由于该非线性规划问题为凸规划，故 是可行域的内点，它也可直接由梯度等于零的条件求出。
清华大学出版社
第2节 二次规划
若非线性规划的目标函数为自变量X的二次函数，约束条件全是线 性的，称这种规划为二次规划 二次规划。二次规划的数学模型为： 二次规划
g j (X ) ≥ 0
（7-5）
均有
∇g j ( X (0) )T D ≥ 0,
j∈J
ห้องสมุดไป่ตู้其中J为这个点所有起作用约束下标的集合。 另一方面，由泰勒公式
g j ( X (0) + λD) = g j ( X (0) ) + λg j ( X (0) )T D + o(λ)
对所有起作用约束，当λ>0足够小时，只要
* 2( x* − 3) − γ 1* + γ 2 = 0
为解上述方程组，考虑以下几种情形： * (1) 令 γ 1* ≠ 0, γ 2 ≠ 0 ，无解。
* * * * (2) 令 γ 1 ≠ 0, γ 2 = 0 ，解之，得 x = 0, γ 1 = −6 ，不是K-T点。
* * (3) 令 γ 1* = 0, γ 2 ≠ 0 ，解之，得 x* = 5, γ 2 = −4 ，不是K-T点。
min f ( X ) hi ( X ) = 0, i = 1, 2,L , m g j ( X ) ≥ 0, j = 1, 2,L , l
(7-1)
或
min f ( X ) g j ( X ) ≥ 0,
j = 1, 2,L , l
(7-2)
问题(7-2)也常写成
min f ( X ), X ∈ R ⊂ En R = { X g j ( X ) ≥ 0,
γ j g j ( X * ) = 0 γ j ≥ 0
* 当 g j ( X ) = 0 时，γ j 可不为零；当 g j ( X * ) ≠ 0 时，必有
γj =0
如此即可得到著名的库恩－塔克(Kuhn－Tucker,简写为K T)条件。 如此即可得到著名的库恩－塔克(Kuhn－Tucker,简写为K-T)条件。 库恩 (Kuhn 简写为 条件 库恩－塔克条件是非线性规划领域中最重要的理论成果之一， 库恩－塔克条件是非线性规划领域中最重要的理论成果之一，是确定 某点为最优点的必要条件。只要是最优点( 某点为最优点的必要条件。只要是最优点(而且该点起作用约束的梯度线性 无关。满足这种要求的点称为正则点) 就必须满足这个条件。 无关。满足这种要求的点称为正则点)，就必须满足这个条件。但一般说它 并不是充分条件，因而满足这个条件的点不一定就是最优点(对于凸规划， 并不是充分条件，因而满足这个条件的点不一定就是最优点(对于凸规划， 它既是最优点存在的必要条件，同时也是充分条件) 它既是最优点存在的必要条件，同时也是充分条件)。
清华大学出版社
第1节 最优性条件
定理1 定理 设X*是非线性规划(7-3)式的一个局部极小点，目标函数 f(X)在 X*处可微，而且 j∈J g j ( X ) 在X*处可微，当 g j ( X ) 在X*处连续，当 j ∈ J
则在X*不存在可行下降方向，从而不存在向量D同时满足：
∇ f ( X * ) T D < 0 * T ∇g j ( X ) D > 0,
写出其目标函数和约束函数的梯度：
∇f ( x ) = 2( x − 3), ∇g1 ( x) = 1, ∇g 2 ( x ) = −1
对第一个和第二个约束条件分别引入广义拉格朗日乘子，设K-T点为X*， 则可以得到该问题的K-T条件。
清华大学出版社
第1节 最优性条件
该问题的K-T条件为：
* * γ 1 x = 0 * * * γ 1 γ 2 (5 − x ) = 0 γ * ³, γ * ≥ 0 1 2
∇f ( X * ) − γ 1∇g1 ( X * ) − γ 2∇g 2 ( X * ) = 0
清华大学出版社
第1节 最优性条件
图7-3 图7-2 如上类推，可以得到
f (X *) − ∑γ j g j (X *) = 0
j∈J
清华大学出版社
第1节 最优性条件
为了把不起作用约束也包括进式(7-9)中，增加条件
∇f ( X * ) − γ 1 g1 ( X * ) = 0
清华大学出版社
第1节 最优性条件
若X*点有两个起作用约束，例如说有
g1 ( X * ) = 0
g2 ( X * ) = 0
* * * 在这种情况下，∇f ( X ) 必处于 ∇g1 ( X ) 和 ∇g 2 ( X ) 的夹角之内。
如若不然，在X*点必有可行下降方向，它就不会是极小点(图7-3)。由此可 见，如果X*是极小点，而且X*点的起作用约束条件的梯度 ∇g1 ( X * ) 和 ∇g 2 ( X * ) 线性无关，则可将 ∇f ( X * ) 表示成 ∇g1 ( X * ) 和 ∇g 2 ( X * ) 的非负线性组合。也就是说，在这种情况下存在实数γ 1 ≥ 0 和 γ 2 ≥ 0 ，使
四*、 非线性规划 、
第6章 无约束问题 第7章 约束极值问题
清华大学出版社
第7章 约束极值问题
第1节 最优性条件 第2节 二次规划 第3节 可行方向法 第4节 制约函数法
清华大学出版社
第1节 最优性条件
大多数极值问题其变量的取值都会受到一定限制，这种限制由约束 条件来体现。带有约束条件的极值问题称为约束极值问题。非线性 规划的一般形式为
n 1 n n min f ( X ) = ∑ c j x j + 2 ∑∑ c j k x j xk j =1 j =1 k =1 c j k = ck j , k = 1, 2,L ,n n ∑ ai j x j + bi ≥ 0, i = 1, 2,L ,m j =1 x j ≥ 0, j = 1, 2,L ,n
∇g j ( X (0) )T D > 0, j ∈ J
（7-6） 图7-1
就有
g j ( X (0) + λD) ≥ 0, j ∈ J
此外，对X(0)点的不起作用约束，由约束函数的连续性，当λ>0足够小时亦有 上式成立。从而，只要方向D满足(7-6)式，即可保证它是X(0)点的可行方向。
清华大学出版社
g j (X ) ≥ 0
X (0)满足它有两种可能：其一为 g j ( X ) > 0 ，这时，点 X (0)
不是处于由这一约束条件形成的可行域边界上，因而这一约束对 X (0) 点的微小摄动不起限制作用，从而称这个约束条件是 X
(0) (0) 点的不起作用约束 不起作用约束(或无效约束)；其二是 g j ( X ) = 0 ，这时X 不起作用约束
j = 1, 2,L ,l}
(7-3)
清华大学出版社
第1节 最优性条件
1.1 起作用约束和可行下降方向的概念 现考虑上述一般非线性规划，假定f(X)、hi(X)和g j ( X )(i = 1, 2,L ,m; j = 1,2,L ,l ) 具有一阶连续偏导数。 是非线性规划的一个可行解。现考虑某一不等式约束条件 设 X (0)
(0)
点处于该约束条件形成的可行域边界上，它对 X (0) 的摄动起到了某种限制作用，故称这个约束是 X (0) 点的起作用约束 起作用约束(有效约束)。 起作用约束 显而易见，等式约束对所有可行点来说都是起作用约束。 显而易见，等式约束对所有可行点来说都是起作用约束。
清华大学出版社
第1节 最优性条件