最优化方法及应用_郭科_约束问题的最优性条件

§2.7 约束问题的最优性条件
所谓最优性条件就是最优化问题的目标函数与约束函数在最优点处满足的充要条件．这种条件对于最优化算法的终止判定和最优化理论推证都是至关重要的．最优性必要条件是指在最优点处满足哪些条件；充分条件是指满足哪些条件的点是最优点．本节仅讲述最基本的结论．
一、约束最优解
对约束优化问题的求解，其目的是在由约束条件所规定的可行域D 内，寻求一个目标
函数值最小的点*
X 及其函数值)(*X f ．这样的解
))(,(*
*X f X 称为约束最优解．约束最优点除了可能落在可行域D 内的情况外，更常常是在约束边界上或等式约束曲面上，因此它的定义及它的一阶必要条件与无约束优化问题不同．
（一）约束优化问题的类型
约束优化问题根据约束条件类型的不同分为三种，其数学模型如下：
（1）不等式约束优化问题（IP 型）
min (),
..()012i f X s t g X i l ≥=，，，，． （2.16）
（2）等式约束优化问题（EP 型）
min ()..()012j f X s t h X j m ==，
，，，，．
（3）一般约束优化问题（GP 型）
min ()()012..()012i j f X g X i l s t h X j m ≥=⎧⎪⎨
==⎪⎩，，
，，，，，
，，，．
（二）约束优化问题的局部解与全局解 按一般约束优化问题，其可行域为
}210)(210)(|{m j X h l i X g X D j i ，，，，；，，，， ===≥=．
若对某可行点*X 存在0>ε，当*X 与它邻域的点X 之距离ε<-||||*
X X 时，总有
)()(*X f X f <则称*X 为该约束优化问题的一个局部最优解．
下面以一个简单例子说明．设有
⎩⎨⎧=---=≥+=+-=．，，
09)2()(02)(..)1()(min 2
22122221x x X h x X g t s x x X f
该问题的几何图形如图2.8所示．从图上的目标函数等值线和不等式约束与等式约束的函数曲
线可写出它的两个局部最优解T T X X ]05[]01[*2*1，，，=-=．这是因为在*
1X 点邻域的任一满
足约束的点X ，都有)()(*1X f X f >；同理，*
2X 亦然．
１
图2.8
对某些约束优化问题，局部解可能有多个．在所有的局部最优解中，目标函数值最小的那个解称为全局最优解．
在上例中，由于16)(4)(*2*1==X f X f ，
，所以全局最优解为))((*
1*1X f X ，． 由此可知，约束优化问题全局解一定是局部解，而局部解不一定是全局解．这与无约束优化问题是相同的．
二、约束优化问题局部解的一阶必要条件
对于约束，现在进一步阐明起作用约束与不起作用约束的概念．一般的约束优化问题，其约束包含不等式约束
l i X g i ，，，， 210)(=≥和等式约束
m j X h j ，，，， 210)(==．在可行点k X 处，如果有0)(=k i X g ，则该约束)(X g i 称可行
点k X 的起作用约束；而如果有0)(>k i X g ，则该约束)(X g i 称可行点k X 的不起作用约束．对于等式约束
0)(=X h j ，显然在任意可行点处的等式约束都是起作用约束．
在某个可行点k X 处，起作用约束在k X 的邻域内起到限制可行域范围的作用，而不起作用约束在k X 处的邻域内就不产生影响．因此，应把注意力集中在起作用约束上．
（一）IP 型约束问题的一阶必要条件
图2.9所示为具有三个不等式约束的二维最优化问题．
图2.9
图2.9（a ）是最优点*
X 在可行域内部的一种情况．在此种情形下，*
X 点的全部约束
函数值
)(*
X g i 均大于零)321(，，=i ，所以这组约束条件对其最优点*X 都不起作用．换句话说，如果除掉全部约束，其最优点也仍是同一个*
X 点．因此这种约束优化问题与无约束优化问题是等价的．图2.9（b ）所示的约束最优点*
X 在)(1X g 的边界曲线与目标函数等值
线的切点处．此时，0)(0)(0)(*
3*2*1>>=X g X g X g ，，，所以)(1X g 是起作用约束，
而其余的两个是不起作用约束．
既然约束最优点*
X 是目标函数等值线与)(1X g 边界的切点，则在*
X 点处目标函数的
梯度)(*
X f ∇与约束函数梯度矢量)(*1X g ∇必共线，而且方向一致．若取非负乘子0*
1≥λ，
则在*
X 处存在如下关系
0)()(*1*
1*=∇-∇X g X f λ．
另一种情况如图2.9（c ）所示．当前迭代点k X 在两约束交点上，该点目标函数的梯度矢量
)(k X f ∇夹于两约束函数的梯度矢量)()(21k k X g X g ∇∇，之间．显然，在k X 点邻近的可行
域内部不存在目标函数值比)(k X f 更小的可行点．因此，点k X 就是约束最优点，记作
*X ．由图可知，此时k X 点目标函数的梯度)(k X f ∇可表达为约束函数梯度)(1k X g ∇和)(2k X g ∇的线性组合．若用*X 代替k X 即有
)()()(*
2*2*1*1*X g X g X f ∇+∇=∇λλ
成立，且式中的乘子*1λ和*
2λ必为非负．
总结以上各种情况，最优解的一阶必要条件为
⎪⎪
⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，
210)(00)()(*
*
2
1
*
*1*i X g X g X f i i i i λλ
对于（2.16）IP 型约束问题的一阶必要条件讨论如下：
设最优点*
X 位于j 个约束边界的汇交处，则这j 个约束条件组成一个起作用的约束
集．按上面的分析，对于*
X 点必有下式成立
⎪⎪
⎪⎩⎪⎪
⎪⎨⎧=≥≥=∇-∇∑=．，，，，，，
j i X g X g X f i i j
i i i 210)(00)()(*
*
1*
**λλ
（2.17）
但是在实际求解过程中，并不能预先知道最优点*
X 位于哪一个或哪几个约束边界的汇交处．为此，把l 个约束全部考虑进去，并取不起作用约束的相应乘子为零，则最优解的一阶
必要条件应把式（2.17）修改为
⎪⎪⎪⎩⎪⎪
⎪⎨⎧==≥≥=∇-∇∑=．，，，，，，，
l i X g X g X g X f i i i
i
l
i i i 210)(0)(00)()(****1
*
**λλλ
（2.18）
式（2.18）为IP 型问题约束最优解的一阶必要条件，它与式（2.17）等价．因为在*
X 下，
对于起作用约束，必有l i X g i ，，
，， 210)(*
==使式（2.18）中的第四式成立；对于不起作用约束，虽然0)(*>X g i 而必有0*
=i λ，可见式（2.18）与式（2.17）等价．
（二）EP 型约束问题的一阶必要条件
图2.10所示为具有一个等式约束条件的二维化问题，其数学模型为
．，
0)(..)(min =X h t s X f
在该问题中，等式约束曲线0)(=X h 是它的可行域，而且目标函数等值线C X f =)(与约
束曲线0)(=X h 的切点*
X 是该约束问题的最优解．
图2.10
在*
X 点处，目标函数的梯度)(*
X f ∇与约束函数的梯度)(*
X h ∇共线．因此，在最优
点*X 处一定存在一个乘子*
u ，使得
0)()(***=∇-∇X h u X f
成立．
对于一般的n 维等式约束优化问题，其数学模型为
min ()..()012j f X s t h X j m ==，
，，，，．
则*
X 为其解的一阶必要条件为
***1*()()0()012m
j j j j
f X u h X h X j m =⎧∇-∇=⎪
⎨
⎪==⎩∑，，，，，．
（三）GP 型约束问题解的一阶必要条件
由上述不等式约束优化与等式约束优化问题的一阶必要条件，可以推出一般约束优化问
题的条件．
设n 维一般约束优化问题的数学模型为
⎩⎨
⎧===≥，，，，，，，，，
，，
m j X h l i X g t s X f j i 210)(210)(..)(min
（2.19）
则*X 为其解的一阶必要条件应为
⎪⎪⎪⎪
⎪⎩
⎪⎪⎪⎪⎪⎨⎧====≥≥=∇-∇-∇∑∑==．，，，，，，，，，，，，
m j X h l i X g X g X h u X g X f j i i i i l i m
j j j i i 210)(210)(0)(00)()()(****
*
11
*
****λλλ （2.20） 函数
∑∑==--=l i m
j j j i i X h u X g X f u X L 1
1
)
()()()(λλ，，
称为关于问题（2.19）的广义拉格朗日函数，式中
T l ][21λλλλ，，， =，
T m u u u u ][21，，， =
为拉格朗日乘子．由于引入拉格朗日函数，条件（2.20）中的第一式可写为
0)(***=∇u X L X ，，λ．
（四）Kuhn —T ｕcker 条件（简称K —T 条件）
在优化实用计算中，常常需要判断某可行迭代点k X 是否可作为约束最优点*
X 输出而
结束迭代，或者对此输出的可行结果进行检查，观察它是否已满足约束最优解的必要条件，这种判断或检验通常借助于T K -条件进行的．对于IP 型问题，T K -条件可叙述如下：
如果*
X 是一个局部极小点 ，且各梯度矢量)(*
X g i ∇组成线性无关的矢量系，那么必存在一组非负乘子*i λ，使得
⎪⎩⎪⎨
⎧===∇-∇∑=l i X g X g X f i
i l
i i i ，，，，，
210)(0)()(**1*
**λλ 成立．
必须指出，在一般情形下，T K -条件是判别约束极小点的一阶必要条件，但并非充分
条件．只是对于凸规划问题，即对于目标函数)(X f 为凸函数，可行域为凸集的最优化问题，
T K -条件才是约束最优化问题的充分条件．而且，在这种情况下的局部最优解也必为全局
最优解．
应用T K -条件检验某迭代点k X 是否为约束最优点的具体作法可按下述步骤进行： （1）检验k X 是否为可行点．为此需要计算k X 处的诸约束函数值)(k i X g ，若是可行
点，则l i X g k i ，，，， 21
0)(=≥． （2）选出可行点k X 处的起作用约束．前面已求得l 个)(k i X g 值，其中等于零或相当
接近零的约束就是起作用约束．把这些起作用约束重新编排成序列I i X g i ，，，， 21)(=．
（3）计算k X 点目标函数的梯度)(k X f ∇和I 个起作用约束函数的梯度)(k i X g ∇． （4）按T K -条件，k X 点应满足
∑==≥=∇-∇I
i i k i i k I i X g X f 1
)
21(00)()(，，，， λλ. (2.21）
将式（2.21）中的各梯度矢量用其分量表示，则可得到i λ为变量的线性方程组
⎪⎪⎪
⎪⎩⎪⎪⎪
⎪⎨⎧=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂．，，0)()()()(0)
()()()(0)()()()
(22112222211211221111n k I I n k n k n k k I I k k k k I I k k k x X g x X g x X g x X f x X g x X g x X g x X f x X g x X g x X g x X f λλλλλλλλλ
由于矢量系I i X g k i ，，，， 21)(=∇是线性无关的，所以该方程组存在唯一解．通过解此线
性方程组，求得一组乘子I λλλ，，，
21，若所有乘子均为非负，即I i i ，，，， 210=≥λ，则k X 即为约束最优解．否则，k X 点就不是约束最优点．
例2.9 设约束优化问题
⎪⎩⎪
⎨⎧≥=≥=≥--=+-=．
，，
，
0)(0)(01)(..)2()(min 13
2222112
221x X g x X g x x X g t s x x X f
它的当前迭代点为T
k X ]01[，
=，试用T K -条件判别它是否为约束最优点． 解：（1）计算k X 点的诸约束函数值
，，
，
1)(0)(011)(2221===-=k k k X g X g X g
k X 是可行点．
（2）k X 点起作用约束是
222211)(1)(x X g x x X g =--=，
．
（3）求k X 点梯度
．
，，⎥⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢⎣⎡=∇⎥
⎦⎤
⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--=∇⎥
⎦⎤
⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇1010)(1212)(022)2(2)()0,1(2)0,1(11)0,1(21k k k X g x X g x x X f
（4）求拉格朗日乘子 按T K -条件应有
．，01012020)()()(212211=⎥⎦
⎤
⎢⎣⎡-⎥⎦⎤⎢⎣⎡---⎥⎦⎤⎢⎣⎡-=∇-∇-∇λλλλk k k X g X g X f
写成线性方程组
⎩⎨
⎧=-=+-．，
0022211λλλ
解得010121>=>=λλ，．乘子均为非负，故T
k X ]0,1[=满足约束最优解的一阶必要条
件．
如图2.11所示，k X 点确为该约束优化问题的局部最优解，由于可行域是凸集，所以点
k X 也是该问题的全局最优解．
图2.11
GP 型的约束最优化问题的T K -条件类似于IP 型约束最优化问题的T K -条件：
如果*
X 是一个局部极小点 ，且各梯度矢量)(*
X g i ∇和
)(*X h j ∇组成线性无关的矢量系，那么必存在两组乘子*
i λ和*j u ，使得
⎪⎪⎪⎩⎪⎪⎪
⎨
⎧===≥=∇-∇-∇∑∑==l i X g l i X h u X g X f i i i
l i m
j j j i i ，，，，，，，，，， 210)(2100)()()(***11
*****λλλ （2.22）
成立．
三、约束优化问题局部解的二阶充分条件
GP 型的约束最优化问题的极小点的二阶充分条件是：
设*X 对条件)21
(0)(l i X g i ，，， =≥和)21(0)(m j X h j ，，， ==是可行的，若存
在向量T l ][21****=λλλλ，，， 和T
m u u u u ][21****=，，， ，它们满足T K -条件（2.22），而且对
满足条件
⎪⎩
⎪⎨⎧=∀=∇=∈≥∇>∈=∇***
**m
j X h Z I i X g Z I i X g Z j T i i T
i i T ，，，，，且，，且，
210)(00)(00)(λλ （2.23）
的任意非零向量Z 有
0)()()(11*
2**2**2>⎥⎦⎤⎢⎣⎡∇-∇-∇∑∑==Z X h u X g X f Z l i m j j
j i i T
λ，
则*
X 为GP 型的约束最优化问题的严格局部极小点．
这里当然要求)()(X h X f j ，。