约束优化问题的最优性条件

非空集合，x ∈ S ，I = i gi ( x) = 0 , f (x) 和 gi (x) (i ∈ I ) 在 x 处可微, gi (x) (i ∉ I ) 在 x处连续, hj (j=1,…,l) 在 x 处连续可微。且∇h1 ( x), ∇h2 ( x), , ∇hl ( x) 线 性无关时，若 x 是(NLP)的局部最优解，则在 x 处，有
∇f ( x) − ∑ wi ∇gi ( x) = 0
i =1 m
(7.4) (7.5) (7.6)
wi gi ( x) = 0, i = 1, 2, wi ≥ 0, i = 1, 2, ,m
,m
wi = 0 gi ( x) ≠ 0 ，由(7.5)可知， • 当 i ∉ I 时，
这时wi ∇g ( x)(i ∉ I ) 从(7.4)中自然消失,得到(7.3)。
w0 ≠ 0 的情形，所以为了保证 w0 ≠ 0 ，还需
要对约束施加某种限制。这种限制条件通常称 为约束规格。在定理7.3中，如果增加起作用 约束的梯度线性无关的约束规格，则给出不等 式约束问题的著名的K-T条件。
I = i gi ( x) = 0 定理7.4 (Kuhn-Tucker 条件) 设 x ∈ S ， f (x) 和 gi (x) (i ∈ I ) 在 x 处可微, gi (x) (i ∉ I ) 在 x处
∇f ( x* ) = 0.
定理 7.2：设 f : D ⊂ R n → R1 , 具有连续的二阶偏导 数，x* 是 D 的内点，若 ∇f ( x* ) = 0 ，且 ∇ 2 f ( x* ) 正定，则 x* 是 f (x) 的严格局部极小点。
定理7.3：设 f : D → R1 , D ⊆ R n , x* ∈ D ,如果 f ( x) 二阶可微， 且对于在点 x* 的任何可行方向 h ，都有 h ∇f ( x ) ≥ 0 ， * 并有 ∇ f ( x ) > 0 ，则 x 为 f ( x) 的严格局部极小值点。
• 当 i ∈ I 时， gi ( x) = 0 ，因此条件(7.5)对 wi 没有 限制。 • 条件 (7.5) 成为互补松弛条件。 • 条件（7.4）和（7.5）组成含有 m+n个未知量 及 m+n 个方程的方程组。如果给定点 x ，验 证它是否为K-T点，只需要解方程组（7.3）. 如果 x 没有给定，要求问题的K-T点，就需要 求解（7.4）和（7.5）。
{
}
{∇g ( x), ∇h ( x) i ∈ I , j = 1, 2, , l}
i j
线性无关。若 x 是(NLP)的局部最优解，则存 在数 wi (i ∈ I ) 和 v j ( j = 1, 2, , l ) ，使得
∇f ( x) − ∑ wi ∇gi ( x) − ∑ v j ∇h j ( x) = 0
违背这些约束条件，这样的约束称为在 x 处 起作用的约束。对满足(7.2)的约束，情形则不 同，当点稍微离开 x 时，不论沿什么方向， 都不会违背这些约束，它们称为在 x 处不起 作用的约束。
g3(x)=0 g2(x)=0
图中g1(x) ≥0 和 g2(x) ≥0是起作用 约束， g3(x) ≥0 是不起作用的约 束。
{
}
连续，∇gi ( x) i ∈ I 线性无关。若x 是(NLP1)的 局部最优解，则存在不全为零的非负数 wi (i ∈ i ) 使得
∇f ( x) − ∑ wi ∇gi ( x) = 0
i∈I
{
}
(7.3)
证明：参见陈宝林书 page 241
在上述定理中，若gi (x) (i ∉ I ) 在 x 处可微， 则 K-T 条件可写成等价形式
F0 ∩ G0 ∩ H 0 = ∅
{
}
证明：参见陈宝林书 page 247
定理7.7 (Fritz John 条件) 考虑约束问题(NLP) , x 为可行点，I = i gi ( x) = 0 ， f (x) 和 gi (x) (i ∈ I ) 在 x 处可微, gi (x) (i ∉ I ) 在 x 处连续, hj (j=1,…,l) 在 x 处连续可微。若 x 是(NLP)的局部最优解， 则存在不全为零的数 w0 , wi (i ∈ I ) 和v j ( j = 1, 2, , l ) 使得
{
}
连续，若 x 是(NLP1)的局部最优解，则存在不全 为零的非负数 w0 , wi (i ∈ i ) ，使得
w0∇f ( x) − ∑ wi ∇gi ( x) = 0
i∈I
证明：参见陈宝林书 page 239
注：运用Fritz John 条件时，可能出现 w0 = 0 的情形。这时Fritz John 条件中实际上不包含 目标函数的任何数据，只是把起作用约束的梯 度组合成零向量。这样的条件，对于问题的解 的描述，没有多大价值。我们感兴趣的是
§2.3 不等式约束性问题的最优性条件 考虑不等式约束问题 min f(x) (NLP1) s.t. gi(x) ≥ 0, i=1, 2, …, m 该问题的可行域为 S={ x| gi(x) ≥0, i=1, 2, …, m} 问题(NLP1)的约束条件，在点 x ∈ S 处呈现以 下两种情况
§2.3 不等式约束性问题的最优性条件 • 有些约束，它们的下标集用 I 表示，成立等式， 即
集合 S={ x| gi(x) ≥0, i=1, 2, …, m, hj(x) = 0, j=1, 2, …, l } 称为可行集或者可行域。 注：由于在约束极值问题中，自变量的取值 受到限制，目标函数在无约束情况下的平稳 点（驻点）很可能不在可行域内，因此一般 不能用无约束极值条件处理约束问题。
D = d d ≠ 0, x ∈ clS , ∃δ > 0, ∀λ ∈ ( 0, δ ) , x + λ d ∈ S
Hale Waihona Puke Baidu
{
}
称为在 x 处的可行方向锥
注意： 1. 如果 x 为 S 的内点，则任何方向 d 都是可 行方向；若 x 为 S 边界点，则只有一部分为 可行方向
* * f ( x ) x x 2. 如果 为 的极小点, 则 在 f ( x) 处沿 任何方向 d ，函数值均不减少，即
n R 定理7.2 考虑不等式约束问题 (NLP1) , 设 S 是 中的非空集合，x ∈ S ， f (x) 和 gi (x) (i ∈ I ) 在 x 处可微。如果 x 是(NLP1)的局部最优解，则
F0 ∩ G0 = ∅
证明：参见陈宝林书 page 238
I = i gi ( x) = 0 定理7.3 (Fritz John 条件) 设 x ∈ S ， f (x) 和 gi (x) (i ∈ I ) 在 x 处可微, gi (x) (i ∉ I ) 在 x处
§2.2 可行方向与下降方向
n n R x ∈ R 定义7.1 设 f (x) 是定义在 上的实函数， ，
d 是非零向量。若存在数 δ > 0 ，使得对每个
λ ∈ ( 0, δ ) ，都有
f ( x + λ d ) < f ( x)
则称d 为函数 f (x) 在 x 处 的下降方向。
如果 f (x) 是可微函数，且 ∇f ( x)T d < 0 ，显然 d 为函数 f (x) 在 x 处 的下降方向。记作：
定理7.5 设在问题（NLP1）中, f 是凸函数, gi(x)(i=1,2,…,m) 是凹函数，S为可行域，x ∈ S
I = i gi ( x) = 0 ， f (x) 和 gi (x) (i ∈ I )在 x 处可微,
{
}
gi (x) (i ∉ I ) 在 x 处连续，且在 x 处K-T条件成立， 则 x 为全局最优解。 证明：参见陈宝林书 page 245
w0∇f ( x) − ∑ wi ∇gi ( x) − ∑ v j ∇h j ( x) = 0
i∈I j =1 l
{
}
w0 , wi ≥ 0, i ∈ I
证明：参见陈宝林书 page 249。
注：运用Fritz John 条件时，可能出现 w0 = 0 的情形。这时Fritz John 条件中实际上不包含 目标函数的任何数据，只是把起作用约束的梯 度组合成零向量。这样的条件，对于问题的解 的描述，没有多大价值。我们感兴趣的是
}
可以证明，当 ∇h1 ( x), ∇h2 ( x), , ∇hl ( x) 线性无关时， H0等于等式约束
h1 ( x) = 0 h ( x) = 0 2 hl ( x) = 0
所定义的超平面在 x 处的切平面。
n R 定理7.6 考虑约束问题 (NLP) , 设 S 是 中的
w0 ≠ 0 的情形，所以为了保证 w0 ≠ 0 ，还需
要对约束施加某种限制。这种限制条件通常称 为约束规格。在定理7.3中，如果增加起作用 约束的梯度线性无关的约束规格，则给出不等 式约束问题的著名的K-T条件。
定理7.8 (K-T 必要条件) 考虑约束问题(NLP) , x 为可行点，I = i gi ( x) = 0 ， f (x) 和 gi (x) (i ∈ I ) 在 x 处可微, gi (x) (i ∉ I ) 在 x 处连续, hj (j=1,…,l) 在 x 处连续可微。向量集
∂f = d T ∇f ( x ) ≥ 0 ∂d
(d
= 1)
即在极小点处的可行方向一定不是下降方向
n R 定理7.1 考虑约束极值问题 (NLP) , 设 S 是 中的非空集合，x ∈ S ， f (x) 在 x 处可微。如果 x
是局部最优解，则
F0 ∩ D = ∅
证明：参见陈宝林书 page236
工程优化设计中的数学方法
硕士研究生课程
理学院数学系：穆学文 Tel:88207669 E-mail:mxw1334@163.com
第七章 最优性条件
z 无约束问题的最优性条件 z 约束问题的最优性条件
§1 无约束问题的最优性条件
无约束最优化问题：
min f ( x) f : R n → R1
定理 7.1：设 f : D ⊂ R n → R1 , 具有连续的一阶偏导数， 若 x* 是 f 的局部极小点，且为可行集 D 的内点, 则
F0 = d ∇f ( x)T d < 0
{
}
定义7.2 设集合 S ⊂ R n , x ∈ clS ， d 是非零向量， 若存在数 δ > 0 ，使得对每一个 λ ∈ ( 0, δ ) ，都有
x + λd ∈ S
则称d 为函数 f (x) 在 x 处 的可行方向。
集合S在 x 处所有可行方向组成的集合
gi ( x) = 0, i ∈ I (7.1)
• 另一些约束成立严格不等式， 即
gi ( x) > 0, i ∉ I (7.2)
满足(7.1)的约束，在 x 的邻域限制了可行点 的范围，也就是时，当点沿某些方向稍微离开
x 时，仍能满足这些约束条件，而沿着另一 些方向离开 x 时，不论步长多么小，都将
§2.3 一般约束问题的一阶最优性条件 具有等式和不等式约束极值问题的一般形式
（NLP） min s.t. f(x) gi(x) ≥ 0, i=1, 2, …, m hj(x) = 0, j=1, 2, …, l
定义集合：
H 0 = d ∇h j ( x)T d = 0, j = 1, 2,
{
,l
s
x
g1(x)=0
我们研究在一点处的可行方向时，只需要考 虑在这一点的起作用约束，那些不起作用约 束可以暂且不管。 用符号I 表示起作用的约束下标集，即
I = i gi ( x) = 0
{
} }
定义起作用的约束之后，我们用集合
G0 = d ∇g ( x)T d < 0, i ∈ I
{
取代定理7.1中的可行方向锥。
T *
2 *
§2 约束问题的最优性条件
§2.1 约束极值问题 约束极值问题的一般形式 min f(x) （NLP） s.t. gi(x) ≥ 0, i=1, 2, …, m hj(x) = 0, j=1, 2, …, l 其中， gi(x) ≥ 0 称为不等式约束，hj(x) = 0 称为等式约束，x 是 n 维列向量。
i∈I j =1 l
(7.7)
wi ≥ 0, i ∈ I
证明：参见陈宝林书 page 253。
在上述定理中，若gi (x) (i ∉ I ) 在 x 处可微， 则 K-T 条件可写成等价形式