第4章 最优性条件

第4章 最优性条件

§4.1 最优性条件的预备知识

1．极小点的定义 无约束问题：

1 (1)

定义1（全局极小点）若存在n

R x ∈使得

n R x x f x f ∈∀≥ ),()(

则称x 为问题(1)的全局极小点。如果有

x x R x x f x f n ≠∈∀>, ),()(

则称x 为问题(1)的严格全局极小点。

定义2 （局部极小点）设n

R x ∈，如果存在0>δ使得

)( ),()(x N x x f x f δ∈∀≥

则称x 为问题(1)的局部极小点。如果有

}/{)( ),()(x x N x x f x f δ∈∀>

则称x 为问题(1)的严格局部极小点。 约束问题：

)(min x f (2)

s.t. m i x g i ,,1,0)( =≥

l j x h j ,,1,0)( ==

其中)( ),( ),(x h x g x f j i 都是定义在n

R 上的实值连续函数，且至少有一个是非线性的。 称)(x f 为目标函数，)(x g i 为不等式约束函数,)( x h j 为等式约束函数。

(i) 如果0=m ，称(2)为等式约束优化问题； (ii) 如果0=l ，称(2)为不等式约束优化问题；

(iii) 如果),,1)(( ),,,1)((l j x h m i x g j i ==都为线性函数，)(x f 是二次函数，则称(2)为二次规划问题。

若n

R x ∈满足(2)的所有约束条件，称x 为(2)的可行点(或可行解)。 可行集（可行域）：⎪⎭⎪

⎬⎫⎪⎩⎪⎨⎧=≥=≥=.,,1,0)(,,,1,0)(

l j x h m i x g x S j i 。

定义3 (全局极小点)设S x ∈使得 S x x f x f ∈∀≥ ),()(

成立，则称x 为问题(2)的全局极小点。如果有

x x S x x f x f ≠∈∀>, ),()(

成立，则称x 为问题(2)的严格全局极小点。

定义4 (局部极小点)设S x ∈，如果存在0>δ使得

S x N x x f x f )( ),()(δ∈∀≥

成立，则称x 为问题(2)的局部极小点。如果有

x x S x N x x f x f ≠∈∀>,)( ),()( δ

成立，则称x 为问题(2)的严格局部极小点。 2. 内容安排

■ 求全局极小点一般来说相当困难。实际上可行的只是求一个局部(或严格局部)极小点。故本课程后面所指极小点，通常指求局部极小点。

■ 仅当问题为凸规划(即目标函数)(x f 为凸函数，不等式约束函数m i x g i ,,1 ),( =-为凸函数，等式约束函数l j x h j ,,1 ),( =为线性函数)时，局部极小点才是全局极小点。

■ 按定义验证最优解是不可能的。因此有必要给出只依赖于在x 处目标函数和约束函数信息的、且与定义等价的条件。

这样的条件称其为最优性条件，它们是各种基于梯度算法的理论基础。

§4.2 无约束问题的最优性条件

考虑无约束问题(1)，回忆当R x ∈时，即单变量函数极值问题的最优性条件： 必要条件：若R x ∈且)(x f 在x 处取到极值，如果)(x f 在x 可微，则x 为)(x f 的驻点，即满足0)('=x f 。

充分条件：若R x ∈且)(x f 在x 处可微，如果0)('=x f 且0)(''>x f ，则)(x f 在x 处取到极小值；如果0)('=x f 且0)(''

x x

*3：x 为全局极大点； *4：x 为严格局部极大点。

定理1 (一阶必要条件)：设n

R x ∈为函数)(x f 在n

R 的局部极小点，且)(x f 在x 可微，则0)(=∇x f 。

证明 利用§4.0中的定理1可证。

几何解释：若x 为局部极小点，则)(x f 在x 处不能有下降方向。从而，当0)(≠∇x f 时，

)(x f ∇－为)(x f 在x 处的一个下降方向，故若n R x ∈为函数)(x f 在n R 的极值点，必有0)(=∇x f 。

定理2 (二阶必要条件)：设n

R x ∈为函数)(x f 在n

R 的局部极小点，且)(x f 在x 二阶可微，则有

0)(=∇x f ，且)(2x f ∇半正定

证明：利用)(x f 在x 的二阶Taylor 展开及局部极小点的定义可得。

几何解释：由x 为局部极小点及0)(=∇x f 所确定。

定理3 (二阶充分条件)：设)(x f 是定义在n

R 上的二次可微函数，如果0)(=∇x f ，且

)(2x f ∇正定，则x 为函数)(x f 在n R 的严格局部极小点。

证明 利用)(x f 在x 的二阶Taylor 展开及正定矩阵的定义可得。

注：满足0)(=∇x f 的点称为)(x f 的平稳点或驻点。驻点可能是极大值点，也可能是极小值点，也可能不是极值点。但若目标函数为凸函数，则驻点就是全局极小值点；若目标函数为凹函数，则驻点就是全局极大值点。

定理4 (凸充分性定理)：设)(x f 是定义在n

R 上的凸函数，如果0)(=∇x f ，则x 为函数)(x f 在n

R 上的全局极小点。(一阶必要条件＋凸性) 证明 利用可微凸函数的一阶判别条件和0)(=∇x f 易证。 例：利用极值条件求解

12

232313

131)(min 2

x x x x x f R

x --+=∈ 解：

1211-=∂∂x x f ，22

22

2x x x f -=∂∂ 令0)(=∇x f ，即012

1=-x ，0222

2=-x x 。 得到驻点：

⎥⎦⎤⎢⎣⎡=01)1(x ，⎥⎦⎤⎢⎣⎡=21)2(x ，⎥⎦⎤⎢⎣⎡-=01)3(x ，⎥⎦

⎤

⎢⎣⎡-=21)4(x

Hesse 矩阵： ⎥⎦

⎤⎢⎣⎡-=∇2200

2)(212

x x x f

在点)4()

3()

2()

1(,,,x

x x x 处Hesse 矩阵：