约束最优化的理论与方法

m in f ( x )
s .t . c i ( x ) 0, i E
c i ( x ) 0, i I
如 果 f ( x ) 和 ci ( x )都 在 x * 处 可 微 ， 则 必 有
d f ( x ) 0, d FD( x , X )
T * *
FD( x , X ) D( x )
序列可行方向 x * d X , k k k 线性化可行方向 d T c ( x * ) 0, i E ; i
d k d , k 0和 k 0
*
d c i ( x ) 0, i I ( x );
T *
d 0
√
x * k d k X
T
d 0
* * T * *
f ( x ) || x k x || d f ( x ) o (|| x k x ||)
* * T * *
k
0
f ( xk ) f ( x ) k
*
矛盾
在局部极小点处没有可行下降方向 引理 设 x * X 是 下 列 问 题 的 局 部 极 小 点
可行方向
x * td X , t [0, ]
d k d , k 0和 k 0
*
序列可行方向 x * d X , k k k 线性化可行方向 d T c ( x * ) 0, i E ; i
d c i ( x ) 0, i I ( x );
dk
xk x * || xk x* ||
d
证明: 反证法.假设存在可行序列{ x k }的序列可行方向d
s .t . d f ( x ) 0, d SF D ( x , X ),
T * *
并且序列 lim x k x .
* k
f ( x k ) f ( x ) ( x k x ) f ( x ) o (|| x k x ||)
可行域
全局极小点 设
x X
*
如果
*
f ( x ) f ( x), x X
则称x*为问题的全局极小点； 成立， (总体极小点) 进一步，如果
f ( x ) f ( x), x X , x x
* *
成立，则称x*为严格全局极小点.
局部极小点：设 x * X , 如果对于某一 0 有
如 果 约 束 规 范 条 件 ( C Q ) SF D ( x *, X ) L F D ( x *, X ) 成 立
则 存 在 i s .t .
*
f ( x *)
*

m
i ci ( x )
* *
i 1
驻点条件 可行性条件
KKT条件
ci ( x ) 0, i E
ci ( x ) 0, i I
_
_
_
则s是f(x)在点 x 处的一个下降方向. 给出了在f(x)连续可微是下降方向同函数f(x) 的梯度 f ( x ) 之间的关系.
下降方向集 D ( x ) { d | d T f ( x ) 0}
可行方向
设x X , 0 d R , 如果 0, s.t.


定理（二阶充分条件）
设 f : D R R 在 开 集 D上 二 阶 连 续 可 微 ，
n 1
则 x D是 f 的 一 个 严 格 局 部 极 小 点 的 充 分 条 件 是 g ( x ) 0 和 G ( x )是 正 定 矩 阵 .


设函数f ( x ) C
2 *
T
d c i ( x ) 0, i E ;
T *
T *
d c i ( x ) 0, i I ( x );
*
ai1 d ci ( x) (d1 , d 2 ) ai 2 *
则 称 d 是 X 在 x 处 的 线 性 化 可 行 方 向.
LFD ( x *, X ) :
n 1


x D是 min f ( x)的局部极小点，则 g ( x ) 0. n
xR


定理（二阶必要条件）
设 f : D R R 在 开 集 D上 二 阶 连 续 可 微 ， 若
n 1
x D 是 m in f ( x )的 局 部 极 小 点 ， 则 n
x R

g ( x ) 0, G ( x ) 0 ( G ( x *) 正 半 定 ).
* n
x * td X , t [0, ]
则称d是X 在x 处的可行方向 .
*
FD( x*, X ) : X 在x 处的所有可行方向组成的集合
*
序列可行方向
设x X , 0 d R , 如果序列
* n
{d k }和{ k }(k 1, 2,) s.t.
x * k d k X , k
*
i 0, i I
*
* *
乘子非负条件
i ci ( x ) 0, i I 互补松弛条件
m in x1 s .t . x1 x 2 0
3
0 c1 ( x ) 1
*
x2 0
x1
x * (0, 0 )
T
1 f (x ) 0
min f ( x)
s.t. ci ( x) 0, i A( x*)
m in f ( x ) n
x R
定理（凸最优性定理）
设 f : D R R 是 凸 函 数 ， 且 f C .则
n 1 1
x 是 总 体 极 小 点 g ( x ) 0.
定理（一阶必要条件）
设f : D R R 在开集D上连续可微，若
*
具有dk d , k 0和 k 0，
则称d是X 在x 处的序列可行方向 .
SFD( x *，X ) : X 在x 处的所有序列可行方向组成的集合
*
线性化可行方向
* n
ci ( x) ai1 x1 ai 2 x2 ai 3
d (d1 , d 2 )
T
设 x X ,0 d R ,如 果
_
使成立 f ( x s ) f ( x ), (0, ), 则称s为f(x)在 x 处的一个下降方向.在点 x 处的所有下降方向的全体记为 D ( x ).
_
_
_
定理 设函数f(x)在点 x 处连续可微，如存在
非零向量s R n 使成立 f ( x)T s 0
KKT定理
*
设x X是下列问题的局部极小点
m in f ( x )
s .t . c i ( x ) 0, i E {1, , l }
c i ( x ) 0, i I {l 1, , m }
如 果 f ( x ) 和 c i ( x )都 在 x * 的 邻 域 内 一 阶 连 续 可 微 .
X 在x 处的所有线性化可行方向组成的集合
*
ci ( x * d ) ai1 ( x1 d1 ) ai 2 ( x2 d 2 ) ai 3
ci ( x*) d ci ( x)
T
如果所有的约束函数都在 x * X 处可微，则有
FD( x*, X ) SFD( x*, X ) LFD( x*, X )
c i ( x * k d k ) c i ( x *) k d k c i ( x *)
引理 设 x * X 是 下 列 问 题 的 局 部 极 小 点
m in f ( x )
s .t . c i ( x ) 0, i E
c i ( x ) 0, i I
x点处的有效约束集(有效集) A ( x ) E I ( x )
c i ( x ), i A ( x ) 是在x点处的有效约束
c i ( x ), i A ( x )
是在x点处的非有效约束
假设已知有效约束A(x)
min f ( x)
s.t. ci ( x) 0, i E
ci ( x) 0, i I
* * *
成立，则称x*为严格局部极小点. 全局极小点是局部极小点
√
有效约束、无效约束与内点、边界点
有效(起作用)约束：对于可行点 x，如果 c i ( x ) 0
，
就称不等式约束 c i ( x ) 0 在点 x 是有效约束。 并称可行点 x 位于约束 c i ( x ) 0 的边界。
f ( x ) f ( x), x N ( x , ) X
* *
成立， 则称 x*是问题的局部极小点，其中
N ( x , ) { x | || x x || 2 }.
* *
进一步，如果
f ( x ) f ( x), x N ( x , ) X , x x
T *
FD( x*, X ) SFD( x*, X )
d F D ( x *, X ) d SF D ( x *, X )
dk d , k

2
k
SFD( x*, X ) LFD( x*, X )
d SF D ( x *, X ) d L F D ( x *, X )
x2
最优点不一定是KKT点
ci ( x ) 0, i I
*
i 0, i I
*
i ci ( x ) 0, i I
* *
m in f ( x ) 3 x1 x 2 2 x 3
* *
Farkas引理
为 m n 矩阵，b R n , 则下述两组方程中有且仅有一组有解：
Ax 0 , b x 0 ,
T
设
A R
mn
(1) (2)
m
A y b,y 0,
T
其中
xR , yR
n
.
Farkas引理在最优化理论研究中起重要作用
Farkas引理的另一种形式
设l. l’是两个非负整数，a0,ai (i=1,…,l)和bi (i=1,…,l’) 是Rn中的向量，则线性方程组和不等式组
无效约束：对于可行点 x 若 c i ( x ) 0 就称不等式约束 c i ( x ) 0 在 点 x 是无效约束
称 x 是 约 束 c i ( x ) 0 的内点.
E:等式约束指标集
ห้องสมุดไป่ตู้
I:不等式约束指标集
x R
n
I ( x) {i | ci ( x) 0, i I }
如 果 f ( x ) 和 c i ( x ) 都 在 x * 处 可 微 ，则 所 有 可 行 序 列 { x k }
的序列可行方向d满足
d f ( x ) 0, d SFD( x , X )
T * *
SFD( x , X ) D( x )
* *
在局部极小点处没有可行下降方向
*
0 c2 ( x ) 1
*
LFD( x*, X ) {d | d } 0 SFD( x*, X ) {d | d , 0} 0
f ( x *)
*

m
i ci ( x )
* *
i 1
ci ( x ) 0, i E
2
，
若 f ( x ) 0 并且
*
，
f ( x ) 半正定，则 x 是 m in f ( x )
的局部最优解
。
*
×
x
*
设
x
*
是 m in f ( x ) 的局部最优解，则在
处的下降方向一定不是可行方向。
√
定义 设f(x)为定义在空间
_
R
n
上的连续函数，
n
点 x R，若对于方向
n
_
s R 存在数 0
d a i 0, i 1, , l ,
T
d bi 0, i 1, , l ',
T
d a0 0
T
无解当且仅当存在实数 使得
l
i ( i 1, , l ) 和 非 负 实 数 i ( i 1, , l ')
l'
a0
a b .
i i i i i 1 i 1
第七章 约束最优化的理论 与方法
一般形式的无约束最优化问 题
一般形式的约束最优化问题
m in f ( x )
x R
n
m in f ( x )
s .t . c i ( x ) 0, i E
c i ( x ) 0, i I
X { x | c i ( x ) 0, i E ; c i ( x ) 0, i I }