13约束最优化条件KTT(课堂PPT)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
第十三讲 约束优化问题的最优性条 件
• 凸规划问题的最优性条件 • 一般约束优化问题的最优性条件 • 约束品性
2
凸规划—求凸函数在凸集上的最小值问题 定理1：凸规划问题的局部最优解必定是其整体最优解
定理2：已知凸规划min f (x),x D Rn , 其中f , D是凸的且 f 连续可微. 则x* D是凸规划问题的最优解的充分必要条件是
？ ？ ？ 约束品性对研究约束问题的最优性条件非常重要
约束品性（约束规格）
SFD(x*,D) LFD(x*,D)
最优解 x*
KKT点 x*
9
基本概念
定义9.1.1 设x D, d Rn.若存在数 0, 使得
x d D, (0, ],
则称d是D在x处的一个可行方向. 记x处所有可行方向的集合为FD( x, D)
xk x* kdk x* 其中k 0, dk d. 所以,当k充分大时, xk N ( x*).
故 f (x*) f (xk ) f (x* kdk )
f (x*) kf ( x*)T dk o(|| kdk ||) 在上式两端除以k , 然后令k 0, 取极限即可得
f (x* )T d 0
iI
jE
(9.7)称为问题(9.1)的一阶必要条件— K - K - T条件
满足(9.7)的点x*称为问题(9.1）的一个KKT点.
6
KKT系统(9.7)除能用于最优解的判别, 而且能用来计算KKT点—可能的最优解.
约束问题的KKT 点 类似于无约束问题的驻点.
思考
若函数可导, 无约束问题的极值点一定是驻点, 请问约束问题的局部最优解一定是KKT点吗？？
若记x处函数f 的所有下降方向
集合为GD( x)
容易看出, 如果x*是(9.1)的最优
D
解, 则在该点不存在既下降又
可行的方向, 即
GD(x* ) FD( x*, D)
该条件称为几何最优性条件
d
●
x ● x d
可行
●
不可行
10
定义9.1.2 设x D, d Rn. 若存在向量序列{dk }和正数序
显然可行域D为闭集.
4
一般约束问题的最优性条件
1、一阶必要条件
定义函数 L : Rnm R :
L(x,, ) f (x) T gI (x) T hE (x)
f (x) igi (x) jhj (x)
iI
jE
该函数称为问题(.) 的Lagrange函数, 其中 Rm ,
Rm-m称为Lgrange乘子.
●
d
x
(a) 点x在D内部
D
xk
●
dk
d
x ●
(b) 点x在D的边界上
序列可行方向实际 序列可行方向包含可行
上就是可行方向
方向和边界的切线方向
显然, FD(x, D) SFD( x, D) (只需取dk d )
可行方向必是序列可行方向, 但反之不然.
12
定理9.1.1 设x* D是问题(9.1)的一个局部最优解, 则
0
,
g2
(x
)
0
是
显然,g1(x ),g2 (x )线性相关.
0 1
1
2 0
2
1 0
令
f (x) g1(x), f
0 f (x)不能用g1(x
线性组合表示
(x) ), g2
g2 (x), ( x )的正
方程组无解,见图, 故x不是KKT 点
8
约束优化问题的局部最优解不一定是KKT点！
f (x*) f (xk ) 且 xk x* (xk x*)
令
dk
xk || xk
x* x*
|| ,k
|| xk
x*
|| .
则xk
不一定啦
7
例 9.2. 已知约束问题
x2
min f (x) x2
g1(x) x (0, 2)
s.t. g( x) x ( x )
● g2 ( x )
g( x) x
f (x)
x1
请问x (0, 2)T 是KKT点吗,
o
是最优解吗？ 解：
x是最优解吗？
0
2
1
f
(x
)
1
,
g1(x )
f (x* )T d 0, d SFD(x*, D) 必要条件
证明：因为x*是局部最优解,由定义, 必存在邻域N (x* )，
使得 定理表明f最(x优) 解f处(x的* ),任何序x列可N (行x*方) 向不可能是目 另一标方函面数,在d该点SF处D的( x下*, D降),方存向在.可行点序列{xk }满足
f (x*)T (x-x*) 0, x D
3
考虑一般约束问题：
min f (x)
s.t. gi (x) 0, i I {1, 2, , m1} h j (x) 0, j E {m1 1, , m}
(9.1)
可行域：D {x : gi ( x) 0, i I ; h j ( x) 0, j E} 这里我们假设函数f , gi , h j连续可微
xL( x, , ) f (x) igi (x) jhj (x)
iI
jE
xL( x, , ) f ( x) igi ( x) jhj ( x) 5
iI
jE
一阶必要条件
定理9.2.1 设x* D是问题(9.1)的一个局部最优解,如果
SFD(x*,D) LFD(x*,D)
列{k },使得
x k dk D, k
且
lim
Hale Waihona Puke Baiduk
d
k
d
和
lim
k
k
0
则称d是D在x处的一个序列可行方向. D在x处的所有序
列可行方向的集合记作SFD(x, D).
令 xk x k dk ,由定义9.1.2知,{xk } D.
为理解序列可行方向, 我们来看看它的几何解释：
11
xk
D
●
dk
13
类似于无约束问题的极值条件, 进一步我们有关于SFD的 最优解的充分条件：
定理9.1.2 设x* D且满足 f ( x* )T d 0, 0 d SFD( x*, D)
则x*问题(9.1)的一个严格局部最优解.
证明：构造性的反证法
若x*不是问题(9.1)的最优解, 则必定存在序列{xk } D, 使得
(9.6)
则存在Lagrange乘子向量:* Rm1 ,* Rm-m1
使得
h jx(Lx(*x) *,
*
0, j
,
*) E
0
gi
(x*
)
0, i*
0,i*gi (x*) 0,i I
这里,
互补松弛条件
(9.7)
x L(x*, *,*) f (x*)
i* gi (x* )
* j
hj (x*)
第十三讲 约束优化问题的最优性条 件
• 凸规划问题的最优性条件 • 一般约束优化问题的最优性条件 • 约束品性
2
凸规划—求凸函数在凸集上的最小值问题 定理1：凸规划问题的局部最优解必定是其整体最优解
定理2：已知凸规划min f (x),x D Rn , 其中f , D是凸的且 f 连续可微. 则x* D是凸规划问题的最优解的充分必要条件是
？ ？ ？ 约束品性对研究约束问题的最优性条件非常重要
约束品性（约束规格）
SFD(x*,D) LFD(x*,D)
最优解 x*
KKT点 x*
9
基本概念
定义9.1.1 设x D, d Rn.若存在数 0, 使得
x d D, (0, ],
则称d是D在x处的一个可行方向. 记x处所有可行方向的集合为FD( x, D)
xk x* kdk x* 其中k 0, dk d. 所以,当k充分大时, xk N ( x*).
故 f (x*) f (xk ) f (x* kdk )
f (x*) kf ( x*)T dk o(|| kdk ||) 在上式两端除以k , 然后令k 0, 取极限即可得
f (x* )T d 0
iI
jE
(9.7)称为问题(9.1)的一阶必要条件— K - K - T条件
满足(9.7)的点x*称为问题(9.1）的一个KKT点.
6
KKT系统(9.7)除能用于最优解的判别, 而且能用来计算KKT点—可能的最优解.
约束问题的KKT 点 类似于无约束问题的驻点.
思考
若函数可导, 无约束问题的极值点一定是驻点, 请问约束问题的局部最优解一定是KKT点吗？？
若记x处函数f 的所有下降方向
集合为GD( x)
容易看出, 如果x*是(9.1)的最优
D
解, 则在该点不存在既下降又
可行的方向, 即
GD(x* ) FD( x*, D)
该条件称为几何最优性条件
d
●
x ● x d
可行
●
不可行
10
定义9.1.2 设x D, d Rn. 若存在向量序列{dk }和正数序
显然可行域D为闭集.
4
一般约束问题的最优性条件
1、一阶必要条件
定义函数 L : Rnm R :
L(x,, ) f (x) T gI (x) T hE (x)
f (x) igi (x) jhj (x)
iI
jE
该函数称为问题(.) 的Lagrange函数, 其中 Rm ,
Rm-m称为Lgrange乘子.
●
d
x
(a) 点x在D内部
D
xk
●
dk
d
x ●
(b) 点x在D的边界上
序列可行方向实际 序列可行方向包含可行
上就是可行方向
方向和边界的切线方向
显然, FD(x, D) SFD( x, D) (只需取dk d )
可行方向必是序列可行方向, 但反之不然.
12
定理9.1.1 设x* D是问题(9.1)的一个局部最优解, 则
0
,
g2
(x
)
0
是
显然,g1(x ),g2 (x )线性相关.
0 1
1
2 0
2
1 0
令
f (x) g1(x), f
0 f (x)不能用g1(x
线性组合表示
(x) ), g2
g2 (x), ( x )的正
方程组无解,见图, 故x不是KKT 点
8
约束优化问题的局部最优解不一定是KKT点！
f (x*) f (xk ) 且 xk x* (xk x*)
令
dk
xk || xk
x* x*
|| ,k
|| xk
x*
|| .
则xk
不一定啦
7
例 9.2. 已知约束问题
x2
min f (x) x2
g1(x) x (0, 2)
s.t. g( x) x ( x )
● g2 ( x )
g( x) x
f (x)
x1
请问x (0, 2)T 是KKT点吗,
o
是最优解吗？ 解：
x是最优解吗？
0
2
1
f
(x
)
1
,
g1(x )
f (x* )T d 0, d SFD(x*, D) 必要条件
证明：因为x*是局部最优解,由定义, 必存在邻域N (x* )，
使得 定理表明f最(x优) 解f处(x的* ),任何序x列可N (行x*方) 向不可能是目 另一标方函面数,在d该点SF处D的( x下*, D降),方存向在.可行点序列{xk }满足
f (x*)T (x-x*) 0, x D
3
考虑一般约束问题：
min f (x)
s.t. gi (x) 0, i I {1, 2, , m1} h j (x) 0, j E {m1 1, , m}
(9.1)
可行域：D {x : gi ( x) 0, i I ; h j ( x) 0, j E} 这里我们假设函数f , gi , h j连续可微
xL( x, , ) f (x) igi (x) jhj (x)
iI
jE
xL( x, , ) f ( x) igi ( x) jhj ( x) 5
iI
jE
一阶必要条件
定理9.2.1 设x* D是问题(9.1)的一个局部最优解,如果
SFD(x*,D) LFD(x*,D)
列{k },使得
x k dk D, k
且
lim
Hale Waihona Puke Baiduk
d
k
d
和
lim
k
k
0
则称d是D在x处的一个序列可行方向. D在x处的所有序
列可行方向的集合记作SFD(x, D).
令 xk x k dk ,由定义9.1.2知,{xk } D.
为理解序列可行方向, 我们来看看它的几何解释：
11
xk
D
●
dk
13
类似于无约束问题的极值条件, 进一步我们有关于SFD的 最优解的充分条件：
定理9.1.2 设x* D且满足 f ( x* )T d 0, 0 d SFD( x*, D)
则x*问题(9.1)的一个严格局部最优解.
证明：构造性的反证法
若x*不是问题(9.1)的最优解, 则必定存在序列{xk } D, 使得
(9.6)
则存在Lagrange乘子向量:* Rm1 ,* Rm-m1
使得
h jx(Lx(*x) *,
*
0, j
,
*) E
0
gi
(x*
)
0, i*
0,i*gi (x*) 0,i I
这里,
互补松弛条件
(9.7)
x L(x*, *,*) f (x*)
i* gi (x* )
* j
hj (x*)