完整版第17讲凸二次规划的有效集方法.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 二次规划 quadratic program
一．不等式约束的有效集方法
二．二次规划的对偶性质
三．二次规划的其他算法
.精品课件.
1
一．不等式约束二次规划的有效集方法
1. 基本思想
对于存在不等式约束的二次规划，在每次的迭代中，以 已知的可行点为起点，把在该点起作用的约束作为等式约束， 将不起作用约束去掉，在此等式约束下极小化目标函数， 求 得新的比较好的可行点以后，重复以上做法.
通过解一系列等式约束的二次规划来实现不等式约束的 优化.
称为有效集方法或者起作用集方法.
.精品课件.
2
一般二次规划标准形式
min q(x) 1 xTGx gT x, 2
s.t. aiT x bi , i E,
(1)
aiT x bi , i I.
其中G是nn的对称矩阵. E,I 分别对应等式约束和
Step 2. 解等式约束二次规划问题（10），求得 pk ； 如果 pk 0，则转 Step 3；
如果ik 0i wk I ,则停止，得到解 x xk ； 由（7）式求得ik ；wk : wk \ ik, xk1 xk ，转 Step4.
Step 3. 由（9）计算k ： xk1 xk k pk ；
16
记上面的约束为
1
到
5，假设初始可行点为
x0
2 0
，易知
有效约束为 3 和 5，从而w0 3,5.求解（10）式，求得解为 p1 0
（此时k 1）. Lagrange 乘子的求解： A Gx g ,
AT
1
0
2 1
,G
2 0
02 ,
g
2 5
,
从而，可以推出
1
0
2T 1
3
5
2 0
14
5. 例题：
min q(x) (x1 1)2 (x2 2.5)2
s.t. x1 2x2 2 0 x1 2x2 6 0 x1 2x2 2 0 x1 0 x2 0
.精品课件.
15
x2
（0，1）
（2，2） x4 x5
（4，1）
x2 x3 （2，0）
x1
x0 x1
.精品课件.
其中 满足
Gx g
aii .
iE I x
如果满足，则停止计算. 否则，可去掉一约束重新求解约束问题. 当等式二次规划之解不是原问题的可行点，则需要增加约
束然后重新求解等式约束问题.
.精品课件.
8
在第k 次迭代，有可行点 xk 以及工作集wk ，其中wk 是由 所有的等式约束和有效不等式约束组成.
列w(xk ) k 0,1, ，使得 w(x0 ) w(x) ，以获得原问题的最优解.
.精品课件.
7
3. 算法推导 有效集方法是一个可行点方法，即每个迭代点都要求是
可行点，每次迭代求解一个等式约束的二次规划. 如果等式约束二次规划的解是原约束问题的可行点，则判
别相应的 是否满足
0, i I x ，
.精品课件.
9
如果此时k i
0 对一切 i
wk
I 都成立，则 xk 也是原问题
（1）的最优解.
否则令ik wk I ,使得
k ik
min
ik
ik 0,i wk
I.
(7)
且令wk1 wk \ ik，然后重新计算(5)式.
.精品课件.
10
设(5)式的解 pk 0，此时 xk pk 可能不是原问题（1）的
设 pk 是问题
min
gT
xk
p
1 2
xk
p T
G
xk
p,
(5)
s.t. aiT p 0, i wk ,
的
K-T
点，
k i
i
wk
是相应的
Lagrange
乘子.
如果 pk 0，则知 xk 是问题
min gT x 1 xTGx,
2
(6)
的 K-T 点.
s.t. aiT x 0, i wk ,
gT
xk
p
1 2
xk
p T
G
xk
p
1 2
pTGp q xk
T
pc
这里c
1 2
xkT Gxk
gT
xk 为常数项，不影响最优解，从
而可以去掉，得到
min
gkT
p
1 2
pT Gp,
(10)
s.t. aiT p 0, i wk ,
.精品课件.
12
4．有效集方法步骤
Step 1. 计算可行的初始点 x0，令w0 E I x0 ，k : 0.
.精品课件.
13
4．有效集方法步骤
Step 3. 由（9）计算k ： xk1 xk k pk ；
如果k 1，则转 Step4. 否则 ，找到 j wk 使 得
aTj xk k pk bj ； 令wk : wk j.
Step 4. wk1 : wk ; k : k 1.
.精品课件.
不等式约束指标集合. g, x,and ai,i E I 都是n维向量.
.精品课件.
3
等式约束二次规划问题
标准形式
min q(x) 1 xTGx gT x, 2
(2)
s.t. AT x b,
其中 x Rn,b Rm, A Rnm, g Rn,G Rnn且G是对称的，
设rank( A) m.
反之，如果 x是(1)的可行点，且是问题(3)的 K-T 点，而且
相应的 Lagrange 乘子满足
i 0, i I x
(4)
则 x也是原问题(1)的 K-T 点.
.精品课件.
5
2．理论基础 有效集方法的难点在于事先一般不知道有效集 w(x) .
.精品课件.
6
2．理论基础
解决办法： 构造一个集合序列去逼近有效集 w(x) ，即从初始点出发，计算有效 集 w(x0 ) ，解对应的等式约束子问题，重复这一做法，得到有效集序
求解方法： 直接变量消去法；
Lagrange 乘子法.
.精品课件.
4
2．理论基础
设 x是二次规划问题(1)的局部极小点，并且在 x处的有效
集合为w(x) E I x ，则 x也必是问题
min 1 xTGx gT x
2
(3)
s.t. aiT x bi , i E I x
的局部极小点.
可行点，此时在 xk 和 xk pk 之间的线段上Baidu Nhomakorabea靠近 xk pk 最近的
可行点取为下次迭代的迭代点 xk1.
xk1 xk k pk
(8)
其中，
k
min
1,
min
iwk
T
i
pk
0
bi
iT xk
T i
pk
.
(9)
.精品课件.
11
（5）式的简化计算
令 x xk p， 则
q(x)
0 2
2 0
2 5
,即是
1
2
0 1
3 5
2 5
，可推出3,
5
2,
1T
.
.精品课件.
17
此时，由于约束的乘子3 2为最负的，从工作集 w0 中去
一．不等式约束的有效集方法
二．二次规划的对偶性质
三．二次规划的其他算法
.精品课件.
1
一．不等式约束二次规划的有效集方法
1. 基本思想
对于存在不等式约束的二次规划，在每次的迭代中，以 已知的可行点为起点，把在该点起作用的约束作为等式约束， 将不起作用约束去掉，在此等式约束下极小化目标函数， 求 得新的比较好的可行点以后，重复以上做法.
通过解一系列等式约束的二次规划来实现不等式约束的 优化.
称为有效集方法或者起作用集方法.
.精品课件.
2
一般二次规划标准形式
min q(x) 1 xTGx gT x, 2
s.t. aiT x bi , i E,
(1)
aiT x bi , i I.
其中G是nn的对称矩阵. E,I 分别对应等式约束和
Step 2. 解等式约束二次规划问题（10），求得 pk ； 如果 pk 0，则转 Step 3；
如果ik 0i wk I ,则停止，得到解 x xk ； 由（7）式求得ik ；wk : wk \ ik, xk1 xk ，转 Step4.
Step 3. 由（9）计算k ： xk1 xk k pk ；
16
记上面的约束为
1
到
5，假设初始可行点为
x0
2 0
，易知
有效约束为 3 和 5，从而w0 3,5.求解（10）式，求得解为 p1 0
（此时k 1）. Lagrange 乘子的求解： A Gx g ,
AT
1
0
2 1
,G
2 0
02 ,
g
2 5
,
从而，可以推出
1
0
2T 1
3
5
2 0
14
5. 例题：
min q(x) (x1 1)2 (x2 2.5)2
s.t. x1 2x2 2 0 x1 2x2 6 0 x1 2x2 2 0 x1 0 x2 0
.精品课件.
15
x2
（0，1）
（2，2） x4 x5
（4，1）
x2 x3 （2，0）
x1
x0 x1
.精品课件.
其中 满足
Gx g
aii .
iE I x
如果满足，则停止计算. 否则，可去掉一约束重新求解约束问题. 当等式二次规划之解不是原问题的可行点，则需要增加约
束然后重新求解等式约束问题.
.精品课件.
8
在第k 次迭代，有可行点 xk 以及工作集wk ，其中wk 是由 所有的等式约束和有效不等式约束组成.
列w(xk ) k 0,1, ，使得 w(x0 ) w(x) ，以获得原问题的最优解.
.精品课件.
7
3. 算法推导 有效集方法是一个可行点方法，即每个迭代点都要求是
可行点，每次迭代求解一个等式约束的二次规划. 如果等式约束二次规划的解是原约束问题的可行点，则判
别相应的 是否满足
0, i I x ，
.精品课件.
9
如果此时k i
0 对一切 i
wk
I 都成立，则 xk 也是原问题
（1）的最优解.
否则令ik wk I ,使得
k ik
min
ik
ik 0,i wk
I.
(7)
且令wk1 wk \ ik，然后重新计算(5)式.
.精品课件.
10
设(5)式的解 pk 0，此时 xk pk 可能不是原问题（1）的
设 pk 是问题
min
gT
xk
p
1 2
xk
p T
G
xk
p,
(5)
s.t. aiT p 0, i wk ,
的
K-T
点，
k i
i
wk
是相应的
Lagrange
乘子.
如果 pk 0，则知 xk 是问题
min gT x 1 xTGx,
2
(6)
的 K-T 点.
s.t. aiT x 0, i wk ,
gT
xk
p
1 2
xk
p T
G
xk
p
1 2
pTGp q xk
T
pc
这里c
1 2
xkT Gxk
gT
xk 为常数项，不影响最优解，从
而可以去掉，得到
min
gkT
p
1 2
pT Gp,
(10)
s.t. aiT p 0, i wk ,
.精品课件.
12
4．有效集方法步骤
Step 1. 计算可行的初始点 x0，令w0 E I x0 ，k : 0.
.精品课件.
13
4．有效集方法步骤
Step 3. 由（9）计算k ： xk1 xk k pk ；
如果k 1，则转 Step4. 否则 ，找到 j wk 使 得
aTj xk k pk bj ； 令wk : wk j.
Step 4. wk1 : wk ; k : k 1.
.精品课件.
不等式约束指标集合. g, x,and ai,i E I 都是n维向量.
.精品课件.
3
等式约束二次规划问题
标准形式
min q(x) 1 xTGx gT x, 2
(2)
s.t. AT x b,
其中 x Rn,b Rm, A Rnm, g Rn,G Rnn且G是对称的，
设rank( A) m.
反之，如果 x是(1)的可行点，且是问题(3)的 K-T 点，而且
相应的 Lagrange 乘子满足
i 0, i I x
(4)
则 x也是原问题(1)的 K-T 点.
.精品课件.
5
2．理论基础 有效集方法的难点在于事先一般不知道有效集 w(x) .
.精品课件.
6
2．理论基础
解决办法： 构造一个集合序列去逼近有效集 w(x) ，即从初始点出发，计算有效 集 w(x0 ) ，解对应的等式约束子问题，重复这一做法，得到有效集序
求解方法： 直接变量消去法；
Lagrange 乘子法.
.精品课件.
4
2．理论基础
设 x是二次规划问题(1)的局部极小点，并且在 x处的有效
集合为w(x) E I x ，则 x也必是问题
min 1 xTGx gT x
2
(3)
s.t. aiT x bi , i E I x
的局部极小点.
可行点，此时在 xk 和 xk pk 之间的线段上Baidu Nhomakorabea靠近 xk pk 最近的
可行点取为下次迭代的迭代点 xk1.
xk1 xk k pk
(8)
其中，
k
min
1,
min
iwk
T
i
pk
0
bi
iT xk
T i
pk
.
(9)
.精品课件.
11
（5）式的简化计算
令 x xk p， 则
q(x)
0 2
2 0
2 5
,即是
1
2
0 1
3 5
2 5
，可推出3,
5
2,
1T
.
.精品课件.
17
此时，由于约束的乘子3 2为最负的，从工作集 w0 中去