凸二次规划的有效集方法

这些算法大致可分为四种类型:
梯度投影算法; 仿射尺度算法;
路径跟踪法; 势函数减少法.
作业
用有效集方法(积极集方法)求解下列二次规划问题：
min q(x) x12 x1x2 2x22 x1 10x2 s.t. 3x1 2x2 6
x1 0 x2 0
初始可行点选为：
最优解为
x0 0，0T 。
Step 1. 计算可行的初始点 x0，令w0 E U I x0 ，k : 0.
Step 2. 解等式约束二次规划问题（10），求得 pk ； 如果 pk 0，则转 Step 3；
如果ik 0i wk I I ,则停止，得到解 x xk ； 由（7）式求得ik ；wk : wk \ ik, xk1 xk ，转 Step4.
Karmarkar 提出的求解线性规划内点算法改进得到.
自从1984年Karmarkar的著名算法—梯度投影算法(内点 算法)发表以来, 由其理论上的多项式收敛性及实际计算的有 效性, 使得内点算法成为近十几年来优化界研究的热点,通过 中外学者的深入研究, 线性规划与凸二次规划的内点算法研 究已取得了不少成果.
1
2
0 1
3 5
2 5
，可推出3,
5
2,
1T
.
此时，由于约束的乘子3 2为最负的，从工作集 w0 中去
掉其约束，得到 w1 5.再解子问题(10). 当 k 1的时候，
p1
1
0
，
由
(9)
式
可
得
1
1
，
从
而
产
生
新
的
迭
代
点
x2 1,0T .
此 时 ， 由 于 没 有 回 代 约 束 w2 w1 5 . 再 解 子 问 题 (10).
（5）式的简化计算
令 x xk p， 则
q(x)
gTΒιβλιοθήκη Baidu
xk
p
1 2
xk
p T
G
xk
p
1 2
pTGp q xk
T
pc
这里c
1 2
xkT Gxk
gT
xk 为常数项，不影响最优解，从
而可以去掉，得到
min
gkT
p
1 2
pT Gp,
(10)
s.t. aiT p 0, i wk ,
4．有效集方法步骤
p2 0，解 Lagrange 乘子，得到5 5，从而从工作集中 去掉约束 5，得到w3 .
第三次迭代是解无约束最优化问题， p3 0, 2.5T ，由
公式（9）得到3 0.6. 此时新的迭代点为 x4 1,1.5T ,有一
个回代约束，为约束 1，从而w4 1.
说明：
由k 的定义,
5. 例题：
min q(x) (x1 1)2 (x2 2.5)2
s.t. x1 2x2 2 0 x1 2x2 6 0 x1 2x2 2 0 x1 0 x2 0
x2
（0，1）
（2，2） x4 x5
（4，1）
x 2 x 3 （2，0）
x1
x0 x1
记上面的约束为
1
到
5，假设初始可行点为
x0
2 0
，易知
有效约束为 3 和 5，从而w0 3,5.求解（10）式，求得解为 p1 0
（此时k 1）. Lagrange 乘子的求解： A Gx g ,
AT
1
0
2 1
,G
2 0
02 ,
g
2 5
,
从而，可以推出
1
0
2T 1
3
5
2 0
0 2
2 0
2 5
,即是
集合为w(x) E U I x ，则 x也必是问题
min 1 xTGx gT x
2
(3)
s.t. aiT x bi , i E U I x
的局部极小点.
反之，如果 x是(1)的可行点，且是问题(3)的 K-T 点，而且
相应的 Lagrange 乘子满足
i 0, i I x
(4)
解当且仅当存在 , y 是对偶问题之解且 x G1y以及是
原问题在 x处的 Lagrange 乘子.
原问题无可行点当且仅当对偶问题无界.
三. 二次规划的其他算法
1．Lemke 算法 基本思想
把线性规划的单纯形方法适当修改，再用来求二次规划 的 K-T 点. 2. 对偶方法
3. 内点算法 基本思想 每个迭代点都是可行域内部点的算法. 由
3. 算法推导 有效集方法是一个可行点方法，即每个迭代点都要求是
可行点，每次迭代求解一个等式约束的二次规划. 如果等式约束二次规划的解是原约束问题的可行点，则判
别相应的 是否满足
0, i I x ，
其中 满足
Gx g
aii .
iEUI x
如果满足，则停止计算. 否则，可去掉一约束重新求解约束问题. 当等式二次规划之解不是原问题的可行点，则需要增加约
1 2
，9 4
T
束然后重新求解等式约束问题.
在第k 次迭代，有可行点 xk 以及工作集wk ，其中wk 是由 所有的等式约束和有效不等式约束组成.
设 pk 是问题
min
gT
xk
p
1 2
xk
p T
G
xk
p,
(5)
s.t. aiT p 0, i wk ,
的
K-T
点，
k i
i
wk
是相应的
Lagrange
乘子.
如果 pk 0，则知 xk 是问题
解为 x x5 1.4,1.7T 迭代终止.
二． 二次规划问题的对偶性质
对于一般二次规划问题(1), 当 G 正半定时，等价于求解
x, Rnm，使得
g Gx A
aiT x bi , i E aiT x bi , i I
aiT x bi 0, i I
（11）
i 0, i I
第六章 二次规划 quadratic program
一．不等式约束的有效集方法
二．二次规划的对偶性质
三．二次规划的其他算法
一．不等式约束二次规划的有效集方法
1. 基本思想
对于存在不等式约束的二次规划，在每次的迭代中，以 已知的可行点为起点，把在该点起作用的约束作为等式约束， 将不起作用约束去掉，在此等式约束下极小化目标函数， 求 得新的比较好的可行点以后，重复以上做法.
成立，其中 I 为不等式约束指标集， 1,L m, A a1,L am .
记
y A g
ti aTi x ,bi i I
则（11）式可写成
0
M
0
b H 1 y
AT I
x
tme1
M
tm
0
M
0
（12） （13）
从而等价于(证明略)
max bT 1 yTG1y Q , y
设(5)式的解 pk 0，此时 xk pk 可能不是原问题（1）的
可行点，此时在 xk 和 xk pk 之间的线段上取靠近 xk pk 最近的
可行点取为下次迭代的迭代点 xk1.
xk1 xk k pk
(8)
其中，
k
min
1,
min
iwk
T
i
pk
0
bi
iT xk
T i
pk
.
(9)
等式约束二次规划问题
标准形式
min q(x) 1 xTGx gT x, 2
(2)
s.t. AT x b,
其中 x Rn,b Rm, A Rnm, g Rn,G Rnn且G是对称的，
设rank( A) m.
求解方法： 直接变量消去法；
Lagrange 乘子法.
2．理论基础
设 x是二次规划问题(1)的局部极小点，并且在 x处的有效
则 x也是原问题(1)的 K-T 点.
2．理论基础 有效集方法的难点在于事先一般不知道有效集 w(x) .
2．理论基础
解决办法： 构造一个集合序列去逼近有效集 w(x) ，即从初始点出发，计算有效 集 w(x0 ) ，解对应的等式约束子问题，重复这一做法，得到有效集序
列w(xk ) k 0,1,L ，使得 w(x0 ) w(x) ，以获得原问题的最优解.
通过解一系列等式约束的二次规划来实现不等式约束的 优化.
称为有效集方法或者起作用集方法.
一般二次规划标准形式
min q(x) 1 xTGx gT x, 2
s.t. aiT x bi , i E,
(1)
aiT x bi , i I.
其中G是nn的对称矩阵. E,I 分别对应等式约束和
不等式约束指标集合. g, x,and ai,i E U I 都是n维向量.
如果k
bt atT xk atT pk
0，则把指标t 加到起作
用约束集合当中.
当k 4时，（10）的解为 p4 0.4,0.2T ，由公式（9）得 到4 1. 此时新的迭代点 x5 1.4,1.7T ,无回代约束，w5 1.
当 k 5时，（10）的解为 p5 0，此时的1 1.25，最优
min gT x 1 xTGx,
2
(6)
的 K-T 点.
s.t. aiT x 0, i wk ,
如果此时k i
0 对一切 i
wk
I
I 都成立，则 xk 也是原问题
（1）的最优解.
否则令ik wk I I ,使得
k ik
min
ik ik 0,i wk I
I
.
(7)
且令wk1 wk \ ik，然后重新计算(5)式.
Step 3. 由（9）计算k ： xk1 xk k pk ；
4．有效集方法步骤
Step 3. 由（9）计算k ： xk1 xk k pk ；
如果k 1，则转 Step4. 否则 ，找到 j wk 使 得
aTj xk k pk bj ； 令wk : wk U j.
Step 4. wk1 : wk ; k : k 1.
2
s.t. A y g,
(14)
i 0, i I. 称（14）为（1）的对偶问题，（1）式相应的称为原始问题.
对偶问题的简化形式
min (b ATG1g)T 1 T ATG1A ,
2
(15)
s.t. i 0, i I.
定理 1 设G正定，如果原始问题有可行点，则 x X 是（1）的