凸二次规划的原-对偶内点算法

凸二次规划及其对偶问题

根据Lagrange对偶原理： 原凸二次规划 max minL( x, y, z )
y,z x

对偶问题：
1 T T max d ( y , z ) x Qx b y y,z 2 ( D) s.t.Qx c AT y z 0, z 0 Ax b, x 0

Lagrange函数：
L( x, y, z )

1 T x Qx cT x yT ( Ax b) z T x 2
Karush-Kuhn-Tucher条件：
x
Qx c AT y* z * 0 *T * 为(P)的最优解 z x 0, z* 0 Ax* b 0, y 0
最优化理论与方法报告
凸二次规划的 原-对偶内点算法
西安交通大学理学院 崔恒斌 刘蓓 刘玉英 2011.04.28
l1-magic
凸二次规划及其对偶问题

凸二次规划问题
1 T T min p ( x ) x Qx c x x 2 ( P) s.t Ax b x 0

假设： （i） 集合 S x Rn | Ax b, x 0 T （ii）集合 T ( y, z) | Qx A y z c, z 0
凸二次规划及其对偶问题

将对数障碍罚函数法扩展到凸二次规划中：
n 1 T T minF x Qx c x ln xi 2 i 1 s.t. Ax b, x 0

记上述系统的解
x , y , z
W
凸二次规划及其对偶问题

原问题与对偶问题的对偶间隙为：
p( x) d ( x) x( )T z ( ) n

显然，当 0时，p( x) d ( x) 0 定理：
在假设条件(i)，(ii)下，上述系统的解 W ， x 、 y , z 分别收敛到 当 0 时， 原问题（P）和对偶问题（D）的最优解。
1 0 Q 0 0 0 0 0 2 0 0 0 2 0 0 0 1
1 2 1 2 2 2 min x x x x4 13 y1 5 y2 1 2 3 2 2 s.t. x1 y1 z1 7 D x2 y1 y2 x2 5 x3 y1 z3 24 x4 y2 z4 9 z , z , z , z 0 1 2 3 4
x3
0.5 0.4 0.3 0.2
11.3
11.2
11.1
0.1
11 0 20 40 60 80 100 iteration step 120 140 160 180
0
0
20
40
60
80 100 iteration step
120
ห้องสมุดไป่ตู้
140
160
180
[6.33304.999511.66640.0005]T
7 5 c 24 9
1 1 1 0 A 0 1 0 1
13 b 5
初始点： x0 (6, 4,11,1)T , y0 (3, 3)T , z 0 (2,3,1,13)T 参数： 0.1, 0.12, 0.01
称为壁垒参数（或障碍因子） 其中 0 ，

相应的KKT条件为： Ax b, x 0 T Qx A y z c, z 0 XZe e
（原可行性） （对偶可行性） （互补松弛性） Z diag ( z1 , z2 , , zn ) ， X diag ( x1 , x2 , , xn ) ， 其中， e (1,1, ,1)T
120
140
160
180
4
0
20
40
60
80 100 iteration step
120
140
160
180
the value of x3 in the iteration 11.7
the value of x4 in the iteration 1 0.9
11.6
0.8
11.5
0.7 0.6
x4
11.4
数值实验
the value of x1 in the iteration 6.35 6.3
4.8 5 4.9 the value of x2 in the iteration
6.25 6.2
4.7 4.6
x1
x2
4.5 4.4 4.3 4.2
6.15 6.1 6.05
4.1
6
0
20
40
60
80 100 iteration step
数值实验
the value of F in the iteration -161 -162 -163 -164 -165 -166 -167 -168 -169
F
0
20
40
60
80 100 iteration step
120
140
160
180
迭代过程中目标函数的变化情况 1989年，R.C.Monteiro和I.Adler给出了用原-对偶内点 算法求解凸二次规划问题的一个版本，并证明了其复 杂度为 O(n3 L) ，其中迭代次数为 O( nL) 。
主程序
结论与展望






原-对偶内点算法融合了对偶原理、Lagrange乘子法、内点罚 函数法和Newton法，具有传统优化的特点，同时也大大扩 大了内点算法的应用领域； 原-对偶内点算法在解决线性规划、二次规划、半定规划、 锥规划以及压缩传感、机器学习问题中起到了很好的作用； 原-对偶内点算法在初始值的确定上，灵活度远大于一般的 内点算法； 对于原-对偶内点算法加速技术的研究，主要还是集中在如 何快速的求解step3中的线性方程组上； 原-对偶内点算法是一类具有广泛应用的算法，值得大家关 注，并能在以后的学习和科研中加以运用； 参考资料：A Mathematical View of Interior-Point Methods for Convex Optimization等。
算法分析

初始点和障碍因子必须满足如下条件：
f 0 0e 0 0 T 0 x z T 0 T 0 0 0 0 0 0 0 其中， ， e (1,1, ,1) ， f x1 z1 , x2 z2 , , xn zn

障碍因子更新策略： k 1 k 1
n

n
算法具体步骤：
Step1：选取初始点 W 0 x0 , y 0 , z 0 W ，且满足 式，给定较 0 ，置 k 0 ； 小的正数 , ；给定终止误差 T x k为（P） Step2：计算对偶间隙 x k z k ，则停止迭代， 的近似解；否则转Step3； Step3：令 k 1 k 1 n ，计算 W k x, y, z Step4：W k 1 W k W k， k k 1 ，转Step2
注：
Ax b Ax k T k T k k Qx A y z Qx A y z c Z k x X k z k e Z k X k e
数值实验
考虑如下凸二次规划问题及其对偶问题：
1 2 1 2 2 2 min x x x x4 7 x1 5 x2 24 x3 9 x4 1 2 3 2 2 P s.t.x1 x2 x3 13 x2 x4 5 x1 , x2 , x3 , x4 0