第17讲 凸二次规划的有效集方法

一般二次规划标准形式 一般二次规划标准形式 二次规划
min q ( x) = 1 T x Gx + g T x, 2 s.t. aiT x = bi , i ∈ E, aiT x ≥ bi , i ∈ I.
(1)
的对称矩阵. 其中 G 是 n × n 的对称矩阵 . E , I 分别对应等式约束和 不等式约束指标集合. 维向量. 不等式约束指标集合. g , x, and {ai } , i ∈ E U I 都是 n 维向量.
1 T T p Gp + ∇q ( xk ) p + c 2
T 为常数项，不影响最优解， 这里 c = xk Gxk + g T xk 为常数项，不影响最优解，从
1 2
而可以去掉， 而可以去掉，得到
1 T min g k p + p Gp, 2 s.t. aiT p = 0, i ∈ wk ,
T
(10)
w （ 式求得 ik ； k := wk \ {ik } , xk +1 = xk ， Step4. 由 7） 转
Step 3. 由（9）计算α k ：
xk +1 = xk + α k pk ；
4．有效集方法步骤 Step 3. 由（9）计算α k ：
xk +1 = xk + α k pk ；
Step4. 如果α k = 1，则转 Step4. 否则 ，找到 j ∉ wk 使 得
∗ 列 {w( xk )} ( k = 0,1,L) ，使得 w( x0 ) → w( x ) ，以获得原问题的最优解 以获得原问题的最优解.
3. 算法推导 算法推导 有效集方法是一个可行点方法 可行点方法， 有效集方法是一个可行点方法，即每个迭代点都要求是 可行点，每次迭代求解一个等式约束的二次规划. 可行点，每次迭代求解一个等式约束的二次规划 如果等式约束二次规划的解是原约束问题的可行点， 如果等式约束二次规划的解是原约束问题的可行点， 则判 别相应的 λ ∗ 是否满足
aT ( xk + α k pk ) = b j ； j
令 wk := wk U { j} . Step 4. wk +1 := wk ; k := k + 1.
5.
例题： 例题：
min s.t .
q ( x ) = ( x1 − 1) 2 + ( x 2 − 2.5) 2 x1 − 2 x 2 + 2 ≥ 0 − x1 − 2 x 2 + 6 ≥ 0 − x1 + 2 x 2 + 2 ≥ 0 x1 ≥ 0 x2 ≥ 0
2．理论基础 ． 是二次规划问题(1)的局部极小点 的局部极小点， 设 x∗ 是二次规划问题 的局部极小点，并且在 x∗ 处的有效 集合为 w( x∗ ) = E U I ( x∗ ) ，则 x∗ 也必是问题
min
1 T x Gx + g T x 2 s.t. aiT x = bi , i ∈ E U I ( x∗ )
−1 p = ， 由 (9) 式 可 得 α1 = 1 ， 从 而 产 生 新 的 迭 代 点 0
(1)
2 x ( ) = (1,0 ) . T
此 时 ， 由 于 没 有 回 代 约 束 w2 = w1 = {5} . 再 解 子 问 题 (10).
2 乘子， p ( ) = 0 ，解 Lagrange 乘子，得到 λ5 = −5 ，从而从工作集中
iห้องสมุดไป่ตู้
（1）的最优解 ）的最优解. 否则令 ik ∈ wk I I ,使得 使得
k
λi( k ) = min λik λik < 0, i ∈ wk I I .
然后重新计算(5)式 且令 wk +1 = wk \ {ik } ，然后重新计算 式.
{
}
(7)
可能不是原问题 原问题（ ） 设(5)式的解 pk ≠ 0 ，此时 xk + pk 可能不是原问题（1）的 式的解 可行点， 可行点，此时在 xk 和 xk + pk 之间的线段上取靠近 xk + pk 最近的 可行点取 可行点取为下次迭代的迭代点 xk +1 .
等式约束二次规划问题
标准形式
min q ( x) = 1 T x Gx + g T x, 2 s.t. AT x = b,
(2 (2)
其中 x ∈ R n , b ∈ R m , A ∈ R n×m , g ∈ R n , G ∈ R n×n 且 G 是对称的， 是对称的， 设 rank ( A) = m . 求解方法： 直接变量消去法； 求解方法： 直接变量消去法； 乘子法. Lagrange 乘子法.
−1 2 2 0 −2 A = , G = 0 2 , g = −5 , 0 1
T
−1 2 λ3 2 0 2 −2 从而， 从而，可以推出 即是 λ = 0 2 0 + −5 ,即是 0 1 5
i
(5)
乘子. 的 K-T 点， λ k ( i ∈ wk ) 是相应的 Lagrange 乘子 如果 pk = 0 ，则知 xk 是问题
min g T x + 1 T x Gx, 2 s.t. aiT x = 0, i ∈ wk ,
(6)
的 K-T 点.
都成立， 如果此时 λ k ≥ 0 对一切 i ∈ wk I I 都成立 ， 则 xk 也是原问题
λ ∗ ≥ 0, i ∈ I ( x∗ ) ，
i∈E U I x∗
其中 λ 满足
∗
Gx∗ + g =
∑
( )
ai λi∗ .
如果满足，则停止计算 如果满足，则停止计算. 否则， 去掉一约束重新求解约束问题 一约束重新求解约束问题. 否则，可去掉一约束重新求解约束问题 当等式二次规划之解不是原问题的可行点， 则需要增加 增加约 当等式二次规划之解不是原问题的可行点， 则需要增加约 束然后重新求解等式约束问题. 束然后重新求解等式约束问题
( x, λ ) ∈ R n+m ，使得
g + Gx = Aλ aiT x = bi , i ∈ E aiT x ≥ bi , i ∈ I
λ ( aiT x − bi ) = 0, i ∈ I λi ≥ 0, i ∈ I
（11） ）
成立， 为不等式约束指标集， 成立，其中 I 为不等式约束指标集，λ = {λ1 ,L λm } , A = [ a1 ,L am ].
xk +1 = xk + α k pk
(8)
其中， 其中，
T b −α x α k = min 1, min i T i k . i∉wk α T pk < 0 α i pk i
(9)
（5）式的简化计算 ） 令 x = xk + p ， 则
q( x) = g T ( xk + p ) + = 1 T xk + p ) G ( xk + p ) ( 2
T
−1 0 λ3 2 T = ，可推出 ( λ3 , λ5 ) = ( −2, −1) . 2 1 λ −5 5
此时， 为最负的， 此时，由于约束的乘子 λ3 = −2 为最负的，从工作集 w0 中去 掉其约束， 再解子问题(10). 当 k = 1 的时候 ， 的时候， 掉其约束 ， 得到 w1 = {5} .再解子问题 再解子问题
4．有效集方法步骤 Step 1. 计算可行的初始点 x0 ，令 w0 = E U I ( x0 ) ， k := 0 . 解等式约束二次规划问题（10） ，求得 Step 2. 解等式约束二次规划问题（10） 求得 pk ； ， 如果 pk ≠ 0 ，则转 Step 3； 如果 λi( k ) ≥ 0 ( i ∈ wk I I ) ,则停止，得到解 x∗ = xk ； 则停止，
第六章 二次规划 quadratic program
一．不等式约束的有效集方法 二．二次规划的对偶性质 三．二次规划的其他算法
一．不等式约束二次规划的有效集方法 1. 基本思想 对于存在不等式约束的二次规划，在每次的迭代中， 对于存在不等式约束的二次规划，在每次的迭代中，以 已知的可行点为起点，把在该点起作用的约束作为等式约束， 已知的可行点为起点，把在该点起作用的约束作为等式约束， 将不起作用约束去掉，在此等式约束下极小化目标函数， 将不起作用约束去掉，在此等式约束下极小化目标函数， 求 得新的比较好的可行点以后，重复以上做法. 得新的比较好的可行点以后，重复以上做法 通过解一系列等式约束的二次规划来实现不等式约束的 优化. 优化 有效集方法或者起作用集方法. 称为有效集方法或者起作用集方法 称为有效集方法或者起作用集方法
x2
（2，2）
x4
x5
（4，1）
（0，1）
x2
x3
（2，0）
x1 x
0
x1
2 记上面的约束为 1 到 5，假设初始可行点为 x = ，易知 ， 0
0
求解 （ ） 求得解为 p1 = 0 式 有效约束为 3 和 5， ， 从而 w0 = {3,5} .求解 10） ， （此时 k = 1）. Lagrange 乘子的求解： 乘子的求解： Aλ ∗ = Gx∗ + g ,
bt − atT xk 的定义, < 0 ，则把指标 t 加到起作 由α k 的定义 如果α k = T at pk
用约束集合当中. 用约束集合当中
（10） 由公式（ ） 当 k = 4 时， ）的解为 p ( 4) = [ 0.4,0.2] ，由公式（9）得 （
T
无回代约束， 到α 4 = 1. 此时新的迭代点 x( 5) = [1.4,1.7 ] ,无回代约束，w5 = {1} . 无回代约束