最优化方法 第六章 二次规划
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 二次规划 quadratic program
研究问题
min q x 1 xTGx gT x 1
2 s.t aiT x bi i E
aiT x bi i I
其中G 是 nn 对称阵． 注：(1) 若Hesse阵是半正定的，则称为凸二次 规划，此问题有时并不比求解线性规划困难． (2) 对非凸二次规划，可能有多个局部极小点，
由上式可得Lagrange乘子：1* 2 , *2 1.
Lagrange方法
等式约束的二次规划问题的Lagrange函数为：
Lx, 1 xTGx gT x T AT x b 2
KT条件为：Lx, Gx g A 0
x
Lx, AT x b 0
矩阵形式为： G A x g AT 0 b
求解比较困难．
6.2 等式约束二次规划
等式约束二次规划
min q x 1 xTGx gT x
2 s.t AT x b
其中b Rm , A Rnm .
以下假设 A 为列满秩的，即 rA m .
直接消去法
对等式约束中矩阵 A 进行分块，使得 AB 为 mm 阶非奇异方阵，此时等式约束可改写成：
集合为w(x) E I x ，则 x也必是问题
min 1 xTGx d T x
2
(3)
s.t. aiT x bi , i E I x
的局部极小点.
反之，如果 x是(1)的可行点，且是问题(3)的 K-T 点，而且
相应的 Lagrange 乘子满足
i 0, i I x
(4)
则 x也是原问题(1)的 K-T 点.
上面两式就是在变量分解 xB x1, x2 , xN x3,
将(4)(5)代入(1)可得：
min
x3R
4 x32
x3 1 2 x32
6
由(6)可得：
x3
wenku.baidu.com
1 2
,
代入可得：x*
1,
3 2
,
1 2
T .
利用 A* g Gx* 可得：
2 1 3 1 1 1
101
1* *2
子
A* g Gx*
只需考虑该方程组的前m 行就可以给出*,
* AB1 gB GBBxB* GBN x*N
例1：用直接消去法求解：
min qx x12 x22 x32 1
s.t
x1 x2 x3 1 2
x2 x3 1
3
解：由(3)可得： x2 x3 1 4
将上式代入(2)可得： x1 2x3 5
称为有效集方法或者起作用集方法.
一般二次规划标准形式
min q(x) 1 xTGx d T x, 2
s.t. aiT x bi , i E,
(1)
aiT x bi , i I.
其中G是nn的对称矩阵.E,I 分别对应等式约束和
不等式约束指标集合.d, x,and ai,i E I 都是n维向量.
6.1
系数矩阵称为KKT矩
阵．
定理1: 假设 A 为列满秩矩阵，rA m, 若投影
Hesse ZTGZ 正定，则等式二次规划问题的 阵KKT矩阵: G A
K AT 0
是非奇异的，从而存在唯一的KKT x*,*
满足方程组(6对.1).
例2：用Lagrange方法求解：
min qx x12 x22 x32
s.t
x1 2x2 x3 4 0
x1 x2 x3 2 0
解：
2
G 2
2
b
4 2
1 1 A 2 1
1 1
rA 2
2 0
0
2
0 1 1 x1 0
0
2
1
x2
0
0
1
0 2
2 1
1 0
1
0
x3
1
0 4
1 1 1 0 0 2 2
等式约束二次规划问题
标准形式
min q(x) 1 xTGx d T x, 2
(2)
s.t. AT x b,
其中 x Rn,b Rm, A Rnm,d Rn,G Rnn且G是对称的，
设rank( A) m.
求解方法： 直接消去法；
Lagrange 乘子法.
2．理论基础
设 x是二次规划问题(1)的局部极小点，并且在 x处的有效
x*T , *T 2 , 10 , 6 , 8 , 4
其中
x*
2
7 7 , 10 , 6
T
7 ,
7
7
7 7 7
* 8 , 4 为最优乘子.
7 7
练习
(1)用Lagrange方法求解：
min f x 2x12 x22 x1x2 x1 x2
s.t x1 x2 1
6.3 凸二次规划的有效集方法
cˆ
1 2
bT
AB1GBB ABT b
g
T B
ABT b
如果Gˆ 正定，则可求出无约束问题的最优解为
x*N Gˆ 1gˆ , 代入可确定对应的 xB* , 从而得到二次规划
最优解：
x*
xB* x*N
ABT
b
ABT ANT Gˆ 1gˆ Gˆ 1gˆ
相应的最优Lagrange乘 * 可由下式确定，
ABT xB ANT xN b 相关的量 x, g, A 与 G 作如下分块：
x
xB xN
A
AB AN
G
GBB GNB
GBN GNN
g
gB gN
其中xB Rm, xN Rnm , 其余类似．
该分块使得 AB 为 mm阶非奇异方阵，因此 AB1 存在，此时由上面方程可得：
xB ABT 1 b ANT xN
将此代入qx, 则可将等式约束二次规划转化
为下列无约束优化问题：
min
xN Rnm
1 2
xTN Gˆ xN
gˆ T
xN
cˆ
其中 Gˆ GNN GNB ABT ANT AN AB1GBN AN AB1GBB ABT ANT
gˆ gN AN AB1gB GNB AN AB1GBB AB1b
证明: 设 x* 是(1)的可行点， 且是(3)的KT点，
因此存在i* i I x* E 使得：
Gx* d
i*ai 0
iI x* E
*i aiT x* bi 0, *i 0 ,i I x*
（求解不等式约束的方法）
一．不等式约束二次规划的有效集方法
1. 基本思想
对于存在不等式约束的二次规划，在每次的迭代中，以 已知的可行点为起点，把在该点起作用的约束作为等式约束， 将不起作用约束去掉，在此等式约束下极小化目标函数， 求 得新的比较好的可行点以后，重复以上做法.
通过解一系列等式约束的二次规划来实现不等式约束的 优化.
研究问题
min q x 1 xTGx gT x 1
2 s.t aiT x bi i E
aiT x bi i I
其中G 是 nn 对称阵． 注：(1) 若Hesse阵是半正定的，则称为凸二次 规划，此问题有时并不比求解线性规划困难． (2) 对非凸二次规划，可能有多个局部极小点，
由上式可得Lagrange乘子：1* 2 , *2 1.
Lagrange方法
等式约束的二次规划问题的Lagrange函数为：
Lx, 1 xTGx gT x T AT x b 2
KT条件为：Lx, Gx g A 0
x
Lx, AT x b 0
矩阵形式为： G A x g AT 0 b
求解比较困难．
6.2 等式约束二次规划
等式约束二次规划
min q x 1 xTGx gT x
2 s.t AT x b
其中b Rm , A Rnm .
以下假设 A 为列满秩的，即 rA m .
直接消去法
对等式约束中矩阵 A 进行分块，使得 AB 为 mm 阶非奇异方阵，此时等式约束可改写成：
集合为w(x) E I x ，则 x也必是问题
min 1 xTGx d T x
2
(3)
s.t. aiT x bi , i E I x
的局部极小点.
反之，如果 x是(1)的可行点，且是问题(3)的 K-T 点，而且
相应的 Lagrange 乘子满足
i 0, i I x
(4)
则 x也是原问题(1)的 K-T 点.
上面两式就是在变量分解 xB x1, x2 , xN x3,
将(4)(5)代入(1)可得：
min
x3R
4 x32
x3 1 2 x32
6
由(6)可得：
x3
wenku.baidu.com
1 2
,
代入可得：x*
1,
3 2
,
1 2
T .
利用 A* g Gx* 可得：
2 1 3 1 1 1
101
1* *2
子
A* g Gx*
只需考虑该方程组的前m 行就可以给出*,
* AB1 gB GBBxB* GBN x*N
例1：用直接消去法求解：
min qx x12 x22 x32 1
s.t
x1 x2 x3 1 2
x2 x3 1
3
解：由(3)可得： x2 x3 1 4
将上式代入(2)可得： x1 2x3 5
称为有效集方法或者起作用集方法.
一般二次规划标准形式
min q(x) 1 xTGx d T x, 2
s.t. aiT x bi , i E,
(1)
aiT x bi , i I.
其中G是nn的对称矩阵.E,I 分别对应等式约束和
不等式约束指标集合.d, x,and ai,i E I 都是n维向量.
6.1
系数矩阵称为KKT矩
阵．
定理1: 假设 A 为列满秩矩阵，rA m, 若投影
Hesse ZTGZ 正定，则等式二次规划问题的 阵KKT矩阵: G A
K AT 0
是非奇异的，从而存在唯一的KKT x*,*
满足方程组(6对.1).
例2：用Lagrange方法求解：
min qx x12 x22 x32
s.t
x1 2x2 x3 4 0
x1 x2 x3 2 0
解：
2
G 2
2
b
4 2
1 1 A 2 1
1 1
rA 2
2 0
0
2
0 1 1 x1 0
0
2
1
x2
0
0
1
0 2
2 1
1 0
1
0
x3
1
0 4
1 1 1 0 0 2 2
等式约束二次规划问题
标准形式
min q(x) 1 xTGx d T x, 2
(2)
s.t. AT x b,
其中 x Rn,b Rm, A Rnm,d Rn,G Rnn且G是对称的，
设rank( A) m.
求解方法： 直接消去法；
Lagrange 乘子法.
2．理论基础
设 x是二次规划问题(1)的局部极小点，并且在 x处的有效
x*T , *T 2 , 10 , 6 , 8 , 4
其中
x*
2
7 7 , 10 , 6
T
7 ,
7
7
7 7 7
* 8 , 4 为最优乘子.
7 7
练习
(1)用Lagrange方法求解：
min f x 2x12 x22 x1x2 x1 x2
s.t x1 x2 1
6.3 凸二次规划的有效集方法
cˆ
1 2
bT
AB1GBB ABT b
g
T B
ABT b
如果Gˆ 正定，则可求出无约束问题的最优解为
x*N Gˆ 1gˆ , 代入可确定对应的 xB* , 从而得到二次规划
最优解：
x*
xB* x*N
ABT
b
ABT ANT Gˆ 1gˆ Gˆ 1gˆ
相应的最优Lagrange乘 * 可由下式确定，
ABT xB ANT xN b 相关的量 x, g, A 与 G 作如下分块：
x
xB xN
A
AB AN
G
GBB GNB
GBN GNN
g
gB gN
其中xB Rm, xN Rnm , 其余类似．
该分块使得 AB 为 mm阶非奇异方阵，因此 AB1 存在，此时由上面方程可得：
xB ABT 1 b ANT xN
将此代入qx, 则可将等式约束二次规划转化
为下列无约束优化问题：
min
xN Rnm
1 2
xTN Gˆ xN
gˆ T
xN
cˆ
其中 Gˆ GNN GNB ABT ANT AN AB1GBN AN AB1GBB ABT ANT
gˆ gN AN AB1gB GNB AN AB1GBB AB1b
证明: 设 x* 是(1)的可行点， 且是(3)的KT点，
因此存在i* i I x* E 使得：
Gx* d
i*ai 0
iI x* E
*i aiT x* bi 0, *i 0 ,i I x*
（求解不等式约束的方法）
一．不等式约束二次规划的有效集方法
1. 基本思想
对于存在不等式约束的二次规划，在每次的迭代中，以 已知的可行点为起点，把在该点起作用的约束作为等式约束， 将不起作用约束去掉，在此等式约束下极小化目标函数， 求 得新的比较好的可行点以后，重复以上做法.
通过解一系列等式约束的二次规划来实现不等式约束的 优化.