第四章 二次规划

第四章 约束非线性优化
最优化方法之约束非线性规划
二次规划
一个带有二次目标函数和线性约束的最优化问题称为二次规划. 这类问题不仅自身有着重要作用,而且在通常的约束问题的求解 中也有着重要作用,例如序列二次规划方法
(SQP : Sequential Quadratic Programming)
和增广Lagrange方法等.
1
J Bi
1
2
3
4
z1
z2
z3
z4
0
q
1
1 1 1 0 0 0 0 0 0 0 0 0
2
0 0 0 1 1 1 0 0 0 0 0 0
3
-4 0 0 0 -5 0 1 1
4
3 -1 0 -1 4 0 -1 -1 -1 0 1
5
-1 3 0 3 -2 0 1 1 -2 3 2 -3
6
-8 4 0 4 -11 0 3 3 -1 4 1 -4
5 3 0 3 0 1 -2 3 -3
6 4 0 4 0 3 -1 4 -4
7 2 2 1 1 -1 -1 0 0
8 4 3 5 4 1 0 1 -1
9 0 -1 0 -1 0 -1 1 -1
di 0
8 6 7 5
1 -1 2 -2
max{qi } q4 2, 所以选择第4行第9列元素作主元进行旋转.
于是
0 M T A
最优化方法之约束非线性规划
y1 u1 y y2 u u2 ,Z v1 v x x1 v 2 x2
与本例相应的线性互补问题为:
*
关于二次规划(QP )中G为半正定矩阵和C 0或G为正定矩阵,
则Lemke方法可求出二次规划的一个K T点.若G为半正定
矩阵, 则算法或终止于求出一个K T点, 或终止于半射线,
即显示二次规划有无界解.
最优化方法之约束非线性规划
二次规划
形如
min s.t .
8 8
6 9
在上表中0已被置换出基,即得到了相应线性互补问题的解, 也就是所求二次规划的最优解：
最优化方法之约束非线性规划
22 78 13 108 18 4 y1 , x1 , x2 , u2 17 102 17 102 17 17 13 18 T y2 v1 v2 u1 0, 即x ( , ) . 17 17
6/102 0 1/6 -96/102 -5/6 24/102 4/6 120/102 -2/6 -11/6 1/6 24/102 1/6 -6/102 -2/6 30/102 4/6 7/6 24/102 0 -1/17 -1/6 -1/17 1 -1/6 -4/17 -4/6 14/17 14/6 17/6
MZ q , 则( KT )系统可以简写为 0, Z 0, T Z 0.
最优化方法之约束非线性规划
线性互补问题(LCP : Linear Complementarity Problem).
MZ q , MZ q 0, Z 0, 0, Z 0, ( LCP ) T ( M Z q ) Z 0. T Z 0.
7
6 2 2 1 6 1 -1 -1 -1 0 1 0
8
0 4 3 5 0 4 1 1 0 1 0 -1
9
0 0 -1 0 0 -1 0 0 -1 1 1 -1
di 0
4 8 6 7 2 5 1 1 -1 2 1 -2
2
8 9
1
0
பைடு நூலகம்
0 -1 0
min{8 / 4, 7 / 5,1 / 1, 2 / 1} 1 。
便是( LCPw0 )的初始互补基本可行解,然后利用单纯形法的思想,选择
进基变量和出基变量,通过旋转得到一个相邻的互补基本可行解,如此
继续,最终得到w0 0的互补基本可行解.
最优化方法之约束非线性规划
MZ w0 1 q , ( LCPw0 ) 0, Z 0, T Z 0.
1 T f ( x ) x Hx C T x 2 Ax b 的优化问题称为二次规划问题. Aeq x beq lb x ub
其中H , A, Aeq为矩阵,其余均为向量.
在Matlab中可以采用quadprog函数来求解标准二次规划问题.
quadprog函数的调用格式
最优化方法之约束非线性规划
3
1 -4 -5/6 -5 1/6 -1/6 -1
4
-1 3 4/6 4 -2/6 -4/6 0
5
1 -1 -2/6 -2 4/6 14/6 2
6
3 -8
7
0 6
8
0 0 0 0 1 1 0 0
9
0 0 0 0 0 0 1 1
di 0
2 4 2/6 2 8/6 4/6 1
7 2 8 8
-11/6 1 -11 6 7/6 17/6 1
最优化方法之约束非线性规划
MZ w0 1 q , ( LCPw0 ) 0, Z 0, T Z 0.
另外,( LCPw0 )的解中, 若w0 0, 则其中, Z是( LCP )的解,也就是QP的
最优解因此 . ,取
w0 max{ qi } q w0 1 Z 0
解.在本例中
1 0 1 2 3 6 G ,c , A ,b 0 1 2 1 4 5
0 A 0 G 2 3 0 2 3 6 5 0 1 4 b ,q 1 1 0 c 1 4 0 1 2
在线性规划中, 如( KT )系统具有n m个约束若一个非负解中至多 有n m个变量不为0, 称之为基本可行解(互补基本可行解),同时 也是QP问题的K T点当 . G为半正定矩阵时, QP的KT点便是最优解.
最优化方法之约束非线性规划
其中
x 0, u 0, v 0, y b Ax 0, x 0, u 0, v 0, y 0, T T T T u ( b Ax ) 0, v x 0. u y v x 0. y u 0, 0 称为线性互补问题. v x T 0 记 0 A b y u M T ,q , , G A c v x
显然, 如果q 0, 则 q, Z 0就是LCP的解.故我们讨论q 0的情形.
先引进一个人工变量w0 , 把问题改写为
MZ w0 1 q , ( LCPw0 ) 0, Z 0, T Z 0.
其中1是各分量均为 1 的向量.显然只要q w0 1 0, 则取 q w0 1, Z 0和w0 =w0便是( LCP )的解.
8
4 3 5 4 1 0 1 -1
9
0 -1 0 -1 0 -1 1 -1
di 0
8
6
2
7 5 1 -1 2 -2
3
9
填写基变量下标。 由上表可知仅有4 , z4这一对变量全部不是基变量,因此从
它们之中选择一个进基,由于是第一次碰到这一对变量, 故 选z4进基.
最优化方法之约束非线性规划
线性互补表
二次规划
(1). x quadprog( H , f , A, b) : 求解只有不等式约束的二次 规划问题,并返回极值点;
(2). x quadprog( H , f , A, b, Aeq, beq ) : 求解含有不等式和 等式约束的二次规划问题，并返回极值点; (3). x quadprog( H , f , A, b, Aeq, beq, lb, ub) : 求解标准形式 的二次规划问题,并返回极值点; (4). x quadprog( H , f , A, b, Aeq, beq, lb, ub, x0)：求解指定
若系统( LCPw0 )的互补基本可行解中大于0的分量个数少于m n,即为
0的变量个数大于m n, 则称之为退化的互补基本可行解;如果一个线性
互补问题无退化互补基本可行解,则称此线性互补问题为非退化的.
对于非退化的问题,若互补基本可行解中w0 0, 则只有一对分量都不是 基变量, 于是约定偶次迭代以其中wk 选作进基变量, 奇次迭代则选其中 zk为进基变量.离基变量和线性规划单纯形法一样, 在所选主元列中,以
3
v2
4
u1
5
u2
6 3 0
x1
7 0 1 0 0
x2
8 0 0 0 0 1 1 0 0
0
9
q
J Bi
1 1
7 7
1 1 0 0 0
di 0
-1 1 -1 -25/17 1 -14/17 20/17 -5/17
0 2 -18/17 22/17 66/10278/102 0 2/6 0 8/6 -42/102108/102 6/17 1 4/17 4/6
Ax y b, T L ( x , u , v ) Gx c A u v 0, x ( KT ) x 0, u 0, v 0, y b Ax 0, uT (b Ax ) 0, v T x 0. 在系统KT中,共有2(m n)个变量且至多有n m个变量不为0.
0
1
-1
1
3
0 -1 0 1
1
9 9
4/ 6 8/ 6 2 4/6 由于 min{ , , } 。 继续选2 , z2中的z2做进基变量。 17 / 6 7 / 6 3 17 / 6
最优化方法之约束非线性规划
min{6 / 4, 2 / 6,1 / 1} 2 / 6。
线性互补表
y1
y2
2
v1
8 3 4 0 -1
di 0
6 5 -1 -2
由于右端有负数,所以加一人工变量w0 , 表格改为
最优化方法之约束非线性规划
线性互补表
1
2
3
4
z1
z2
z3
z4
0
q
1 1 1 0 0 0 0 0 0
2 0 0 1 1 0 0 0 0
3 0 0 0 0 1 1 0 0
4 -1 0 -1 0 -1 0 -1 1
最优化方法之约束非线性规划
线性互补表
1
J Bi
1
2
3
4
z1
z2
z3
z4
0
q
1
1 1 0 0 0 0 0 0
2
0 0 1 1 0 0 0 0
3
0 0 0 0 1 1 0 0
4
-1 0 -1 0 -1 0 -1 1
5
3 0 3 0 1 -2 3 -3
6
4 0 4 0 3 -1 4 -4
7
2 2 1 1 -1 -1 0 0
通常, 二次规划(QP )问题叙述如下
1 T T m i n f ( x ) x Gx c x 2 s.t . Ax b; x 0.
其中G是n n对称正半定矩阵,b Rm且b 0.
最优化方法之约束非线性规划
我们写出(QP )的Lagrange函数
1 T L( x , u, v ) x Gx cT x uT ( Ax b) v T x , 2 则在QP的最优解处成立K T 条件
由于0仍在基变量中, 故继续运算由于这时候仅有 . 3 , z3这一对
最优化方法之约束非线性规划
变量全不在基中,故仍在它们之中选一变量进基,由于是第一 次从这一对变量选取,故也选z3进基.
1
J Bi
1 1
2
3
4
z1
z2
z3
z4
0
q
1
1 1 0 0 0 0 0 0
2
-1 0 1/6 1 1/6 -1/6 0
dl 0 d min{ i 0 }, d lk dik 0 d ik
取l为主元行号.
最优化方法之约束非线性规划
Ex.1.求解二次规划
1 2 1 2 min f ( x1 , x2 ) x1 x2 x1 2 x2 2 2
s.t . 2 x1 3 x2 6, x1 4 x2 5, x1 , x2 0.
MZ q , 0, Z 0, T Z 0.
最优化方法之约束非线性规划
线性互补表
1
2
3
4
z1
z2
z3
z4
q
1 1 0 0 0
2 0 1 0 0
3 0 0 1 0
4 0 0 0 1
5 0 0 -2 -3
6 0 0 -1 -4
7 2 1 -1 0