最优化：二次规划

u T Z T QZu 0 类似地, 令d Zu, 则x D及 0, 使得x d D, 且 f ( x d ) f ( x ) 因而(11.4)的解无界.
例11.1.1 考察如下二次规划问题： min s.t.
解：
f ( x ) x x x x x . x x x x x x x x x x x
其KKT条件为 f ( x ) AT , 或 Ax b (.) Q AT x q A b
这里 f ( x ) Qx q, Q半正定 L( x, ) f ( x ) Q
(.) 的KKT条件为 : Qx q i ai
iAk
Qx * q
iA( x*）
* i ai
* 其中* , i I ( x ) i
然后将(11.10)的KKT条件与(11.1)的KKT条件比较, 即可得到解的判别准则 :
T *T * T f ( x ) f ( x ) x Qx q x x Qx qT x* ( x x * )T Q ( x x * )
*
x Q( x x ) q ( x x ) T d Qd (Qx * q)T d (Qx * q)T d
T
定理11.1.3 设矩阵A行满秩, 若二次规划问题(11.4) 的投 影Hessian 矩阵Z T QZ正定(或二阶充分条件成立), 则线性 方程组(11.5)的惟一解是问题(11.4)的惟一全局最优解.
定理11.1.3 设矩阵A行满秩, 若二次规划问题(11.4) 的投 影Hessian 矩阵Z T QZ正定(或二阶充分条件成立), 则线性 方程组(11.5)的惟一解是问题(11.4)的惟一全局最优解.
我们将(.)改写成 : 系数矩阵对称 Q A A x q b
T
(.5b)
在二阶充分条件下, 易验证系数矩阵非奇异, 但不正定 (n个正特征值, m个负特征值)
先对系数矩阵进行不定对称分解, 如
从而二阶充分条件等价于 y T Z T QZy d T Qd 0, 0 y R n-m 即矩阵Z T QZ 正定.
我们称Z T QZ为等式二次规划问题(11.4)的投影Hessian 矩阵或既约Hessian 矩阵
关于问题(11.4)的KKT系统解的存在性, 有下面的结论 :
定理11.1.1 设矩阵A行满秩, 若二阶充分条件成立, 则 线性方程组(.)的系数矩阵 Q AT A 非奇异,因此线性方程组(.)有惟一解.
证明：为证明系数矩阵非奇异, 只需证明齐次线性方程组 Q AT d A v 仅有零解. 设( d , v ) 是(11.6)的解, 则
Qd - AT v 0, Ad 0 即有 d T Qd d T AT v ( Ad ) T v 0 由二阶充分条件得 d 0, 然后推出 AT v v1a1 v2 a 2 vm a m Qd 0 由于A满秩, 即向量组a1 , a 2 , , a m 线性无关, 从而得v 0. 即方程组(11.6)只有零解, 故系数矩阵非奇异, 故(11.5) 有 唯一解.
那如何判断索引集序列 Ak A( x * ) 或 Ak A( x * ) ?
请看我给大家慢慢讲解 :
设xk D, 构造工作集Ak A( xk )及问题(11.8)的近似 : 1 T min f ( x ) x Qx q T x (11.10) 2 s.t. aiT x bi , i Ak
Q , q , A , b


(11.7)
则该问题的KKT系统为： 6 2 1 1 0 2 1 1 5 2 2 4 0 1 1 1 0 0 1 1 1 0 0 0 0
Q AT T LBL A 0 这里L下三角矩阵, B对角矩阵
再依次解方程组： q Ly b Bz y x L z
T
第二节 解二次规划的有效集法
思想
将含不等式约束的二次规划转化 成一系列等式 二次规划来求解
f ( x* ) AT * AE x bE
* T * AI x* bI , I , * ( A x bI ) 0 I I
(.)
当只有等式约束时, (11.3)是一线性方程组.
第一节 等式约束二次规划
考虑凸二次规划
min s.t. 1 T f ( x ) x Qx q T x 2 Ax b (11.4)
* 其中* , i I ( x ) i
Qx * q
iA( x*）
* i ai
* 其中* , i I ( x ) i
显然, 上述KKT条件的KKT点也是下列等式二次规划 问题的KKT点 :
min s.t.
1 T f ( x ) x Qx q T x 2 aiT x bi , i A( x * )
(.)
其中n阶矩阵Q对称半正定, ai R , q, bi R
n
设x 是问题(11.1)的最优解 存在Lagrange 乘子*满足 : f ( x )
* T i T i * * iE I
*
λ a
* i
* i i
0 (11.2)
a x bi 0, i E a x bi 0, λ 0, λ (a x bi ) 0, i I
证明：在定理条件下, 由定理11.1.1或定理11.1.2知, 问题 (11.4)有惟一的KKT点x * , 而由第九章知, 问题(11.4)的最 优解必定是其KKT点, 因此, 我们只需证明KKT点x *就是 其全局最优解. 设可行域 : D {x R n | Ax b}.
对于任意的x D且x x * , 令 d x - x * , 则 d 0 且 Ad 0 由二阶充分条件知：d T Qd 0.
求得KKT点及乘子为 : * x ,
*
d d 令d , 得基础解系 Z
Z T QZ 13 0
T
所以x * 是最优解
由上面的分析知, 解等式二次规划问题(11.4)等价于解 KKT系统(11.5)
x x x 由Ad 得： d d
6 2 1 Q 2 5 2 1 2 4
(.)
利用投影Hessian 矩阵, 定理11.1.1可以等价描述为 :
定理11.1.2 设矩阵A行满秩, 若二次规划问题(11.4)的投 影Hessian 矩阵Z QZ正定, 则线性方程组(11.5)有惟一解.
众所周知, 由于二次规划的约束函数是线性的, 故ACQ 成立, 从而二次规划的最优解必定是KKT点. 反之, 在 一定条件下, KKT点也必定是其最优解 :
x
由于 LFD( x, D) {d R n | Ad } S ( x, ) LFD（x, D) 二阶充分条件为 :
d T Qd d T d 满足 Ad x L( x, )d ,
假定A行满秩即 r ( A) m, 则齐次线性方程组Ad 0的 解空间( A的核空间)的维数为n - m. 设解空间的一组正 交基础解系为 : z1 , z 2 , , z n-m , 并令 Z ( z1 , z 2 , , z n-m ) R n( n-m ) 则对任意的d R n : Ad 0, 存在向量 y ( y1 , y 2 , , y n-m ) T R n-m 使得 d Zy y1z 1 y 2 z 2 y n-m z n-m
* T *
*T
由于 x*是KKT点, 故存在乘子* , 使得 Qx * q AT *
所以
f ( x) f ( x ) Ad
* *T
因此, x *是全局最优解.
注意：当D , 但二阶条件不成立或 Z T QZ不正定时, 则 问题(.)无解或有无界解. (1) 若Z T QZ不定, 即有负特征值, 存在u 0, 使得
u T Z T QZu 0 此时, 令d Zu, 则对x D, 及 0, 使得x d D, 且 1 2 T 1 2 T T f ( x d ) d Qd f ( x ) u Z QZu f ( x ) f ( x ) 2 2 即目标函数无下界. (2) 若ZT QZ 半正定但不正定, 则存在u 0, 使得
wk.baidu.com
(11.8)
因此, 如果我们求得(11.8)的KKT点, 并且Lagrange 乘子
满足 : i 0, i I , 则得到(11.1)的KKT点即最优解. 关键：如何确定(11.8)中的约束, 即索引集A( x * ) ?
难啊 构造索引集序列 Ak 来估计A( x )
*
Ak 称为工作集
* i T i *
T T a1 b1 a m1 1 bm1 1 T T a2 b2 a m1 2 bm1 2 记 AI , AE , bI , bE T T a bm am b m m 1 1 AI A A E 则(.)可以写成向量形式：
唯楚有材
於斯为盛
最优化
主讲：刘陶文
学好最优化，走遍天下都不怕
课件制作：刘陶文
第十一章 二次规划
二次规划是最简单的非线性规划问题
二次规划一般形式：
min s.t. T f ( x ) x Qx q T x aiT x bi , i I {, , , m} aiT x bi 0, i E {m 1, m , , m}
T i
设 x D, 记x处的有效集 A( x ) { i I E | a x bi }
当Q半正定时, 问题(11.2)是凸规划,因此它的最优解与 KKT点等价, 即若x * 是(11.1)的最优解等价于存在乘子
*满足KKT条件 :
Qx * q
iA( x*）
* i ai