5 最优化-二次规划解析

T *T * T f ( x ) f ( x ) x Qx q x x Qx qT x* ( x x * )T Q ( x x * )
其中n阶矩阵Q对称半正定, ai R , q, bi R
设x 是问题(5.1)的最优解 存在Lagrange乘子 *满足: f (x )
* iE I
*

λ a 0
* i i
aiT x* bi 0, i E a x bi 0, λ 0,
T i * * i
(5.6)
即方程组(5.6)只有零解,故系数矩阵非奇异,故(5.5)有
利用投影Hessian矩阵,定理5.1.1可以等价描述为:
定理5.1.2 设矩阵A行满秩,若二次规划问题(5.4)的投 影Hessian矩阵Z T QZ 正定,则线性方程组(5.5)有惟一解.
众所周知, 由于二次规划的约束函数是线性的, 故ACQ 成立, 从而二次规划的最优解必定是KKT点. 反之, 在 一定条件下, KKT点也必定是其最优解 :
定理5.1.3 设矩阵A行满秩, 若二次规划问题(5.4) 的投 影Hessian矩阵Z T QZ 正定(或二阶充分条件成立),则线性 方程组(5.5)的惟一解是问题(5.4)的惟一全局最优解.
定理5.1.3 设矩阵A行满秩, 若二次规划问题(5.4) 的投 影Hessian矩阵Z T QZ 正定(或二阶充分条件成立),则线性 方程组(5.5)的惟一解是问题(5.4)的惟一全局最优解.
f (x* ) AT * 0 AE x* bE 0 AI x* bI 0,I 0,I*T (AI x* bI ) 0 (5.3)
当只有等式约束时,(5.3)是一线性方程组.
第一节 等式约束二次规划
考虑凸二次规划
min s.t. 1 T f (x) x Qx qT x 2 Ax b (5.4)
x
由于 LFD( x, D) {d R n | Ad } S ( x, ) LFD（x, D) 二阶充分条件为 :
d T Qd d T d 满足 Ad x L( x, )d ,
假定A行满秩即 r ( A) m, 则齐次线性方程组Ad 0的 解空间( A的核空间)的维数为n - m. 设解空间的一组正 交基础解系为 : z1 , z 2 , , z n-m , 并令 Z ( z1 , z 2 , , z n-m ) R n( n-m ) 则对任意的d R n : Ad 0, 存在向量 y ( y1 , y 2 , , y n-m ) T R n-m 使得 d Zy y1z 1 y 2 z 2 y n-m z n-m
证明：在定理条件下,由定理5.1.1或定理5.1.2知,问题 因此, 我们只需证明KKT点x*就是其全局最优解.
(5.4)有惟一的KKT点x* ,问题(5.4)的最优解必定是其KKT点,
设可行域 : D {x R n | Ax b}. 对于任意的x D且x x * , 令 d x - x * , 则 d 0 且 Ad 0 由二阶充分条件知：d T Qd 0.
从而二阶充分条件等价于 y T Z T QZy d T Qd 0, 0 y R n-m 即矩阵Z T QZ 正定.
我们称Z T QZ 为等式二次规划问题(5.4)的投影Hessian 矩阵或既约Hessian矩阵
关于问题(5.4)的KKT系统解的存在性,有下面的结论:
定理5.1.1 设矩阵A行满秩,若二阶充分条件成立,则 线性方程组(5.5)的系数矩阵 Q AT 0 A 非奇异,因此线性方程组(5.5)有惟一解.
(5.2)
λ (a x bi ) 0, i I
* i T i *
T T a1 b1 a m1 1 bm1 1 T T a2 b2 a m1 2 bm1 2 记 AI , AE , bI , bE T T a bm am b m m 1 1 AI A A E 则(5.2)可以写成向量形式：
第五章 二次规划
二次规划是最简单的非线性规划问题
二次规划一般形式：
1 T min f (x) x Qx qT x 2 s.t. aiT x bi 0, i I {1, 2, , m1} aiT x bi 0, i E {m1 1, m1 2,
n
(5.1) , m}
Байду номын сангаас
其KKT条件为 f (x) AT 0, 或 Ax b 0 (5.5) Q AT x q 0 b A
这里 f ( x ) Qx q, Q半正定 L( x, ) f ( x ) Q
证明：为证明系数矩阵非奇异,只需证明齐次线性方程组 Q AT d 0 0 v 0 A 仅有零解. 设(d ,v)是(5.6)的解,则
Qd -AT v 0, Ad 0 即有 d T Qd d T AT v (Ad )T v 0 AT v v1a1 v2 a2 vm am Qd 0 ,am线性无关,从而得v 0. 由二阶充分条件得 d 0,然后推出 由于A满秩,即向量组a1 ,a2 , 唯一解.