5最优化-二次规划概论

由二阶充分条件得 d 0,然后推出
AT v v1a1 v2a2 vmam Qd 0 由于A满秩,即向量组a1,a2, ,am线性无关,从而得v 0. 即方程组(5.6)只有零解,故系数矩阵非奇异,故(5.5)有 唯一解.
利用投影Hessian矩阵,定理5.1.1可以等价描述为:
定理5.1.2 设矩阵A行满秩,若二次规划问题(5.4)的投 影Hessian矩阵Z T QZ正定,则线性方程组(5.5)有惟一解. 众所周知,由于二次规划的约束函数是线性的, 故ACQ 成立, 从而二次规划的最优解必定是KKT点. 反之, 在 一定条件下, KKT点也必定是其最优解 :
第五章 二次规划
二次规划是最简单的非线性规划问题
二次规划一般形式：
min f (x) 1 xTQx qT x 2
s.t. aiT x bi 0, i I {1, 2, , m1}
(5.1)
aiT x bi 其中n阶矩阵Q对称半正定, ai Rn , q, bi R
解空间( A的核空间)的维数为n - m. 设解空间的一组正
交基础解系为 : z1, z2 ,, zn-m , 并令 Z ( z1, z2 , , zn-m ) Rn(n-m)
则对任意的d Rn : Ad 0, 存在向量
使得
y ( y1, y2 ,, yn-m )T Rn-m d Zy y1z1 y2z2 yn-m zn-m
定理5.1.3 设矩阵A行满秩, 若二次规划问题(5.4) 的投 影Hessian矩阵Z T QZ 正定(或二阶充分条件成立),则线性 方程组(5.5)的惟一解是问题(5.4)的惟一全局最优解.
定理5.1.3 设矩阵A行满秩, 若二次规划问题(5.4) 的投 影Hessian矩阵Z T QZ 正定(或二阶充分条件成立),则线性 方程组(5.5)的惟一解是问题(5.4)的惟一全局最优解.
设x*是问题(5.1)的最优解
存在Lagrange乘子*满足:
f (x* ) λi*ai 0 iE I
aiT x* bi 0, i E aiT x* bi 0, λi* 0, λi* (aiT x* bi ) 0, i I
(5.2)
记 AI
a1T
a2T
,
AE
由于 x*是KKT点,故存在乘子*,使得
Qx* q AT*
所以
f (x) f (x*) *T Ad
因此, x*是全局最优解.
注意：当D , 但二阶条件不成立或 Z TQZ不正定时, 则
问题(.)无解或有无界解. (1) 若ZTQZ不定,即有负特征值, 存在u 0, 使得
uT Z TQZu 0
证明：在定理条件下,由定理5.1.1或定理5.1.2知,问题 (5.4)有惟一的KKT点x*,问题(5.4)的最优解必定是其KKT点, 因此, 我们只需证明KKT点x*就是其全局最优解.
设可行域 : D {x Rn | Ax b}. 对于任意的x D且x x*, 令 d x - x*, 则
aT m1
aT m1 1
aT m1 2
amT
,
bI
b1
b2
,
bm1
bE
bm11
bm12
bm
A
AI AE
则(5.2)可以写成向量形式：
f (x*) AT * 0
AE x* bE 0
(5.3)
AI x* bI 0,I 0,I*T (AI x* bI ) 0
从而二阶充分条件等价于
yT Z T QZy d T Qd 0, 0 y Rn-m
即矩阵Z TQZ正定.
我们称Z T QZ 为等式二次规划问题(5.4)的投影Hessian 矩阵或既约Hessian矩阵
关于问题(5.4)的KKT系统解的存在性,有下面的结论:
定理5.1.1 设矩阵A行满秩,若二阶充分条件成立,则 线性方程组(5.5)的系数矩阵
x L(x, ) f (x) Q
(5.4)
(5.5)
由于 LFD( x, D) {d Rn | Ad }
S(x, ) LFD（x, D)
二阶充分条件为:
d TQd d T x L(x, )d , d 满足 Ad
假定A行满秩即 r( A) m, 则齐次线性方程组Ad 0的
f (x d ) f (x)
因而( 5.4)的解无界.
例5.1.1 考察如下二次规划问题：
min s.t.
解：
f (x) 3x12 2x1x2 x1x3 2.5x22 2x2 x3 2x32 8x1 3x2 3x3
d 0 且 Ad 0 由二阶充分条件知：d TQd 0.
f ( x) f ( x*) xTQx qT x x*TQx* qT x*
(x x*)T Q(x x*)
x*TQ( x x*) qT ( x x*)
d TQd (Qx* q)T d
(Qx* q)T d
此时, 令d Zu, 则对x D, 及 0, 使得x d D, 且
f (x d ) 1 2d TQd f (x) 1 2uT Z TQZu f (x) f (x)
2
2
即目标函数无下界.
(2) 若ZTQZ半正定但不正定,则存在u 0,使得
uT Z T QZu 0
类似地,令d Zu, 则x D及 0,使得x d D,且
Q AT
A
0
非奇异,因此线性方程组(5.5)有惟一解.
证明：为证明系数矩阵非奇异,只需证明齐次线性方程组
Q AT d 0
A
0
v
0
(5.6)
仅有零解. 设(d ,v)是(5.6)的解,则
Qd-AT v 0, Ad 0
即有
d T Qd d T AT v (Ad )Tv 0
当只有等式约束时,(5.3)是一线性方程组.
第一节 等式约束二次规划
考虑凸二次规划
min f (x) 1 xTQx qT x 2
s.t. Ax b
其KKT 条件为
f (x) AT 0, Ax b 0
或
Q AT x q
A
0
b
这里 f (x) Qx q, Q半正定