凸优化理论与应用_等式约束优化

T

1
3.若 H 奇异，则KKT系统可改写为： H AT QA AT v g AT Qh A 0 w h 其中 Q 0 ，且满足 H AT QA 0 。
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn 14
次近似为：
1 T 2 T minimize f ( x v) f ( x) f ( x) v v f ( x)v 2 subject to A( x v) b


设 xnt 和 分别为该问题和对偶问题的最优解，则满 足： 2 f ( x) AT xnt f ( x) 0 0 A 牛顿减量 T 2 1/ 2
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn 13
KKT系统的求解

KKT系统： 1.
T

LDL 分解；
1 T
H A
AT v g 0 w h
2.若 H 非奇异，则可消元：
AH A w h AH g , Hv ( g A w)
满足（KKT条件）：
f ( x ) A 0, Ax b
* T * *
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
2
例

1 T n x Px qT x r , P S 二次优化： minimize 2 subject to Ax b
KKT系统：
消去等式约束

方程组 Ax b 的解集：
| zR {x | Ax b} {Fz x

n p
}
为方程组的一个特解， F 为 A 的零空间范围。 x
无约束优化形式：
), z Rn p minimize f ( Fz x

若 z* 为最优解，则有
x Fz x

性质2：牛顿减量具有仿射不变性。
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
7
可行下降方向

可行下降方向：设 x 满足方程组 Ax b 。若 v 满足 方程组 Av 0 ，则 A( x tv) b 。v 称为可行方向。 若对于较小的 t 0，有 f ( x tv) f ( x) ，则 v 为可 行下降方向。
* *
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
* ( AAT )1 Af ( x* )
4
对偶问题

对偶形式：
maximize
bT f * ( AT )
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
5
牛顿法

x 为等式约束优化的可行解，则在 x 附近原问题的二
ຫໍສະໝຸດ Baidu
LOOP： 计算 xnt 和 vnt ； 回溯一维线性搜索： 令 t 1 ； While r ( x t xnt , v t vnt ) (1 t ) r ( x, v) 2 2 t t

迭代：x x t xnt v v t vnt 当 Ax b 且 r( y) 2 时，终止迭代。
P A
AT x* q * 0 b

KKT系统可解，则二次优化问题存在最优解。 系数矩阵称为KKT矩阵。KKT矩阵非奇异当且仅当：
Ax 0, x 0 x Px 0
T
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn 3
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
8
等式约束的牛顿方法

初始化：给定初始解 LOOP：


x domf 满足 Ax b ，以及 0
2 x 计算 nt 及 ； 2 若 / 2 则终止退出；
一维线性搜索：计算步长因子 t ； 迭代： x x t xnt
11
非可行解为初始点的牛顿法

令
y ( x, v)
r ( y) (f ( x) A v, Ax b)
T
则KKT条件可表示为： r ( y) 0 设 y 为不满足KKT条件，则其迭代量需满足： r ( y y) r ( y) Dr ( y)y 0 即
2 f ( x ) A
f ( x) AT v AT xnt 0 vnt Ax b
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
12
非可行解为初始点的牛顿法

初始化：给定初始解
x domf 及 v ，以及 0
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
9
消去等式约束的牛顿方法
( z) f (Fz x ), z Rn p minimize f

初始值
z ，第 k 次迭代值z
(0)
(0)
(k )
；
转换为等式约束下的牛顿方法：
Fz x (k ) (k ) x Fz x 迭代值：

初始值：x(0)
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
10
非可行解为初始点的牛顿法


使 x x 满足KKT条件，即： A( x x) b f ( x x) AT 0 函数 f ( x ) 二阶连续可微，因此有 f ( x x) f ( x) 2 f ( x)x
( x) (xnt f ( x)xnt )
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
6
牛顿减量

牛顿减量
T 2 ( x) (xnt f ( x)xnt )1/ 2
牛顿减量的性质：
1 f ( x) inf{ f ( x v) | A( x v) b} ( x) 2 2
设 xnt 和 为KKT条件的解，即有：
x 为等式约束优化的非可行解，则增量 x 应尽可能

2 f ( x ) A
AT xnt f ( x) Ax b 0
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
凸优化理论与应用
第9章 等式约束优化
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
1
等式约束优化问题

问题描述：
minimize f ( x) subject to Ax b

f ( x) 为凸函数，且二次连续可微，且

A R pn , p n, rankA p * * * p x 假设最优值 存在，则 为最优解当且仅当存在 ，