08凸优化理论与应用_等式约束优化

1
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
6
牛顿减量

牛顿减量
( x ) ( x nt f ( x ) x nt )
T 2
1
1/ 2
牛顿减量的性质：
1 2 f ( x ) in f{ f ( x v ) | A ( x v ) b } ( x ) 2
T
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
3
消去等式约束

方程组 A x b 的解集：
| z R n p } { x | A x b} { F z x
x 为方程组的一个特解， F 为 A 的零空间范围。

无约束优化形式：
m inim ize

函数 f ( x ) 二阶连续可微，因此有
f ( x x ) f ( x ) f ( x )x

设 x nt 和 为KKT条件的解，即有：
2 f ( x) A A x nt f (x) 0 Ax b

性质2：牛顿减量具有仿射不变性。
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
7
可行下降方向

可行下降方向：设 x 满足方程组 A x b 。若 v 满足 方程组 A v 0 ，则 A ( x tv ) b 。v 称为可行方向。 若对于较小的 t 0 ，有 f ( x tv ) f ( x ) ，则 v 为可 行下降方向。
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
8
等式约束的牛顿方法

初始化：给定初始解 x d o m f 满足 A x b ，以及 0 LOOP：


计算 ； 2 / 2 则终止退出； 若 一维线性搜索：计算步长因子 t ； 迭代： x x t x n t
14
v v t v nt
2
时，终止迭代。
13
KKT系统的求解

KKT系统：
T
H A
T A 0
v g w h

1. L D L 分解；
2.若 H 非奇异，则可消元：
AH
1
A w h AH
T
1
g , Hv (g A w)
T

3.若 H 奇异，则KKT系统可改写为：
H AT Q A A v g AT Q h h w T ，且满足 H A Q A 0 。
T
A 0
其中 Q 0
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
T * T
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
5
牛顿法

x 为等式约束优化的可行解，则在 x 附近原问题的二
次近似为：
m in im ize su b ject to

1 T 2 T f ( x v) f ( x) f ( x) v v f ( x )v 2 A( x v) b
凸优化理论与应用
第8章 等式约束优化
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
1
等式约束优化问题

问题描述：
m in im ize su b ject to
f ( x) Ax b

f ( x ) 为凸函数，且二次连续可微，且
A R
*
pn
, p n , rank A p
即
2 f ( x) A A 0
T
x nt f ( x) AT v v nt Ax b
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
12
非可行解为初始点的牛顿法

初始化：给定初始解 x d o m f 及 v ，以及 0 LOOP： 计算 x nt 和 v nt ； 回溯一维线性搜索：
n p f ( F z x ), z R

若 z 为最优解，则有
x Fz x
* *
*
( A A ) A f ( x )
* T *
1
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
4
来自百度文库偶问题

对偶形式：
m ax im ize b f (A )
(k )
Fz
(k )
x
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
10
非可行解为初始点的牛顿法

x 为等式约束优化的非可行解，则增量 x 应尽可能 使 x x 满足KKT条件，即：
A( x x) b
f (x x) A 0
T 2

令t 1 ；
While
r ( x t x nt , v t v nt )
t t
2
(1 t ) r ( x , v )
2

迭代：x x t x n t 当 Ax b 且 r ( y )
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
设 x nt 和 分别为该问题和对偶问题的最优解，则满 T 足： 2 f ( x ) A x f ( x)
A 0
nt
0
1/ 2


牛顿减量
( x ) ( x nt f ( x ) x nt )
T 2

p 存在，则 x * 为最优解当且仅当存在 * ， 假设最优值
满足（KKT条件）：
f (x ) A
* T *
0, A x b
*
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
2
例

二次优化：
KKT系统：
m in im ize su b ject to
1 2
x Px q x r, P S
T T
n
Ax b
P A
T A 0
x* q * b

KKT系统可解，则二次优化问题存在最优解。 系数矩阵称为KKT矩阵。KKT矩阵非奇异当且仅当：
A x 0, x 0 x P x 0
2
x nt
及
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
9
消去等式约束的牛顿方法
m inim ize

n p f ( z ) f ( F z x ), z R
初始值 z
(0)
，第 k 次迭代值 z
(k )
；
转换为等式约束下的牛顿方法：

初始值：x ( 0 ) F z ( 0 ) x 迭代值：x
T
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
11
非可行解为初始点的牛顿法

令
y ( x, v)
r ( y ) ( f ( x ) A v , A x b )
T
则KKT条件可表示为：
r( y) 0
设 y 为不满足KKT条件，则其迭代量需满足：
r ( y y ) r ( y ) D r ( y )y 0