凸优化理论与应用_对偶问题

i

Ax b
则优化问题具有强对偶性。该条件称为Slater条件。
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
15
强对偶性

弱化的Slater条件：若不等式约束条件的前 k 个为线性 不等式约束条件，则Slater条件可以弱化为： 存在 x relint D，满足


信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
4
Least-squares solution of linear equations

原问题：
minimize xT x, x R subject to Ax b
n

拉格朗日函数： L( x, ) xT x T ( Ax b) 拉格朗日对偶函数：
subject to 0
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
20
Entropy maximization

弱化的Slater条件：存在 x 0 ，满足
Ax b 1T x 1
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
凸优化理论与应用
第四章 对偶问题
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
1
优化问题的拉格朗日函数

设优化问题：
minimize
f 0 ( x), x R
n
subject to f i ( x) 0, i 1,..., m hi ( x) 0, j 1,..., p

对偶问题 maximize
g ( , )
等价描述 maximize
g ( , )
subject to 0
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
subject to AT c 0
0
13
弱对偶性

定理（弱对偶性） ：设原始问题的最优值为 p * ，对偶 问题的最优值为 d *，则 d * p * 成立。 optimal duality gap
subject to (1/ 2) x Pi x q x ri 0

拉格朗日函数：
1 T L ( x , ) x P ( ) x q ( )T x r ( ) 2 P( ) P0 + i Pi q( ) q0 + i qi r ( ) r0 + i ri
fi ( x) 0, i 1,..., k , fi ( x) 0, i k 1,..., m, Ax b
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
16
Least-squares solution of linear equations

原问题：
minimize xT x, x R subject to Ax b
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
7
对偶函数与共轭函数

共轭函数
f *( y) sup ( yT x f ( x))
xdomf

共轭函数与对偶函数存在密切联系 具有线性不等式约束和线性等式约束的优化问题： minimize f 0 ( x)
subject to Ax b Cx d

1 T T g ( ) AA bT 4
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
5
Standard form LP

原问题：
minimize cT x subject to Ax b x 0

拉格朗日函数： L( x, , ) cT x T x T ( Ax b)

拉格朗日对偶函数为凹函数。 对 0和 ，若原最优化问题有最优值 p *，则
g ( , ) p *
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
3
对偶函数的例

Least-squares solution of linear equations Standard form LP Two-way partitioning problem
T b (c AT )T x

拉格朗日对偶函数： bT g ( , )
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
AT c 0 otherwise
6
Two-way partitioning problem

双人零和博弈

p * d *

可以利用对偶问题找到原始问题最优解的下界。
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
14
强对偶性

定义（强对偶性） ：设原始问题的最优值为 p * ，对偶 问题的最优值为 d *。若 d * p * 成立，则称原始问题 和对偶问题之间具有强对偶性。 强对偶性并不是总是成立的。 凸优化问题通常（但并不总是）具有强对偶性。 Slater定理：若凸优化问题存在严格可行解，即存 在 x relint D，满足 f ( x) 0, i 1,..., m,
19
Entropy maximization

原始问题：minimize
i1 xi log xi ,
n
n D R
subject to Ax b

对偶函数：
1 x 1
T
g ( , ) b e
T
1
e
i 1
n
aiT

n 对偶问题： aiT T 1 maximize b e e i 1
2
i 1
i 1
拉格朗日对偶函数

拉格朗日对偶函数(lagrange dual function) ：
g ( , ) inf L( x, , ) inf ( f 0 ( x) i fi ( x) i hi ( x))
xD xD i 1 i 1
m
p
若拉格朗日函数没有下界，则令 g ( , )
n

对偶问题：
1 T T maximize g ( ) AA bT 4

具有强对偶性
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
17
Lagrange dual of QCQP

QCQP：minimize
T (1/ 2) xT P0 x q0 x r0 T T i
1 maximize q( )T P( ) 1 q( ) r ( ) 2 subject to 0

Slater条件：存在 x ，满足
T (1/ 2) xT Px q i i xr i 0, i 1,..., m
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
21
Minimum volume covering ellipsoid

原始问题：
minimize
n log det X 1 , D S
subject to aiT Xai 1, i 1,..., m

对偶函数： m T T log det(i 1 i ai ai ) 1 n g ( )
i 1 i 1 i 1 m m m

对偶函数：
1 g ( ) inf L( x, ) q( )T P( ) 1 q( ) r ( ) x 2
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
18
Lagrange dual of QCQP

对偶问题：

拉格朗日(Lagrangian)函数：
L( x, , ) f 0 ( x) i fi ( x) i hi ( x)

m
p
对固定的 x ，拉格朗日函数 L( x, , ) 为关于 和 的仿 射函数。
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
T a a i1 i i i 0 m
otherwise
11
拉格朗日对偶问题

拉格朗日对偶问题的描述： maximize g ( , )
subject to 0

对偶可行域
0 g ( , )

共轭函数：
0 y * 1 f ( y) otherwise
* 0

对偶函数：
T b T * T g ( ) b f 0 ( A )
AT 1
*
otherwise
9
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn

原问题： minimize 拉格朗日函数：
xT Wx, W S n
subject to xi2 1, i 1,..., n

L( x, ) xT Wx i ( xi2 1)
i 1
nBaidu Nhomakorabea

xT (W diag( )) x 1T 拉格朗日对偶函数： 1T W diag( ) 0 g ( ) otherwise
T a a i1 i i i 0 m
otherwise

对偶问题： m maximize log det( i 1 i ai aiT ) 1T n
subject to 0
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
22
Minimum volume covering ellipsoid
T * 0 T
b i 1 e
T T m
aiT 1
b e
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
1

e i 1
m
aiT
10
Minimum volume covering ellipsoid

d*
(*, *)

最优值

最优解
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
12
LP问题的对偶问题

标准LP问题
minimize cT x subject to Ax b x 0

对偶函数
bT g ( , )

AT c 0 otherwise
原始问题：
minimize
n log det X 1 , D S
subject to aiT Xai 1, i 1,..., m

共轭函数：
f 0* (Y ) log det(Y ) 1 n

对偶函数： m T T log det(i 1 i ai ai ) 1 n g ( )

弱化的Slater条件：存在
aiT Xai 1, i 1,..., m

n ，满足 X S
弱化的Slater条件总成立，因此该优化问题具有强对偶 性。
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
23
Mixed strategies for matrix games

Entropy maximization 原始问题： minimize x log x , D R
n i 1 i i
n
subject to Ax b

共轭函数： 对偶函数：
1T x 1
f ( y ) i 1 e yi 1
* 0 m

g ( , ) b f ( A 1 )
对偶函数：
g ( , ) bT d T f 0* ( AT C T )
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn
8
Equality constrained norm minimization

问题描述：
minimize
x
subject to Ax b