Lecture3 对偶理论-凸函数

L( x, w, v) : f ( x) wi gi ( x) v j h j ( x)
i 1 j 1
m
l
Lagrange函数
对于任意的x D，Lagrangr函数L ( x, w, v )是w, v 的线性函数，于是对偶函数 ( w, v)作为线性函数的 逐点下确界，必然是一个凹函数，所以，对偶问题 是一个凸规划问题。
(P)
min s.t.
cT x Ax b x0
（2）对称LP问题的对偶问题
max
(D)
bT w AT w c w0
s.t.
例：写出下列LP问题的对偶问题
min 8 x1 16 x2 12 x3 2 x1 4 x2 s.t. 2 x1 4 x3 3 x1 , x2 , x3 0
LP对偶问题的基本性质
原问题(P)
min cT x s.t . Ax b x0
对偶问题(D)
max bT w s.t . AT w c w0
定理1(弱对偶定理) 若x(0) , w(0)分别为( P),( D)的可行解，则cT x(0) bT w(0) .
证明：因x(0)是( P)的可行解，故Ax(0) b, x(0) 0. 因w (0)是( D)的可行解，故AT w (0) c, w (0) 0, 从而cT x(0) ( Ax(0) )T w (0) bT w (0) .
没有可行解。
inf f ( x ) | g ( x ) 0, h( x ) 0, x D = f min
记
sup ( w, v ) | w 0 max
记
对偶间隙：
f min max 0
问题： 0成立的条件.
LP 对偶问题的表达
（1）对称LP问题的定义
例： (P1)
min 20 x1 20 x2 s.t x1 2 x2 1 2 x1 x2 2 2 x1 3x2 3
( D1) max w1 2 w2 3w3 4 w4 s.t w1 2w2 2w3 3w4 20 2w1 w2 3w3 2w4 20 w j 0, j 1, 2,3, 4
max s.t.
cT x ( AT )T x b x0
结论：对偶问题(D)的对偶 为原问题(P) 。
变形
min
(DD) s.t.
c x Ax b x0
T
写出对称形式的对偶规划的要点
① ② ③ ④
• •
min变成max 价值系数与右端向量互换 系数矩阵转置 ≥ 变 ≤
原问题中约束条件的个数=对偶问题中变量的个数 原问题中变量的个数=对偶问题中约束条件的个数
非对称形式的对偶
min c x
(P) s.t .
T
min cT x
对称形式
Ax b x0
s.t .
Ax b Ax b x0
max b u b v
T T
对偶
s.t. A u A v c
T T
令w u v
max bT w
(D) s.t .
AT w c w无限制
2 1 2 2
则 ( w) inf x x w( x 1 x2 4) | x D.
2 ( w) inf x12 x2 w( x1 x2 4) | x D
inf x
2 inf x12 wx1 x2 wx2 4 w | x1 0, x2 0 2 1 2 wx1 | x1 0 inf x2 wx2 | x2
max w1 2w2 w3 w w w 2 2 3 1 w1 w2 w3 1 s.t. 2w w w 2 1 2 3 w 0 w 0 w3无约束
1
2
max x1 2 x2 x3 2 x1 x2 x3 x x x 1 1 2 3 ST : 2 2 x1 x2 x3 x1 0, x2 0, x3无约束


0 4 w
当w 0时, w w w 2 inf x1 wx1 | x1 0 w . 2 4 2
2


2
w w2 w 2 inf x2 wx2 | x2 0 w . 2 4 2 w2 w2 w2 ( w) 4w 4 w. 4 4 2

2
对偶问题为:
w2 4w max 2 s.t. w 0
对偶定理
min f ( x) s.t. g ( x) 0 h( x ) 0 xD g ( x) g1 ( x), , g m ( x) h( x) h1 ( x), , hl ( x)


推论1: 对于原问题和对偶问题，必有 inf f ( x) | g ( x) 0, h( x) 0, x D sup ( w, v) | w 0.
推论2: 若f ( x ) ( w , v )，其中x 为原问题的可行解， w 0，则x 和( w , v )分别是原问题和对偶问题的最优解。 推论3: 若 inf f ( x) | g ( x) 0, h( x) 0, x D , 则对w 0，有 ( w, v) 。 推论4: 如果 sup (w, v ) | w 0 ，则原问题
T
T T
max ( w, v) s.t. w 0
( w, v) inf f ( x) w g ( x) v h( x) | x D
T
定理1(弱对偶定理)
设x和( w, v)分别是原问题和对偶问题的可行解，则 f ( x) ( w, v)。
证明： x和( w, v)是可行解， g ( x) 0, h( x) 0, w 0 ( w, v) inf f ( x) wT g ( x) vT h( x) | x D f ( x) wT g ( x) vT h( x) f ( x).
w* 0 0 4 4
推论1 若问题(P)或(D)有无界解，则其对偶问题(D)或(P) 无可行解； 若问题(P)或(D)无可行解，则其对偶问题(D)或(P) 或者无可行解,或者目标函数值趋于无穷。 推论2 极大化问题的任何一个可行解所对应的目标 函数值都可行解所对应的目标 函数值都是其对偶问题的目标函数值的上界。
u, v 0
例 min 5x1+4x2+3x3 s.t. x1+x2+x3=4 3x1+2x2+x3 =5 x1 ≥ 0, x2 ≥0, x3 ≥0 对偶问题为 max 4w1+5w2 s.t. w1+3w2≤5 w1+2w2 ≤ 4 w1+w2 ≤ 3
一般情形LP问题的对偶问题
min cT x s.t. A1 x b1 A2 x b2 A3 x b3 x0 where c R n , bi R mi , Ai R mi n , i 1, 2,3.
s.t.
g i ( x ) 0, i 1, , m h j ( x ) 0, j 1, , l xD
集约束
(1)
定义(1)的对偶问题:
max ( w, v) s.t. w 0
(2)
max ( w, v) s.t. w 0
m l 其中 ( w, v) inf f ( x) wi g i ( x) v j h j ( x) x D i 1 j 1
min 2w1 w2 2w3 w1 w2 2w3 1
w w w 2 1 2 3 s.t. w1 w2 w3 1 w1 0 w 无约束 w 0 2 3
练习题 min 2 x1 x2 2 x3
x1 x2 2 x3 1 x1 x2 x3 2 s.t. x1 x2 x3 1 x1 0, x3 0, x2无约束
T T s.t. A1T w1 A2 w2 A3 w3 c,
w1 0, w2 free, w3 0.
变 量
约 束
约 束
变 量
min 2 x1 x2 2 x3 x1 x2 2 x3 1 x1 x2 x3 2 s.t. x1 x2 x3 1 x1 0, x2无约束, x3 0
例：考虑线性规划问题
min cx s.t. A1 x b1 A2 x b2 x0
若取集合约束D={x|x≥0}，则该 线性规划问题的Lagrange函数为
( w, v) inf cx wT ( A1 x b1 ) vT ( A2 x b2 ) | x D
inf{(c wT A1 vT A2 ) x wT b1 vT b2 | x D} wT b1 vT b2 若c wT A1 vT A2 0 若c wT A1 vT A2 0.
线性规划的对偶问题为：
max wT b1 vT b2 s.t. wT A1 vT A2 c w0
求下列非线性规划问题的对偶问题:
2 min x12 x2 s.t. x1 x2 4 0 x1 , x2 0
解：把变量的非负限制作为集约束，即 x1 x D x1 0, x2 0 , x2
T T max b1T w1 b2 w2 b3 w3
min cT x
标准形
s.t. A1 x xs b1 A2 x b2 A3 x xt b3 x, xs , xt 0 where xs R m1 , xt R m3 are slack variables.