最优化方法之 对偶理论讲解

问题： 0成立的条件.
LP 对偶问题的表达
（1）对称LP问题的定义
(P)
min s.t.
cT x Ax b x0
（2）对称LP问题的对偶问题
max
(D)
bT w AT w c w0
s.t.
例：写出下列LP问题的对偶问题
min 8 x1 16 x2 12 x3 2 x1 4 x2 s.t. 2 x1 4 x3 3 x1 , x2 , x3 0
线性规划的对偶问题为：
max wT b1 vT b2 s.t. wT A1 vT A2 c w0
求下列非线性规划问题的对偶问题:
2 min x12 x2 s.t. x1 x2 4 0 x1 , x2 0
解：把变量的非负限制作为集约束，即 x1 x D x1 0, x2 0 , x2
( w, v) inf f ( x) wT g ( x) vT h( x) | x D f ( x) wT g ( x) vT h( x) f ( x).


推论1: 对于原问题和对偶问题 ，必有 inf f ( x) | g ( x) 0, h( x) 0, x D sup (w, v) | w 0. 1,, m h j ( x) 0, j 1,, l xD
集约束
(1)
定义(1)的对偶问题:
max ( w, v) s.t. w 0
(2)
max ( w, v) s.t. w 0
m l 其中 ( w, v) inf f ( x) wi gi ( x) v j h j ( x) x D i 1 j 1
max
对偶
2 w1 3w2 w1 4w 1 2 w2 4 w2 w1 , w2 8 16 12 0
s.t.
例：写出对偶问题(D)的对偶
max
(D)
b w A wc w0
T
T
变形
min s.t.
bT w AT w c w0
s.t.
推论2: 若f ( x ) (w , v )，其中x为原问题的可行解， w 0，则x和(w , v )分别是原问题和对偶问 题的最优解。 推论3: 若 inf f ( x) | g ( x) 0, h( x) 0, x D ,
则对w 0，有 (w, v) 。
推论4: 如果 sup (w, v) | w 0 ，则原问题
没有可行解。
inf f ( x) | g ( x) 0, h( x) 0, x D= f min
记
sup ( w, v) | w 0 max
记
对偶间隙：
f min max 0
h1 ( x),, hl ( x) T h( x )
( w, v) inf f ( x) wT g ( x) vT h( x) | x D
定理1(弱对偶定理)
设x和(w, v)分别是原问题和对偶问 题的可行解，则 f ( x) (w, v)。
证明： x和( w, v)是可行解， g ( x) 0, h( x) 0, w 0
非对称形式的对偶
min c x (P) s.t. Ax b x0
T
对称形式
min cT x s.t. Ax b Ax b x0
max b u b v
T T
对偶
s.t. A u A v c
T T
令w u v
max bT w
(D) s.t .
AT w c w无限制
例：考虑线性规划问题
min cx s.t. A1 x b1 A2 x b2 x0
若取集合约束D={x|x≥0}，则该 线性规划问题的Lagrange函数为
( w, v) inf cx wT ( A1 x b1 ) vT ( A2 x b2 ) | x D
inf{(c wT A1 vT A2 ) x wT b1 vT b2 | x D} wT b1 vT b2 若c wT A1 vT A2 0 若c wT A1 vT A2 0.
u, v 0
例 min 5x1+4x2+3x3 s.t. x1+x2+x3=4 3x1+2x2+x3 =5 x1 ≥ 0, x2 ≥0, x3 ≥0 对偶问题为 max 4w1+5w2 s.t. w1+3w2≤5 w1+2w2 ≤ 4 w1+w2 ≤ 3
一般情形LP问题的对偶问题
min cT x s.t. A1 x b1 A2 x b2 A3 x b3 x0 where c R n , bi R mi , Ai R mi n , i 1, 2,3.
T T max b1T w1 b2 w2 b3 w3
标准形
min cT x s.t. A1 x xs b1 A2 x b2 A3 x xt b3 x, xs , xt 0 where xs R m1 , xt R m3 are slack variables.
例： (P1)
min 20 x1 20 x2 s.t x1 2 x2 1 2 x1 x2 2 2 x1 3x2 3
( D1) max w1 2 w2 3w3 4 w4 s.t w1 2w2 2w3 3w4 20 2w1 w2 3w3 2w4 20 w j 0, j 1, 2,3, 4
2 1 2 2
则 ( w) inf x x w( x 1 x2 4) | x D.
2 ( w) inf x12 x2 w( x1 x2 4) | x D
inf x
2 inf x12 wx1 x2 wx2 4 w | x1 0, x2 0 2 1 2 wx1 | x1 0 inf x2 wx2 | x2
2


2

2
对偶问题为:
w2 4w max 2 s.t. w 0
对偶定理
min f ( x) s.t. g ( x) 0 h( x ) 0 xD g ( x) g1 ( x),, g m ( x)
T
max ( w, v) s.t. w 0
同理, w(0)为( D)的最优解
例
( P ) max Z x1 2 x2 3x3 4 x4
L( x, w, v) : f ( x) wi gi ( x) v j h j ( x)
i 1 j 1
m
l
Lagrange函数
对于任意的x D，Lagrangr函数L( x, w, v)是w, v 的线性函数，于是对偶函数 ( w, v)作为线性函数的 逐点下确界，必然是一个凹函数，所以，对偶问题 是一个凸规划问题。
w* 0 0 4 4
推论1 若问题(P)或(D)有无界解，则其对偶问题(D)或(P) 无可行解； 若问题(P)或(D)无可行解，则其对偶问题(D)或(P) 或者无可行解,或者目标函数值趋于无穷。 推论2 极大化问题的任何一个可行解所对应的目标 函数值都是其对偶问题的目标函数值的下界。
推论3 极小化问题的任何一个可行解所对应的目标 函数值都是其对偶问题的目标函数值的上界。
max w1 2w2 w3 w w w 2 2 3 1 w1 w2 w3 1 s.t. 2w w w 2 1 2 3 w 0 w 0 w3无约束
1
2
max x1 2 x2 x3 2 x1 x2 x3 x x x 1 1 2 3 ST : 2 2 x1 x2 x3 x1 0, x2 0, x3无约束
对偶
T T s.t. A1T w1 A2 w2 A3 w3 c,
w1 0, w2 free, w3 0.
变 量
约 束
约 束
变 量
min 2 x1 x2 2 x3 x1 x2 2 x3 1 x1 x2 x3 2 s.t. x1 x2 x3 1 x1 0, x2无约束, x3 0
min 2w1 w2 2w3 w1 w2 2w3 1
w w w 2 1 2 3 s.t. w1 w2 w3 1 w1 0 w 无约束 w 0 2 3
练习题 min 2 x1 x2 2 x3
x1 x2 2 x3 1 x1 x2 x3 2 s.t. x1 x2 x3 1 x1 0, x3 0, x2无约束
定理2(最优性准则)
若x (0) , w(0)分别为( P), ( D)的可行解且cx (0) w(0)b，
（ 则x 0） w 0） ， （ 分别为(P), 问题的最优解. (D)
证明：
对原问题(P)的任意可行解x,由定理1可知, cT x bT w(0) , 而cT x (0) bT w(0) , 则x (0)为( P)的最优解.
3x1 2 x2 4 x1 , x2 0
1）原问题(P1)一可行解 x=(1, 1)T 目标值 =40 40是(D1)最优目标值的上界.
2）对偶问题(D1)一可行解 w=（1 1 1 1）
目标值 =10
10是(P1)最优目标值的下界.
x* 1

5
6
5

T
最优值 28 最优值 28