第8章_松弛算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
zLR (, x*)
2 2 53 6 5 2 )T
T (7 , 2 2)T ( x1 (), x2 ())
单位化下降方向:
(
53 6 5 2
,
lim(
7 53 6 5 2
,
2 2 53 6 5 2
)T (
1 2 T , ) 5 5
例3. 代理松弛法:
当(7.1.1)中的约束太多时,代理松弛一个约束
( a
j 1 k 1
n
K
ik j
) x j bik
k 1
K
代替(7.1.1)中的K个约束 n
a
j 1
ik j
x j bik , k 1 K
m
极端情况可以用一个代替全部
( a
j 1 k 1
Chapter 8:拉格朗日松弛算法
主要内容:
8.1 基于规划论的松弛方法
8.2 拉格朗日松弛理论
8.3 拉格朗日松弛的进一步讨论
8.4 拉格朗日松弛算法
8.5 应用案例:能力约束单机排序问题
基于数学规划: 分支定界法、割平 面法、线性规划松弛再对目标函 数可行化等的目标值。 现代优化算法：禁忌搜索法、模 拟退火法、遗传算法、蚁群算法 等的目标值。 其它算法：分解法、组合算法等的 目标值。 下界算法：线性规划松弛、拉格朗 日松弛等的目标值。
(1)可行解区域兼容: S S R
(2)目标函数兼容: c x zR ( x),
T
x S
其中, S 为7.1.1的可行域.
例7.1.1 set covering problem 问题描述: 设 A (aij )mn,所有 aij {0,1} ,且每一列对应一 个费用 c j ( j 1n), aij 1 表示第j列覆盖第i行,要求在 最小的费用下选择一些列,使其覆盖所有的行.
n n Con(Q {x R | Ax b}) Con(Con(Q) {x R | Ax b})
Con(Q) {x R | Ax b}
n
再由定理7.2.2: zIP
xCon ( Q { xR | Ax b})
min cTnx
zLD
Con(Q) {P i P | i R1, i 1} i
i i
显然Con(Q)为凸集.
定理7.2.2
若拉格朗日对偶问题的目标值有限,则
zLD min{cT x | Ax b, x Con(Q)}
n 其中：Q {x | Bx d , x Z }
z LR ( ) min(cT T A) x T b 证明: xQ min (cT T A) x T b
0, zLR ( ) zIP
min cT x s.t.Bx d
n x Z
(7.2.1)
证明:
LR :
IP :
Z LR ( ) min{(cT T A) x T b} Bx d（简单约束） , s.t. n x Z . Z IP min cT x Ax b, (难约束) s.t. Bx d（简单约束） , n x Z .
注:定理7.2.1说明拉格朗日松弛是IP问题的一个下 界,但我们应该求与IP最接近的下界,即:
( LD) z LD max{z LR ( )}
0
定义7.2.1 若 x, y D ,满足以下条件,则称D为凸集.
x (1 ) y D,0 1
对于离散点集 Q {P | i 1, 2,},其凸包 i 定义为:
n
i j
) x j bi
k 1
m
注: 代理松弛法保证目标函数,整数规划约束不变, 显然,由代理松弛法求得的解不一定可行
例4. 拉格朗日松弛方法
基本原理: 将目标函数中造成问题难的约束吸 收到目标函数中,并保持目标函数的线性,使问题 容易求解.
Q:为什么对此类方法感兴趣? A: (1). 在一些组合优化中,若在原问题中减 少一些约束,则使得问题求解难度大大降 低.(我们把这类约束称为难约束). (2). 实际的计算表明此种方法所得到的结 果相当不错.
2 x Z
7.2.2
第一个约束为复杂约束,其拉格朗日松弛后的 模型LR为:
z LR ( ) min{(7 ) x1 (2 2 ) x2 4} s.t. 5 x1 x2 20 2 x1 2 x2 7 x1 2 x2 4 xZ
整理得:
z LD max
T ( Ax k b) cT x k , k K
s.t.
T Ar j cT r j , j J 0
其对偶问题为:
z LD min cT ( k x k j rj )
kK jJ
k 1 kK s.t. A( k x k k r j ) b k kK kK kK k 0, k K ; j 0, j J .
xCon (Q ){ xR | Ax b}
min cT x n
若对仸何c有 zIP zLD ,则问题得证.
例7.2.1 假设整数规划问题IP
zIP min{7 x1 2 x2 } s.t. x1 2 x2 4 5 x1 x2 20 2 x1 2 x2 7 x1 2 x2 4
由LD问题有限,则有:
存在 0，j J,使得(cT - T A)rj 0 zLD max zLR ( ) max min[cT x k T (b Ax k )] 0 0 kK
上述问题等价于: zLD max
cT x k T (b Ax k ) , k K s.t. (cT T A)r j 0, j J 0
2
7.2.3
l3 4
B C
7.2.3 图 解 示 意
l4 l1
( 4 1 T , ) 17 17
3 l2 2 A 1 1 2
3
E
4 D
0 1 2 1
下降方向 (7,2) (7.5,1) (8,0)
最优解 (3,4) (4,0) (4,0)
7
zLR ( )
来自百度文库
-29
-32 -32
例2: 对偶规划松弛方法: 7.1.2的对偶形式为:
Z DP max y b T A y c, s.t. n y R .
T
7.1.3
其中Y为决策变量.
注: 由对偶理论知,7.1.2和7.1.3有相同的最优值,
至于采用其中的哪个模型求解7.1.1的下界, 需比较哪个计算简单.
S1 Con(Q {x R | x1 2 x2 4})
n n S 2 Con(Q) {x R | x1 2 x2 4}
x1 2x2 4
4 3 2 1 1
B
C
S1
2
3
D
4
x1 2x2 4
4
3 2 1 1
B
C
S2 2 3 4
D
由推论7.2.1可以知道, zIP zLD 由两个因素有关: 第一个因素是目标函数中的C,推论7.2.1要求对所 有的C满足S1=S2,但也可能存在某个C使得 zIP zLD 第二个因素是可行解的区域.由上面的图形可知,SI 和S2不同,所以存在一个C,使得 zIP zLD不为零,如 8 z LD 28 ,在 1 达到拉格朗日对偶问 在例7.2.1中, 9 9 题的最优值,其最优解为(4,0); zIP 28 ,其一个最优 解也为(4,0).由此我们可以知道,即使拉格朗日松弛 在某个 下达到的最优解为原问题的可行解,我们 也不能断言 zIP zLD .除非此时 0 .
1, x* 0,
dj 0 other
7.2
拉格朗日松弛理论
Z IP min c x
T
IP :
s.t.
Ax b, (难约束) Bx d（简单约束） , n x Z .
n S {x Z | Ax b, Bx d}
原 整 数 规 划 问 题 拉 格 朗 日 松 弛
( SC )
松弛问题:
( LRSC )
松弛模型:
( LRSC )
n m zLRSC min d j x j i j 1 i 1 j 1 n s.t.x j {0,1}, 0
d j c j i aij
i 1
m
以上问题很容易求得最优解
综合有: 29 z LR ( ) 28 8
0 1 9
例7.2.2(继7.2.1)
例7.2.1中
Q {(2, 2)T ,(2,3)T ,(2, 4)T ,(3,1)T ,(3, 2)T ,(3,3)T ,(3, 4)T ,(4,0)T }
7.1 基于规划论的松弛方法
整数规划模型:
Z IP min cT x Ax b, s.t. n x Z .
7.1.1
松弛的定义（7.1.1）: 问题 RP :
Z R min zR ( x)
xSR
满足下列性质时,称为7.1.1的一个松弛(relaxation).
n zsc min c j x j j 1 n s.t. ai j x j 1, i 1 m j 1 x {0,1}, j 1 n j n m n z LRSC min{ c j x j i (1 aij x j )} j 1 i 1 j 1 j 1 n s.t.x j {0,1}, 0
最优值只能在(4,0)和(3,4)两点得到,过这两点的直 线方程:y+x4=16.其垂直方向为: ( 4 , 1 )T
17 17
7 53 6 5 2
,
2 2 53 6 5 2
(
4 1 T 1 , ) 9 17 17
1 9 1 1 z LD z LR ( ) 28 9 9
xCon ( Q )
min [cT x T (b Ax)]
xCon ( Q )
k 设Con(Q)的极点为{x | k K},极方向为 {r j | j J }则:
, if j J , (cT T A)r j 0 T T T min(c A) x b T k T k x Q c x (b Ax ), other : k K
LR :
SLR {x Z | Bx d}
n
Z LR ( ) min{cT x T (b Ax)} Bx d（简单约束） , s.t. n x Z .
定理7.2.1 LR同下整数规划问题(7.2.1)有相同 的复杂性,且若IP可行解非空，则:
即有:
zLD min cT x
xCon ( Q )
s.t.
Ax b
推论7.2.1:
对于仸给c,整数规划问题IP和拉 格 朗日对偶问题LD的目标值相等的充要条件为:
Con(Q {x R | Ax b}) Con(Q) {x R | Ax b}
n n
证: 显然有 n n Q {x R | Ax b} Con(Q) {x R | Ax b} 从而有:
目 标 值
最优值
例子1: 线性规划松弛: 在7.1.1中,将整数约束松弛 为实数, 称其为7.1.1的线性规划松弛: Z LP min cT x 7.1.2 Ax b, s.t. n x R .
注: 1. 定理7.1.1: ZLP ZIP 2. 此类算法适合于整数规划问题中,决策变量为 较大整数的情形. 3. 此类算法分两阶段: 第一阶段为求松弛后线 性规划问题的最优解; 第二阶段为将解整数化, 并考虑可行性.
2 2 53 6 5 2 )T
T (7 , 2 2)T ( x1 (), x2 ())
单位化下降方向:
(
53 6 5 2
,
lim(
7 53 6 5 2
,
2 2 53 6 5 2
)T (
1 2 T , ) 5 5
例3. 代理松弛法:
当(7.1.1)中的约束太多时,代理松弛一个约束
( a
j 1 k 1
n
K
ik j
) x j bik
k 1
K
代替(7.1.1)中的K个约束 n
a
j 1
ik j
x j bik , k 1 K
m
极端情况可以用一个代替全部
( a
j 1 k 1
Chapter 8:拉格朗日松弛算法
主要内容:
8.1 基于规划论的松弛方法
8.2 拉格朗日松弛理论
8.3 拉格朗日松弛的进一步讨论
8.4 拉格朗日松弛算法
8.5 应用案例:能力约束单机排序问题
基于数学规划: 分支定界法、割平 面法、线性规划松弛再对目标函 数可行化等的目标值。 现代优化算法：禁忌搜索法、模 拟退火法、遗传算法、蚁群算法 等的目标值。 其它算法：分解法、组合算法等的 目标值。 下界算法：线性规划松弛、拉格朗 日松弛等的目标值。
(1)可行解区域兼容: S S R
(2)目标函数兼容: c x zR ( x),
T
x S
其中, S 为7.1.1的可行域.
例7.1.1 set covering problem 问题描述: 设 A (aij )mn,所有 aij {0,1} ,且每一列对应一 个费用 c j ( j 1n), aij 1 表示第j列覆盖第i行,要求在 最小的费用下选择一些列,使其覆盖所有的行.
n n Con(Q {x R | Ax b}) Con(Con(Q) {x R | Ax b})
Con(Q) {x R | Ax b}
n
再由定理7.2.2: zIP
xCon ( Q { xR | Ax b})
min cTnx
zLD
Con(Q) {P i P | i R1, i 1} i
i i
显然Con(Q)为凸集.
定理7.2.2
若拉格朗日对偶问题的目标值有限,则
zLD min{cT x | Ax b, x Con(Q)}
n 其中：Q {x | Bx d , x Z }
z LR ( ) min(cT T A) x T b 证明: xQ min (cT T A) x T b
0, zLR ( ) zIP
min cT x s.t.Bx d
n x Z
(7.2.1)
证明:
LR :
IP :
Z LR ( ) min{(cT T A) x T b} Bx d（简单约束） , s.t. n x Z . Z IP min cT x Ax b, (难约束) s.t. Bx d（简单约束） , n x Z .
注:定理7.2.1说明拉格朗日松弛是IP问题的一个下 界,但我们应该求与IP最接近的下界,即:
( LD) z LD max{z LR ( )}
0
定义7.2.1 若 x, y D ,满足以下条件,则称D为凸集.
x (1 ) y D,0 1
对于离散点集 Q {P | i 1, 2,},其凸包 i 定义为:
n
i j
) x j bi
k 1
m
注: 代理松弛法保证目标函数,整数规划约束不变, 显然,由代理松弛法求得的解不一定可行
例4. 拉格朗日松弛方法
基本原理: 将目标函数中造成问题难的约束吸 收到目标函数中,并保持目标函数的线性,使问题 容易求解.
Q:为什么对此类方法感兴趣? A: (1). 在一些组合优化中,若在原问题中减 少一些约束,则使得问题求解难度大大降 低.(我们把这类约束称为难约束). (2). 实际的计算表明此种方法所得到的结 果相当不错.
2 x Z
7.2.2
第一个约束为复杂约束,其拉格朗日松弛后的 模型LR为:
z LR ( ) min{(7 ) x1 (2 2 ) x2 4} s.t. 5 x1 x2 20 2 x1 2 x2 7 x1 2 x2 4 xZ
整理得:
z LD max
T ( Ax k b) cT x k , k K
s.t.
T Ar j cT r j , j J 0
其对偶问题为:
z LD min cT ( k x k j rj )
kK jJ
k 1 kK s.t. A( k x k k r j ) b k kK kK kK k 0, k K ; j 0, j J .
xCon (Q ){ xR | Ax b}
min cT x n
若对仸何c有 zIP zLD ,则问题得证.
例7.2.1 假设整数规划问题IP
zIP min{7 x1 2 x2 } s.t. x1 2 x2 4 5 x1 x2 20 2 x1 2 x2 7 x1 2 x2 4
由LD问题有限,则有:
存在 0，j J,使得(cT - T A)rj 0 zLD max zLR ( ) max min[cT x k T (b Ax k )] 0 0 kK
上述问题等价于: zLD max
cT x k T (b Ax k ) , k K s.t. (cT T A)r j 0, j J 0
2
7.2.3
l3 4
B C
7.2.3 图 解 示 意
l4 l1
( 4 1 T , ) 17 17
3 l2 2 A 1 1 2
3
E
4 D
0 1 2 1
下降方向 (7,2) (7.5,1) (8,0)
最优解 (3,4) (4,0) (4,0)
7
zLR ( )
来自百度文库
-29
-32 -32
例2: 对偶规划松弛方法: 7.1.2的对偶形式为:
Z DP max y b T A y c, s.t. n y R .
T
7.1.3
其中Y为决策变量.
注: 由对偶理论知,7.1.2和7.1.3有相同的最优值,
至于采用其中的哪个模型求解7.1.1的下界, 需比较哪个计算简单.
S1 Con(Q {x R | x1 2 x2 4})
n n S 2 Con(Q) {x R | x1 2 x2 4}
x1 2x2 4
4 3 2 1 1
B
C
S1
2
3
D
4
x1 2x2 4
4
3 2 1 1
B
C
S2 2 3 4
D
由推论7.2.1可以知道, zIP zLD 由两个因素有关: 第一个因素是目标函数中的C,推论7.2.1要求对所 有的C满足S1=S2,但也可能存在某个C使得 zIP zLD 第二个因素是可行解的区域.由上面的图形可知,SI 和S2不同,所以存在一个C,使得 zIP zLD不为零,如 8 z LD 28 ,在 1 达到拉格朗日对偶问 在例7.2.1中, 9 9 题的最优值,其最优解为(4,0); zIP 28 ,其一个最优 解也为(4,0).由此我们可以知道,即使拉格朗日松弛 在某个 下达到的最优解为原问题的可行解,我们 也不能断言 zIP zLD .除非此时 0 .
1, x* 0,
dj 0 other
7.2
拉格朗日松弛理论
Z IP min c x
T
IP :
s.t.
Ax b, (难约束) Bx d（简单约束） , n x Z .
n S {x Z | Ax b, Bx d}
原 整 数 规 划 问 题 拉 格 朗 日 松 弛
( SC )
松弛问题:
( LRSC )
松弛模型:
( LRSC )
n m zLRSC min d j x j i j 1 i 1 j 1 n s.t.x j {0,1}, 0
d j c j i aij
i 1
m
以上问题很容易求得最优解
综合有: 29 z LR ( ) 28 8
0 1 9
例7.2.2(继7.2.1)
例7.2.1中
Q {(2, 2)T ,(2,3)T ,(2, 4)T ,(3,1)T ,(3, 2)T ,(3,3)T ,(3, 4)T ,(4,0)T }
7.1 基于规划论的松弛方法
整数规划模型:
Z IP min cT x Ax b, s.t. n x Z .
7.1.1
松弛的定义（7.1.1）: 问题 RP :
Z R min zR ( x)
xSR
满足下列性质时,称为7.1.1的一个松弛(relaxation).
n zsc min c j x j j 1 n s.t. ai j x j 1, i 1 m j 1 x {0,1}, j 1 n j n m n z LRSC min{ c j x j i (1 aij x j )} j 1 i 1 j 1 j 1 n s.t.x j {0,1}, 0
最优值只能在(4,0)和(3,4)两点得到,过这两点的直 线方程:y+x4=16.其垂直方向为: ( 4 , 1 )T
17 17
7 53 6 5 2
,
2 2 53 6 5 2
(
4 1 T 1 , ) 9 17 17
1 9 1 1 z LD z LR ( ) 28 9 9
xCon ( Q )
min [cT x T (b Ax)]
xCon ( Q )
k 设Con(Q)的极点为{x | k K},极方向为 {r j | j J }则:
, if j J , (cT T A)r j 0 T T T min(c A) x b T k T k x Q c x (b Ax ), other : k K
LR :
SLR {x Z | Bx d}
n
Z LR ( ) min{cT x T (b Ax)} Bx d（简单约束） , s.t. n x Z .
定理7.2.1 LR同下整数规划问题(7.2.1)有相同 的复杂性,且若IP可行解非空，则:
即有:
zLD min cT x
xCon ( Q )
s.t.
Ax b
推论7.2.1:
对于仸给c,整数规划问题IP和拉 格 朗日对偶问题LD的目标值相等的充要条件为:
Con(Q {x R | Ax b}) Con(Q) {x R | Ax b}
n n
证: 显然有 n n Q {x R | Ax b} Con(Q) {x R | Ax b} 从而有:
目 标 值
最优值
例子1: 线性规划松弛: 在7.1.1中,将整数约束松弛 为实数, 称其为7.1.1的线性规划松弛: Z LP min cT x 7.1.2 Ax b, s.t. n x R .
注: 1. 定理7.1.1: ZLP ZIP 2. 此类算法适合于整数规划问题中,决策变量为 较大整数的情形. 3. 此类算法分两阶段: 第一阶段为求松弛后线 性规划问题的最优解; 第二阶段为将解整数化, 并考虑可行性.