09对偶与整数规划

引入惩罚因子p，对违背约束的解进行惩罚；
只要选择合适的p，无约束问题的解与原问题一致。
3 / 70
2013年春季 通信网络理论基础
LP标准型的对偶(1/2)
松弛掉等式约束可得：
惩罚因子的 个数为m。
4 / 70
2013年春季 通信网络理论基础
LP标准型的对偶(2/2)
LP标准型的对偶(dual)问题。
若主最佳解非零，则对应的对偶约束必取等号。
若对偶最佳解非零，则对应的主约束必取等号。
24 / 70
2013年春季 通信网络理论基础
对偶与整数规划
1 对偶理论 2 对偶问题示例 3 对偶单纯形算法简介 4 整数规划的求解方法 5 小结
互补松弛定理(1/2)
定理：complementary slackness
证明：
22 / 70
2013年春季 通信网络理论基础
互补松弛定理(2/2)
证明：
弱对偶定理， 记得吗？
充要条件得证。
23 / 70
2013年春季 通信网络理论基础
关于对偶的第五个印象
主问题与对偶问题不仅求解过程是一致的（求解前者 的同时也求解了后者），而且求出的解具有密切关系：
18 / 70
2013年春季 通信网络理论基础
强对偶定理(1/2)
主 问 题
对 偶 问 题
假定用单纯形法求解主问题，得到最佳解x和最佳基B，则：
Reduced Coຫໍສະໝຸດ Baidut，还记得吗？ p为对偶可行解。
由弱对偶定理的推论2可知，p是对偶最佳解。
19 / 70
2013年春季 通信网络理论基础
强对偶定理(2/2)
通信网络理论基础
Part 09: 对偶与整数规划
虞红芳
博士 教授 博导
对偶与整数规划
1 对偶理论 2 对偶问题示例 3 对偶单纯形算法简介 4 整数规划的求解方法 5 小结
2 / 70
2013年春季 通信网络理论基础
拉格朗日乘子法
如何求解该问题？
拉格朗日乘子法的思想： 松弛原问题的约束，得到一个无约束问题；
总结上述推导，可得：
对
主 问 题
偶 问 题
有人看出这个例子与上一个例子的关系了吗？ 该例中，主问题是上例中的对偶问题。 该例中，对偶问题是上例中的主问题。
15 / 70
2013年春季 通信网络理论基础
关于对偶的第三个印象
对偶问题的对偶，是主问题。 主问题可以推出其对偶问题。 对偶问题也可以推出其对应的主问题。
主问题 minimize
maximize 对偶问题
约束
变量
变量
约束
任给一个LP问题，都可按照上述规则写出其对偶问题。
真正需要记住的是“惩罚”以及拉格朗日函数的概念， 而不是这些规则。
11 / 70
2013年春季 通信网络理论基础
另一个例子(1/4)
应用“惩罚”的概念推导下面最大化问题的对偶问题。
12 / 70
2013年春季 通信网络理论基础
另一个例子(2/4)
应用“惩罚”的概念推导下面最大化问题的对偶问题。
13 / 70
对偶约束和主变量 符号相反。
2013年春季 通信网络理论基础
另一个例子(3/4)
对偶约束与对应的主变量“符号相反”，其最大值为0。
14 / 70
2013年春季 通信网络理论基础
另一个例子(4/4)
主 问 题
对 偶 问 题
任一LP问题都可以转化为标准型。 若标准型主问题存在最佳解，则单纯形法一定可以求出。 求出了主最佳解，则对偶最佳解也被求出了。
因此，有：
定理：strong duality theorem
If a linear programming problem has an optimal solution, so does its dual, and the respective optimal costs are equal.
6 / 70
2013年春季 通信网络理论基础
例子：一般的LP(1/4)
除了符号约束之外，每个 约束都引入一个惩罚因子， 并松弛到目标函数中。
在该松弛问题中，为了体现“惩罚”的含义，必有：
7 / 70
2013年春季 通信网络理论基础
例子：一般的LP(2/4)
每个主变量都对应一个“对偶约束”。 为了保证最小化Lagrange函数有意义，必有：
8 / 70
2013年春季 通信网络理论基础
例子：一般的LP(3/4)
由于对偶约束与对应的主变量“同符号”，其最小值为0。
9 / 70
2013年春季 通信网络理论基础
例子：一般的LP(4/4)
总结上述推导，可得：
主 问 题
10 / 70
对 偶 问 题
2013年春季 通信网络理论基础
关于对偶的第二个印象
定理：weak duality theorem
17 / 70
2013年春季 通信网络理论基础
两个推论
推论1：
推论2：
Let x and p be feasible solutions to the primal and the dual, respectively, and suppose that pb=cx. Then, x and p are optimal solutions to the primal and the dual, respectively.
主问题与对偶问题是一一对应的。
对偶问题可以看作是主问题的最佳估值问题，那么， 这种估值准确吗？
让我们来讨论对偶理论中最深刻的结论：对偶定理。
16 / 70
2013年春季 通信网络理论基础
弱对偶定理
主 问 题
对 偶 问 题
推导对偶问题的过程中，我们知道：
对拉格朗日函数求最小值(松弛问题)得到的一定是主问题 目标函数值的下界； 对偶问题的目标函数就是松弛问题的目标函数。 故有：
5 / 70
2013年春季 通信网络理论基础
关于对偶的第一个印象
对于LP问题，可以按照拉格朗日乘子法求解其“估值”。
求解合适的Lagrange乘子（惩罚因子）等价于求解一个 LP问题：原问题（主问题）的对偶问题。
Well，至少对标准型，是这样。 更一般的LP问题还是这样吗？ 对于更一般的LP问题，其对偶问题是什么样子？ 我们用一个例子来说明。
20 / 70
2013年春季 通信网络理论基础
关于对偶的第四个印象
主问题与对偶问题不仅一一对应， 而且在下述意义下是等价的：
二者的最佳目标值是一致的：估值是精确的。 求解主问题的同时，对偶问题的解也被求出了。
那么，两个问题的解的取值有什么关系吗？ 一个重要的结论：互补松弛定理。
21 / 70
2013年春季 通信网络理论基础