2 最优化方法-线性规划-单纯形法解析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 现在求解大规模、退化问题最有效的是原－对偶 内点法
例1. 食谱问题
◎ 问题：确定食品数量，满足营养需求，花费最小？
n种食品，m种营养成份； －第 j 种食品的单价 －每单位第 j 种食品所含第 i 种营养的数量 －为了健康，每天必须食用第i 种营养的数量
◎ 变量： －食用第 j 种食品的数量
无解
可行集：多边形(二维) →多边集(高维空间)
给出有效的代数刻画和严谨的几何描述，从理论上证 实上述几何特征，并寻求有效算法
无(下)界
顶点 一 条 边
线性规划问题解的几种情况
单纯形法简介
• 适用形式：标准形(基本可行解=极点) • 理论基础：线性规划的基本定理！ • 基本思想：从约束集的某个极点/BFS开始，
为基变量的基本解
转轴
转 轴 转 轴 转 轴
x=(0,0,0,4,2,1)
2. BFS→相邻BFS(极点→相邻极点)
设x是BFS, 且规范形如前，且假设 aq 进基 ◎问题：确定出基变量，使转轴后新规范形对应BFS？ 因为
所以
令 可否选取合适的
使得
是BFS ？
确定离基变量
至少有一个正元
例3. 考虑线性方程组
依次移动到相邻极点/BFS，直到找出最优 解，或判断问题无界.
• 初始化：如何找到一个BFS？ • 判断准则：何时最优？何时无界？ • 迭代规则：如何从一个极点/BFS迭代到相
邻极点/BFS？
1. 转轴(基本解→相邻基本解)
满秩假定： A是行满秩的
规范形(canonical form)
不妨设
线性无关 等价变形
定义 称凸集C中的点 x 是C的极点，如果存在 C 中
的点 y, z 和某
，有
则必有 y=z.
极点与基本可行解的等价性定理
考虑线性规划标准形，其中A是秩为m的m×n 矩阵，令 则x是 K 的极点，当且仅当x是线性规划的基本可行解.
推论：（线性规划基本定理的几何形式）
i) 若K非空，则至少有一个极点. ii) 若线性规划有最优解，则必有一个极点是最优解. iii) Ax=b对应的约束集K最多有有限个极点.
• 1947年, George Dantzig发明了单纯形法
• 1979年，L. Khachain找到了求解线性规划的一 种有效方法(第一个多项式时间算法－椭球内点法)
• 1984年，Narendra Karmarkan发现了另一种求 解线性规划的有效方法，已证明是单纯形法的强 有力的竞争者(投影内点法)
实用优化方法
线性规划：单纯形法
线性规划
线性规划：目标函数是线性的，约束条件是 线性等式或不等式
线性规划的历史
• 渊源要追溯到Euler、Liebnitz、Lagrange等
• George Dantzig, Von Neumann(Princeton)和 Leonid Kantorovich在1940’s创建了线性规划
退化基本解：基本解中如果有一个或多个基变量的值为零
基本可行解
约束系统
定义 称
的非负基本解是标准形的基
本可行解(basic feasible solution)；
线性规划的基本定理
考虑线性规划标准形，其中A是秩为m的m×n阶 矩阵，则以下结论成立：
i) 若标准型有可行解，则必有基本可行解； ii) 若标准型有最优解，则必有最优基本可行解。
例1.
例2.
K 有3个极点 有3个基本解，均可行
K 有2个极点 有3个基本解，2个可行
例3.
Subject to
5个极点
－极点
线性规划 解的
几何特征
唯一 解(顶点)！
线性规划解的几何特征
• 有解：唯一解/多个解(整条边、面、甚至
整个可行集)
有顶点解
• 无界：没有有限最优解 • 不可行：没有可行解
转 轴
B=(a1,a2,a3) X=(4,3,1,0,0,0)
a4进基
x=(0,1,3,2,0,0)
3. BFS→目标值减小的相邻BFS
设Baidu Nhomakorabea是BFS，且规范形如前，则有
◎问题：确定进基变量，转轴后使新BFS的目标值变小？ ⊙ 将Ax=b的任一解用非基变量表示； ⊙ 将目标函数
几何解释：连接集合中任两点的线段仍含在该集合中 性质
一些重要的凸集
超平面(hyperplane): 正/负闭半空间：
多面集(polyhedral convex set): 有限个闭半空间的交集
推 广
平面上：多边形
注：任一线性规划的可行集是多面集！
极点
几何上：极点即不能位于连接该集合中其它两点 的开线段上的点
基本可行解的个数不超过
与凸性的关系
线性规划的基本定理(标准形)
基本可行解
极点
线性方程组 的基本性质
代数理论 (与表述形式有关)
设计算法
凸集理论
几何理论
(与表述形式无关)
直观理解
凸性(凸集及性质)
定义
是凸集(convex set)，如果对S中任意
两 点 x , y 和(0,1)中的任一数 满足
◎ 模型：
例2. 运输问题
产销平衡/不平衡的运输问题
例3. 其它应用
• 数据包络分析(data envelope analysis, DEA) • 网络流问题(Network flow) • 博弈论(game theory)等
线性规划的一般形式
线性规划的标准形(分析、算法)
向量表示： 标准形的特征：极小化、等式约束、变量非负
一般形式 转化 标准形
称 松弛(slack)/盈余(surplus)变量；自由变量
例5. 化成标准形
等 价 表 示 为
基本解与基变量
其中
满秩假定：m×n矩阵A满足m<n，且A的行向量线性无关 • 在满秩假定下，方程组Ax=b总有解，且至少有一个基本 解 定义： 给定含有n个变量，m个方程的线性方程组Ax=b， 设B是由A 的列组成的任一非奇异m×m子阵，则如果置x 的所有与B无关的n-m个分量为零后，所得方程组的解是 Ax=b关于基B的基本解(basic solution) ，称x中与基B对应 的分量为基变量(basic variables)
基变量
基本解
一般地： 只要有m个单位列
非基变量
次序可以打乱！
规范形的转换问题
◎ 替换问题
假设在上述规范形中，想用
⊙ 什么时候可以替换？ ⊙ 替换后新规范形是什么？
转轴(pivot)
◎ 当且仅当
，可以替换
◎ 替换后，新规范形的系数
转轴公式
－转轴元(pivot element)
例1. 求下列方程组以
例1. 食谱问题
◎ 问题：确定食品数量，满足营养需求，花费最小？
n种食品，m种营养成份； －第 j 种食品的单价 －每单位第 j 种食品所含第 i 种营养的数量 －为了健康，每天必须食用第i 种营养的数量
◎ 变量： －食用第 j 种食品的数量
无解
可行集：多边形(二维) →多边集(高维空间)
给出有效的代数刻画和严谨的几何描述，从理论上证 实上述几何特征，并寻求有效算法
无(下)界
顶点 一 条 边
线性规划问题解的几种情况
单纯形法简介
• 适用形式：标准形(基本可行解=极点) • 理论基础：线性规划的基本定理！ • 基本思想：从约束集的某个极点/BFS开始，
为基变量的基本解
转轴
转 轴 转 轴 转 轴
x=(0,0,0,4,2,1)
2. BFS→相邻BFS(极点→相邻极点)
设x是BFS, 且规范形如前，且假设 aq 进基 ◎问题：确定出基变量，使转轴后新规范形对应BFS？ 因为
所以
令 可否选取合适的
使得
是BFS ？
确定离基变量
至少有一个正元
例3. 考虑线性方程组
依次移动到相邻极点/BFS，直到找出最优 解，或判断问题无界.
• 初始化：如何找到一个BFS？ • 判断准则：何时最优？何时无界？ • 迭代规则：如何从一个极点/BFS迭代到相
邻极点/BFS？
1. 转轴(基本解→相邻基本解)
满秩假定： A是行满秩的
规范形(canonical form)
不妨设
线性无关 等价变形
定义 称凸集C中的点 x 是C的极点，如果存在 C 中
的点 y, z 和某
，有
则必有 y=z.
极点与基本可行解的等价性定理
考虑线性规划标准形，其中A是秩为m的m×n 矩阵，令 则x是 K 的极点，当且仅当x是线性规划的基本可行解.
推论：（线性规划基本定理的几何形式）
i) 若K非空，则至少有一个极点. ii) 若线性规划有最优解，则必有一个极点是最优解. iii) Ax=b对应的约束集K最多有有限个极点.
• 1947年, George Dantzig发明了单纯形法
• 1979年，L. Khachain找到了求解线性规划的一 种有效方法(第一个多项式时间算法－椭球内点法)
• 1984年，Narendra Karmarkan发现了另一种求 解线性规划的有效方法，已证明是单纯形法的强 有力的竞争者(投影内点法)
实用优化方法
线性规划：单纯形法
线性规划
线性规划：目标函数是线性的，约束条件是 线性等式或不等式
线性规划的历史
• 渊源要追溯到Euler、Liebnitz、Lagrange等
• George Dantzig, Von Neumann(Princeton)和 Leonid Kantorovich在1940’s创建了线性规划
退化基本解：基本解中如果有一个或多个基变量的值为零
基本可行解
约束系统
定义 称
的非负基本解是标准形的基
本可行解(basic feasible solution)；
线性规划的基本定理
考虑线性规划标准形，其中A是秩为m的m×n阶 矩阵，则以下结论成立：
i) 若标准型有可行解，则必有基本可行解； ii) 若标准型有最优解，则必有最优基本可行解。
例1.
例2.
K 有3个极点 有3个基本解，均可行
K 有2个极点 有3个基本解，2个可行
例3.
Subject to
5个极点
－极点
线性规划 解的
几何特征
唯一 解(顶点)！
线性规划解的几何特征
• 有解：唯一解/多个解(整条边、面、甚至
整个可行集)
有顶点解
• 无界：没有有限最优解 • 不可行：没有可行解
转 轴
B=(a1,a2,a3) X=(4,3,1,0,0,0)
a4进基
x=(0,1,3,2,0,0)
3. BFS→目标值减小的相邻BFS
设Baidu Nhomakorabea是BFS，且规范形如前，则有
◎问题：确定进基变量，转轴后使新BFS的目标值变小？ ⊙ 将Ax=b的任一解用非基变量表示； ⊙ 将目标函数
几何解释：连接集合中任两点的线段仍含在该集合中 性质
一些重要的凸集
超平面(hyperplane): 正/负闭半空间：
多面集(polyhedral convex set): 有限个闭半空间的交集
推 广
平面上：多边形
注：任一线性规划的可行集是多面集！
极点
几何上：极点即不能位于连接该集合中其它两点 的开线段上的点
基本可行解的个数不超过
与凸性的关系
线性规划的基本定理(标准形)
基本可行解
极点
线性方程组 的基本性质
代数理论 (与表述形式有关)
设计算法
凸集理论
几何理论
(与表述形式无关)
直观理解
凸性(凸集及性质)
定义
是凸集(convex set)，如果对S中任意
两 点 x , y 和(0,1)中的任一数 满足
◎ 模型：
例2. 运输问题
产销平衡/不平衡的运输问题
例3. 其它应用
• 数据包络分析(data envelope analysis, DEA) • 网络流问题(Network flow) • 博弈论(game theory)等
线性规划的一般形式
线性规划的标准形(分析、算法)
向量表示： 标准形的特征：极小化、等式约束、变量非负
一般形式 转化 标准形
称 松弛(slack)/盈余(surplus)变量；自由变量
例5. 化成标准形
等 价 表 示 为
基本解与基变量
其中
满秩假定：m×n矩阵A满足m<n，且A的行向量线性无关 • 在满秩假定下，方程组Ax=b总有解，且至少有一个基本 解 定义： 给定含有n个变量，m个方程的线性方程组Ax=b， 设B是由A 的列组成的任一非奇异m×m子阵，则如果置x 的所有与B无关的n-m个分量为零后，所得方程组的解是 Ax=b关于基B的基本解(basic solution) ，称x中与基B对应 的分量为基变量(basic variables)
基变量
基本解
一般地： 只要有m个单位列
非基变量
次序可以打乱！
规范形的转换问题
◎ 替换问题
假设在上述规范形中，想用
⊙ 什么时候可以替换？ ⊙ 替换后新规范形是什么？
转轴(pivot)
◎ 当且仅当
，可以替换
◎ 替换后，新规范形的系数
转轴公式
－转轴元(pivot element)
例1. 求下列方程组以