北航最优化教材
北航刘红英数学规划教材课后习题参考答案
ri(x)∇ri(x)
=
2A(x)T r(x),
∇2f (x)
= =
2 2
∑m ∑mi=1
i=1
ri(x)∇2ri(x) ri(x)∇2ri(x)
+ +
2
∑n
i=1
∇ri
(x)(∇ri
(x))T
2A(x)T A(x).
1.6 考虑向量值函数 f (x) : Rn → Rm ，设 f 的每个分量函数 fi(x) 在 x′ 都可微. 写出 f 在 x′ 的Taylor展式，请用 A(x)T 表示 ∇f (x)T (= [∇f1(x), · · · , ∇fm(x)]).
maximize 200x + 60y + 206z
subject to 3x + y + 5z ≤ 8000000
5x + y + 3z ≤ 5000000
x, y, z ≥ 0, 且 x, y, z 是整数.
忽略掉整性要求后，调用 Matlab 中的 linprog.m 函数求解，得最优解 x = 0, y = 500000, z = 1500000，自动满足整性要求.
的最优值相同，将这个问题的最优解投影到 (x, y, z) 所在的空间可以得到原问题的解. 这个问题可以写成线性规划问题：
minimize t1 + t2 + t3 subject to x + y ≤ 1,
2x + z = 3, −t1 ≤ x ≤ t1, −t2 ≤ y ≤ t2, −t3 ≤ z ≤ t3.
解:
(a) ∇f (x) = a, ∇2f (x) = 0n×n; (b) ∇f (x) = (A + AT )x, ∇2f (x) = A + AT ;
北航最优化方法大作业参考
1 流量工程问题1.1 问题重述定义一个有向网络G=(N,E)，其中N是节点集，E是弧集。
令A是网络G的点弧关联矩阵，即N×E阶矩阵，且第l列与弧里(I,j)对应，仅第i行元素为1，第j行元素为-1，其余元素为0。
再令b m=(b m1,…,b mN)T，f m=(f m1,…,f mE)T，则可将等式约束表示成：Af m=b m本算例为一经典TE算例。
算例网络有7个节点和13条弧，每条弧的容量是5个单位。
此外有四个需求量均为4个单位的源一目的对，具体的源节点、目的节点信息如图所示。
这里为了简单，省区了未用到的弧。
此外，弧上的数字表示弧的编号。
此时，c=((5,5…,5)1 )T，×13)。
根据上述四个约束条件，分别求得四个情况下的最优决策变量x=((x12,x13,…,x75)1×13图 1 网络拓扑和流量需求1.2 7节点算例求解1.2.1 算例1（b1=[4;-4;0;0;0;0;0]T）转化为线性规划问题：Minimize c T x1Subject to Ax1=b1x1>=0利用Matlab编写对偶单纯形法程序，可求得:最优解为x1*=[4 0 0 0 0 0 0 0 0 0 0 0 0]T对应的最优值c T x1=201.2.2 算例2（b2=[4;0;-4;0;0;0;0]T）Minimize c T x2Subject to Ax2=b2X2>=0利用Matlab编写对偶单纯形法程序，可求得:最优解为x2*=[0 4 0 0 0 0 0 0 0 0 0 0 0]T对应的最优值c T x2=201.2.3 算例3（b3=[0;-4;4;0;0;0;0]T）Minimize c T x3Subject to Ax3=b3X3>=0利用Matlab编写对偶单纯形法程序，可求得:最优解为x3*=[4 0 0 0 4 0 0 0 0 0 0 0 0]T对应的最优值c T x3=401.2.4 算例4（b4=[4;0;0;0;0;0;-4]T）Minimize c T x4Subject to Ax4=b4X4>=0利用Matlab编写对偶单纯形法程序，可求得:最优解为x4*=[4 0 0 4 0 0 0 0 0 4 0 0 0]T对应的最优值c T x4=601.3 计算结果及结果说明1.3.1 算例1（b1=[4;-4;0;0;0;0;0]T）算例1中，由b1可知，节点2为需求节点，节点1为供给节点，由节点1将信息传输至节点2的最短路径为弧1。
北航网络教育第四学期教材信息
《国际贸易实务》 国际私法 环境与资源保护法 《汇编语言程序设计》 21世纪会计学系列教材:会计信息系统(第四版) 会计制度设计（附：会计制度设计自学考试大纲） 航空机载电子系统与设备 计算机网络技术（附：计算机网络技术自学考试大纲） 《技术经济学》 建筑结构选型(第二版） 建筑设备 建筑工程质量与安全管理 《建筑艺术欣赏》 世界建筑艺术之旅 普通高等教育"十一五"国家级规划教材·21世纪法学系列教材:劳动法和社会保障法(第3版) 21世纪工商管理类专业主干课系列教材:领导学(第三版) 平装 民航英语 基础教程（下) 十一五"国家级规划教材·面向21世纪课程教材·全国高等学校法学专业16门核心课程教材:民事诉讼法(第4版) 人力资源管理——理论、方法、工具、实务 《实用软件工程》（第2版） 市场营销学 《数据库系统原理教程》
网络广告设计与制作 动漫影视作品赏析 数字音频原理及应用(第2版） 土力学与基础工程 《外贸英语对话》（增订本） 网站设计技术 项目成本管理 《IT项目管理》（第6版） 《项目评估》 项目时间管理 刑事诉讼法学 Premiere 影视后期编辑的革命 中文版Flash 8实例与操作 游戏架构设计与策划基础 《知识产权法》（第五版） 系统可靠性设计分析教程 机械设计基础 机械制造工艺学 计算机辅助制造（第二版） 现代制造技术 机电传动控制 机电一体化系统设计（修订本） 信号与线性系统分析 机械工程测试技术基础 数字信号处理（第二版） 机电系统计算机控制 供应链管理（第3版） 物流系统规划 仓储和配送管理 绩效管理 人员选拔与聘用管理 现代组织薪酬管理学 员工关系管理 电力系统继电保护（第2版） 工厂供电（第5版） 国际物流学 物流管理经典案例剖析——物流师培训辅导教材 项目采购管理 自编电子教材 组织行为学 《广告学概论》（修订版） 市场调查与预测 《消费者行为学（第8版、中国版）》 网络营销 《外国教育史教程》 课程与教学论 现代教育管理
北航最优化方法最新最全答案2015版详解
部分习题参考解答
刘红英 编
北京航空航天大学数学与系统科学学院 2015 年 5 月
内容简介
本书是《数学规划基础》(刘红英，夏勇，周水生，北京航空航天大学出版社，2012.10)的 配套教学辅导材料，较详细地给出了该教材各章后部分习题的参考解答.
前言
本习题解答自 2008 年春季开始编写，当时由硕士研究生阎凤玉提供部分习题解答， 经讨论和确认后，由作者首次录入排版. 后来陆续参加习题解答修订的硕士研究生包括王 浩、欧林鑫、朱丽媛、易彩霞和杨茜，其中的数值结果由欧林鑫提供. 作者在此向他们的 辛勤劳动表示衷心的感谢.
本解答得到了？项目的资助，在此表示感谢. 由于这些参考解答尚未经过特别严格的校对，仅供参考. 任何意见、建议或其它反馈 都可以发送至liuhongying@，在此深表感谢.
刘红英 2015.5 于北京
目录
第一章 引言
1
第二章 线性规划: 基本理论与方法
3
第三章 线性规划：应用及扩展
maximize 200x + 60y + 206z
subject to 3x + y + 5z ≤ 8000000
5x + y + 3z ≤ 5000000
x, y, z ≥ 0, 且 x, y, z 是整数.
忽略掉整性要求后，调用 Matlab 中的 linprog.m 函数求解，得最优解 x = 0, y = 500000, z = 1500000，自动满足整性要求.
(x)(∇ri
(x))T
2A(x)T A(x).
1.6 考虑向量值函数 f (x) : Rn → Rm ，设 f 的每个分量函数 fi(x) 在 x′ 都可微. 写出 f 在 x′ 的Taylor展式，请用 A(x)T 表示 ∇f (x)T (= [∇f1(x), · · · , ∇fm(x)]).
北航飞行器结构优化设计
结构优化设计课程总结通过对本课程的学习，我了解到工程设计的过程中，一般都是先粗略估计一些数值，然后进行校核分析，如果不合适，则需进一步修正数值后校核，使数值进一步去拟合理想值，如此多次进行以达到最优的效果。
但是这样做周期会比较长，计算量也比较大。
这门课就是讲解这些算法如何优化的。
由此总结出本课程前后主要由三部分构成。
第一，优化设计的基本理论，包括结构优化设计的数学模型、线性规划基本理论和计算方法、无约束非线性规划和约束非线性规划的基本理论、多种计算方法的公式、性质和流程、多目标优化的基本理论和计算方法；第二，工程结构优化设计，包括适用于工程设计的优化准则法、对飞行器结构设计具有重要意义的结构可靠性优化设计；第三，飞行器优化设计技术的新发展，包括多学科设计优化（MDO）、遗传算法及改进、智能优化设计技术。
这些分析方法都是以计算机为工具，将非线性数学规划的理论和力学分析方法结合，使用于受各种条件限制的承载结构设计情况。
优化问题的数学意义是在不等式约束条件下，求出使目标函数为最小或最大值的一组设计变量值。
在实际工程应用中，优化问题所包含的函数通常是非线性的和隐式的。
因此建立在数学规划基础上的优化算法，是依据当前设计方案所对应的函数值与导数值等信息，按照某种规则在多维设计变量空间中进行搜索，一步一步逼近优化解，也就是一个迭代的过程。
故在计算机上进行该类运算会更加具有实际意义。
一、有限元素法这是基于在结构力学、材料力学和弹性力学基础上的一种分析方法。
研究杆、梁，经简化薄板组成的结构的应力、变形等问题。
其方法是首先通过力学分析将结构离散化成单一元素，然后对单一元素进行分析，算出各单元刚度矩阵后，进行整体分析，根据方程组K·u=P求解。
这种方法求解的问题受限于结构的规模、形式和效率。
在有限元素法中,用网格将结构划分为若干小块,这些小块称为有限元素，简称有限元。
它们可以是三角形、四边形、四面体、六面体或其他形状，易于为计算机记录和鉴别。
最优化方法课程教学大纲
《最优化方法》课程教学大纲Methods of Optimization课程代码： 课程性质：专业基础理论课/选修适用专业：信息计算、统计学开课学期：6总学时数：56总学分数：3.5编写年月：2002年3月修订年月：2007年7月执笔：刘伟一、课程的性质和目的最优化计算方法是在生产实践和科学实验中选取最佳决策，研究在一定限制条件下，选取某种方案，以达到最优目标的一门学科，广泛应用与空间科学、军事科学、系统识别、通讯、工程设计、自动控制、经济管理等各个领域，是工科院校高年纪学生、研究生、应用数学专业学生和搞优化设计的工程技术人员的一门重要课程。
通过本课程教学，使学生掌握最优化计算方法的基本概念和基本理论，初步学会处理应用最优化方法解决实际中的碰到的各个问题，培养解决实际问题的能力。
二、课程教学内容及学时分配（一）教学内容1. 最优化方法和最优化模型最优化方法定义、最优化问题的数学模型与分类；根据问题特点（无约束最优化与约束最优化），根据函数类型（线性规划，非线性规划）；最优化方法（解析法，直接法），最优解与极值点。
2.基础知识多元函数泰勒公式的矩阵形式，古典极值理论问题，二次函数求梯度公式，凸集，凸函数，凸规划，几个重要的不等式。
3. 常用的一维搜索方法一维搜索法是最优化的基础，“成功－失败”法的思想与算法，黄金分割法（０.618法）的思想与算法，二次插值法，三次插值法，Ｄ。
Ｓ。
Ｃ法，Ｐowell 法等方法的思想与算法。
4. 无约束最优化方法无约束最优化方法是最优化方法中的基本方法。
最速下降法的思想与算法步骤，牛顿法的思想与算法步骤，共轭方向法的思想与算法步骤，共轭梯度法的思想与算法步骤，变尺度法（ＤＦＰ法和ＢＦＧＳ法）的思想与算法步骤5. 约束最优化方法约束最优化方法通常约束问题转化为无约束问题求解。
序列无约束极小化方法（ＳＵＭＴ－外点法与ＳＵＭＴ－内点法）的思想与算法步骤，内点的求法，其他罚函数法,Frank-Wolfe法的思想与算法步骤6. 直接搜索法Ｐowell方向加速法的思想与算法步骤学时分配三、课程教学的基本要求1. 最优化模型了解最优化的数学模型与分类, 理解最优化模型的分类标准及最优化模型解法分类。
《最优化方法》课程教学大纲
《最优化方法》课程教学大纲课程编号：英文名称：Optimization Methods一、课程说明1. 课程类别理工科学位基础课程2. 适应专业及课程性质理、工、经、管类各专业，必修文、法类各专业，选修3.课程目的（1）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法；（2）使学生了解二次规划与线性分式规划的一些特殊算法；（3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。
4. 学分与学时学分2，学时405. 建议先修课程微积分、线性代数、Matlab语言6. 推荐教材或参考书目推荐教材：（1）《非线性最优化》（第一版）. 谢政、李建平、汤泽滢主编.国防科技大学出版社. 2003年（2）《最优化方法》（第一版）. 孙文瑜、徐成贤、朱德通主编. 高等教育出版社. 2004年参考书目：（1）《最优化原理》（第一版）. 胡适耕、施保昌主编. 华中理工大学出版社. 2000年（2）《运筹学》》（修订版）. 《运筹学》教材编写组主编. 清华大学出版社. 1990年7. 教学方法与手段（1）教学方法：启发式（2）教学手段：多媒体演示、演讲与板书相结合8. 考核及成绩评定考核方式：考试成绩评定：考试课（1）平时成绩占20%，形式有：考勤、课堂测验、作业完成情况。
（2）考试成绩占80%，形式有：笔试（开卷）。
9. 课外自学要求（1）课前预习；（2）课后复习；（3）多上机实现各种常用优化算法。
二、课程教学基本内容及要求第一章最优化问题与数学预备知识基本内容：（1）最优化的概念；（2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类；（4）向量函数微分学的有关知识；（5）最优化的基本术语。
基本要求：（1）理解最优化的概念；（2）掌握经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）了解最优化问题的模型及分类；（4）掌握向量函数微分学的有关知识；（5）了解最优化的基本术语。
北航最优化方法作业答案co_lcp
第 8 章 约束优化：线性约束规划
数学规划基础
LHY-SMSS-BUAA
线性等式约束规划
f (x) 是 n 元函数；ai 是 n 维常向量； bi 是常数 有解时 凸规划 ⊙ f(x) 是凸函数 KKT点即为全局极小点 f(x) 严格凸 ：有唯一的极小点 ⊙ f(x) 是非凸函数 可能存在不是全局解的局部解 找全局解是NP-难问题 引入矩阵 ，使得 且 非奇异 解的情况： 无可行解、无界、有解
约束优化：线性约束规划
Constrained Optimization: Linearly Constrained Programming
第 8 章 约束优化：线性约束规划
数学规划基础
LHY-SMSS-BUAA
二次规划(quadratic programming)
G 是 n 阶对称方阵 d，ai 是 n 维常向量 解的情况：无可行解、无界、有解 有解时： ⊙ G半正定 KKT点即为全局极小点 凸规划 G 正 定 ：有唯一的极小点 ⊙ G不定 可能存在不是全局解的局部解 找全局解是NP-难问题
第 8 章 约束优化：线性约束规划
数学规划基础
LHY-SMSS-BUAA
等式约束二次规划－广义消元法(续)
第 8 章 约束优化：线性约束规划
数学规划基础
LHY-SMSS-BUAA
第 8 章 约束优化：线性约束规划
数学规划基础
LHY-SMSS-BUAA
实用二次规划算法概述
⊙ 经典的积极集法(active-set methods)
有价证券的组合优化(续)
Markowitz引入风险容许参数(risk tolerance parameter)
找出“最优的”证券投资组合！ ⊙ 参数 ，设定值依赖于投资者的个人偏好
北邮最优化课件0最优化理论与算法引言-PPT精品文档32页
(4)
0, otherwise
最优化理论
22
6.结构设计问题
两杆桁架的最优设计问题。
由两根空心圆杆组成对称的两杆桁架，其顶点承 受负载为2p，两支座之间的水平距离为2L，圆 杆的壁厚为B，杆的比重为ρ，弹性模量为E， 屈吸强度为δ。求在桁架不被破坏的情况下使 桁架重量最轻的桁架高度h及圆杆平均直径d。
最优化理论
31
谢谢你的阅读
知识就是财富 丰富你的人生
x S的最优解（整体最优解）
Df 1.2 设f(x)为目标函数，S为可行域，
若 存 在 x0的 邻 域 N(x0){x| xx0 ,0} 使 得 对 每 个 xS N(x0),成 立 f(x)f(x0)
则称x0为极小化问题min f(x),x S的局部最优解
最优化理论
30
优化软件 / /neos/solvers/index.html
最优化理论
21
5 负载平衡(2)
min L
(1)
s.t.
L Li,j
s
,d
Fsd ij
,
(i,j) E
(2)
Fsd ij
0, or
s,d ,
(i,j) E (3)
Fsd i ij
Fsd
k jk
s,d s,d ,
பைடு நூலகம்
,
if if
s j d j
Convex Analysis R. T. Rockafellar Princeton Landmarks in Mathematics and Physics, 2019.
Optimization and Nonsmooth Analysis
北航最优化理论与算法课程
minimize subject to
消去变量x1 后， 得到目标函数
内容(预习章节) 课程简介、 LP基本概念(§1.1-1.3,§2.1.1-2.1.2) LP 基本定理和既约费用系数(§2.1.3-2.1.4, §2.2.1) 单纯形法(§2.2.2-§2.2.4) 国庆节放假 国庆节放假 单纯形法的启动及效率、 修正单纯形法(§2.2.5-§2.2.6) LP 的对偶(§2.3) 网络流问题及网络单纯形法(§3.1) 网络流问题的应用(§3.2) 线性整数规划(§3.4-§3.4) 数学基础、 最优性条件、 凸函数(§1.4, §4.1-§4.2) 无约束优化算法综述、 线搜索算法(§4.3-§4.4) 无约束优化：最速下降法、 牛顿法(§5.1) 无约束优化：共轭梯度法(§5.2) 无约束优化：拟牛顿法(§5.3) 无约束优化：最小二乘(§5.4) & 信赖域法(§6.1-§6.2) 期中考试2017,11.30(周四上午10:00-12:00) 约束优化：一阶条件(§7.1-§7.2)、 凸规划(§7.5) 约束优化：一阶条件续(§7.3) 约束优化：二阶条件(§7.4) 约束优化：Lagrange对偶(§7.6-§7.7) 约束优化：二次规划(§8.1-§8.3) 约束优化：罚函数法(§9.1-§9.2) 约束优化：罚函数法(§9.3) 约束优化：逐步二次规划法(§9.4) 期末考试(暂定) 2018,1.11(周四上午10:00-12:00)
北航最优化方法作业答案co_theory
原始问题
min-max问题是研究对偶问题的基础！各种对偶的区别： 的定义方式不同！ 原始问题(primal problem)
◎ 前提: 两人采取理性行为 不管对方采取何种策略，该行为都能保证自己的最大获益 该行为都能保证自己的最大获益 －不管对方采取何种策略 Peter: 选 最多要支付 Harriet： 选 最少收到 需要解决的问题： max-min问题←→对偶问题
第 7 章 约束优化：理论 数学规划基础 LHY‐SMSS‐BUAA 第 7 章 约束优化：理论 数学规划基础 LHY‐SMSS‐BUAA
4
线性规划的对偶理论
线性规划的对偶理论： 原始问题←→对偶问题 • 原始问题－minimize，对偶问题－maximize • 原始问题最优解所对应的单纯形乘子是对偶问题的解 • 弱对偶性 • 强对偶性(之一有解，则另一个必有解，且最优值相等)
其中 是凸函数. 定理. 凸规划的任一KKT点是全局极小点. 注1. 凸规划的所有局部解也是全局解. 注2. 线性规划是凸规划；二次规划中目标函数的Hessian阵 半正定时，也是凸规划.
第 7 章 约束优化：理论 数学规划基础 LHY‐SMSS‐BUAA
则 . 从而 Lagrange乘子的解释：最优值关于约束的灵敏度，即 约束函数变化时，对应的最优值的变化率！
原始问题(primal problem) 例1.
Lagrange对偶－例
其中 的其它约束. 对任意的
, 是凸函数，X是凸集，是希望分别处理 ，定义对偶函数 定义对偶函数(dual (d l function) f ti )
对偶函数
对偶问题： 对偶问题(dual problem)：
注：如果要求 ci(x) = 0，则对偶问题中与之对应的变量没 有符号限制.
北航最优化教材
例1. 食谱问题
◎ 问题：确定食品数量，满足营养需求，花费最小？
n种食品，m种营养成份； －第 j 种食品的单价 －每单位第 j 种食品所含第 i 种营养的数量 －为了健康，每天必须食用第i 种营养的数量
◎ 变量： －食用第 j 种食品的数量 ◎ 模型：
4
例2. 目标函数中含绝对值的问题
假设： 事实： 转化为：
基本可行解
定义 称
的非负基本解是标准形的基
本可行解(basic feasible solution)；
◆ 退化基本可行解：某个或某些基变量取零的基本可行解！ 问题：基本可行解与基的对应关系？(见习题2.5)
例. 基本可行解及几何意义
基本可行解的个数不超过
线性规划的基本定理(*****)
考虑线性规划标准形，其中A是秩为m的m×n 矩阵，则以下结论成立：
将 Ax=b 的任一解 x 用非基变量表示为
确定进基变量
◎最优性定理
◎定理:BFS的提高 给定目标值为z0的非退化基本可行解，且假定存
在 j 使得 rj < 0，则 i) 如果用 aj 替换基中某列得到了新的BFS，则新解
处的目标值比 z0 严格小. ii) 如果任何替换都产生不了新的BFS，则问题无界.
基本解
基变量
一般地：
只要有m个单位列
非基变量 即可，次序可以打乱！
8
规范形的转换问题
◎ 替换问题
假设在上述规范形中，想用
⊙ 什么时候可以替换？ ⊙ 替换后新规范形是什么？
转轴(pivot)
◎ 当且仅当
，可以替换
◎ 替换后，新规范形的系数
转轴公式
－转轴元(pivot element)
北航最优化方法习题2015版(下)
易见最优解 件为：
y∗
=0， 于是得原问题的解
x∗
=
1, y ∗
=0.
(b) 该问题的 Lagrange 函数 L(x, y, λ) = x2 + y 2 + λ((x − 1)3 − y 2 ) . KKT条 2x + 3λ(x − 1)2 = 0 2y − 2λy = 0 (x − 1)3 − y 2 = 0.
9 T ∗ 首先，因为 x∗ = ( 3 2 , 4 ) 满足约束条件，且有 I (x ) = {1} , 所以由互补条件有 ∗ ∗ λ∗ 2 = λ3 = λ4 = 0 . 再将
3 1 g ∗ = (− , )T , 2 2
T a∗ 1 = (3, −1) .
代入上边的梯度条件，即KKT条件的前两个方程，解得 λ∗ 1 = 足KKT条件.
由两个等式约束得 x1 = 2x2 , x3 =
750 , x2 2
从而原问题可既约为
16x2 2+
33000 x2
minimize √
subject to x2 > 0.
3 求稳定点， 得 x∗ 2 = 10
33 32 .
将 x∗ 代入 KKT 条件中的梯度条件(第一个和第三个方程)，解得 Lagrange
7.6 考虑找曲线 (x − 1)3 = y 2 上哪个点离原点最近(在Euclidean范数意义下)的问题.
可以将该问题表述为
minimize
x,y
f (x, y ) = x2 + y 2
subject to (x − 1)3 = y 2 . (a) 用图解法求解该问题. 消去 y 求解问题, 所得到的函数有极小点吗？给出结 果不一致的可能原因. 消去 x 求解问题, 得到怎样的结果? (b) 对于该问题, 找到所有的KKT点. LICQ 成立吗?请给出结果可能的解释.
CAN-File-13-03-28-20-fmp_lp3北航最优化方法课件
¾ 在网络文献中称为标号(label); ¾ 在动态规划的文献中称为值(value).
z Bellman方程、动态规划原理/最优性原理
第 3 章 线性规划：扩展及其应用
数学规划基础
LHY‐SMSS‐BUAA
标号设置算法(label setting algorithm)
第 3 章 线性规划：扩展及其应用
数学规划基础
LHY‐SMSS‐BUAA
2 4 2 4
原始网络单纯形法－单纯形乘子的更新
新的树解去掉入弧，得两棵子树！
4
入弧从T1指向T0
?
T1
?
23
T0
ya = ya + rde = 2 − 2 = 0 yd = yd + rde = 12 − 2 = 10
单纯形乘子的更新规则：
– 是所有可能弧集 – 弧是有方向的：
第 3 章 线性规划：扩展及其应用
数学规划基础
的子集
LHY‐SMSS‐BUAA
网络流 = 网络＋数据
z
, 节点 i 的供给量
z
, 沿着弧 (i, j)
运输 1 单位物品的费用
注：
表示节点 i 是需求节
点，需求量是
假定I：
供需平衡问题
假定II：弧没有容量限制
第 3 章 线性规划：扩展及其应用
数学规划基础
LHY‐SMSS‐BUAA
最小费用流
决策变量： z 沿着弧 (i, j) 运输物资的数量： 目标：
约束： z 流平衡(flow conservation)
outflow(k) – inflow(k)=-demand(k)=supply(k),
2018年北航最优化方法期中考试试题
北京航空航天大学研究生课程试卷2018－2019学年第1学期“最优化方法”期中考试2018年11月14日姓名:学号：说明：•闭卷考试.•共有8个大题，满分110分，超过100分按100分计分；考试时间120分钟.•您的解答务必详细、清晰.•Good Luck!题目12345678总分分数1.(30分，每小题2分)判断下列每个命题的正误，并说明理由.理由可以是1-3行的解释或者反例；理由不正确的答案不得分.(a)多面集上极大化∑ni=1|x i|能表述为线性规划问题. (b)线性规划标准形问题一定有最优解，且可以在某个基本可行解处取到最优值.(c)如果某个基本可行解的所有既约费用系数非负，则它是最优解.(d)考虑问题minimize c T xsubject to Ax≤b.若增加b的某个分量，则最优费用不会增加.(e)如果原始问题无界，则对偶问题一定不可行.(f)如果x和λ分别是线性规划标准形和它的对偶问题的最优解，由互补定理知原始变量和对偶变量的乘积总是零，即x iλi=0对所有i成立.(g)两阶段法中，第I阶段的辅助问题的对偶问题不可能无界.(h)在最小费用网络流问题中，弧上的费用是整数，则可行树解的每个分量是整数.(i)求解整数线性规划的分枝定界法中，宽度优先搜索(广探法)要优于深度优先搜索(深探法).(j)二次函数q(x)=12x T Gx−b T x是凸函数，其中G是n×n阶对称矩阵，b是n维列向量.(k)x ln x是凸函数.(l)可微凸函数的稳定点一定是函数的全局极小点.(m)最速下降法产生的序列是否收敛高度依赖于初始点.(n)二次函数的Hessian阵的条件数越大，牛顿法收敛的越慢.(o)问题maxx∈R2−2x21−x22在点(1,1)T处的牛顿方向是(4,2)T.2.(20分)考虑线性规划标准形问题的单纯形表x1x2x3x4B−1b00−11221β0αr T10γ?3(a)(2分)请给出确失元素?的值.为什么？(b)(3分)当前解是什么？当前的目标值是多少？(c)(5分)给出特定的α,β,γ(如果存在的话)值使得对偶问题是不可行的.(d)(6分)给出一个关于α,β,γ的充分条件使得这张表是最优的，且问题有多个最优解.(e)(4分)假定与这张表格对应的基是最优的.假设原始问题中的c1(变量x1的费用系数)变成c1+ϵ.给出使这个基保持最优的ϵ的范围.续第2题3.(10分)考虑minimize12x1+8x2+16x3+12x4subject to−2x1−x2−4x3+x5=−2−2x1−2x2−4x4+x6=−3x i≥0,i=1, (6)(a)(5分)利用对偶单纯形法求解问题；(b)(5分)写出对偶问题，并用图解法求解对偶问题；4.(15分)图1给出了一个网络，节点旁的数字表示该节点的供给(负值表示需求，未标出数字的默认为0)，弧上的数字表示这条弧上的单位费用.对所给网络和数据，完成问题：(a)(5分)写出具体的最小费用流问题(b)(4分)写出(a)中问题的对偶问题.(c)(6分)考虑由弧(b,c ),(c,a ),(d,c )和(e,b )构成的生成树(见图2).设e 为根节点.请给出与这棵生成树对应的树解、与节点e,b 和c 对应的单纯形乘子和与弧(c,e )对应的既约费用系数.-251图1网络及其数据.图2一个生成树.5.(10分)考虑问题min x ∈Rn ∥Ax −b ∥22,其中A 是m ×n 矩阵,b 是m 维向量，且m >n .(a)(5分)写出最优性的必要条件.请说明它是否为充分条件？请给出理由.(b)(3分)最优解唯一吗？理由是什么？(c)(2分)你能给出最优解的一种闭合形式(解析式)吗？在题目所给条件下，允许规定任何你所需要的假设.继第5题6.(10分)考虑将最速下降法应用于二次函数，即minimize x∈R n 12x T Gx−b T x其中G是对称正定矩阵，b是常向量.(a)(5分)考虑变量的线性变换y=T x，其中T是可逆的n×n矩阵.将上述关于x的极小化问题写成关于变量y的极小化问题.确定变换后所得目标函数的Hessian阵.(b)(5分)运行最速下降法时，收敛速度对矩阵G的特征值结构很敏感.假设你知道特征值结构，即已知正交矩阵U和对角矩阵Λ使得G=UΛU T.利用矩阵U和Λ设计矩阵T，对于这个矩阵而言，最速下降法仅需一步即收敛.7.(15分)设f(x)=10(x2−x21)2+(1−x1)2.考虑信赖域法在点x(k)=(0,−1)T的牛顿型信赖域子问题，即求目标函数在当前迭代点的二阶Taylor展式在以当前点为中心的球上的极小点.(a)(7分)完整写出信赖域法的子问题，并画出子问题目标函数的等值线.(b)(3分)取信赖域半径∆=2，求解(a)中的子问题.(b)(2分)针对该子问题，画出信赖域半径从∆=0变到∆=2时，信赖域子问题解族的示意图.(c)(3分)对∆=1，求该信赖域子问题的Cauchy点.。
北航最优估计知识点提纲
第一章1）不同的最优估计准则是否会导致相同的估计结果2）参数估计与状态估计的区别是什么3）极大似然估计与极大验后估计的区别、联系是什么；4）怎样理解极大似然估计；5）多维随机变量下，对于MMSE,目标函数估计误差协方差阵最小、估计误差分量平方和最小，是否会导致有相同的估计效果；6） E{E [ x|Z]}的计算过程中对哪一随机变量进行积分？7）似然函数的构造思想是什么？最优估计解的求解方法怎样？8）多维随机向量的正态分布概率密度计算公式怎样？如何理解；9）矩阵微分的计算方法是怎样规定的？常用公式都有哪些？10）什么是马尔科夫估计？11）各种估计准则之间相互关系如何？12）造成最小二乘估计误差的主要因素有哪些？13）线性最小方差估计与最小方差估计的关系如何？第二章14）若噪声为零均值白噪声，连续线性系统离散化后噪声统计特性有何变化?15）离散化噪声统计特性获得的方法是什么？16）连续系统离散化的具体计算方法17）卡尔曼滤波的问题分类有哪些？18）卡尔曼滤波中的各种符号~、A、（k|k-1 ）的具体含义是什么？19）卡尔曼滤波的准则是什么？20）正交投影的定义是什么？21）正交投影的物理意义是什么？22）正交定理与正交投影的关系怎样？23）正交定理与线性最小方差估计之间的关系如何？24）最优预测滤波公式推导的原理与过程怎样25）最优预测问题滤波公式26）最优滤波问题公式的推导思路27）最优预测与最优滤波公式的对比，相同点、不同点以及原因28）卡尔曼滤波的重要特征或主要优点是什么29）卡尔曼滤波的通解形式怎样？出于什么样的考虑？关键问题是什么？30）最优滤波问题、最优预测问题中什么协方差阵会出现负项？为什么？31）最优增益阵与噪声统计特性之间的关系怎样？32）理解卡尔曼滤波中协方差阵内各种因素的构成及其原因33）理解卡尔曼滤波中状态估计值、估计误差与噪声的相关性，考虑不同时刻34）卡尔曼滤波是否具有无偏性？如果有，需要什么样的条件？35）系统、观测噪声相关情况下，卡尔曼滤波算法会发生什么样的变化？36）输入对卡尔曼滤波方程的影响怎样？37）成型滤波器的思想是什么？38）出现有色噪声时怎样进行卡尔曼滤波？39）控制系统、观测系统附着不同性质噪声情况下，如何求解？连续系统与离散系统处理方法是否一样？40）卡尔曼滤波中对R k、Q k的理解（统计的对象中的时间）第三章41）平滑问题的分类，各自处理的方法如何？42）为什么可以用极大验后估计推导卡尔曼平滑问题公式？43）平滑处理的意义在哪里？44）实际应用中是否平滑处理利用历史观测越多，获得的估计结果会越精确？45）平滑算法中平滑协方差在卡尔曼滤波计算上有什么作用？意义如何？46）固定区间平滑的解算过程如何？47）固定区间平滑算法中用于修正的因素有哪些？48）固定点平滑与固定滞后平滑公式的获得思想是什么？解算过程怎样？第四章49）滤波稳定性的意义是什么？50）滤波稳定性的判定准则是什么？是否是充要条件?51）滤波稳定性判别条件与线性系统可控、可观判定条件的区别是什么？为什么会不同？52）为什么可控性与可观性会影响到滤波的稳定性？53）滤波误差协方差阵的渐进性是怎样定义的？54）滤波误差协方差阵的有界性55）定常线性系统在滤波稳定性判别上有什么特殊之处？第五章56）滤波发散的原因有哪些？57）衰减记忆滤波的原理是什么，怎样实现的？58）限定记忆滤波的原理是什么，怎样实现？59）限定记忆滤波在开始限定记忆计算时有哪些考虑？60）Kalman滤波的估计误差协防阵P稳定且很小，能否说明滤波系统估计精度一定较高？61）平方根滤波算法的目的是什么，处理思想是怎样的？62）输出相关法的处理思想是什么？63）若Kalman滤波达到最优，具有什么样的性质，为什么？64）新息相关法的处理思想是什么？65）Sage-husa法的中遗忘因子的作用是什么？66）强跟踪滤波器的处理思想是什么？为什么能够达到跟踪的目的？67）序贯处理的思想是什么，每步计算中K的维数是多少？68）非线性系统线性化后采用经典Kalman滤波存在哪些问题？69）什么是标称轨道与标称轨道滤波？标称轨道滤波的滤波对象是什么?70）什么是雅可比阵，如何计算？71）EKF中针对非线性系统中哪些内容进行了线性化？72）EKF的滤波对象是什么？73）针对连续系统的EKF算法中，离散化后的状态转移阵是什么？74）近似条件均值滤波的思想是什么？75）非线性滤波中Kalman增益是否具有离线解算的性质，为什么？76）基于对称采样的UT变换的思想是什么?77) UKF的主要思想是什么？78) UKF是否具有增益阵离线解算的特点？79) UKF的主要优点有哪些？第七章80) 标准Kalman滤波的计算量与维数之间的关系怎样?81) 次优滤波器的设计思想有哪些？82) 什么是a、3滤波器？83) 一信号s(t)=a+bt+ct2能否用a、3滤波器滤波?。
北航结构优化设计概念
1.可行解 求线性目标函数在线性约束条件下的最大值或最小值的问题，统称为线性规划问题。
满足某线性规划所有的约束条件（指全部前约束条件和后约束条件）的任意一组决策变量的取值，都称为该线性规划的一个可行解，2.可行域所有可行解构成的集合称为该线性规划的可行域（类似函数的定义域）3.凸函数设f(X)为定义在n 维欧氏空间中一个凸集D 上的函数，若对任何实数（0≤ξ≤1）及D 域中任意两点）（1X 与）（2X 存在如下关系：)X (1)X ()X 1X (2121f f f ）（）（）（）（）（ξξξξ-+≤-+ 则称函数f(X)是定义在凸集D 上的一个凸函数。
4.K-T 条件如果）（k X 是一个局部极小点，则该点的目标函数梯度)()(k X f ∇可表示成该点诸约束面梯度)()(k i X g ∇的如下线性组合：5.模糊子集模糊性是事物的一种不确定性。
是由于某些事物概念不可能给出明确的定义和评定标准，即概念的外延不清楚造成的。
具有模糊边界的子集成为“模糊子集”。
各元素对模糊子集的隶属性质并不明确，即不能确定是绝对属于还是绝对不属于，而需用隶属函数()[]1,0A ∈x μ来描述元素x 对模糊子集 的隶属程度。
6.隶属函数对论域的每一个元素i u ，在闭区间[0，1]中为它选一个数值指标，来表明 i u 对模糊子集 的隶属程度，这个数值指标一般记作 ）（i A u μ，并称为元素对模糊子集 的“隶属度” i μ 。
所有隶属度均满足 1u 0i A≤≤）（μ 当论域U 为连续论域时，模糊子集可记为()()1()0m k k i i f X w g X =∇-∇=∑（）()()01,,01,,k i i i w g X i m w i m ==≥= ~A~A ~A）（i A u μ数值愈大，表示i u 对 的隶属程度愈高；连续论域的模糊子集 可以完全用其隶属函数）（i Au μ来描述。
7.水平截集设定论域X 上的模糊子集 λA 和任意实数 ∈λ[0,1]，则称普通子集为 的λ-水平截集，λ 称为 λA 的水平或阈值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
确定进基变量
◎最优性定理
◎定理:BFS的提高 给定目标值为z0的非退化基本可行解，且假定存
在 j 使得 rj < 0，则 i) 如果用 aj 替换基中某列得到了新的BFS，则新解
处的目标值比 z0 严格小. ii) 如果任何替换都产生不了新的BFS，则问题无界.
例3. 其它应用
• 数据包络分析(data envelope analysis, DEA) • 网络流问题(Network flow) • 博弈论(game theory)等
线性规划的一般形式 一般形式 转化 标准形
称 松弛(slack)/盈余(surplus)变量
线性规划的标准形(分析、算法)*****
的产品数量
目标函数： 产量约束： 销量约束： 非负约束：
问题中目标和约束函数都是线性函数, 称此类型的问题为线性规划问题.
优化实例2：数据拟合(data fitting problem) 已知： y y3
y2 y1
t1 t2 t3
t tm
推测：信号具有指数衰减和振荡行为！
模型函数(经验函数)：
其中
是待定参数
极点
线性方程组 的基本性质
代数理论 (与表述形式有关)
设计算法
凸集理论
几何理论
(与表述形式无关)
直观理解
凸集的定义及性质
称 中的集合 C 是凸的(convex)，如果对每个 x, y 及每
个
，点
.
几何解释：连接集合中任两点的线段仍含在该集合中
性质
称集合C是锥(cone)，如果
蕴含着对所有
有
. 若锥 C 还是凸的，称为凸锥(convex cone).
向量表示： 标准形的特征：极小化、等式约束、变量非负
例5. 化成标准形
等 价 表 示 为
5
基本解与基变量(*****)
其中 满秩假定：m<n，且A的行向量线性无关
定义 设B是A 的m个线性无关列组成的矩阵， 置 其余列所对应的变量为零，称所得方程组的解是 Ax=b的基本解(basic solution) 称B是基(basis)； 称与B对应的变量为基变量(basic variables)
一些重要的凸集
超平面(hyperplane): 正/负闭半空间： 多面集(polyhedral set):
有限个闭半空间的交集
推 广
平面上：多边形 注：任一线性规划的可行集是多面集！
极点
几何上：极点即不能位于连接该集合中其它两点的开线段 上的点
定义 称凸集 C 中的点 x 是 C 的极点，如果存在 C 中的点 y,
例1. 食谱问题
◎ 问题：确定食品数量，满足营养需求，花费最小？
n种食品，m种营养成份； －第 j 种食品的单价 －每单位第 j 种食品所含第 i 种营养的数量 －为了健康，每天必须食用第i 种营养的数量
◎ 变量： －食用第 j 种食品的数量 ◎ 模型：
4
例2. 目标函数中含绝对值的问题
假设： 事实： 转化为：
基本解
基变量
一般地：
只要有m个单位列
非基变量 即可，次序可以打乱！
8
规范形的转换问题
◎ 替换问题
假设在上述规范形中，想用
⊙ 什么时候可以替换？ ⊙ 替换后新规范形是什么？
转轴(pivot)
◎ 当且仅当
，可以替换
◎ 替换后，新规范形的系数
转轴公式
－转轴元(pivot element)
第二种解释： 表格中第 i 列的数据－用当前基表示 ai 时的系数
7
例1.
例2.
K 有3个极点 有3个基本解，均可行
K 有2个极点 有3个基本解，2个可行
例3.
Subject to
x*=(3/2, 1/2) － 极点
问题/作业 考虑集合
5个极点
证明这两个集合的极点是一一对应的！
3.2 单纯形法
单纯形法简介
• 适用形式：标准形(基本可行解=极点) • 理论基础：线性规划的基本定理！ • 基本思想：从约束集的某个极点/BFS开始，
课程主题
介绍线性与非线性规划的－－ 基本理论、实用算法和部分应用
具体的主题包括： • 线性规划
基本性质、单纯形法、对偶理论、网络流问题、整数规划
• 非线性规划
最优性条件、凸性、Lagrange对偶、半定规划 无约束优化的算法：线搜索法和信赖域法 约束优化的算法：二次规划、罚函数法、SQP法
• 多目标决策简介
基本可行解
定义 称
的非负基本解是标准形的基
本可行解(basic feasible solution)；
◆ 退化基本可行解：某个或某些基变量取零的基本可行解！ 问题：基本可行解与基的对应关系？(见习题2.5)
例. 基本可行解及几何意义
基本可行解的个数不超过
线性规划的基本定理(*****)
考虑线性规划标准形，其中A是秩为m的m×n 矩阵，则以下结论成立：
例1. 求下列方程组以
转轴
为基变量的基本解
转
轴
转 轴
转 轴
x=(0,0,0,4,2,1)
如何得到第一个规范形
处理：给表格附加m个单位列向量开始迭代，用A
中的列依次替换这些单位列向量
例2. 利用转轴解方程组
为了得到第一个规范形，形成增广表格
以下运算 同例1 !
3.2.2 BFS→相邻BFS(极点→相邻极点)
Pareto最优性和折衷曲线 目标规划
先修课程：线性代数，高等数学，最好会某种高级语言
课本与教辅材料：
1. 刘红英，实用优化方法讲义，北京航空航天大学，数学与系统科学学 院，2010年2月.
2. 陈宝林，最优化理论与算法(第二版)，清华大学出版社 3. 平时和作业 实践环节 期中考试 期末考试
实用优化方法(最优化理论与算法B)
54课时/3学分
刘红英 数学与系统科学学院 liuhongying@(个人邮箱) buaa_optimization@(公共邮箱，密码： 111222) (课程主页)
变量： 余量/残差(residual)：
确定参数！
非线性最小二乘问题
• 注1： 它说明即使变量数很小，计算目标函数也可能 很昂贵. 这里，n=6， m很大(比如10^5).
• 注2：数据拟合、参数估计、回归分析等许多问题中 均涉及此类优化问题.有专用的算法求解.
2
1.2 数学规划问题的分类与特征
连续与离散
z 和某
，有
则必有 y=z.
极点与基本可行解的等价性定理
考虑线性规划标准形，其中A是秩为m的m×n 矩阵，令
则x是 K 的极点当且仅当x是线性规划的基本可行解.
线
推论：
性
几
i) 若K非空，则至少有一个极点.
何 形
式
ii) 若线性规划有解，则必有一个极点是最优解.
规 划 基 本 定 理
的
iii) K的极点集是有限集.
• 1947年, G. Dantzig于发明了单纯形法
• 1979年，L. Khachain找到了求解线性规划的一 种有效方法(第一个多项式时间算法－椭球内点法)
• 1984年，N. Karmarkan发现了另一种求解线性 规划的有效方法，已证明是单纯形法的强有力的 竞争者(投影内点法)
• 现在求解大规模、退化问题最有效的是原－对偶 内点法
设x’是BFS, 且规范形如前，且假设 aq 进基 ◎问题：确定出基变量，使转轴后新规范形对应BFS？ 因为
所以
令 可否选取合适的
使得
是BFS ？
9
确定离基变量
至少有一个正元
例3. 考虑线性方程组
转 轴
B=(a1,a2,a3) X=(4,3,1,0,0,0)
a4进基
a1进基
x=(0,1,3,2,0,0)
优化问题的简单分类与求解难度
问题的求解难度依次增加！
1.3 优化算法和优化软件
◎ 优化算法
• 迭代法 • 从最优解的某个初始猜测出发，生成一个提高
的估计序列，直到达到一个解. • 大部分利用目标函数和约束，可能还有这些函
数的一阶和二阶导数. • 通常收敛到
(无约束问题)驻点或者 (约束问题)KKT点(极大点、极小点或鞍点). 如果问题是凸规划，则可确保算法收敛到全局极小点.
6
线性规划解的几何特征
可行集：多边形(二维)→多面集(高维空间)
• 有解：唯一解/多个解(整条边、面、甚至
整个可行集)
有顶点解
• 无界：没有有限最优解 • 不可行：没有可行解
无解
给出有效的代数刻画和严谨的几何描述，从理论上证 实上述几何特征，并寻求有效算法
与凸性的关系
线性规划的基本定理(标准形)
基本可行解
◎ 优化软件
• AMPL: A Modeling Language for Mathematical Programming
• Lindo/Lingo软件(\verb" " • Matlab优化工具箱(见姜启源等编的《数学实验》,
高教出版社) • Cplex • 其它(Mathematica, Minos, Excel等的优化功能).
• 选择特定算法：很重要--决定求解速度及质 量(无通用优化算法，有求解特定类型优化 问题的算法)
优化实例１：运输问题(transportation problem) 背 景：化学制品公司考虑某种产品的产销问题.
数 据：
问 题：确定从每个工厂运送到每个销地的产品 数量，使其满足需求，同时极小化费用
变 量：
依次移动到相邻极点/BFS，直到找出最优 解，或判断问题无界.