运筹学(最优化方法)第一章 引言

✓(Chap.8)线性约束优化算法：二次规划(消元法与积极集
法)
✓(Chap.9)非线性约束优化算法：罚函数法、SQP法
先修课程：线性代数，多变量微积分，一种高级编程语言
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
优化研究之数学规划和科学计算角度
• 数学规划层面
➢ 重点研究“优化问题和算法的基本性质”. ➢ 核心问题：解的存在性及描述、算法的收敛性和收敛速
度等.
• 科学计算层面
➢ 受数学性质和(为了有效和实用目的)实现的强烈影响. ➢ 研究问题：数值稳定性、算法步骤的病态性、计算复杂
度等.
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
优化研究之运筹和工程角度
• 运筹层面 ➢ 主要关注优化问题的表述并研发求解策略，通常使 用已经研究好的算法或者成熟软件. ➢ 这个层次碰到的许多问题含有线性约束和离散变量.
解答. 用1, 2, 3分别表示上、中、下等马. 收益矩阵 (payoff matrix)
线 性 规 划
第 1 章 引言
指派问题(3.2.1节)
数学规划基础
0-1整数线性规划
LHY-SMSS-BUAA
优化实例2：数据拟合(data fitting problem)
已知：
推测：信号具有指数
y
衰减和振荡行为！
详见课程中心的“课程资源/阅读材料”
基于数据的学习(35页) 1. 监督学习 2. 基于多项式模型的最小二乘预测 3. 二分类问题(支撑矢量机、Logistic回归和Fisher判别) 4. 一般的有监督学习 5. 无监督学习(主成分分析、稀疏主成分分析、非负矩阵分解、
鲁棒主成分分析等)
计算金融(23页) 1. 单期证券优化 2. 鲁棒证券优化 3. 多期证券分配 4. 稀疏指标跟踪
约束优化与无约束优化
无约束优化肯定是非线性的、约束优化又分线性规划 和非线性规划
局部优化与全局优化
单目标优化与多目标优化
多目标规划最重要的是Perato解/有效解的概念；一般 可用标量化方法求Perato解(讲第8章时用一个例子说明)
随机优化与确定优化
有的问题进行优化建模时，模型与一些不能提前确定的
或者
(见习题7.19)
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
变分法的例子
例3 图像处理的偏微分方程法 L.I. Rudin. Nonlinear total variation based noise removal algorithm, Physica D: Nonlinear Phenomena, 1992,60(1-4):259-268
参数有关(运输问题中，零售市场的需求在实际中不能够精
确确定. 许多经济和金融规划模型也具有该特征, 哪里经常
与未来的利息率和经济的未来趋向有关).
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
1.3 优化算法和优化软件
◎ 优化算法
• 迭代法 • 从最优解的某个初始猜测出发，产生一个依次提高的
y3
y2 y1
模型函数(经验函数)：
t1 t2 t3
t tm
其中
第 1 章 引言
是待定参数
数学规划基础
LHY-SMSS-BUAA
变量： 余量/残差(residual)：
确定参数！
非线性最小二乘问题
注1.这里n = 6， m 很大(比如105). 它说明即使变量 数很小，计算目标函数也可能很昂贵.
注2. 数据拟合、参数估计、回归分析等许多问题中 均涉及此类优化问题.有专用的算法求解.(5.4节)
子密度的量和贷款利率的量不能是负的)
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
数学规划问题－一种方法、两个概念
可行域、可行解(点) 等高线(等值线) 解/最优解/极小点
图解法
画出可行域 做目函数的等高线 确定临界点
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
等高线
第 1 章 引言
例4 机器学习问题中的函数估计问题 －在参数化的一族函数中找某种意义下最优的预测函数
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
1.1 数学描述与例子
数学规划问题(基本形式)
三要素
• 目 标：系统性能的一种“量的度量”(利润、时间、 势能)－－任何数量或某些量的组合－－量化
• 变 量：目标所依赖的系统的“某些可控的特征” • 约束条件：变量经常以某种方式受限制(如表示分子中电
控制问题(23页) 1. 连续和离散时间模型 2. 基于优化的控制综合 3. 分析和控制器设计的最优化
工程设计(34页) 1. 数字滤波器设计 2. 天线阵列设计 3. 数字电路设计 4. 航空器设计 5. 供应链管理
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
课程简介
数学规划(Mathematical programming)，也称数学最优化 (Mathematical Optimization)，是应用数学、计算数学与 运筹学的交叉领域。
知己知彼，百战不殆！ → 从知己做起！
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
1.2 数学规划问题的分类
连续优化与离散优化
• 某些或全部变量取整数值才有意义--整数规划 (IP). (田 忌赛马)
• 分为整数线性规划和整数非线性规划；整数规划和混合整 数规划；一般整数规划和0-1整数规划 (3.4.1节)
• Matlab优化工具箱(见姜启源等编的《数学实 验》, 高教出版社)
• Lingo软件(\verb" http://www.lindo.com“ • Cplex(科学研究论文的仿真中常用！) • AMPL: A Modeling Language for Mathematical
Programming • 其它(Mathematica, Minos, Excel等的优化功能).
数学规划基础
LHY-SMSS-BUAA
优化建模(modeling)：识别出给定问 题的目标、变量和约束的过程。
• 建立恰当模型：第一步、最重要的一步(太 简单－不能为实际问题提供有用的信息； 太复杂－不易求解)
• 选择特定算法：很重要--决定求解速度及质 量(无通用优化算法，有求解特定类型优化 问题的算法)
分析基础
数学规划
计算基础
多元微积分的 最基本内容
Fra Baidu bibliotek
线性代数的 最基本内容
计算方法的 最基本内容
高级语言程序设计(C
语言或Matlab均可)
非专题性课程，比如Convex optimization and approximation
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
课程主题
经典优化方法 vs 启发式优化方法 经典音乐 vs 流行音乐
• 工程层面 ➢ 将优化策略应用到具有挑战性的(通常定义的很差 的)实际问题中. ➢ 这个层次的优化知识混杂了可应用方法的有效性和 可靠性，主要研究内容：解的分析，求解方法失败 的诊断及恢复.
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
学完课程后，有机会
– 作为数学最优化专家(应用数学和运筹学)发展更好的求 解方法，
– 作为工程师理解并运用新的高效优化方法求解特定应用， – 为具有挑战性的科学问题、管理问题和工程问题研发更
好的方法，提供更恰当的表述方式.
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
课后，请自行选择优化软件，下载、安装并使用!!!
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
关于最优化模型与方法的应用
G.C. Calafiore and L. El Ghaoui. Optimization Models. Cambridge University Press. Oct. 2014.
估计序列，得到精确解或者逼近解. • 大部分利用目标函数和约束，可能还有这些函数的一
阶和二阶导数. • 通常收敛到
目标函数的驻点(无约束问题)或者 KKT点(约束问题的极大点、极小点或鞍点). 如果问题是凸规划，则可确保算法收敛到全局极小点.
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
◎ 优化软件
• 简单松弛策略. 忽略整数要求，当成实变量来求解问题 (习题1.2)，然后将所有分量舍入到最近的整数——可给出 问题的界.Lagrange松弛策略.
• 整数规划属NP难问题. 常用算法：分支定界法、或其他 启发式算法(求解一系列连续优化问题，3.4.2节)
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
线性与非线性规划的－－基本理论、实用算法和部分应用
– 线性规划
✓ (Chap.2)基本性质、单纯形法、对偶理论
✓ (Chap.3)网络流问题、整数规划
– 非线性规划
✓(Chap.4&7)凸分析初步、最优性条件和Lagrange对偶 ✓(Chap.5&6)无约束优化算法：线搜索法(最速下降法和
共轭梯度法、牛顿法和拟牛顿法)、信赖域法、最小二乘
第１章 引 言
优化实例１：田忌赛马
《史记》卷六十五：《孙子吴起列传第五》
齐使者如梁，孙膑以刑徒阴见，说齐使。齐使以为奇，窃载与之齐。齐 将田忌善而客待之。忌数与齐诸公子驰逐重射。孙子见其马足不甚相远，马 有上、中、下辈。于是孙子谓田忌曰：“君弟重射，臣能令君胜。”田忌信 然之，与王及诸公子逐射千金。及临质，孙子曰：“今以君之下驷(sì)与彼上 驷，取君上驷与彼中驷，取君中驷与彼下驷。”既驰三辈毕，而田忌一不胜 而再胜，卒得王千金。于是忌进孙子于威王。威王问兵法，遂以为师。