第1讲 最优化理论与方法概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
CUMT
数学预备知识
1. 向量与范数 设向量 x x1 , x2 ,..., xn , y y1, y2 ,..., yn
T
范数，是具有“长度”概念的函数。在线性代数、泛 函分析及相关的数学领域，是一个函数，其为向量空间内 的所有向量赋予非零的正长度或大小。用
-范数
x
表示
CUMT
利用古典的微分学、变分学及拉格朗日乘子法等数学工具， 求出函数极值。对于高次非线性问题等复杂问题求解困难。 解析法 利用函数局部区域的一些特性及一些点的函数值等条件，通 数值法 过数学迭代程序进行计算，逐步调优并逼近函数的最优点。
用几何作图的方法，画出图形，从图形上直接观察，找出函 数的极值点。只适用于容易作图的较简单问题。 图解法
1.1 最优化方法的形成和发展
生活中常见的最优化问题 测量云龙湖水深的最大值问题 自驾游旅行的最优路线 城市公共自行车租赁点最佳布局问题 城市交通信号灯配时问题 飞机场停机位分配的问题 月球探测器着陆轨道控制
最优化方法与运筹学的区别与联系
① 内容不同。最优化方法包括数学规划、最优控制和计算数学， 运筹学主要包含数学规划问题。 ② 侧重点不同。最优化方法侧重于算法，运筹学侧重于数学建 模。
CUMT
说明和提示
节约的比例数大，效果明显。有的问题，如果基数大，即 便节约费用百分之一二，也很有意义，如空间技术； 有一些问题，在求解之前或求解过程中，还要用到数学优 化方法以外的其他优化方法，如实验法、情况研究优化， 甚至设计者的经验与技能。在前提限制条件确定和总体方 案优选以后，才能用数学优化的方法进行参数的优化设计。 一种数学方法可以求解一个最优化问题；而一个最优化问 题可以先后用几种数学方法找到最终的最优值。即其数学 方法与求解的问题不应视为只有唯一的对应性。为了提高 运算速度和求解效果，对有的问题可以相互联系地选用具 有不同特点的方法。
CUMT
针对决策变量x1, x2,…xn来进行分类
连续型
离散型
线性规划 LP (有、无约束)
非线性规划NLP (有、无约束)
整数规划
动态规划
网络与 组合优化
泛函极值 最优控制问题
最优化方法 解析方法 数值算法 启发式算法
精确算法
CUMT
主要内容
1.1 最优化方法的定义 1.2 最优化问题数学模型的构成 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
线性规划：目标函数和约束条件均为线性函数关系的最优化 问题，即 f ( X )与g ( X ) 都是一次函数； 非线性规划：目标函数和约束条件中有一个或一个以上非线 性关系函数式的最优化问题。
按目标函数的个数分
单目标最优化问题：只有一个目标函数的最优化问题； 多目标最优化问题：含有多个目标函数的最优化问题。
f x 分量的偏导数都存在， 0 i 1, 2,..., n 则称函数u=f(x)在
x0 x1 0 , x2 0 ,..., xn 0
T
处对于自变量 x x1 , x2 ,..., xn 的各
T
该点的一阶导数。
xi
CUMT
(1) 梯度
CUMT
或
2
2
3.凸集与凸函数 (在无约束规划中常用到，具有很好的极值性) (1) 凸集 对任意的
CUMT
1.1 最优化方法的形成和发展
参考书籍
1. 最优化理论与方法，袁亚湘，孙文瑜编，科学出版社， 1997年版。 2. 运筹学与最优化方法，吴祈宗，侯福均编，机械工业出版 社，2013年版。 3. 最优化方法与最优控制，王晓陵，陆军编，哈尔滨工程大 学出版社，2008年版。 4. 最优化计算方法及其MATLAB程序实现，马昌凤等编，国 防工业出版社，2015年版。
f (X *)
- f (X )
CUMT
*
X*
X
目标函数
f (X )
最优化问题数学模型的典型形式
CUMT
主要内容
1.1 最优化方法的定义 1.2 最优化问题数学模型的构成 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
CUMT
按约束条件有无及其约束式的性质分
CUMT
了解、分析待最优化的问题
建立数学模型
（性能指标、设计变量、目标函数、约束条件）
选择最优化方法 编写计算程序
（给出初始数据） 上机计算 输出 最优化 结果
结果检讨与决策
CUMT
主要内容
1.1 最优化方法的定义 1.2 最优化问题数学模型的构成 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
f x0 f x0 f x0 f x , ,..., x x x 1 2 n
(2) Hession矩阵
2 f x0 2 x 1 2 f x 0 2 f x x2x1 2 f x0 x x 1 1
CUMT
1.1 最优化理论与方法的形成和发展
公元前 500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳 比例为1.618,称为黄金分割比。其倒数至今在优选法中仍得到广泛应用。 在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。 如阿基米德证明：给定周长，圆所包围的面积为最大。这就是欧洲古代 城堡几乎都建成圆形的原因。
可行域：满足约束条件的区域； 非可行域：不满足约束条件的区域，也叫不可行域； 可行点：可行域内的点，对应一个可行方案； 非可行点：非可行域内的点，对应一个不可行方案，也叫不 可行点。
CUMT
约束条件
x2
x1
CUMT
目标函数
max f ( X ) min f ( X )
f (X )
(海塞矩阵)
CUMT
(3) 多元函数的Taylor展开 一阶Taylor展开
1 T f x0 x f x0 f x0 x xT 2 f x0 x x 2 0 1 二阶Taylor展开 1 T f x0 x f x0 f x0 x xT 2 f x0 x 0 x 2 1 T f x0 x f x0 f x0 x xT H x0 x 0 x 2
考核方式
平时成绩（30%）；期末成绩（70%）
CUMT
1.1 最优化方法的形成和发展
内容章节
第一讲 最优化理论与方法概述
第二讲 线性规划及Matlab求解
第三讲 无约束最优化问题与Matlab求解 第四讲 约束最优化问题的最优性条件 第五讲 约束最优化数值算法 第六讲 启发式算法（模拟退火、遗传算法）
数学规划法
通过直接实验，进行结果的比较，获得函数的极值或问题的 实验法 最佳参数。 把同一问题的许多可能的典型解进行估计、研究分析，以确 情况研究法 定其最优解。
CUMT
主要内容
1.1 最优化方法的定义 1.2 最优化问题数学模型的构成 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
x1 , x2 , x3
min f ( X ) = 20x1 + 90 x2 + 840x3
CUMT
该数学模型的最优化求解是一个很简单的数学问题，其最 优解为：
* * 其最优值是： x1 = 150 x2 = 100 * x3 = 50
优化下料方法与原顺序下料方法相比较，有明显效果： 料头减少为129000-54000=75000（mm），节约钢材58%
古典最优化方法
17世纪，I.牛顿和G.W. 莱布尼茨在他们所创建 的微积分中，提出求解 具有多个自变量的实值 函数的最大值和最小值 的方法。以后又进一步 讨论具有未知函数的函 数极值，从而形成变分 法。
CUMT
近代最优化方法
第二次世界大战前后，形成 了近代最优化方法：以苏联 Л.В. 康托罗维奇和美国 G.B. 丹齐克为代表的线性规划； 以美国库恩和塔克尔为代表 的非线性规划；以美国 R. 贝 尔曼为代表的动态规划；以 苏联 Л.С. 庞特里亚金为代表 的极大值原理等。
CUMT
车轮轴的优化下料方法
某车辆厂要生产长度为1080、1040及970毫米的轴，其生 产数量分别为100、150和600根。现只能用长度为3000毫 米的原料钢管。问应该怎样安排下料才能使料头最少？
（mm） 规格 1080 1040 970 每根原料可下件数（根） 2 2 3 每根原料料头 840 920 90 共有料头长度 （840×100/2）=42000 （920×150/2）=69000 （ 90×600/3）=18000 （总计）129000
第一讲 最优化理论与方法概述
主讲 冯颖 市场营销系
fengying3708@163.com
2017/10/26
CUMT
主要内容
1.1 最优化理论与方法的形成和发展 1.2 最优化问题的定义和数学模型 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
2 f x0 2 f x0 ... x1x2 x1xn 2 f x0 2 f x0 H x ... 2 x2 x2xn 2 f x0 2 f x0 ... 2 xn x2 xn
等式约束 不等式约束
CUMT
min f ( X ) = ( x - a)2 + b
x* = a
f (X *) = b
f (X )
g( X ) = x = c x* = c
*
b
( x - a) 2 + b
0Baidu Nhomakorabea
2
a
f ( X ) = (c - a) + b
x= c
x
CUMT
按所包含方程式的特性分
CUMT
最优化方法 列出所有可能的下料方案，择其方案中料头最短的3种设 计成如表的优化下料方案：
（mm） 规格 方案
1080
1040
根数（根）
970
每根棒料料头长度
I II III
0 0 2
1 0 0
2 3 0
CUMT
3000-1×1040-2×970=20 3000-3×970=90 3000-2×1080=840
CUMT
1.2 最优化方法的定义和数学模型
1.2.2 最优化方法的数学模型
设计向量
目标函数
f (X )
性能指标
约束条件
CUMT
最优化方法数学模型基本要素
性能指标
目标函数
约束条件
设计变量
CUMT
约束条件
CUMT
约束条件
不等式约束将设计空间划分为两部分，一部分满足约束条 件，另一部分不满足约束条件。
x
max xi
1-范数 2-范数
x 1 xi
x 2 x
CUMT
1 2 2 i
范数的内积
x y xi yi
T i 1
n
范数不等式
x y x y
三角不等式 柯西不等式
xT y x y
2. 多元函数的微分 对于多元函数u=f(x)， x S Rn ，若在点
第七讲 最优控制理论
CUMT
主要内容
1.1 最优化方法的形成和发展 1.2 最优化问题的定义和数学模型 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
CUMT
1.2 最优化方法的定义和数学模型
1.2.1 最优化方法的定义 最优化方法即是解决最优化问题的方法，主要运用数学方法研究各种 系统的优化途径及方案，为决策者提供科学决策的依据。 最优化问题是指在一定的约束条件下，决定某个或某些可控制的因素 应有的合理取值，使所选定的目标达到最优的问题。 最优化方法主要研究数学规划和最优控制两类问题的求解方法。 Optimal method，Optimization of methods，Optimization， Optimum…“Opt”
数学预备知识
1. 向量与范数 设向量 x x1 , x2 ,..., xn , y y1, y2 ,..., yn
T
范数，是具有“长度”概念的函数。在线性代数、泛 函分析及相关的数学领域，是一个函数，其为向量空间内 的所有向量赋予非零的正长度或大小。用
-范数
x
表示
CUMT
利用古典的微分学、变分学及拉格朗日乘子法等数学工具， 求出函数极值。对于高次非线性问题等复杂问题求解困难。 解析法 利用函数局部区域的一些特性及一些点的函数值等条件，通 数值法 过数学迭代程序进行计算，逐步调优并逼近函数的最优点。
用几何作图的方法，画出图形，从图形上直接观察，找出函 数的极值点。只适用于容易作图的较简单问题。 图解法
1.1 最优化方法的形成和发展
生活中常见的最优化问题 测量云龙湖水深的最大值问题 自驾游旅行的最优路线 城市公共自行车租赁点最佳布局问题 城市交通信号灯配时问题 飞机场停机位分配的问题 月球探测器着陆轨道控制
最优化方法与运筹学的区别与联系
① 内容不同。最优化方法包括数学规划、最优控制和计算数学， 运筹学主要包含数学规划问题。 ② 侧重点不同。最优化方法侧重于算法，运筹学侧重于数学建 模。
CUMT
说明和提示
节约的比例数大，效果明显。有的问题，如果基数大，即 便节约费用百分之一二，也很有意义，如空间技术； 有一些问题，在求解之前或求解过程中，还要用到数学优 化方法以外的其他优化方法，如实验法、情况研究优化， 甚至设计者的经验与技能。在前提限制条件确定和总体方 案优选以后，才能用数学优化的方法进行参数的优化设计。 一种数学方法可以求解一个最优化问题；而一个最优化问 题可以先后用几种数学方法找到最终的最优值。即其数学 方法与求解的问题不应视为只有唯一的对应性。为了提高 运算速度和求解效果，对有的问题可以相互联系地选用具 有不同特点的方法。
CUMT
针对决策变量x1, x2,…xn来进行分类
连续型
离散型
线性规划 LP (有、无约束)
非线性规划NLP (有、无约束)
整数规划
动态规划
网络与 组合优化
泛函极值 最优控制问题
最优化方法 解析方法 数值算法 启发式算法
精确算法
CUMT
主要内容
1.1 最优化方法的定义 1.2 最优化问题数学模型的构成 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
线性规划：目标函数和约束条件均为线性函数关系的最优化 问题，即 f ( X )与g ( X ) 都是一次函数； 非线性规划：目标函数和约束条件中有一个或一个以上非线 性关系函数式的最优化问题。
按目标函数的个数分
单目标最优化问题：只有一个目标函数的最优化问题； 多目标最优化问题：含有多个目标函数的最优化问题。
f x 分量的偏导数都存在， 0 i 1, 2,..., n 则称函数u=f(x)在
x0 x1 0 , x2 0 ,..., xn 0
T
处对于自变量 x x1 , x2 ,..., xn 的各
T
该点的一阶导数。
xi
CUMT
(1) 梯度
CUMT
或
2
2
3.凸集与凸函数 (在无约束规划中常用到，具有很好的极值性) (1) 凸集 对任意的
CUMT
1.1 最优化方法的形成和发展
参考书籍
1. 最优化理论与方法，袁亚湘，孙文瑜编，科学出版社， 1997年版。 2. 运筹学与最优化方法，吴祈宗，侯福均编，机械工业出版 社，2013年版。 3. 最优化方法与最优控制，王晓陵，陆军编，哈尔滨工程大 学出版社，2008年版。 4. 最优化计算方法及其MATLAB程序实现，马昌凤等编，国 防工业出版社，2015年版。
f (X *)
- f (X )
CUMT
*
X*
X
目标函数
f (X )
最优化问题数学模型的典型形式
CUMT
主要内容
1.1 最优化方法的定义 1.2 最优化问题数学模型的构成 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
CUMT
按约束条件有无及其约束式的性质分
CUMT
了解、分析待最优化的问题
建立数学模型
（性能指标、设计变量、目标函数、约束条件）
选择最优化方法 编写计算程序
（给出初始数据） 上机计算 输出 最优化 结果
结果检讨与决策
CUMT
主要内容
1.1 最优化方法的定义 1.2 最优化问题数学模型的构成 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
f x0 f x0 f x0 f x , ,..., x x x 1 2 n
(2) Hession矩阵
2 f x0 2 x 1 2 f x 0 2 f x x2x1 2 f x0 x x 1 1
CUMT
1.1 最优化理论与方法的形成和发展
公元前 500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳 比例为1.618,称为黄金分割比。其倒数至今在优选法中仍得到广泛应用。 在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。 如阿基米德证明：给定周长，圆所包围的面积为最大。这就是欧洲古代 城堡几乎都建成圆形的原因。
可行域：满足约束条件的区域； 非可行域：不满足约束条件的区域，也叫不可行域； 可行点：可行域内的点，对应一个可行方案； 非可行点：非可行域内的点，对应一个不可行方案，也叫不 可行点。
CUMT
约束条件
x2
x1
CUMT
目标函数
max f ( X ) min f ( X )
f (X )
(海塞矩阵)
CUMT
(3) 多元函数的Taylor展开 一阶Taylor展开
1 T f x0 x f x0 f x0 x xT 2 f x0 x x 2 0 1 二阶Taylor展开 1 T f x0 x f x0 f x0 x xT 2 f x0 x 0 x 2 1 T f x0 x f x0 f x0 x xT H x0 x 0 x 2
考核方式
平时成绩（30%）；期末成绩（70%）
CUMT
1.1 最优化方法的形成和发展
内容章节
第一讲 最优化理论与方法概述
第二讲 线性规划及Matlab求解
第三讲 无约束最优化问题与Matlab求解 第四讲 约束最优化问题的最优性条件 第五讲 约束最优化数值算法 第六讲 启发式算法（模拟退火、遗传算法）
数学规划法
通过直接实验，进行结果的比较，获得函数的极值或问题的 实验法 最佳参数。 把同一问题的许多可能的典型解进行估计、研究分析，以确 情况研究法 定其最优解。
CUMT
主要内容
1.1 最优化方法的定义 1.2 最优化问题数学模型的构成 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
x1 , x2 , x3
min f ( X ) = 20x1 + 90 x2 + 840x3
CUMT
该数学模型的最优化求解是一个很简单的数学问题，其最 优解为：
* * 其最优值是： x1 = 150 x2 = 100 * x3 = 50
优化下料方法与原顺序下料方法相比较，有明显效果： 料头减少为129000-54000=75000（mm），节约钢材58%
古典最优化方法
17世纪，I.牛顿和G.W. 莱布尼茨在他们所创建 的微积分中，提出求解 具有多个自变量的实值 函数的最大值和最小值 的方法。以后又进一步 讨论具有未知函数的函 数极值，从而形成变分 法。
CUMT
近代最优化方法
第二次世界大战前后，形成 了近代最优化方法：以苏联 Л.В. 康托罗维奇和美国 G.B. 丹齐克为代表的线性规划； 以美国库恩和塔克尔为代表 的非线性规划；以美国 R. 贝 尔曼为代表的动态规划；以 苏联 Л.С. 庞特里亚金为代表 的极大值原理等。
CUMT
车轮轴的优化下料方法
某车辆厂要生产长度为1080、1040及970毫米的轴，其生 产数量分别为100、150和600根。现只能用长度为3000毫 米的原料钢管。问应该怎样安排下料才能使料头最少？
（mm） 规格 1080 1040 970 每根原料可下件数（根） 2 2 3 每根原料料头 840 920 90 共有料头长度 （840×100/2）=42000 （920×150/2）=69000 （ 90×600/3）=18000 （总计）129000
第一讲 最优化理论与方法概述
主讲 冯颖 市场营销系
fengying3708@163.com
2017/10/26
CUMT
主要内容
1.1 最优化理论与方法的形成和发展 1.2 最优化问题的定义和数学模型 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
2 f x0 2 f x0 ... x1x2 x1xn 2 f x0 2 f x0 H x ... 2 x2 x2xn 2 f x0 2 f x0 ... 2 xn x2 xn
等式约束 不等式约束
CUMT
min f ( X ) = ( x - a)2 + b
x* = a
f (X *) = b
f (X )
g( X ) = x = c x* = c
*
b
( x - a) 2 + b
0Baidu Nhomakorabea
2
a
f ( X ) = (c - a) + b
x= c
x
CUMT
按所包含方程式的特性分
CUMT
最优化方法 列出所有可能的下料方案，择其方案中料头最短的3种设 计成如表的优化下料方案：
（mm） 规格 方案
1080
1040
根数（根）
970
每根棒料料头长度
I II III
0 0 2
1 0 0
2 3 0
CUMT
3000-1×1040-2×970=20 3000-3×970=90 3000-2×1080=840
CUMT
1.2 最优化方法的定义和数学模型
1.2.2 最优化方法的数学模型
设计向量
目标函数
f (X )
性能指标
约束条件
CUMT
最优化方法数学模型基本要素
性能指标
目标函数
约束条件
设计变量
CUMT
约束条件
CUMT
约束条件
不等式约束将设计空间划分为两部分，一部分满足约束条 件，另一部分不满足约束条件。
x
max xi
1-范数 2-范数
x 1 xi
x 2 x
CUMT
1 2 2 i
范数的内积
x y xi yi
T i 1
n
范数不等式
x y x y
三角不等式 柯西不等式
xT y x y
2. 多元函数的微分 对于多元函数u=f(x)， x S Rn ，若在点
第七讲 最优控制理论
CUMT
主要内容
1.1 最优化方法的形成和发展 1.2 最优化问题的定义和数学模型 1.3 最优化问题的分类 1.4 最优化方法的解题步骤 1.5 广义最优化方法的种类 1.6 最优化方法效果举例
CUMT
1.2 最优化方法的定义和数学模型
1.2.1 最优化方法的定义 最优化方法即是解决最优化问题的方法，主要运用数学方法研究各种 系统的优化途径及方案，为决策者提供科学决策的依据。 最优化问题是指在一定的约束条件下，决定某个或某些可控制的因素 应有的合理取值，使所选定的目标达到最优的问题。 最优化方法主要研究数学规划和最优控制两类问题的求解方法。 Optimal method，Optimization of methods，Optimization， Optimum…“Opt”