优化方法建模及实例讨论(2014-5-10)-终稿
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 建立在计算机迭代计算的 基础上； • 具有普适性，可解决实际 应用问题。
蚁群算法
粒子群算法 差分进化算法
4
数学建模竞赛中的算法(1)
93A 非线性交调的频率设计: 拟合、规划 93B 足球队排名次: 矩阵论、图论、层次分析法、整 数规划 94A 逢山开路: 图论、插值、动态规划 94B 锁具装箱问题: 图论、组合数学 95A 飞行管理问题 : 非线性规划、线性规划 95B 天车与冶炼炉的作业调度: 非线性规划、动态规 划、层次分析法、PETRI方法、图论方法、排队论方 法 96A 最优捕鱼策略：微分方程、积分、非线性规划
21
现代优化算法
现代优化算法又称智能优化算法或现代启 发式算法，是一种具有全局优化性能、通用性 强、且适合于并行处理的算法。这种算法一般 具有严密的理论依据，而不是单纯凭借专家经 验，理论上可以在一定的时间内找到最优解或 近似最优解。
22
现代优化方法 待解决的问题 离散性、连续的、不确定性、大规模 现代的优化方法 启发式算法（heuristic algorithm） 追求满意（近似解）
组合优化问题(Combinatorial Optimization Problem ) : 最优化问题中的解空间X或S由离散集合构成。其中很 多问题是NP完全(Nondeterministic Polynomial Completeness)问题。
20
传统优化方法 待解决的问题 连续性问题，以微积分为基础，规模较小 传统的优化方法 理论上的准确与完美，主要方法：线性与非线性规划、 动态规划、多目标规划、整数规划等；排队论、库存 论、对策论、决策论等。 传统的评价方法 算法收敛性、收敛速度
28
三个孩子的年龄(2)
A：他们三个年龄之和等于那幢房子的窗户个数。
A指着对面的一幢房子说。
B考虑了一下说，但是，我还有一点信息来解决你的这 个难题。 A：我的大儿子的眼睛是蓝色的。 B：哦，够了， B 给出了正确的答案，即三个小孩的年龄。
29
三个孩子的年龄(3)
根据对话信息，用搜索的方法来解此问题。
41
智能优化计算
模拟退火算法及模型
物理退火过程 数学表述 在同一个温度T，选定两个能量E1<E2，有
E1 E2 E1 1 P{E E1} P{E E2 } exp 1 exp Z (T ) k T k T B B
37
物理退火过程
什么是退火：
退火是指将固体加热到足够高的温度，使分子呈随 机排列状态，然后逐步降温使之冷却，最后分子以 低能状态排列，固体达到某种稳定状态。
38
模拟退火算法及模型
物理退火过程 加温过程——增强粒子的热运动，消除系统原先可能 存在的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系统， 系统状态的自发变化总是朝自由能减少的方向进行，当自 由能达到最小时，系统达到平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统能 量逐渐下降，从而得到低能的晶体结构。
实用性强（解决实际工程问题）
现代的评价方法 算法复杂性
23
现代优化算法的特点
它们的共同特点：都是从任一解出发，按 照某种机制，以一定的概率在整个求解空间中 探索最优解。由于它们可以把搜索空间扩展到 整个问题空间，因而具有全局优化性能。
24
全局优化 (Rastrigin’s Function)
差分进化算法
Differential Evolution，简称DE
27来自百度文库
搜索示例：三个孩子的年龄(1)
两个多年未见的朋友相遇，聊了很多事情…
A：既然你是数学教授，那你帮我算这个题，今天是 个特殊日子：我三个儿子都在今天庆祝生日！那么你 能算出他们都有多大吗？
B：好，但你得跟我讲讲他们的情况。
A：好的，我给你一些提示，他们三个年龄之积是36。 B：很好，但我还需要更多提示。
6
数学建模竞赛中的算法(3)
99B 钻井布局：几何变换、枚举、最大完全子图、混 合整数规划 00A DNA分类：神经网络、最小二乘拟合、统计分类 00B 管道订购：最短路、二次规划 01A 血管的三维重建：数据挖掘、曲面重建与拟合 01B 公交车调度：非线性规划 02A 车灯光源优化设计：最优化 02B 彩票中的数学：概率与优化
26
常用的现代优化算法
遗传算法
模拟退火算法
禁忌搜索算法 神经网络算法 粒子群算法
Genetic Algorithm，简称GA Simulated Annealing，简称SA Tabu Search，简称TS
Neural Network Algorithm，简称NNA Particle Swarm Optimization，简称PSO
5
数学建模竞赛中的算法(2)
96B 节水洗衣机：非线性规划 97A 零件参数设计：微积分、非线性规划、随机模拟 97B 截断切割：组合优化、几何变换、枚举、蒙特卡 罗、递归、最短路 98A 投资收益与风险：线性规划、非线性规划 98B 灾情巡视：最小生成树、Hamilton圈、旅行商 问题 99A 自动化车床：积分、概率分布、随机模拟、分布 拟合度检验
36 1 1 38
18 2 1 21
12 3 1 16
9 4 1 14
9 2 2 13
6 6 1 13
6 3 2 11
4 3 3 10
窗户数:
如果窗户数为38、21、16、14、11、10即可得出答案 B还需信息，即窗户数为13。 则可能为(9、2、2)或(6、6、1)
信息2：大儿子眼睛是蓝色的
31
14
美国03年B 题伽马刀问题也是目前研究的课题，目前 算法最佳的是遗传算法。
优化模型
T Min ( 或 Max ) z f ( x ), x ( x , x ) 实际问题中 1 n 的优化模型 s.t. gi ( x) 0, i 1, 2, m
x~决策变量 数学规划 线性规划(LP) 二次规划(QP) 非线性规划(NLP) 连续规划
计算复杂度：指数灾难
城市 数 计算 时间
24 1 sec
25 24 sec
26 10 min
27 4.3 hour
28 4.9 day
29 136.5 day
30 10.8 year
31 325 year
33
Part 2 模拟退火法
34
35
36
模拟退火算法及模型
物理退火过程 算法的提出 模拟退火算法最早的思想由 Metropolis( 梅特罗波利 斯 ) 等（ 1953 ）提出， 1983 年 Kirkpatrick 等将其应 用于组合优化。 算法的目的 解决NP复杂性问题； 克服优化过程陷入局部极小； 克服初值依赖性。
19
f(x)~目标函数
gi(x)0~约束条件
0-1整数规划 一般整数规划
纯整数规划(PIP) 混合整数规划(MIP)
整数规划(IP)
最优化问题(Optimization Problem)
最优化问题：
Minimize f ( x) f ( x1 , x2 , , xn ) subject to x ( x1 , x2 , , xn ) S X
43
E (r ) 1 P{E E (r )} exp Z (T ) k BT
智能优化计算
模拟退火算法及模型
物理退火过程 Metropolis准则（1953）——以概率接受新状态 固体在恒定温度下达到热平衡的过程可以用Monte Carlo 方法（计算机随机模拟方法）加以模拟，虽然该方法简 单，但必须大量采样才能得到比较精确的结果，计算量
Ras( x) 20 x x 10(cos2 x1 cos2 x2 )
2 1 2 2
全局最小点 (0,0)
http://www.mathworks.cn/help/toolbox/gads/f14773.html
25
现代优化算法
特点：
1. 不依赖于初始条件； 2. 不与求解空间有紧密关系，对解域无可微或连续的 要求；容易实现，求解稳健； 3. 但收敛速度慢，能获得全局最优；适合于求解空间 不知的情况； 4. SA 、 GA 可应用于大规模、多峰多态函数、含离散 变量等全局优化问题；求解速度和质量远超过常规 方法。
45
智能优化计算
模拟退火算法及模型
物理退火过程 Metropolis准则（1953）——以概率接受新状态 p=exp[-(Ej-Ei)/kBT] 在高温下，可接受与当前状态能量差较大的新状态； 在低温下，只接受与当前状态能量差较小的新状态。
46
智能优化计算
组合优化与物理退火的相似性
相似性比较
信息1：三个小孩年龄之积为36 只有以下8种可能，搜索范围减少至8种情况:
第一个小 孩年龄 第二个小 孩年龄 第三个小 孩年龄
36 1 1
18 2 1
12 3 1
9 4 1
9 2 2
6 6 1
6 3 2
4 3 3
30
三个孩子的年龄(4)
信息2：三个小孩年龄之和等于窗户数
第一个小 孩年龄 第二个小 孩年龄 第三个小 孩年龄
得答案：(9、2、2)
搜索示例：TSP问题
典 型 问 题 —— 旅 行 商 问 题 （ Traveling salesman problem, TSP） 12
给定n个城市和两两
1
2
城市之间的距离，要
求确定一条经过各城
1
8
3 2
市当且仅当一次的最
短路线。
32
3
10
4
TSP的搜索的困难
典型问题——旅行商问题
7
最优化理论的三大非经典算法:
模拟退火法(SA)、神经网络(NN)、遗传算法(GA)
近几年的赛题越来越复杂，很多问题没有什么很好的模 型可以借鉴，于是这三类算法很多时候可以派上用场。
97年A 题用模拟退火算法 00年B 题用神经网络分类算法 01年B 题这种难题也可以使用神经网络 美国89年A 题也和BP 算法有关系
优化方法建模实例
jxyang@cqjtu.edu.cn 2014-5-10
目录
现代优化算法概论
模拟退火算法(SA)
遗传算法(GA)
2
Part 1
概论
主要是说明现代优化算 法的重要性。
3
现代优化算法
现代优化算法 遗传算法 模拟退火算法 禁忌搜索算法 人工神经网络
特点：
• 基于客观世界中的一些自 然现象；
很大。
44
智能优化计算
模拟退火算法及模型
物理退火过程
Metropolis准则（1953）——以概率接受新状态
若在温度T，当前状态i → 新状态j 若Ej<Ei，则接受 j 为当前状态； 否则，以概率 p=exp[-(Ej-Ei)/kBT] 接受 j 为当前状态。 即：p大于[0, 1)区间的随机数，则仍接受状态 j 为当 前状态；否则保留状态 i 为当前状态。
>0
在同一个温度，分子停留在能量小的状态的概率比停留 在能量大的状态的概率要大。
42
<1
智能优化计算
能量最低状态
非能量最低状态
模拟退火算法 数学表述 若|D|为状态空间D中状态的个数，D0是具有最低能量的状 态集合： 1、当温度很高时，每个状态概率基本相同，接近平均值 1/|D|； 2、状态空间存在超过两个不同能量时，具有最低能量状 态的概率超出平均值1/|D| ； 3、当温度趋于0时，分子停在最低能量状态概率趋于1。
39
40
智能优化计算
模拟退火算法及模型
物理退火过程 数学表述 在温度T，分子停留在状态r满足Boltzmann概率分布
E (r ) 1 P{E E (r )} exp Z (T ) k T B E表示分子能量的一个随 机变量，E (r )表示状态r的能量， k B 0为Boltzmann 常数。Z (T )为概率分布的标准化因 子： E ( s) Z (T ) exp k T sD B
组合优化问题 解 最优解 设定初温 Metropolis抽样过程 金属物体 粒子状态 能量最低的状态 熔解过程 等温过程
控制参数的下降
目标函数
冷却
能量
47
SA算法描述
48
案例讲解
已知敌方 100 个目标的经度、纬度，我方有一
个基地，经度和纬度为（70,40）。假设我方飞
蚁群算法
粒子群算法 差分进化算法
4
数学建模竞赛中的算法(1)
93A 非线性交调的频率设计: 拟合、规划 93B 足球队排名次: 矩阵论、图论、层次分析法、整 数规划 94A 逢山开路: 图论、插值、动态规划 94B 锁具装箱问题: 图论、组合数学 95A 飞行管理问题 : 非线性规划、线性规划 95B 天车与冶炼炉的作业调度: 非线性规划、动态规 划、层次分析法、PETRI方法、图论方法、排队论方 法 96A 最优捕鱼策略：微分方程、积分、非线性规划
21
现代优化算法
现代优化算法又称智能优化算法或现代启 发式算法，是一种具有全局优化性能、通用性 强、且适合于并行处理的算法。这种算法一般 具有严密的理论依据，而不是单纯凭借专家经 验，理论上可以在一定的时间内找到最优解或 近似最优解。
22
现代优化方法 待解决的问题 离散性、连续的、不确定性、大规模 现代的优化方法 启发式算法（heuristic algorithm） 追求满意（近似解）
组合优化问题(Combinatorial Optimization Problem ) : 最优化问题中的解空间X或S由离散集合构成。其中很 多问题是NP完全(Nondeterministic Polynomial Completeness)问题。
20
传统优化方法 待解决的问题 连续性问题，以微积分为基础，规模较小 传统的优化方法 理论上的准确与完美，主要方法：线性与非线性规划、 动态规划、多目标规划、整数规划等；排队论、库存 论、对策论、决策论等。 传统的评价方法 算法收敛性、收敛速度
28
三个孩子的年龄(2)
A：他们三个年龄之和等于那幢房子的窗户个数。
A指着对面的一幢房子说。
B考虑了一下说，但是，我还有一点信息来解决你的这 个难题。 A：我的大儿子的眼睛是蓝色的。 B：哦，够了， B 给出了正确的答案，即三个小孩的年龄。
29
三个孩子的年龄(3)
根据对话信息，用搜索的方法来解此问题。
41
智能优化计算
模拟退火算法及模型
物理退火过程 数学表述 在同一个温度T，选定两个能量E1<E2，有
E1 E2 E1 1 P{E E1} P{E E2 } exp 1 exp Z (T ) k T k T B B
37
物理退火过程
什么是退火：
退火是指将固体加热到足够高的温度，使分子呈随 机排列状态，然后逐步降温使之冷却，最后分子以 低能状态排列，固体达到某种稳定状态。
38
模拟退火算法及模型
物理退火过程 加温过程——增强粒子的热运动，消除系统原先可能 存在的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系统， 系统状态的自发变化总是朝自由能减少的方向进行，当自 由能达到最小时，系统达到平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统能 量逐渐下降，从而得到低能的晶体结构。
实用性强（解决实际工程问题）
现代的评价方法 算法复杂性
23
现代优化算法的特点
它们的共同特点：都是从任一解出发，按 照某种机制，以一定的概率在整个求解空间中 探索最优解。由于它们可以把搜索空间扩展到 整个问题空间，因而具有全局优化性能。
24
全局优化 (Rastrigin’s Function)
差分进化算法
Differential Evolution，简称DE
27来自百度文库
搜索示例：三个孩子的年龄(1)
两个多年未见的朋友相遇，聊了很多事情…
A：既然你是数学教授，那你帮我算这个题，今天是 个特殊日子：我三个儿子都在今天庆祝生日！那么你 能算出他们都有多大吗？
B：好，但你得跟我讲讲他们的情况。
A：好的，我给你一些提示，他们三个年龄之积是36。 B：很好，但我还需要更多提示。
6
数学建模竞赛中的算法(3)
99B 钻井布局：几何变换、枚举、最大完全子图、混 合整数规划 00A DNA分类：神经网络、最小二乘拟合、统计分类 00B 管道订购：最短路、二次规划 01A 血管的三维重建：数据挖掘、曲面重建与拟合 01B 公交车调度：非线性规划 02A 车灯光源优化设计：最优化 02B 彩票中的数学：概率与优化
26
常用的现代优化算法
遗传算法
模拟退火算法
禁忌搜索算法 神经网络算法 粒子群算法
Genetic Algorithm，简称GA Simulated Annealing，简称SA Tabu Search，简称TS
Neural Network Algorithm，简称NNA Particle Swarm Optimization，简称PSO
5
数学建模竞赛中的算法(2)
96B 节水洗衣机：非线性规划 97A 零件参数设计：微积分、非线性规划、随机模拟 97B 截断切割：组合优化、几何变换、枚举、蒙特卡 罗、递归、最短路 98A 投资收益与风险：线性规划、非线性规划 98B 灾情巡视：最小生成树、Hamilton圈、旅行商 问题 99A 自动化车床：积分、概率分布、随机模拟、分布 拟合度检验
36 1 1 38
18 2 1 21
12 3 1 16
9 4 1 14
9 2 2 13
6 6 1 13
6 3 2 11
4 3 3 10
窗户数:
如果窗户数为38、21、16、14、11、10即可得出答案 B还需信息，即窗户数为13。 则可能为(9、2、2)或(6、6、1)
信息2：大儿子眼睛是蓝色的
31
14
美国03年B 题伽马刀问题也是目前研究的课题，目前 算法最佳的是遗传算法。
优化模型
T Min ( 或 Max ) z f ( x ), x ( x , x ) 实际问题中 1 n 的优化模型 s.t. gi ( x) 0, i 1, 2, m
x~决策变量 数学规划 线性规划(LP) 二次规划(QP) 非线性规划(NLP) 连续规划
计算复杂度：指数灾难
城市 数 计算 时间
24 1 sec
25 24 sec
26 10 min
27 4.3 hour
28 4.9 day
29 136.5 day
30 10.8 year
31 325 year
33
Part 2 模拟退火法
34
35
36
模拟退火算法及模型
物理退火过程 算法的提出 模拟退火算法最早的思想由 Metropolis( 梅特罗波利 斯 ) 等（ 1953 ）提出， 1983 年 Kirkpatrick 等将其应 用于组合优化。 算法的目的 解决NP复杂性问题； 克服优化过程陷入局部极小； 克服初值依赖性。
19
f(x)~目标函数
gi(x)0~约束条件
0-1整数规划 一般整数规划
纯整数规划(PIP) 混合整数规划(MIP)
整数规划(IP)
最优化问题(Optimization Problem)
最优化问题：
Minimize f ( x) f ( x1 , x2 , , xn ) subject to x ( x1 , x2 , , xn ) S X
43
E (r ) 1 P{E E (r )} exp Z (T ) k BT
智能优化计算
模拟退火算法及模型
物理退火过程 Metropolis准则（1953）——以概率接受新状态 固体在恒定温度下达到热平衡的过程可以用Monte Carlo 方法（计算机随机模拟方法）加以模拟，虽然该方法简 单，但必须大量采样才能得到比较精确的结果，计算量
Ras( x) 20 x x 10(cos2 x1 cos2 x2 )
2 1 2 2
全局最小点 (0,0)
http://www.mathworks.cn/help/toolbox/gads/f14773.html
25
现代优化算法
特点：
1. 不依赖于初始条件； 2. 不与求解空间有紧密关系，对解域无可微或连续的 要求；容易实现，求解稳健； 3. 但收敛速度慢，能获得全局最优；适合于求解空间 不知的情况； 4. SA 、 GA 可应用于大规模、多峰多态函数、含离散 变量等全局优化问题；求解速度和质量远超过常规 方法。
45
智能优化计算
模拟退火算法及模型
物理退火过程 Metropolis准则（1953）——以概率接受新状态 p=exp[-(Ej-Ei)/kBT] 在高温下，可接受与当前状态能量差较大的新状态； 在低温下，只接受与当前状态能量差较小的新状态。
46
智能优化计算
组合优化与物理退火的相似性
相似性比较
信息1：三个小孩年龄之积为36 只有以下8种可能，搜索范围减少至8种情况:
第一个小 孩年龄 第二个小 孩年龄 第三个小 孩年龄
36 1 1
18 2 1
12 3 1
9 4 1
9 2 2
6 6 1
6 3 2
4 3 3
30
三个孩子的年龄(4)
信息2：三个小孩年龄之和等于窗户数
第一个小 孩年龄 第二个小 孩年龄 第三个小 孩年龄
得答案：(9、2、2)
搜索示例：TSP问题
典 型 问 题 —— 旅 行 商 问 题 （ Traveling salesman problem, TSP） 12
给定n个城市和两两
1
2
城市之间的距离，要
求确定一条经过各城
1
8
3 2
市当且仅当一次的最
短路线。
32
3
10
4
TSP的搜索的困难
典型问题——旅行商问题
7
最优化理论的三大非经典算法:
模拟退火法(SA)、神经网络(NN)、遗传算法(GA)
近几年的赛题越来越复杂，很多问题没有什么很好的模 型可以借鉴，于是这三类算法很多时候可以派上用场。
97年A 题用模拟退火算法 00年B 题用神经网络分类算法 01年B 题这种难题也可以使用神经网络 美国89年A 题也和BP 算法有关系
优化方法建模实例
jxyang@cqjtu.edu.cn 2014-5-10
目录
现代优化算法概论
模拟退火算法(SA)
遗传算法(GA)
2
Part 1
概论
主要是说明现代优化算 法的重要性。
3
现代优化算法
现代优化算法 遗传算法 模拟退火算法 禁忌搜索算法 人工神经网络
特点：
• 基于客观世界中的一些自 然现象；
很大。
44
智能优化计算
模拟退火算法及模型
物理退火过程
Metropolis准则（1953）——以概率接受新状态
若在温度T，当前状态i → 新状态j 若Ej<Ei，则接受 j 为当前状态； 否则，以概率 p=exp[-(Ej-Ei)/kBT] 接受 j 为当前状态。 即：p大于[0, 1)区间的随机数，则仍接受状态 j 为当 前状态；否则保留状态 i 为当前状态。
>0
在同一个温度，分子停留在能量小的状态的概率比停留 在能量大的状态的概率要大。
42
<1
智能优化计算
能量最低状态
非能量最低状态
模拟退火算法 数学表述 若|D|为状态空间D中状态的个数，D0是具有最低能量的状 态集合： 1、当温度很高时，每个状态概率基本相同，接近平均值 1/|D|； 2、状态空间存在超过两个不同能量时，具有最低能量状 态的概率超出平均值1/|D| ； 3、当温度趋于0时，分子停在最低能量状态概率趋于1。
39
40
智能优化计算
模拟退火算法及模型
物理退火过程 数学表述 在温度T，分子停留在状态r满足Boltzmann概率分布
E (r ) 1 P{E E (r )} exp Z (T ) k T B E表示分子能量的一个随 机变量，E (r )表示状态r的能量， k B 0为Boltzmann 常数。Z (T )为概率分布的标准化因 子： E ( s) Z (T ) exp k T sD B
组合优化问题 解 最优解 设定初温 Metropolis抽样过程 金属物体 粒子状态 能量最低的状态 熔解过程 等温过程
控制参数的下降
目标函数
冷却
能量
47
SA算法描述
48
案例讲解
已知敌方 100 个目标的经度、纬度，我方有一
个基地，经度和纬度为（70,40）。假设我方飞