智能优化技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
24
TSP问题的概述
•
旅行商问题，即TSP问题（Traveling
Salesman Problem）是数学领域中著名问题
↓ (优化过程)
6
〇.最优化的重要性（2）
2. 一切学科都是建模与优化在某个特定领域中 的应用 概念模型(定性) → 结构模型(图)→ → 数学模型 → 智能模型
7
最优化的重要性（2）
• 从我们控制学科上说： 1. 优化控制：如PID参数优化整定， 2. 系统优化：节能减排。
8
最优化的重要性（3）
我们统称以上算法为人工生命计算 (Artificial Life Computation) 1. 人工生命计算 + 模糊逻辑 (Fuzzy Logic)=
软计算(Soft Computation) 2. 人工生命计算 + 进化编程 =
进化算法 (Evolutionary computation)
21
五.应用前景局限性和研究方向、注意事项（1） 1. 应用前景十分广阔——国民经济的各个领域 2. 局限性——不能保证最优解，理论上不完备
22
五.应用前景局限性和研究方向、注意事项（2）
3. 研究方向及注意事项 ① 以应用为主，扩大面向新问题的应用；不要
刻意做理论研究，若碰上也不拒绝; ② 算法改进表现在以下几个方面：问题的描述、
编码方法、算法构造及可行性修复策略; ③ 要进行大量的上机计算；
23
五.应用前景局限性和研究方向、注意事项（3）
④ 算例的选取，以下算例的说服力降序排列： 网上的测试用例、文献中的例子、实际例子、 随机产生的例子、自己编的例子;
⑤ 如何检验算法的好坏：比较计算速度、可解 规模、 (从不同的随机种子出发)达优率。
6. 1995年Kennedy & Eherhart提出粒子群优化 (Particle Swarm Optimization)
7. 其它 ① 文化算法(Cultural Algorithm) ② 人工生命算法(Artificial-Life Algorithm)
20
四.智能优化算法的产生与发展（4）
2. 只从一个初始点出发，难以进行并行、网络 计算，难以提高计算效率；同时最优解对初 始点的强烈依赖性，容易陷入局部最优解
14
二.传统优化方法的局限性（2）
3. 最优性达到的条件太苛刻——问题的函数为 凸，可行域为凸；
4. 在非双凸条件下，没有跳出局部最优解的能 力。
5. 没有跳出局部最优解的能力，是传统优化算 法的致命弱点。
15
三.实际问题中对最优化方法的要求（1）
1. 对问题的描述要宽松(目标和约束函数)—— 可以用一段程序来描述(程序中带判断、循 环)，函数可以非连续、非凸、非可微、非 显式；
2. 并不苛求最优解——通常满意解、理想解就 可以了；
16
三.实际问题中对最优化方法的要求（2）
3. 计算快速、高效,可随时终止(根据时间定解 的质量)；
如下面框图所示 1. 选一个初始解 ① LP:大M，二阶段法 ② NLP:任意点或一个内点
10
一.传统优化方法的基本步骤—三步曲（2）
• 停止判据——停止规则最优性检验
•
LP:检验数
C
T B
B
1
N
C NT
A B | N C CB | CN T
当∏≥0时有可能减小
• NLP: f (x) 0
11
4. 能够处理数据、信息的不确定性(如数据的 模糊性，事件的随机性)。
17
四.智能优化算法的产生与发展（1）
智能优化算法的产生一个重要原因是为了改善传统 优化算法局部邻域收索，获得全局最优解。
1. 1975年holland提出遗传算法 (Genetic Algorithm)
2. 1977年Glouer提出禁忌搜索算法 (Tabn Search)
一.传统优化方法的基本步骤—三步曲（3）
3. 向改进方向移动——改进解 ① LP:转轴变换(进基、退基) ② NLP:向负梯度方向移动(共轭梯度方向、牛顿
方向)
12
一.传统优化方法的基本步骤—三步曲（4）
启动
选择一个初始解
停止准则
Y
停机
N 向改进方向移动
13
二.传统优化方法的局限性（1）
1. 对问题中目标函数、约束函数有很高的要 求——有显式表达，线性、连续、可微，且 高阶可微;
3. 最优化理论的发展 ① 极值理论； ② 运筹学的兴起(Operation Research)； ③ 数学规划：线性规划(LP)；非线性规划(NLP)；
动态规划(PP)；马尔托夫规划(MDP)；排队 轮；决策论；存储论。
4. 最优化理论在国民经济中的广泛应用
9
一.传统优化方法的基本步骤—三步曲（1）
最优化的重要性 一.传统优化方法的基本步骤——三步曲 二.传统优化方法的局限性 三.实际问题中对最优化方法的要求 四.智能优化算法的产生与发展 五.应用前景局限性和研究方向
5
〇.最优化的重要性（1）
1. 从广义上说：人类的一切活动都是认识世界 和改造世界的过程
即： 认识世界 → 改造世界
↓ (建模过程)
(模拟退火(SA), 禁忌搜索TS, 神经网络优化 NN) 第五部分 其他智能技术方法 第六部分 结语与展望
2
教材
• 中英文文献： 1.雷德明，严新平“多目标智能优化算法及
其应用”，科学出版社，2009年3月 2.邢文训，谢金星“现代优化计算方法”，
清华大学出版社，1999年
3
第一部分 导言
4
来自百度文库
第一章 导言
18
四.智能优化算法的产生与发展（2）
3. 1982年Kirkpatrick提出模拟退火算 (Simulated Annealing)，以可控性概率接受劣解来逃离 局部最优。
4. 人工神经元网络 5. 1995年Dorigo提出蚁群算法
(Ant Colony Optimization)
19
四.智能优化算法的产生与发展（3）
智能优化技术
Intelligent Optimization Technology
马龙华 副教授 浙江大学控制科学与工程系
2011年5月
1
目录
第一部分 导言 第二部分 基于自然生命进化的智能优化技术
（遗传算法GA, 免疫优化） 第三部分 基于群（swarm）的智能优化技术
(蚁群优化ACO，粒子群优化PSO, 捕食搜索PS, 群落选址算法CLA) 第四部分 基于物理自然的智能计算技术
TSP问题的概述
•
旅行商问题，即TSP问题（Traveling
Salesman Problem）是数学领域中著名问题
↓ (优化过程)
6
〇.最优化的重要性（2）
2. 一切学科都是建模与优化在某个特定领域中 的应用 概念模型(定性) → 结构模型(图)→ → 数学模型 → 智能模型
7
最优化的重要性（2）
• 从我们控制学科上说： 1. 优化控制：如PID参数优化整定， 2. 系统优化：节能减排。
8
最优化的重要性（3）
我们统称以上算法为人工生命计算 (Artificial Life Computation) 1. 人工生命计算 + 模糊逻辑 (Fuzzy Logic)=
软计算(Soft Computation) 2. 人工生命计算 + 进化编程 =
进化算法 (Evolutionary computation)
21
五.应用前景局限性和研究方向、注意事项（1） 1. 应用前景十分广阔——国民经济的各个领域 2. 局限性——不能保证最优解，理论上不完备
22
五.应用前景局限性和研究方向、注意事项（2）
3. 研究方向及注意事项 ① 以应用为主，扩大面向新问题的应用；不要
刻意做理论研究，若碰上也不拒绝; ② 算法改进表现在以下几个方面：问题的描述、
编码方法、算法构造及可行性修复策略; ③ 要进行大量的上机计算；
23
五.应用前景局限性和研究方向、注意事项（3）
④ 算例的选取，以下算例的说服力降序排列： 网上的测试用例、文献中的例子、实际例子、 随机产生的例子、自己编的例子;
⑤ 如何检验算法的好坏：比较计算速度、可解 规模、 (从不同的随机种子出发)达优率。
6. 1995年Kennedy & Eherhart提出粒子群优化 (Particle Swarm Optimization)
7. 其它 ① 文化算法(Cultural Algorithm) ② 人工生命算法(Artificial-Life Algorithm)
20
四.智能优化算法的产生与发展（4）
2. 只从一个初始点出发，难以进行并行、网络 计算，难以提高计算效率；同时最优解对初 始点的强烈依赖性，容易陷入局部最优解
14
二.传统优化方法的局限性（2）
3. 最优性达到的条件太苛刻——问题的函数为 凸，可行域为凸；
4. 在非双凸条件下，没有跳出局部最优解的能 力。
5. 没有跳出局部最优解的能力，是传统优化算 法的致命弱点。
15
三.实际问题中对最优化方法的要求（1）
1. 对问题的描述要宽松(目标和约束函数)—— 可以用一段程序来描述(程序中带判断、循 环)，函数可以非连续、非凸、非可微、非 显式；
2. 并不苛求最优解——通常满意解、理想解就 可以了；
16
三.实际问题中对最优化方法的要求（2）
3. 计算快速、高效,可随时终止(根据时间定解 的质量)；
如下面框图所示 1. 选一个初始解 ① LP:大M，二阶段法 ② NLP:任意点或一个内点
10
一.传统优化方法的基本步骤—三步曲（2）
• 停止判据——停止规则最优性检验
•
LP:检验数
C
T B
B
1
N
C NT
A B | N C CB | CN T
当∏≥0时有可能减小
• NLP: f (x) 0
11
4. 能够处理数据、信息的不确定性(如数据的 模糊性，事件的随机性)。
17
四.智能优化算法的产生与发展（1）
智能优化算法的产生一个重要原因是为了改善传统 优化算法局部邻域收索，获得全局最优解。
1. 1975年holland提出遗传算法 (Genetic Algorithm)
2. 1977年Glouer提出禁忌搜索算法 (Tabn Search)
一.传统优化方法的基本步骤—三步曲（3）
3. 向改进方向移动——改进解 ① LP:转轴变换(进基、退基) ② NLP:向负梯度方向移动(共轭梯度方向、牛顿
方向)
12
一.传统优化方法的基本步骤—三步曲（4）
启动
选择一个初始解
停止准则
Y
停机
N 向改进方向移动
13
二.传统优化方法的局限性（1）
1. 对问题中目标函数、约束函数有很高的要 求——有显式表达，线性、连续、可微，且 高阶可微;
3. 最优化理论的发展 ① 极值理论； ② 运筹学的兴起(Operation Research)； ③ 数学规划：线性规划(LP)；非线性规划(NLP)；
动态规划(PP)；马尔托夫规划(MDP)；排队 轮；决策论；存储论。
4. 最优化理论在国民经济中的广泛应用
9
一.传统优化方法的基本步骤—三步曲（1）
最优化的重要性 一.传统优化方法的基本步骤——三步曲 二.传统优化方法的局限性 三.实际问题中对最优化方法的要求 四.智能优化算法的产生与发展 五.应用前景局限性和研究方向
5
〇.最优化的重要性（1）
1. 从广义上说：人类的一切活动都是认识世界 和改造世界的过程
即： 认识世界 → 改造世界
↓ (建模过程)
(模拟退火(SA), 禁忌搜索TS, 神经网络优化 NN) 第五部分 其他智能技术方法 第六部分 结语与展望
2
教材
• 中英文文献： 1.雷德明，严新平“多目标智能优化算法及
其应用”，科学出版社，2009年3月 2.邢文训，谢金星“现代优化计算方法”，
清华大学出版社，1999年
3
第一部分 导言
4
来自百度文库
第一章 导言
18
四.智能优化算法的产生与发展（2）
3. 1982年Kirkpatrick提出模拟退火算 (Simulated Annealing)，以可控性概率接受劣解来逃离 局部最优。
4. 人工神经元网络 5. 1995年Dorigo提出蚁群算法
(Ant Colony Optimization)
19
四.智能优化算法的产生与发展（3）
智能优化技术
Intelligent Optimization Technology
马龙华 副教授 浙江大学控制科学与工程系
2011年5月
1
目录
第一部分 导言 第二部分 基于自然生命进化的智能优化技术
（遗传算法GA, 免疫优化） 第三部分 基于群（swarm）的智能优化技术
(蚁群优化ACO，粒子群优化PSO, 捕食搜索PS, 群落选址算法CLA) 第四部分 基于物理自然的智能计算技术