智能计算与现代优化方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
F 2 [ x 10cos(2xn ) 10], x [2,2]
n 1 2 n N
2014-4-14
智能计算与优化
13
函数优化的标准测试函数
Rosenbrock Function:
2 2 F 3 [100( xn1 xn ) ( xn 1) 2 ], x [2,2] n 1 N 1
识进行处理。 1994年，James在Florida, Orlando, 94 IEEEE WCCI会议上又阐述他的观点：
2014-4-14
智能计算与优化
22
智能有三个层次：
生物智能（Biological Intelligence, BI）
由人脑的物理化学过程反映出来的，人脑是有机物， 它是智能的基础。
5
（１）. 选初始解
（2）. 停止准则
LP: 检验数为正; NLP:
f ( x ) 0
|| f ( x ) || 2 f(x)0
2014-4-14
智能计算与优化
6
（3）向改进点移动
LP: 转轴变换; NLP: • 选一个移动方向:
负梯度方向,牛顿方向,共轭梯度方向
• 确定移动步长:
Griewank Function:
1 N 2 N F4 1 x n n 1 cos(x n 4000 n1 n ), x [10,10]
2014-4-14
智能计算与优化
14
函数优化的标准测试函数
Ackley function
1 F 5 20 e 20 exp(0.2 N
CI：连接主义，数据、学习、记忆。 右脑
2014-4-14
智能计算与优化
25
什么是智能优化算法（范围）
智能计算也有人称之为“软计算”，是人们受自 然（生物界）规律的启迪，根据其原理，模仿求 解问题的算法。从自然界得到启迪，模仿其结构 进行发明创造，这就是仿生学。
另一方面，我们还可以利用仿生原理进行设计(包 括设计算法)，这就是智能计算的思想。 这方面的内容很多，如人工神经网络技术、遗传 算法、模拟退火算法、模拟退火技术和群集智能 技术等。
N n 1 2 x n ) n 1 N
1 exp(N cos(2xn )), x [2,2]
2014-4-14
智能计算与优化
15
Schwefel's function
f ( x) ( xi ) sin( xi )
i 1
n
where 500 xi 500 global minimum f ( x) = n 418.9829; xi = 420.9687, i = 1: n
2014-4-14 智能计算与优化 11
最优化问题的分类
1）函数优化：连续空间上的优化问题；
2）组合优化：离散点集的状态组合
2014-4-14
智能计算与优化
12
函数优化的标准测试函数
Spere Function：
F1 xi , x [2,2]
2 i 1
N
Rastigrin function:
2014-4-14 智能计算与优化 33
模糊逻辑
A1 x
是 是
规则1
y是 B1
集 结 器 去 模 糊 化
x
A2 x
y是 规则2 B2
规则r
y
是
Ar x
y 是 Br
模糊推理系统是建立在模糊集合理论、模糊if-then规则和模 糊推理等概念基础上的先进的计算框架。 模糊推理系统的基本结构由三个重要部件组成：一个规则库， 包含一系列模糊规则；一个数据库，定义模糊规则中用到的隶 属度函数（Membership Functions, MF）；以及一个推理机制， 按照规则和所给事实执行推理过程求得合理的输出或结论 。
三、实际对新优化方法的要求： 1. 实际中希望模型的描述方法更宽松
例: 配料问题
min C X s.t .AX b X 0
T
若有数量折扣?
2014-4-14 智能计算与优化 9
2. 计算效率
LP--指数算法 3. 不一定要找最优解 4. 希望方法能模糊
2014-4-14
智能计算与优化
10
最优化方法的研究对象及特点
智能计算与优化
19
启发式计算方法分类
物理启发式
模拟退火算法 （模拟固体熔化状态下由逐渐冷
却至最终达到结晶状 态的物理过程） 量子计算 （模拟量子态的叠加性和相 干性 以及量子 比特之间的纠缠性）
社会与文化启发
文化算法 （模拟人类社会的演化过程）
人口迁移算法（模拟人口流动与人口迁移）
2014-4-14 智能计算与优化 20
x S RD
全局最优与局部最优
2014-4-14 智能计算与优化 4
经典的计算方法
17世纪Newtown 微积分 1847年 Cauchy 最速下降法 1939年 Kantorovich下料问题和运输问题 问题求解 1947年 Dantzig 单纯形方法
2014-4-14
智能计算与优化
3. 王凌，智能优化算法及其应用 ，北京：清华
大学出版社，2005
2014-4-14 智能计算与优化 2
第一章 概论
引言
智能计算、现代优化算法的发展历史
智能计算、现代优化算法与控制科学
2014-4-14
智能计算与优化
3
引言
实际生活中的优化问题 最优化问题模型
min f ( x)
s.t gi ( x) 0 hi ( x) 0 或 >0
进化过程
2014-4-14
优化过程
智能计算与优化 28
遗传算法
生物的进化机制
自然选择 适应环境的个体具有更高 的生存能力，同时染色体 特征被保留下来 杂交 随机组合来自父代的染色 体上的遗传物质，产生不 同于它们父代的染色体 突变 随机改变父代的染色体基 因结构，产生新染色体
2014-4-14
智能计算与优化 26
2014-4-14
生物启发式（智能）优化方法
生物启发式计算是指以生物界的各种自然现象或过程 为灵感，而提出的一系列启发式智能计算方法。
遗传算法 神经网络 模糊逻辑
。。。。。
2014-4-14 智能计算与优化 27
遗传算法
生物进化过程是一个自然， 并行，稳健的优化过程，这 一优化过程的目的在于使生 命体达到适应环境的最佳结 构与效果，而生物种群通过” “优胜劣汰”及遗传变异来 达到进化（优化）目的的。
•扩大应用范围----多种方法应用
•算法改进----针对不同问题,改进
•性能比较
• 理论探索----收敛性,最优性条件,收敛速 度,参数选择的依据, ….
2014-4-14 智能计算与优化 37
3. 智能优化方法的局限性：
•不能保证取得最优解,启发式算法,次优化 •算法评估 ----寻优率 ----与最优解相对误差
+
+ = + =
智能计算与优化
29
粒子群优化
Food
Global Best Solution
Past Best Solution
2014-4-14
智能计算与优化
30
蚁群优化（ACO）
2014-4-14
智能计算与优化
31
神经计算
人工神经网络是由 具有 适应性的简单单元组成的 广泛并行互连的网络，它 的组织能够模拟生物神经 系统对真实世界物体所作 出的交互反应。
2014-4-14
智能计算与优化
38
智能计算、现代优化算法与控制科学
需求是发明之母
控制领域的三个需求
1. 处理不断复杂的对象
2. 完成不断复杂的设计
3. 在对象和环境的知识所知甚少的情况下达到以上 两点要求
2014-4-14 智能计算与优化 39
控制科学基本问题
优化是基本要求，及最小的代价，取得最大的效果。
2014-4-14 智能计算与优化 18
经典的启发式方法基本原理
根据问题的部分已知信息来启发式地探索该问题
的解决方案，在探索解决方案的过程中将发现的 有关信息记录下来，不断积累和分析，并根据越 来越丰富的已知信息来指导下一步的动作并修正 以前的步骤，从而获得在整体上较好的解决方案。
2014-4-14
线性搜索,黄金分割, . . .
2014-4-14
智能计算与优化
7
二、传统优化方法特点与缺陷：
1. 一个初始点----运算只对一个点进行; 2. 向改进方向移动 ----不能跳出局部最优解;
3. 只有在凸集凸函数条件下才能找到全 局最优解;
4. 模型必须是连续可微, 甚至是二阶可微;
2014-4-14 智能计算与优化 8
关系：
从复杂性来看：BI > AI > CI ； 从所属关
系来看： AI是CI到BI的过渡，因为AI中除计算算法 之外，还包括符号表示及数值信息处理。 模糊集合和模糊逻辑是AI到CI的过渡。
2014-4-14
智能计算与优化
24
也有些人认为CI不属于AI，仅有部分重合。 AI：符号主义，知识、规则、推理。 左脑
2014-4-14 智能计算与优化 34
四。智能优化方法的产生与发展： 1. 1975年Holland提出GA
----随机实验法----模拟生物遗传机制 一点-->多点(种群)-->遗传-->可并行计算
2. 1977年Glover提出Tabu Search
设禁搜索----有记忆功能 ----用TABU表封锁搜索过的区域
并强调系统整体最优；
1）最优化方法研究和解决问题的基础是最优化技术， 2）最优化方法研究和解决问题的优势是应用各学科
交叉的方法，具有综合性； 3）最优化方法研究和解决问题的方法具有显著的系 统分析特征，其各种方法的运用，几乎都需要建 立数学模型和利用计算机求解；
4）最优化方法具有强烈的实践性和应用的广泛性。
电脉冲 输 入 树 突 细胞体 信息处理
2014-4-14 智能计算与优化
细胞体 轴突 突触 树突
形成
轴突 传输
突 触
输 出
图 12.2 生物神经元功能模型
32
神经计算
I1 I2
w 1
w2 w3 w4
IN
x
w
j 1
N
j
Ij
x>T？
S
I3
人工神经网络（Artificial Neural Networks, ANN），一种模范动 物神经网络行为特征，进行分布式并行信息处理的算法数学模型。 这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连 接的关系，从而达到处理信息的目的。人工神经网络具有自学习和 自适应的能力。
2014-4-14
智能计算与优化
16
组合优化的典型示例
1）TSP问题
2）加工调度问题 3）0－1背包问题 4）装箱问题 5）图着色问题
6）聚类问题
2014-4-14
智能计算与优化
17
启发式计算方法
【定义1-1】 启发式算法是一种基于直观或经验 构造的算法，在可接受的耗费（指计算时间、占用 空间等）下给出待解决优化问题每一实例的一个可 行解，该可行解与最优解的偏离程度未必可事先估 计。 【定义1-2】 启发式算法是一种技术，该技术使 得能在可接受的计算费用内去寻找尽可能好的解， 但不一定能保证所得解的可行性和最优性，甚至在 多数情况下，无法描述所得解与最优解的近似程度。
2014-4-14 智能计算与优化 35
3. 1983年Kirkpatrick提出成熟的 模拟退火方法
----模拟物理的退火过程
目标<=>能量函数, 在退Biblioteka Baidu过程中达到最小
4. 80年代重新兴起的ANN,用于优化
2014-4-14
智能计算与优化
36
五。研究应用的前景与局限性:
1. 应用前景广阔 2. 研究的主要问题：
启发式导致计算智能
智能计算或称计算智能 （Computational Intelligence, CI）
2014-4-14
智能计算与优化
21
关于计算智能（CI）
1992年，美国学者James首次提出：计算智能(CI) 是依靠生产者提供的数字、数据材料进行加工处 理，而不是依赖于知识。
人工智能（Artificial Intelligence, AI）则是须用知
人工智能（Artificial Intelligence, AI）
是非生物的，人造的，常用符号来表示， AI 的来源 是人类知识的精华。
计算智能（Computational Intelligence, CI）
是由数学方法和计算机实现的， CI的来源数值计算 的传感器。
2014-4-14 智能计算与优化 23
智能计算与现代优化方法
王永骥 联系方式：D2-309 Email：wangyjch@hust.edu.cn
2014-4-14
智能计算与优化
1
参考书籍
1. 汪定伟;王俊伟;王洪峤;张瑞友;郭哲 ，智能优
化方法，高等教育出版社，2007
2. 谢金星，邢文训，现代优化计算方法（第二
版）北京：清华大学出版社，2005
n 1 2 n N
2014-4-14
智能计算与优化
13
函数优化的标准测试函数
Rosenbrock Function:
2 2 F 3 [100( xn1 xn ) ( xn 1) 2 ], x [2,2] n 1 N 1
识进行处理。 1994年，James在Florida, Orlando, 94 IEEEE WCCI会议上又阐述他的观点：
2014-4-14
智能计算与优化
22
智能有三个层次：
生物智能（Biological Intelligence, BI）
由人脑的物理化学过程反映出来的，人脑是有机物， 它是智能的基础。
5
（１）. 选初始解
（2）. 停止准则
LP: 检验数为正; NLP:
f ( x ) 0
|| f ( x ) || 2 f(x)0
2014-4-14
智能计算与优化
6
（3）向改进点移动
LP: 转轴变换; NLP: • 选一个移动方向:
负梯度方向,牛顿方向,共轭梯度方向
• 确定移动步长:
Griewank Function:
1 N 2 N F4 1 x n n 1 cos(x n 4000 n1 n ), x [10,10]
2014-4-14
智能计算与优化
14
函数优化的标准测试函数
Ackley function
1 F 5 20 e 20 exp(0.2 N
CI：连接主义，数据、学习、记忆。 右脑
2014-4-14
智能计算与优化
25
什么是智能优化算法（范围）
智能计算也有人称之为“软计算”，是人们受自 然（生物界）规律的启迪，根据其原理，模仿求 解问题的算法。从自然界得到启迪，模仿其结构 进行发明创造，这就是仿生学。
另一方面，我们还可以利用仿生原理进行设计(包 括设计算法)，这就是智能计算的思想。 这方面的内容很多，如人工神经网络技术、遗传 算法、模拟退火算法、模拟退火技术和群集智能 技术等。
N n 1 2 x n ) n 1 N
1 exp(N cos(2xn )), x [2,2]
2014-4-14
智能计算与优化
15
Schwefel's function
f ( x) ( xi ) sin( xi )
i 1
n
where 500 xi 500 global minimum f ( x) = n 418.9829; xi = 420.9687, i = 1: n
2014-4-14 智能计算与优化 11
最优化问题的分类
1）函数优化：连续空间上的优化问题；
2）组合优化：离散点集的状态组合
2014-4-14
智能计算与优化
12
函数优化的标准测试函数
Spere Function：
F1 xi , x [2,2]
2 i 1
N
Rastigrin function:
2014-4-14 智能计算与优化 33
模糊逻辑
A1 x
是 是
规则1
y是 B1
集 结 器 去 模 糊 化
x
A2 x
y是 规则2 B2
规则r
y
是
Ar x
y 是 Br
模糊推理系统是建立在模糊集合理论、模糊if-then规则和模 糊推理等概念基础上的先进的计算框架。 模糊推理系统的基本结构由三个重要部件组成：一个规则库， 包含一系列模糊规则；一个数据库，定义模糊规则中用到的隶 属度函数（Membership Functions, MF）；以及一个推理机制， 按照规则和所给事实执行推理过程求得合理的输出或结论 。
三、实际对新优化方法的要求： 1. 实际中希望模型的描述方法更宽松
例: 配料问题
min C X s.t .AX b X 0
T
若有数量折扣?
2014-4-14 智能计算与优化 9
2. 计算效率
LP--指数算法 3. 不一定要找最优解 4. 希望方法能模糊
2014-4-14
智能计算与优化
10
最优化方法的研究对象及特点
智能计算与优化
19
启发式计算方法分类
物理启发式
模拟退火算法 （模拟固体熔化状态下由逐渐冷
却至最终达到结晶状 态的物理过程） 量子计算 （模拟量子态的叠加性和相 干性 以及量子 比特之间的纠缠性）
社会与文化启发
文化算法 （模拟人类社会的演化过程）
人口迁移算法（模拟人口流动与人口迁移）
2014-4-14 智能计算与优化 20
x S RD
全局最优与局部最优
2014-4-14 智能计算与优化 4
经典的计算方法
17世纪Newtown 微积分 1847年 Cauchy 最速下降法 1939年 Kantorovich下料问题和运输问题 问题求解 1947年 Dantzig 单纯形方法
2014-4-14
智能计算与优化
3. 王凌，智能优化算法及其应用 ，北京：清华
大学出版社，2005
2014-4-14 智能计算与优化 2
第一章 概论
引言
智能计算、现代优化算法的发展历史
智能计算、现代优化算法与控制科学
2014-4-14
智能计算与优化
3
引言
实际生活中的优化问题 最优化问题模型
min f ( x)
s.t gi ( x) 0 hi ( x) 0 或 >0
进化过程
2014-4-14
优化过程
智能计算与优化 28
遗传算法
生物的进化机制
自然选择 适应环境的个体具有更高 的生存能力，同时染色体 特征被保留下来 杂交 随机组合来自父代的染色 体上的遗传物质，产生不 同于它们父代的染色体 突变 随机改变父代的染色体基 因结构，产生新染色体
2014-4-14
智能计算与优化 26
2014-4-14
生物启发式（智能）优化方法
生物启发式计算是指以生物界的各种自然现象或过程 为灵感，而提出的一系列启发式智能计算方法。
遗传算法 神经网络 模糊逻辑
。。。。。
2014-4-14 智能计算与优化 27
遗传算法
生物进化过程是一个自然， 并行，稳健的优化过程，这 一优化过程的目的在于使生 命体达到适应环境的最佳结 构与效果，而生物种群通过” “优胜劣汰”及遗传变异来 达到进化（优化）目的的。
•扩大应用范围----多种方法应用
•算法改进----针对不同问题,改进
•性能比较
• 理论探索----收敛性,最优性条件,收敛速 度,参数选择的依据, ….
2014-4-14 智能计算与优化 37
3. 智能优化方法的局限性：
•不能保证取得最优解,启发式算法,次优化 •算法评估 ----寻优率 ----与最优解相对误差
+
+ = + =
智能计算与优化
29
粒子群优化
Food
Global Best Solution
Past Best Solution
2014-4-14
智能计算与优化
30
蚁群优化（ACO）
2014-4-14
智能计算与优化
31
神经计算
人工神经网络是由 具有 适应性的简单单元组成的 广泛并行互连的网络，它 的组织能够模拟生物神经 系统对真实世界物体所作 出的交互反应。
2014-4-14
智能计算与优化
38
智能计算、现代优化算法与控制科学
需求是发明之母
控制领域的三个需求
1. 处理不断复杂的对象
2. 完成不断复杂的设计
3. 在对象和环境的知识所知甚少的情况下达到以上 两点要求
2014-4-14 智能计算与优化 39
控制科学基本问题
优化是基本要求，及最小的代价，取得最大的效果。
2014-4-14 智能计算与优化 18
经典的启发式方法基本原理
根据问题的部分已知信息来启发式地探索该问题
的解决方案，在探索解决方案的过程中将发现的 有关信息记录下来，不断积累和分析，并根据越 来越丰富的已知信息来指导下一步的动作并修正 以前的步骤，从而获得在整体上较好的解决方案。
2014-4-14
线性搜索,黄金分割, . . .
2014-4-14
智能计算与优化
7
二、传统优化方法特点与缺陷：
1. 一个初始点----运算只对一个点进行; 2. 向改进方向移动 ----不能跳出局部最优解;
3. 只有在凸集凸函数条件下才能找到全 局最优解;
4. 模型必须是连续可微, 甚至是二阶可微;
2014-4-14 智能计算与优化 8
关系：
从复杂性来看：BI > AI > CI ； 从所属关
系来看： AI是CI到BI的过渡，因为AI中除计算算法 之外，还包括符号表示及数值信息处理。 模糊集合和模糊逻辑是AI到CI的过渡。
2014-4-14
智能计算与优化
24
也有些人认为CI不属于AI，仅有部分重合。 AI：符号主义，知识、规则、推理。 左脑
2014-4-14 智能计算与优化 34
四。智能优化方法的产生与发展： 1. 1975年Holland提出GA
----随机实验法----模拟生物遗传机制 一点-->多点(种群)-->遗传-->可并行计算
2. 1977年Glover提出Tabu Search
设禁搜索----有记忆功能 ----用TABU表封锁搜索过的区域
并强调系统整体最优；
1）最优化方法研究和解决问题的基础是最优化技术， 2）最优化方法研究和解决问题的优势是应用各学科
交叉的方法，具有综合性； 3）最优化方法研究和解决问题的方法具有显著的系 统分析特征，其各种方法的运用，几乎都需要建 立数学模型和利用计算机求解；
4）最优化方法具有强烈的实践性和应用的广泛性。
电脉冲 输 入 树 突 细胞体 信息处理
2014-4-14 智能计算与优化
细胞体 轴突 突触 树突
形成
轴突 传输
突 触
输 出
图 12.2 生物神经元功能模型
32
神经计算
I1 I2
w 1
w2 w3 w4
IN
x
w
j 1
N
j
Ij
x>T？
S
I3
人工神经网络（Artificial Neural Networks, ANN），一种模范动 物神经网络行为特征，进行分布式并行信息处理的算法数学模型。 这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连 接的关系，从而达到处理信息的目的。人工神经网络具有自学习和 自适应的能力。
2014-4-14
智能计算与优化
16
组合优化的典型示例
1）TSP问题
2）加工调度问题 3）0－1背包问题 4）装箱问题 5）图着色问题
6）聚类问题
2014-4-14
智能计算与优化
17
启发式计算方法
【定义1-1】 启发式算法是一种基于直观或经验 构造的算法，在可接受的耗费（指计算时间、占用 空间等）下给出待解决优化问题每一实例的一个可 行解，该可行解与最优解的偏离程度未必可事先估 计。 【定义1-2】 启发式算法是一种技术，该技术使 得能在可接受的计算费用内去寻找尽可能好的解， 但不一定能保证所得解的可行性和最优性，甚至在 多数情况下，无法描述所得解与最优解的近似程度。
2014-4-14 智能计算与优化 35
3. 1983年Kirkpatrick提出成熟的 模拟退火方法
----模拟物理的退火过程
目标<=>能量函数, 在退Biblioteka Baidu过程中达到最小
4. 80年代重新兴起的ANN,用于优化
2014-4-14
智能计算与优化
36
五。研究应用的前景与局限性:
1. 应用前景广阔 2. 研究的主要问题：
启发式导致计算智能
智能计算或称计算智能 （Computational Intelligence, CI）
2014-4-14
智能计算与优化
21
关于计算智能（CI）
1992年，美国学者James首次提出：计算智能(CI) 是依靠生产者提供的数字、数据材料进行加工处 理，而不是依赖于知识。
人工智能（Artificial Intelligence, AI）则是须用知
人工智能（Artificial Intelligence, AI）
是非生物的，人造的，常用符号来表示， AI 的来源 是人类知识的精华。
计算智能（Computational Intelligence, CI）
是由数学方法和计算机实现的， CI的来源数值计算 的传感器。
2014-4-14 智能计算与优化 23
智能计算与现代优化方法
王永骥 联系方式：D2-309 Email：wangyjch@hust.edu.cn
2014-4-14
智能计算与优化
1
参考书籍
1. 汪定伟;王俊伟;王洪峤;张瑞友;郭哲 ，智能优
化方法，高等教育出版社，2007
2. 谢金星，邢文训，现代优化计算方法（第二
版）北京：清华大学出版社，2005