第1章 智能计算与现代优化方法

2012-2-21 智能计算与优化 35
模糊逻辑
是 A1 x 是
规则1y是 Βιβλιοθήκη 1集 结 器 去 模 糊 化
x
A2 x 是 Ar x
y是 规则2 B2
规则r
y
y 是 Br
模糊推理系统是建立在模糊集合理论、模糊if-then规则和模 糊推理等概念基础上的先进的计算框架。 模糊推理系统的基本结构由三个重要部件组成：一个规则库， 包含一系列模糊规则；一个数据库，定义模糊规则中用到的隶 属度函数（Membership Functions, MF）；以及一个推理机制， 按照规则和所给事实执行推理过程求得合理的输出或结论 。
2012-2-21 智能计算与优化 28
生物启发式（智能）优化方法
生物启发式计算是指以生物界的各种自然现象或过程 为灵感，而提出的一系列启发式智能计算方法。
遗传算法 神经网络 模糊逻辑 。。。。。
2012-2-21 智能计算与优化 29
遗传算法
生物进化过程是一个自然， 并行，稳健的优化过程，这 一优化过程的目的在于使生 命体达到适应环境的最佳结 构与效果，而生物种群通过” “优胜劣汰”及遗传变异来 达到进化（优化）目的的。
N n =1 2 xn ) − ∑ n =1 N
1 exp( N ∑ cos(2πx n )), x ∈ [−2,2]
2012-2-21
智能计算与优化
15
Schwefel's function
f ( x) = ∑ (− xi ) ⋅ sin( xi )
i =1
n
where − 500 ≤ xi ≤ 500 global minimum f ( x) = n ⋅ 418.9829; xi = −420.9687, i = 1 : n
2012-2-21 智能计算与优化 36
四。智能优化方法的产生与发展： 1. 1975年Holland提出GA
----随机实验法----模拟生物遗传机制 一点-->多点(种群)-->遗传-->可并行计算
2. 1977年Glover提出Tabu Search
设禁搜索----有记忆功能 ----用TABU表封锁搜索过的区域
2012-2-21
智能计算与优化
16
更多的函数优化测试函数
见函数优化测试函数.pptx
2012-2-21
智能计算与优化
17
组合优化的典型示例
1）TSP问题 2）加工调度问题 3）0－1背包问题 4）装箱问题 5）图着色问题 6）聚类问题
2012-2-21
智能计算与优化
18
组合优化的典型示例
1）TSP问题 2）加工调度问题 3）0－1背包问题 4）装箱问题 5）图着色问题 6）聚类问题
2012-2-21
智能计算与优化
26
也有些人认为CI不属于AI，仅有部分重合。 AI：符号主义，知识、规则、推理。 左脑 CI：连接主义，数据、学习、记忆。 右脑
2012-2-21
智能计算与优化
27
什么是智能优化算法（范围）
智能计算也有人称之为“软计算”，是人们受自 然（生物界）规律的启迪，根据其原理，模仿求 解问题的算法。从自然界得到启迪，模仿其结构 进行发明创造，这就是仿生学。 另一方面，我们还可以利用仿生原理进行设计(包 括设计算法)，这就是智能计算的思想。 这方面的内容很多，如人工神经网络技术、遗传 算法、模拟退火算法、模拟退火技术和群集智能 技术等。
+ = + =
智能计算与优化
31
粒子群优化
Food
Global Best Solution
Past Best Solution
2012-2-21
智能计算与优化
32
蚁群优化（ACO）
2012-2-21
智能计算与优化
33
神经计算
人工神经网络是由 具有 适应性的简单单元组成的 广泛并行互连的网络，它 的组织能够模拟生物神经 系统对真实世界物体所作 出的交互反应。
min C X s .t .AX ≥ b X ≥0
T
若有数量折扣?
2012-2-21 智能计算与优化 9
2. 计算效率 LP--指数算法 3. 不一定要找最优解 4. 希望方法能模糊
2012-2-21
智能计算与优化
10
最优化方法的研究对象及特点
1）最优化方法研究和解决问题的基础是最优化技术，并强 调系统整体最优； 2）最优化方法研究和解决问题的优势是应用各学科交叉的 方法，具有综合性； 3）最优化方法研究和解决问题的方法具有显著的系统分析 特征，其各种方法的运用，几乎都需要建立数学模型和 利用计算机求解； 4）最优化方法具有强烈的实践性和应用的广泛性。
2012-2-21 智能计算与优化 39
3. 智能优化方法的局限性：
•不能保证取得最优解,启发式算法,次优化 •算法评估 ----寻优率 ----与最优解相对误差
2012-2-21
智能计算与优化
40
智能计算、现代优化算法与控制科学
需求是发明之母
控制领域的三个需求
1. 处理不断复杂的对象 2. 完成不断复杂的设计 3. 在对象和环境的知识所知甚少的情况下达到以上
7
二、传统优化方法特点与缺陷：
1. 一个初始点----运算只对一个点进行; 2. 向改进方向移动 ----不能跳出局部最优解; 3. 只有在凸集凸函数条件下才能找到全 局最优解; 4. 模型必须是连续可微, 甚至是二阶可微;
2012-2-21 智能计算与优化 8
三、实际对新优化方法的要求： 1. 实际中希望模型的描述方法更宽松 例: 配料问题
智能计算与现代优化方法
王永骥 联系方式：D2-309 Email：wangyjch@
2012-2-21
智能计算与优化
1
参考书籍
1. 汪定伟;王俊伟;王洪峤;张瑞友;郭哲 ，智能优 化方法，高等教育出版社，2007 2. 谢金星，邢文训，现代优化计算方法（第二 版）北京：清华大学出版社，2005 3. 王凌，智能优化算法及其应用 ，北京：清华 大学出版社，2005
∇f ( x ) = 0
⎧|| ∇f ( x ) ||≤ ε ⎨ 2 ⎩∇ f(x)≥0
2012-2-21
智能计算与优化
6
（3）向改进点移动
LP: 转轴变换; NLP: • 选一个移动方向:
负梯度方向,牛顿方向,共轭梯度方向
• 确定移动步长:
线性搜索,黄金分割, . . .
2012-2-21
智能计算与优化
2012-2-21 智能计算与优化 4
经典的计算方法
17世纪 Newtown 微积分 1847年 Cauchy 最速下降法 1939年 Kantorovich下料问题和运输问题 问题求解 1947年 Dantzig 单纯形方法
2012-2-21
智能计算与优化
5
（１） 选初始解 （2） 停止准则 LP: 检验数为正; NLP:
2012-2-21
智能计算与优化
24
智能有三个层次：
生物智能（Biological Intelligence, BI）
由人脑的物理化学过程反映出来的，人脑是有机物， 它是智能的基础。
人工智能（Artificial Intelligence, AI）
是非生物的，人造的，常用符号来表示，AI的来源 是人类知识的精华。
2012-2-21 智能计算与优化 11
最优化问题的分类
1）函数优化：连续空间上的优化问题； 2）组合优化：离散点集的状态组合
2012-2-21
智能计算与优化
12
函数优化的标准测试函数
Spere Function：
F1 = ∑ xi , x ∈ [−2,2]
2 i =1
N
Rastigrin function:
2012-2-21 智能计算与优化 2
第一章 概论
引言
智能计算、现代优化算法的发展历史 智能计算、现代优化算法与控制科学
2012-2-21
智能计算与优化
3
引言
实际生活中的优化问题 最优化问题模型
min f ( x)
s.t gi (x) = 0 hi (x) < 0 或 >0
x ∈ S ⊆ RD
全局最优与局部最优
进化过程
2012-2-21
优化过程
智能计算与优化 30
遗传算法
生物的进化机制 自然选择 适应环境的个体具有更高 的生存能力，同时染色体 特征被保留下来 杂交 随机组合来自父代的染色 体上的遗传物质，产生不 同于它们父代的染色体 突变 随机改变父代的染色体基 因结构，产生新染色体
2012-2-21
+
2012-2-21 智能计算与优化 37
3. 1983年Kirkpatrick提出成熟的 模拟退火方法
----模拟物理的退火过程 目标<=>能量函数, 在退火过程中达到最小
4. 80年代重新兴起的ANN,用于优化
2012-2-21
智能计算与优化
38
五。研究应用的前景与局限性:
1. 应用前景广阔 2. 研究的主要问题： •扩大应用范围----多种方法应用 •算法改进----针对不同问题,改进 •性能比较 • 理论探索----收敛性,最优性条件,收敛速 度,参数选择的依据, ….
2012-2-21
智能计算与优化
19
启发式计算方法
【定义1-1】 启发式算法是一种基于直观或经验 构造的算法，在可接受的耗费（指计算时间、占用 空间等）下给出待解决优化问题每一实例的一个可 行解，该可行解与最优解的偏离程度未必可事先估 计。 【定义1-2】 启发式算法是一种技术，该技术使 得能在可接受的计算费用内去寻找尽可能好的解， 但不一定能保证所得解的可行性和最优性，甚至在 多数情况下，无法描述所得解与最优解的近似程度。