第1章 智能计算与现代优化方法

7
二、传统优化方法特点与缺陷：
1. 一个初始点----运算只对一个点进行; 2. 向改进方向移动 ----不能跳出局部最优解; 3. 只有在凸集凸函数条件下才能找到全 局最优解; 4. 模型必须是连续可微, 甚至是二阶可微;
2012-2-21 智能计算与优化 8
三、实际对新优化方法的要求： 1. 实际中希望模型的描述方法更宽松 例: 配料问题
细胞体 轴突 突触 树突
2012-2-21
智能计算与优化
34
神经计算
I1 I2
w1
w
w
2
x =
∑
N
j =1
w jI
j
x>T？
S
I3 IN
3
w
4
人工神经网络（Artificial Neural Networks, ANN），一种模范动 物神经网络行为特征，进行分布式并行信息处理的算法数学模型。 这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连 接的关系，从而达到处理信息的目的。人工神经网络具有自学习和 自适应的能力。
∇f ( x ) = 0
⎧|| ∇f ( x ) ||≤ ε ⎨ 2 ⎩∇ f(x)≥0
2012-2-21
智能计算与优化
6
（3）向改进点移动
LP: 转轴变换; NLP: • 选一个移动方向:
负梯度方向,牛顿方向,共轭梯度方向
• 确定移动步长:
线性搜索,黄金分割, . . .
2012-2-21
智能计算与优化
2012-2-21 智能计算与优化 37
3. 1983年Kirkpatrick提出成熟的 模拟退火方法
----模拟物理的退火过程 目标<=>能量函数, 在退火过程中达到最小
4. 80年代重新兴起的ANN,用于优化
2012-2-21
智能计算与优化
38
五。研究应用的前景与局限性:
1. 应用前景广阔 2. 研究的主要问题： •扩大应用范围----多种方法应用 •算法改进----针对不同问题,改进 •性能比较 • 理论探索----收敛性,最优性条件,收敛速 度,参数选择的依据, ….
智能计算与优化
21
启发式计算方法分类
物理启发式 模拟退火算法 （模拟固体熔化状态下由逐渐冷 却至最终达到结晶状 态的物理过程） 量子计算 （模拟量子态的叠加性和相 干性 以及量子 比特之间的纠缠性） 社会与文化启发 文化算法 （模拟人类社会的演化过程） 人口迁移算法（模拟人口流动与人口迁移）
2012-2-21 智能计算与优化 22
+ = + =
智能计算与优化
31
粒子群优化
Food
Global Best Solution
Past Best Solution
2012-2-21
智能计算与优化
32
蚁群优化（ACO）
2012-2-21
智能计算与优化
33
神经计算
人工神经网络是由 具有 适应性的简单单元组成的 广泛并行互连的网络，它 的组织能够模拟生物神经 系统对真实世界物体所作 出的交互反应。
Griewank Function:
1 N 2 N F4 =1+ xn − Π n=1 cos(xn ∑ 4000 n=1 n ), x ∈[−10,10]
2012-2-21
智能计算与优化
14
函数优化的标准测试函数
Ackley function
1 F 5 = 20 + e − 20 exp(−0.2 N
2012-2-21 智能计算与优化 39
3. 智能优化方法的局限性：
•不能保证取得最优解,启发式算法,次优化 •算法评估 ----寻优率 ----与最优解相对误差
2012-2-21
智能计算与优化
40
智能计算、现代优化算法与控制科学
需求是发明之母
控制领域的三个需求
1. 处理不断复杂的对象 2. 完成不断复杂的设计 3. 在对象和环境的知识所知甚少的情况下达到以上
F 2 = ∑ [ x − 10 cos(2πx n ) + 10], x ∈ [−2,2]
n =1 2 n N
2012-2-21
智能计算与优化
13
函数优化的标准测试函数
Rosenbrock Function:
2 F 3 = ∑ [100( x n +1 − x n ) 2 + ( x n − 1) 2 ], x ∈ [−2,2] n =1 N −1
进化过程
2012-2-21
优化过程
智能计算与优化 30
遗传算法
生物的进化机制 自然选择 适应环境的个体具有更高 的生存能力，同时染色体 特征被保留下来 杂交 随机组合来自父代的染色 体上的遗传物质，产生不 同于它们父代的染色体 突变 随机改变父代的染色体基 因结构，产生新染色体
2012-2-21
+
2012-2-21
智能计算与优化
16
更多的函数优化测试函数
见函数优化测试函数.pptx
2012-2-21
智能计算与优化
17
组合优化的典型示例
1）TSP问题 2）加工调度问题 3）0－1背包问题 4）装箱问题 5）图着色问题 6）聚类问题
2012-2-21
智能计算与优化
18
组合优化的典型示例
1）TSP问题 2）加工调度问题 3）0－1背包问题 4）装箱问题 5）图着色问题 6）聚类问题
2012-2-21
智能计算与优化
26
也有些人认为CI不属于AI，仅有部分重合。 AI：符号主义，知识、规则、推理。 左脑 CI：连接主义，数据、学习、记忆。 右脑
2012-2-21
智能计算与优化
27
什么是智能优化算法（范围）
智能计算也有人称之为“软计算”，是人们受自 然（生物界）规律的启迪，根据其原理，模仿求 解问题的算法。从自然界得到启迪，模仿其结构 进行发明创造，这就是仿生学。 另一方面，我们还可以利用仿生原理进行设计(包 括设计算法)，这就是智能计算的思想。 这方面的内容很多，如人工神经网络技术、遗传 算法、模拟退火算法、模拟退火技术和群集智能 技术等。
2012-2-21 智能计算与优化 11
最优化问题的分类
1）函数优化：连续空间上的优化问题； 2）组合优化：离散点集的状态组合
2012-2-21
智能计算与优化
12
函数优化的标准测试函数
Spere Function：
F1 = ∑ xi , x ∈ [−2,2]
2 i =1
N
Rastigrin function:
智能计算与现代优化方法
王永骥 联系方式：D2-309 Email：wangyjch@hust.edu.cn
2012-2-21
智能计算与优化
1Fra Baidu bibliotek
参考书籍
1. 汪定伟;王俊伟;王洪峤;张瑞友;郭哲 ，智能优 化方法，高等教育出版社，2007 2. 谢金星，邢文训，现代优化计算方法（第二 版）北京：清华大学出版社，2005 3. 王凌，智能优化算法及其应用 ，北京：清华 大学出版社，2005
2012-2-21
智能计算与优化
24
智能有三个层次：
生物智能（Biological Intelligence, BI）
由人脑的物理化学过程反映出来的，人脑是有机物， 它是智能的基础。
人工智能（Artificial Intelligence, AI）
是非生物的，人造的，常用符号来表示，AI的来源 是人类知识的精华。
2012-2-21 智能计算与优化 36
四。智能优化方法的产生与发展： 1. 1975年Holland提出GA
----随机实验法----模拟生物遗传机制 一点-->多点(种群)-->遗传-->可并行计算
2. 1977年Glover提出Tabu Search
设禁搜索----有记忆功能 ----用TABU表封锁搜索过的区域
2012-2-21 智能计算与优化 28
生物启发式（智能）优化方法
生物启发式计算是指以生物界的各种自然现象或过程 为灵感，而提出的一系列启发式智能计算方法。
遗传算法 神经网络 模糊逻辑 。。。。。
2012-2-21 智能计算与优化 29
遗传算法
生物进化过程是一个自然， 并行，稳健的优化过程，这 一优化过程的目的在于使生 命体达到适应环境的最佳结 构与效果，而生物种群通过” “优胜劣汰”及遗传变异来 达到进化（优化）目的的。
N n =1 2 xn ) − ∑ n =1 N
1 exp( N ∑ cos(2πx n )), x ∈ [−2,2]
2012-2-21
智能计算与优化
15
Schwefel's function
f ( x) = ∑ (− xi ) ⋅ sin( xi )
i =1
n
where − 500 ≤ xi ≤ 500 global minimum f ( x) = n ⋅ 418.9829; xi = −420.9687, i = 1 : n
2012-2-21 智能计算与优化 35
模糊逻辑
是 A1 x 是
规则1
y是 B1
集 结 器 去 模 糊 化
x
A2 x 是 Ar x
y是 规则2 B2
规则r
y
y 是 Br
模糊推理系统是建立在模糊集合理论、模糊if-then规则和模 糊推理等概念基础上的先进的计算框架。 模糊推理系统的基本结构由三个重要部件组成：一个规则库， 包含一系列模糊规则；一个数据库，定义模糊规则中用到的隶 属度函数（Membership Functions, MF）；以及一个推理机制， 按照规则和所给事实执行推理过程求得合理的输出或结论 。
2012-2-21 智能计算与优化 2
第一章 概论
引言
智能计算、现代优化算法的发展历史 智能计算、现代优化算法与控制科学
2012-2-21
智能计算与优化
3
引言
实际生活中的优化问题 最优化问题模型
min f ( x)
s.t gi (x) = 0 hi (x) < 0 或 >0
x ∈ S ⊆ RD
全局最优与局部最优
2012-2-21 智能计算与优化 4
经典的计算方法
17世纪 Newtown 微积分 1847年 Cauchy 最速下降法 1939年 Kantorovich下料问题和运输问题 问题求解 1947年 Dantzig 单纯形方法
2012-2-21
智能计算与优化
5
（１） 选初始解 （2） 停止准则 LP: 检验数为正; NLP:
min C X s .t .AX ≥ b X ≥0
T
若有数量折扣?
2012-2-21 智能计算与优化 9
2. 计算效率 LP--指数算法 3. 不一定要找最优解 4. 希望方法能模糊
2012-2-21
智能计算与优化
10
最优化方法的研究对象及特点
1）最优化方法研究和解决问题的基础是最优化技术，并强 调系统整体最优； 2）最优化方法研究和解决问题的优势是应用各学科交叉的 方法，具有综合性； 3）最优化方法研究和解决问题的方法具有显著的系统分析 特征，其各种方法的运用，几乎都需要建立数学模型和 利用计算机求解； 4）最优化方法具有强烈的实践性和应用的广泛性。
计算智能（Computational Intelligence, CI）
是由数学方法和计算机实现的，CI的来源数值计算 的传感器。
2012-2-21 智能计算与优化 25
关系：
从复杂性来看：BI > AI > CI ； 从所属关 系来看： AI是CI到BI的过渡，因为AI中除计算算法 之外，还包括符号表示及数值信息处理。 模糊集合和模糊逻辑是AI到CI的过渡。
2012-2-21
智能计算与优化
19
启发式计算方法
【定义1-1】 启发式算法是一种基于直观或经验 构造的算法，在可接受的耗费（指计算时间、占用 空间等）下给出待解决优化问题每一实例的一个可 行解，该可行解与最优解的偏离程度未必可事先估 计。 【定义1-2】 启发式算法是一种技术，该技术使 得能在可接受的计算费用内去寻找尽可能好的解， 但不一定能保证所得解的可行性和最优性，甚至在 多数情况下，无法描述所得解与最优解的近似程度。
2012-2-21 智能计算与优化 20
经典的启发式方法基本原理
根据问题的部分已知信息来启发式地探索该问题 的解决方案，在探索解决方案的过程中将发现的 有关信息记录下来，不断积累和分析，并根据越 来越丰富的已知信息来指导下一步的动作并修正 以前的步骤，从而获得在整体上较好的解决方案。
2012-2-21
启发式导致计算智能
智能计算或称计算智能 （Computational Intelligence, CI）
2012-2-21
智能计算与优化
23
关于计算智能（CI）
1992年，美国学者James首次提出：计算智能(CI) 是依靠生产者提供的数字、数据材料进行加工处 理，而不是依赖于知识。 人工智能（Artificial Intelligence, AI）则是须用知 识进行处理。 1994年，James在Florida, Orlando, 94 IEEEE WCCI会议上又阐述他的观点：