智能优化方法及其应用讲稿

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
进化过程
李艳灵
优化过程
12
遗传算法
生物的进化机制
自然选择(选择) 适应环境的个体具有更 高的生存能力,同时染 色体特征被保留下来 杂交(交叉) 随机组合来自父代的染 色体上的遗传物质,产 生不同于它们父代的染 色体 突变(变异) 随机改变父代的染色体 基因结构,产生新染色 体
李艳灵
+
+ +
李艳灵
5
启发式计算方法背景
最优化问题模型
m in f ( x )
s.t gi (x) 0 hi ( x ) 0 或 > 0
xS R
D
全局最优与局部最优
李艳灵
6
经典的计算方法
17世纪Newtown 微积分 1847年 Cauchy 最速下降法 1939年 Kantorovich下料问题和运输问题 问题求解 1947年 Dantzig 单纯形方法
8
启发式计算方法分类
物理启发式
模拟退火算法 (模拟固体熔化状态下由逐渐冷 却至最终达到结晶状 态的物理过程) 量子计算 (模拟量子态的叠加性和相 干性 以 及 量子 比特之间的纠缠性) 社会与文化启发
文化算法 (模拟人类社会的演化过程)
人口迁移算法(模拟人口流动与人口迁移)
李艳灵
9
内 容
1
启发式计算方法研究背景
22
A C
李艳灵
23
A C
李艳灵
24
C
A
李艳灵
25
蚂蚁算法
开始
[ ij ( t )] [ ij ] k [ ij ( t )] [ ij ] p ij ( t ) jallowed 0


if j allowed otherwise
初始化
先前经验
Max
6
2
李艳灵
32
社会行为 (Social Behavior)
We tend to adjust our beliefs and attitudes to conform with those of our social peers.


Max

人类社会系统 李艳灵
33
粒子群算法介绍
达到最大循环次数
ij 表示第K只蚂蚁在本次循环中留在路径ij上的信息量
李艳灵
输出最短路径及其长度
结束
26
鱼群觅食模型
生物社会学家E.O.Wilson指出:“至少从理论上,在搜索食 物过程中群体中个体成员可以得益于所有其他成员的发现 和先前的经历。当食物源不可预测地零星分布时,这种协 作带来的优势是决定性的,远大于对食物的竞争带来的劣 势。”
智能优化方法及其应用
赵文洲


启发式优化方法研究背景 生物启发式优化方法
群体智能优化方法(SI)
SI算法在的应用 实例研究
李艳灵
2
内 容
1
启发式计算方法研究背景
2
3 4
生物启发式计算方法 群体智能优化方法(SI)
SI算法的应用
5
实例研究
李艳灵
3
启发式计算方法背景
实际生活中的优化问题
最优化是一个重要的数学分支,是一门应用性强、内容丰富的学科。 例如: 1、工程设计中:怎样选择设计参数,使得设计方案既满足设计要求 又能降低成本; 2、资源分配中:怎样分配有限的资源,使得分配方案既能满足各方 面的基本要求,又能获得好的经济效益; 3、生产计划安排中:选择怎样的计划方案才能提高产值和利润。 在人类活动的各个领域中,诸如此类,不胜枚举。这些问题在某种 程度上都可以称为最优化问题。最优化的目的是对于给出的实际问题, 从可行的解决方案中找出最好或较好的解决方案来,即要在尽可能节省 人力、物力和时间的前提下,争取获得在可能范围内的最佳效果。
李艳灵
15
模糊逻辑
x 是 A1
规则1
y 是 B1 y 是 B2
x
x 是 A2 x 是 Ar
规则2
集 结 器
去 模 糊 化
y
规则r
y 是 Br
模糊推理系统是建立在模糊集合理论、模糊if-then规则和模 糊推理等概念基础上的先进的计算框架。 模糊推理系统的基本结构由三个重要部件组成:一个规则库, 包含一系列模糊规则;一个数据库,定义模糊规则中用到的隶 属度函数(Membership Functions, MF);以及一个推理机制, 按照规则和所给事实执行推理过程求得合理的输出或结论 。
李艳灵
4
启发式计算方法背景
最优化问题可以追溯到十分古老的极值问题,早在17世纪,英国科学 家Newton发明微积分的时代,就已提出极值问题,后来又出现了 Lagrange乘数法。 1847年法国数学家Cauchy研究了函数值沿什么方向下降最快的问题, 提出了最速下降法。 1939年前苏联数学家提出了解决下料问题和运输问题这两种线性规划 问题的求解方法。人们关于最优化问题的研究工作,随着历史的发展不 断深入。但是,任何科学的进步都会受到历史条件的限制。直至20世纪 30年代,最优化这个古老的课题并未形成独立的系统学科。 20世纪40年代以来,随着生产活动和科学研究地不断发展,特别是计 算机技术的高速发展和广泛使用,使最优化问题的研究不仅成为一种迫 切需要,而且有了求解的有力工具。因此各种优化理论研究发展迅速, 新方法不断出现,实际应用日益广泛。而且在计算机技术的推动下,一 些超大规模的优化问题也得以实现,最终使得优化理论与方法在经济规 划、工程设计、生产管理、交通运输等方面得到了广泛应用,成为一门 十分活跃的学科。
李艳灵
34
速度与位置更新
v id ( t 1) v id ( t ) c1 rand () ( p id x id ( t ) ) c 2 rand () ( p gd x id ( t ) )
李艳灵
7
启发式计算方法
【定义1-1】 启发式算法是一种基于直观或经验构造的算 法,在可接受的耗费(指计算时间、占用空间等)下给出待 解决优化问题每一实例的一个可行解,该可行解与最优解的 偏离程度未必可事先估计。 【定义1-2】 启发式算法是一种技术,该技术使得能在可 接受的计算费用内去寻找尽可能好的解,但不一定能保证所 得解的可行性和最优性,甚至在多数情况下,无法描述所得 解与最优解的近似程度。 经典的启发式方法基本原理:根据问题的部分已知信息来启发式 地探索该问题的解决方案,在探索解决方案的过程中将发现的 有关信息记录下来,不断积累和分析,并根据越来越丰富的已 知信息来指导下一步的动作并修正以前的步骤,从而获得在整 体上较好的解决方案。 李艳灵
= =
பைடு நூலகம்
13
神经计算
人工神经网络是由 具有 适应性的简单单元组成的 广泛并行互连的网络,它 的组织能够模拟生物神经 系统对真实世界物体所作 出的交互反应。
电脉冲 输 入 树 突 细胞体 信息处理 图 1 2 .2
李艳灵
细胞体 轴突 突触 树突
形成
突 轴突 传输 触
输 出
生物神经元功能模型
14
神经计算
N c N c +1
对每只蚂蚁按概率移到下一顶点
轨迹更新: ij ( t n ) ij ( t ) ij ( t , t n )
更新每个蚂蚁的个体禁忌表
Visibility:

ij = 1/dij
信息量更新
表示轨迹的相对重要性

表示能见度的相对重要性 轨迹的持久性
李艳灵
21
蚁群优化算法
算法思想
蚁群优化算法是受自然界中真实蚁群行为的启发而产生的。 自然界中的蚁群能够通过相互协作找到从蚁巢到食物的最短路 径,并且能随环境变化而变化,很快地重新找到最短路径。大量 研究发现,蚂蚁在寻找食物的过程中,会在它们经过的路径上释 放一种叫信息素的化学物质,同一蚁群中的蚂蚁能感知到这种 物质及其强度,后续蚂蚁会倾向于朝着信息素浓度高的方向移 动,于是越是信息素浓度高的路径上,经过的蚂蚁会越多,留下 的信息素也会越来越多。由于在相同时间段内越短的路径,会 被越多的访问,因此后续蚂蚁选择这条路径的可能性也越大,最 后的结果是所有的蚂蚁都走最短的那条路径。由此可见,蚁群 算法不需要任何先验知识,最初只是随机地选择搜索路径,随着 对解空间的了解,搜索变得有规律,并逐渐逼近直至最终达到全 局最优解。 李艳灵
李艳灵
19
群体智能(Swarm Intelligence)
生物学家研究表明:在这些群居生物中虽然每个个 体的智能不高,行为简单,也不存在集中的指挥, 但由这些单个个体组成的群体,似乎在某种内在规 律的作用下,却表现出异常复杂而有序的群体行为。
蚁群优化算法
发展过程
蚂蚁算法的研究模型源于对真实蚂蚁行为的观测,它是 依据蚂蚁觅食原理,设计出来的一种群智能算法。蚂蚁算法 在20年前是由意大利学者MarcoDorigo, VittorioManiezzo, AlbertCoolorni等人首先提出来的。当时他们将它称之为蚂 蚁系统,并利用该方法去解决旅行商问题、分配问题、作业 调度问题等,取得了较好的实验结果。后来,Marco Dorigo等 为了方便其他学者对其进行研究,将当时各种蚂蚁系统统称 为蚁群优化算法。蚁群优化算法就是把计算资源分配到一群 人工蚂蚁身上,让它们利用信息素进行信息交流最终通过蚂 蚁之间的协同合作找到好解。
2
3 4
生物启发式计算方法 群体智能优化方法(SI)
SI算法的应用
5
实例研究
李艳灵
10
生物启发式优化方法
生物启发式计算是指以生物界的各种自然现象或过程 程为灵感,而提出的一系列启发式智能计算方法。
遗传算法 神经网络 模糊逻辑
。。。。。
遗传算法
生物进化过程是一个自然, 并行,稳健的优化过程,这 一优化过程的目的在于使生 命体达到适应环境的最佳结 构与效果,而生物种群通过” “优胜劣汰”及遗传变异来 达到进化(优化)目的的。
李艳灵
28
鸟群的飞行行为
避免碰撞 速度匹配 中心聚集
李艳灵
29
鸟群觅食模型
Food
Global Best Solution
Past Best Solution
李艳灵
30
社会型行为的模拟
Randomly searching foods
李艳灵
31
认知行为 (Cognition Behavior)
I1
w1
I2
w2 w3
x

N
w jI
j
j 1
x>T?
S
I3 IN
w4
人工神经网络(Artificial Neural Networks, ANN),一种模拟动 物神经网络行为特征,进行分布式并行信息处理的算法数学模型。 这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连 接的关系,从而达到处理信息的目的。人工神经网络具有自学习和 自适应的能力。
李艳灵
27
鱼群觅食模型
2002年李晓磊等人提出了人工鱼群算法,它模拟鱼类的 觅食行为,即哪里有食物,鱼就会朝那里聚集,形成鱼群。在 这种算法中,人工鱼有三种典型行为: (1)觅食行为:这是鱼的基本行为,当发现附近有食物时, 鱼就会向此处游去,觅食; (2)追尾行为:当某条鱼发现某处食物很多时,其它鱼会尾 随而去; (3)聚群行为:由追尾行为而导致的行为。 人工鱼群算法具有良好的全局求优能力。它具有对初值 与参数选择不敏感、鲁棒性强、算法简单、易于实现等优点。 缺点是当问题规模过大时求解困难且求解速度在后期变慢。 人工鱼群算法目前已用于组合优化、参数估计、比例积分微 分控制器的参数整定、神经网络优化等方面。
每个寻优的问题解都被想像成一支鸟,也称 为“Particle”。 所有的Particle 都有一个fitness function 以 判断目前的位臵之好坏, 每一个Particle具有记忆性,能记得所搜寻 到最佳位臵。 每一个Particle 还有一个速度以决定飞行的 距离与方向。
李艳灵
16
其它生物启发式计算技术
进化规划算法
进化编程 人工免疫系统
DNA计算
膜计算等
李艳灵
17

1

启发式计算方法研究背景
2
3 4
生物启发式计算方法 群体智能优化方法(SI)
SI算法的应用
5
实例研究
李艳灵
18
群体智能(Swarm Intelligence)
群体智能算法作为一种新兴的演化计算技术, 已成为越来越多研究者的关注焦点,它与人工 生命,特别是进化策略以及遗传算法有着极为 特殊的联系。群体智能理论研究领域主要有两 种算法:蚁群算法和粒子群优化算法。 蚁群算法是对蚂蚁群落食物采集过程的模拟, 已成功应用于许多离散优化问题。粒子群优化 算法也是起源于对简单社会系统的模拟,最初 是模拟鸟群觅食的过程,但后来发现它是一种 很好的优化工具。
相关文档
最新文档