知识发现(数据挖掘)第十二章进化计算.ppt

• 变异算子(mutation)：按照一定的概率（一般较小），改 变染色体中某些基因的值。
2019-8-29
谢谢您的观赏
30
Cj
[Parents] 1110###0# 1##0111## 0001##11# 010##1000 #00####11
0#01##10# ###100100 100##0111
的重要性，并把这些应用于自然系统和人 工系统中。
大约在同一时期： Rechenberg和Schwefel提出了进化策略。 Fogel提出了进化规划。
2019-8-29
谢谢您的观赏
4
发展历史
1967年，Bagley在他的论文中首次提出了 遗传算法这一术语，并讨论了遗传算法在 自动博弈中的应用。
基本遗传算法的构成要素
3、遗传算子
• 选择算子(selection) ：又称为复制算子。按照某种策略 从父代中挑选个体进入下一代，如使用比例选择、轮盘 式选择。
• 交叉算子(crossover)：又称为杂交算子。将从群体中选 择的两个个体，按照某种策略使两个个体相互交换部分 染色体，从而形成两个新的个体。如使用单点一致交叉。
门德尔遗传学 遗传生态学 进化配子
2019-8-29
谢谢您的观赏
15
门德尔遗传学
在门德尔遗传学中，基因型被详细模型化，而表型和 环境几乎被忽略。在遗传生态学中恰好相反。 进化配子论是从社会生物学导出的模型。
首先让我们讨论门德尔遗传学的选择模型。为了
简单起见，我们假设一个基因具有n 等位基因a1,…,an。
遗传算法的特点
特点： 通用 鲁棒 次优解、满意解 遗传算法能解决的问题： 优化 NP完全 NP难 高度复杂的非线性问题
2019-8-29
谢谢您的观赏
24
遗传算法
遗传算法先将搜索结构编码为字符串形式, 每个字 符串结构被称为个体。
然后对一组字符串结构(被称为一个群体)进行循环 操作。每次循环被称作一代,包括一个保存字符串 中较优结构的过程和一个有结构的、随机的字符 串间的信息交换过程。
j
2019-8-29
谢谢您的观赏
18
门德尔遗传学
这个离散的选择方程可以用连续方程近似:
dpi dt

pi (Qi
Q) / Q
如果 qi,j = qj,i, 那么
dpi dt

pi (Qi
Q)
2019-8-29
谢谢您的观赏
19
门德尔遗传学
这个方程很容易被证明:
dQ

2(E(Q2 )

2
Q)
Programming)，又称为进化程序设计。
本章将着重介绍遗传算法，对进化策略和进化规 划只作简单介绍。
2019-8-29
谢谢您的观赏
10
13.2 进化系统理论的形式模型
进化在个体群体中起作用。瓦铤顿(Waddington)
指出基因型和表型之间关系的重要性(Waddington
1974)。群体禁止异构环境。但是“后生环境”是多维
p'i, j

pi, j
qi, j Q
Q
qi, j pi, j
i, j
Q 是群体的平均适应度。
2019-8-29
谢谢您的观赏
17
门德尔遗传学
设 pi 是群体中等位基因的频率。如果 pi,j = pi pj
那么，我们得到在 GS中的一个选择方程为
p'i pi Qi Q
Qi qi, j p j
2019-8-29
杂交操作举例
v(C j , t)
[No Offspring]
1
0
Pt. of interchange [Crossover]
6
2
0
2
17
2
0
1
1
谢谢您的观赏
Cj
[Offspring] 1110##11# 0001###0# 0001##11# #00####11 #00####11
逗号表示双亲们没有选择，加号表示双亲有选择。
2019-8-29
谢谢您的观赏
21
13.3 达尔文进化算法
1) 建立原始种体。
2) 通过突变建立子孙。
3) 选择：
s'1 sg1 x'1 x s'1 Z1
… s' sg x' x s' Z
Q(x) max{Q(x')} 1i
的变化; 7) 选择是概率型的, 而不是决定型的。
2019-8-29
谢谢您的观赏
9
进化计算的三大主流板块
Holland提出的遗传算法(Genetic Algorithm)。 Rechenberg和Schwefel提出的进化策略
(Evolutionary Strategies)。 Fogel提出的进化规划(Evolutionary
4) 遗传算法利用概率转移规则, 而非确定性规 则。
2019-8-29
谢谢您的观赏
27
遗传算法的准备工作
1) 确定表示方案; 2) 确定适应值的度量; 3) 确定控制该算法的参数和变量; 4) 确定怎样指定结果及程序运行结束的标准。
2019-8-29
谢谢您的观赏
28
基本遗传算法
基本遗传算法(Simple Genetic Algorithm:SGA)又称为简单 遗传算法，只使用选择算子、交叉算子和变异算子这三 种基本的遗传算子。其遗传操作简单、容易理解，是其 它遗传算法的雏形和基础。
型(Muhlenbein 1989)。
2019-8-29
谢谢您的观赏
11
进化系统理论的形式模型
进化的主要过程
遗传操作符 后生环境 选择环境
g
p
2019-8-29
谢谢您的观赏
12
进化系统理论的形式模型
基因型空间： GS {g (a1,..., an ), ai Ai} 表型空间： PS {p ( p1,..., pm ), pi IR}
类似于自然进化，遗传算法通过作用于染色体上 的基因寻找好的染色体来求解问题。
2019-8-29
谢谢您的观赏
25
遗传算法
与自然界相似，遗传算法对求解问题的本身一无 所知，它所需要的仅是对算法所产生的每个染色 体进行评价，并基于适应值来选择染色体，使适 应性好的染色体有更多的繁殖机会。
在遗传算法中，位字符串扮演染色体的作用，单 个位扮演了基因的作用，随机产生一个体字符串 的初始群体，每个个体给予一个数值评价，称为 适应度，取消低适应度的个体，选择高适应度的 个体参加操作。
知识发现（数据挖掘)
第十二章
进化计算 volutionary Computation
中国科学院计算技术研究所
2019-8-29
谢谢您的观赏
1
内容
13.1 概述
13.2 进化系统理论的形式模型
13.3 达尔文进化算法
13.4 遗传算法
13.5 遗传算法的理论基础
13.6 遗传算法的改进
13.7 遗传机器学习—分类器系统
二倍基因型以元组(ai,aj)为特征。 我们定义 pi,j 为 总群体中基因型(ai,aj) 的频度。假设基因型与表型相 等。质量函数给每个表型赋值。
q(ai,aj) = qi,j qi,j 可以被解释为出生率减去死亡率
2019-8-29
谢谢您的观赏
16
门德尔遗传学
假设 p’i,j是下一代表型(ai,aj) 的频度。然后达尔文 选择根据选择方程调整表型的分布:
13.8 桶链算法
13.9 规则发现系统
13.10 进化策略
13.11 进化规划
2019-8-29
谢谢您的观赏
2
13.1 概 述
进化计算是通过模拟自然界中生物进化 机制进行搜索的一种算法。
2019-8-29
谢谢您的观赏
3
发展历史
进化计算的研究起源于20世纪50年代。 1965年，Holland首次提出了人工遗传操作
• 同年，DeJong完成了他的重要论文《遗传自适应系统
的行为分析》。他在该论文中所做的研究工作可看作
是遗传算法发展过程中的一个里程碑，这是因为他把
Holland的模式理论与他的计算使用结合起来。
2019-8-29
谢谢您的观赏
6
发展历史
• 1989 Goldberg对遗传算法从理论上，方法上 和应用上作了系统的总结。
空间。表型是基因型和环境的产物。然后表型通过异
构“选择环境"发生作用。注意，这种多维选择环境与
后生环境空间是不同的。现在，适应性是表型空间和
选择环境空间的产物。它经常被取作一维，表示多少
子孙对下一代作出贡献。
基于这种想法，莫楞贝(Muhlenbein) 和肯德曼
(Kindermann)提出了一种称为进化系统理论的形式模
这个变换函数给出了模型，说明表型的发展是通过基 因与环境的交互作用。
变换过程是高度非线性的。
2019-8-29
谢谢您的观赏
14
进化系统理论的形式模型
质量函数q给出了具体选择环境ESi下表型的质量， 其定义如下：
质量函数： q( p, ESi ,t) IR
质量定义适应度，用于达尔文选择。至今已有三种 具体范例的通用模型，即
20
13.3 达尔文进化算法
根据定量遗传学，达尔文进化算法采用简单 的突变/选择动力学。 达尔文算法的一般形式可以描述如下：
( / ,) ( / )
是一代的双亲数目，