知识发现数据挖掘第十二部分课件

2、适应度函数（fitness function，又称为适应值／适值函 数）用来评价一个染色体的好坏。
2020/12/13
史忠植 高级人工智能
29
基本遗传算法的构成要素
3、遗传算子
• 选择算子(selection) ：又称为复制算子。按照某种策略 从父代中挑选个体进入下一代，如使用比例选择、轮盘 式选择。
基本遗传算法(Simple Genetic Algorithm:SGA)又称为简单 遗传算法，只使用选择算子、交叉算子和变异算子这三 种基本的遗传算子。其遗传操作简单、容易理解，是其 它遗传算法的雏形和基础。
基本遗传算法的构成要素：
1、染色体编码方法：首先必须对问题的解空间进行编码， 使之能用遗传算法进行操作。较常用的是二进制编码方 法，现在使用非二进制编码的也逐渐增多。
2020/12/13
史忠植 高级人工智能
21
13.3 达尔文进化算法
1) 建立原始种体。 2) 通过突变建立子孙。
3) 选择：
s'1 sg1 x'1xs'1Z1
… s' sg x'xs'Z
Q(x)ma{Q x(x')}
1i
4) 返回到步骤(1)。
2020/12/13
史忠植 高级人工智能
22
13.4 遗传算法
遗传算法
字符串 字符,特征
特征值 字符串位置
结构 参数集,译码结构
2020/12/13
史忠植 高级论点
1) 个体是基本的选择目标; 2) 随机过程在进化中起重大作用, 遗传变异大部
分是偶然现象; 3) 基因型变异大部分是重组的产物, 特别是突变; 4) 逐渐进化可能与表型不连续有关; 5) 不是所有表型变化都是自然选择的必然结果; 6) 进化是在适应中变化的, 形式多样, 不仅是基因
• 同年，DeJong完成了他的重要论文《遗传自适应系统
的行为分析》。他在该论文中所做的研究工作可看作
是遗传算法发展过程中的一个里程碑，这是因为他把
Holland的模式理论与他的计算使用结合起来。
2020/12/13
史忠植 高级人工智能
6
发展历史
• 1989 Goldberg对遗传算法从理论上，方法上 和应用上作了系统的总结。
这个结果称作菲希尔(Fisher)基本定理。它说明平均 适应度随适应度的差别呈正比例增加。实际上，全部 可能的基因型仅有一部分实现。这就是遗传操纵子探 索基因型空间的任务，其个体数目相当小。这些操纵 子是群体遗传变异性的来源。最重要的操纵子是突变 和重组。
2020/12/13
史忠植 高级人工智能
20
知识发现（数据挖掘)
第十二章
进化计算 Evolutionary Computation
史忠植
中国科学院计算技术研究所
内容
13.1 概述
13.2 进化系统理论的形式模型
13.3 达尔文进化算法
13.4 遗传算法
13.5 遗传算法的理论基础
13.6 遗传算法的改进
13.7 遗传机器学习—分类器系统
13.8 桶链算法
相独立。通过随机过程选择发生变异的位置：
x1,x2,...x,l
▪ 产生一个新结构 a ' s 1 .s .x 1 1 .s 'x 1s x 1 1 .s .x 2 1 .s 'x 2s x 2 1 .s . t, 其. 中 s 'x1是从对应位置 x1 的字符变量的值域中随机选 择的一个取值。 s'x2 ,...s,'xk 可以同样得到。
遗传算法思想来源于生物进化过程, 它 是基于进化过程中的信息遗传机制和优胜 劣汰的自然选择原则的搜索算法(以字符串 表示状态空间)。遗传算法用概率搜索过程 在该状态空间中搜索，产生新的样本。
2020/12/13
史忠植 高级人工智能
23
遗传算法的特点
特点： ▪ 通用 ▪ 鲁棒 ▪ 次优解、满意解 遗传算法能解决的问题： ▪ 优化 ▪ NP完全 ▪ NP难 ▪ 高度复杂的非线性问题
空间。表型是基因型和环境的产物。然后表型通过异
构“选择环境"发生作用。注意，这种多维选择环境与
后生环境空间是不同的。现在，适应性是表型空间和
选择环境空间的产物。它经常被取作一维，表示多少
子孙对下一代作出贡献。
基于这种想法，莫楞贝(Muhlenbein) 和肯德曼
(Kindermann)提出了一种称为进化系统理论的形式模
型(Muhlenbein 1989)。
2020/12/13
史忠植 高级人工智能
11
进化系统理论的形式模型
进化的主要过程
遗传操作符 后生环境 选择环境
g
p
2020/12/13
史忠植 高级人工智能
12
进化系统理论的形式模型
基因型 G S { 空 g(a间 1,..an .)： ,a ,i A i} 表型 P空 S {p (间 p 1 ,.p .m .： ),p ,i I} R
Programming)，又称为进化程序设计。
本章将着重介绍遗传算法，对进化策略和进化规 划只作简单介绍。
2020/12/13
史忠植 高级人工智能
10
13.2 进化系统理论的形式模型
进化在个体群体中起作用。瓦铤顿(Waddington)
指出基因型和表型之间关系的重要性(Waddington
1974)。群体禁止异构环境。但是“后生环境”是多维
13.3 达尔文进化算法
根据定量遗传学，达尔文进化算法采用简单 的突变/选择动力学。 达尔文算法的一般形式可以描述如下：
(/,) (/ )
是一代的双亲数目，
为子孙数目。
整数 称作“混杂”数。
如果两个双亲混合他们的基因，则 = 2。仅 是最好的个体才允许产生子孙。 逗号表示双亲们没有选择，加号表示双亲有选择。
这个变换函数给出了模型，说明表型的发展是通过基 因与环境的交互作用。
变换过程是高度非线性的。
2020/12/13
史忠植 高级人工智能
14
进化系统理论的形式模型
质量函数q给出了具体选择环境ESi下表型的质量， 其定义如下：
质量函 q(p,数 Ei,St)： IR
质量定义适应度，用于达尔文选择。至今已有三种 具体范例的通用模型，即
其中，g 是基因型 p 是表型。 基因gi的可能值称为等位基因。
在门德尔(Mendel)遗传学中，假设每个基因
有有限数的等位基因。
2020/12/13
史忠植 高级人工智能
13
进化系统理论的形式模型
后生环 EP 境 {E1,P ： ..E .,kP } 变换函f： 数 GS ： EPPS
pf(g,EP ) 质量函 q(p,数 Ei,St)： IR
2020/12/13
史忠植 高级人工智能
25
遗传算法
▪ 与自然界相似，遗传算法对求解问题的本身一无 所知，它所需要的仅是对算法所产生的每个染色 体进行评价，并基于适应值来选择染色体，使适 应性好的染色体有更多的繁殖机会。
▪ 在遗传算法中，位字符串扮演染色体的作用，单 个位扮演了基因的作用，随机产生一个体字符串 的初始群体，每个个体给予一个数值评价，称为 适应度，取消低适应度的个体，选择高适应度的 个体参加操作。
门德尔遗传学 遗传生态学 进化配子
2020/12/13
史忠植 高级人工智能
15
门德尔遗传学
在门德尔遗传学中，基因型被详细模型化，而表型和 环境几乎被忽略。在遗传生态学中恰好相反。 进化配子论是从社会生物学导出的模型。
首先让我们讨论门德尔遗传学的选择模型。为了
简单起见，我们假设一个基因具有n 等位基因a1,…,an。
13.9 规则发现系统
13.10 进化策略
13.11 进化规划
2020/12/13
史忠植 高级人工智能
2
发展历史
▪ 1967年，Bagley在他的论文中首次提出了 遗传算法这一术语，并讨论了遗传算法在 自动博弈中的应用。
▪ 1970年，Cavicchio把遗传算法应用于模式 识别中。第一个把遗传算法应用于函数优 化的是Hollstien。
j
2020/12/13
史忠植 高级人工智能
18
门德尔遗传学
这个离散的选择方程可以用连续方程近似:
ddpitpi(Qi Q)/Q 如果 qi,j = qj,i, 那么
dpi dt
pi(Qi Q)
2020/12/13
史忠植 高级人工智能
19
门德尔遗传学
这个方程很容易被证明:
dQ2(E(Q 2)Q 2)2V(a Q )r0 dt
二倍基因型以元组(ai,aj)为特征。 我们定义 pi,j 为 总群体中基因型(ai,aj) 的频度。假设基因型与表型相 等。质量函数给每个表型赋值。
q(ai,aj) = qi,j qi,j 可以被解释为出生率减去死亡率
2020/12/13
史忠植 高级人工智能
16
门德尔遗传学
假设 p’i,j是下一代表型(ai,aj) 的频度。然后达尔文 选择根据选择方程调整表型的分布:
的变化; 7) 选择是概率型的, 而不是决定型的。
2020/12/13
史忠植 高级人工智能
9
进化计算的三大主流板块
Holland提出的遗传算法(Genetic Algorithm)。 Rechenberg和Schwefel提出的进化策略
(Evolutionary Strategies)。 Fogel提出的进化规划(Evolutionary
2020/12/13
史忠植 高级人工智能