第8章 进化算法..
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
交叉——把两个染色体进行换组的操作，又 称重组 变异——突然让遗传因子以一定的概率变化 的操作
8.1.2 遗传算法特点与发展
1、特点 1）对参数编码进行操作，而不是参数本身，可以模 拟生物遗传、进化机理，特别对无数值概念（只有 代码概念）的优化问题有益
2）直接以目标函数值作为搜索信息，对于待寻优的 函数无限制，应用广泛
全局优化方法
1）不依赖于初始条件； 2）不与求解空间有紧密关系，对解域，无可
微或连续的要求。求
解稳健，但收敛速度
慢。能获得全局最优。适合于求解空间不知
的情况
8.1 概述
自然界演化过程中，生物体通过遗传、 变异来适应外界环境，一代又一代地优胜 劣汰，发展进化。
２）自然遗传学说
遗传作为一种指令遗传码封装在每个细 胞中，并以基因的形式包含在染色体中，每 一基因有特殊的位置并控制某个特殊的性质； 每个基因产生的个体对环境有一定的适应性； 基因杂交和基因突变可能产生对环境适应性 更强的后代。
生物遗传学基础：
遗传算法中的基本概念和术语
染色体——遗传物质的主要载体，指多 个遗传因子的集合 遗传因子——基因，控制生物性状遗传 物质的功能和结构的基本单位 群体——染色体带有特征的个体的集合， 又称集团，集合内的个体数称群体的大小
适应度——各个个体适应环境的程度
选择／复制——决定以一定的概率从群体中 选取若干对个体的操作
因遗传学原理的搜索算法。
关于优化问题
传统的优化方法（局部优化） 共轭梯度法、拟牛顿法、单纯形方法 全局优化方法 漫步法（Random Walk）、模拟退火法、GA
比较： 传统的优化方法
1）依赖于初始条件。 2）与求解空间有紧密关系，促使较快地收敛到局部
解，但同时对解域有约束，如可微或连续。
3 ）有些方法直接依赖于至少一阶导数； 共轭梯度 法隐含地依赖于梯度。
基本思路是通过复制、交叉和变异等 基本算子的作用，让种群一代一代的更新。 在更新的过程中，把父辈的优良品质保留 下来，而将不好的因素逐渐去掉，使得更
新后的子代逐渐得到优化。
适应度函数Fitness
为体现染色体的适应能力，即优胜劣汰原则
用来度量群体中各个个体在优化计算中有可 能达到或接近于找到最优解的优良程度。
Algorithms (自然系统和人工系统的自适应性) 经典之作 有关GA的基本定理及数学证明。
广泛应用——函数优化、组合优化、生产调度、自
动控制、图象识别…
GA从根本上说是一种寻优算法
关键人物及重要贡献 （1）J.H.Holland 60年代，认识到了生物的遗传和自然进化现象与 人工自适应系统的相似关系，运用生物遗传和进化的 思想来研究自然和人工自适应系统的生成以及它们与 环境的关系，提出在研究和设计人工自适应系统时， 可以借鉴生物遗传的机制，以群体的方法进行自适应 搜索，并且充分认识到了交叉、变异等运算策略在自 适应系统中的重要性。 70年代，理论基础的奠定。 80年代，分类器系统。
第8章
进化算法
遗传算法（GA）：建立在自然选择和自然遗 传学基础上的迭代自适应概率性搜索算法 把进化计算，特别是遗传算法机制和传统的 反馈机制用于控制过程，则可实现一种新的 控制——进化控制
顾名思义，遗传算法是与遗传学有关的一种
算法， 或者说是从遗传学中汲取了某些 “精华”所构成的算法。
我们这里讲的GA是一种基于自然选择和基
（5）L.Davis
编辑出版《遗传算法手册(Handbook of genetic algorithms )》一书。书中包括了遗传算法在科学计 算、工程技术和社会经济中的大量应用实例。 推广和普及遗传算法的应用。
（6）J.R.Koza
提出了遗传编程(Genetic Programming。简称GP)
成功地把他提出的遗传编程的方法应用于人工 智能、机器学习、符号处理等方面。
8.1.3 遗传算法应用
函数优化、组合优化
Βιβλιοθήκη Baidu生产调度问题、自动控制
机器人智能控制
图像处理和模式识别
人工生命 遗传程序设计 机器学习
8.2 GA的基本理论
GA的核心思想源于：生物进化过程(从 简单到复杂，从低级向高级)本身是一个自 然的、并行发生的、稳健的优化过程。这一 优化过程的日标是对环境的自适应性，生物 种群通过“优胜劣汰”及遗传变异来达到进 化(优化)的目的。
（2）J.D.Bagley 首次提出“遗传算法”；发展遗传算子；不同阶段采用不同 的概率；在个体编码上使用了双倍体的编码方法…。 （3）K.A.De Jong
树立遗传算法的工作框架；推荐在大多数优化问题中都较适 用的遗传算法的参数；建立了五函数测试平台…。
例如，对于规模在50—100的群体，经过10—20代的进化，遗传算 法都能以很高的慨率找到最优或近似最优解。 （4）D.J.Goldberg 出版了专著《搜索、优化和机器学习中的遗传算法》(genetic algorithms in search, ptimization and machine learning)。该书系统总 结了遗传算法的主要研究成果，全面而完整地论述了遗传算法的 基本原理及其应用。
3）同时从许多初始点开始并行操作，较大可能获得 全局最优（隐含并行性）。通过目标函数计算适配 值，对问题依赖性小 4）使用概率搜索技术，增加了搜索灵活性，适合大 规模复杂问题优化
2. 遗传算法的发展
里程碑——John H . Holland 在1975年的
Adaptation in Natural and Artificial
适应度高的个体遗传到下一个个体的概率较 大，而适应度较低的就相对小一些。 对优化问题，适应度函数就是目标函数
模拟自然界优胜劣汰的进化现象，把搜 索空间映射为遗传空间，把可能的解编码成 一个向量——染色体，向量的每个元素称为 基因。 通过不断计算各染色体的适应值，选择 最好的染色体，获得最优解。
基本操作
一般的遗传算法包含有3个基本操作：
复制（reproduction，或称selection）
交换（crossover）
变异（mutation）
这3个基本操作分别模拟生物进化中的 自然选择和种群遗传过程中的繁殖、交配和 基因突变等现象。
8.1.2 遗传算法特点与发展
1、特点 1）对参数编码进行操作，而不是参数本身，可以模 拟生物遗传、进化机理，特别对无数值概念（只有 代码概念）的优化问题有益
2）直接以目标函数值作为搜索信息，对于待寻优的 函数无限制，应用广泛
全局优化方法
1）不依赖于初始条件； 2）不与求解空间有紧密关系，对解域，无可
微或连续的要求。求
解稳健，但收敛速度
慢。能获得全局最优。适合于求解空间不知
的情况
8.1 概述
自然界演化过程中，生物体通过遗传、 变异来适应外界环境，一代又一代地优胜 劣汰，发展进化。
２）自然遗传学说
遗传作为一种指令遗传码封装在每个细 胞中，并以基因的形式包含在染色体中，每 一基因有特殊的位置并控制某个特殊的性质； 每个基因产生的个体对环境有一定的适应性； 基因杂交和基因突变可能产生对环境适应性 更强的后代。
生物遗传学基础：
遗传算法中的基本概念和术语
染色体——遗传物质的主要载体，指多 个遗传因子的集合 遗传因子——基因，控制生物性状遗传 物质的功能和结构的基本单位 群体——染色体带有特征的个体的集合， 又称集团，集合内的个体数称群体的大小
适应度——各个个体适应环境的程度
选择／复制——决定以一定的概率从群体中 选取若干对个体的操作
因遗传学原理的搜索算法。
关于优化问题
传统的优化方法（局部优化） 共轭梯度法、拟牛顿法、单纯形方法 全局优化方法 漫步法（Random Walk）、模拟退火法、GA
比较： 传统的优化方法
1）依赖于初始条件。 2）与求解空间有紧密关系，促使较快地收敛到局部
解，但同时对解域有约束，如可微或连续。
3 ）有些方法直接依赖于至少一阶导数； 共轭梯度 法隐含地依赖于梯度。
基本思路是通过复制、交叉和变异等 基本算子的作用，让种群一代一代的更新。 在更新的过程中，把父辈的优良品质保留 下来，而将不好的因素逐渐去掉，使得更
新后的子代逐渐得到优化。
适应度函数Fitness
为体现染色体的适应能力，即优胜劣汰原则
用来度量群体中各个个体在优化计算中有可 能达到或接近于找到最优解的优良程度。
Algorithms (自然系统和人工系统的自适应性) 经典之作 有关GA的基本定理及数学证明。
广泛应用——函数优化、组合优化、生产调度、自
动控制、图象识别…
GA从根本上说是一种寻优算法
关键人物及重要贡献 （1）J.H.Holland 60年代，认识到了生物的遗传和自然进化现象与 人工自适应系统的相似关系，运用生物遗传和进化的 思想来研究自然和人工自适应系统的生成以及它们与 环境的关系，提出在研究和设计人工自适应系统时， 可以借鉴生物遗传的机制，以群体的方法进行自适应 搜索，并且充分认识到了交叉、变异等运算策略在自 适应系统中的重要性。 70年代，理论基础的奠定。 80年代，分类器系统。
第8章
进化算法
遗传算法（GA）：建立在自然选择和自然遗 传学基础上的迭代自适应概率性搜索算法 把进化计算，特别是遗传算法机制和传统的 反馈机制用于控制过程，则可实现一种新的 控制——进化控制
顾名思义，遗传算法是与遗传学有关的一种
算法， 或者说是从遗传学中汲取了某些 “精华”所构成的算法。
我们这里讲的GA是一种基于自然选择和基
（5）L.Davis
编辑出版《遗传算法手册(Handbook of genetic algorithms )》一书。书中包括了遗传算法在科学计 算、工程技术和社会经济中的大量应用实例。 推广和普及遗传算法的应用。
（6）J.R.Koza
提出了遗传编程(Genetic Programming。简称GP)
成功地把他提出的遗传编程的方法应用于人工 智能、机器学习、符号处理等方面。
8.1.3 遗传算法应用
函数优化、组合优化
Βιβλιοθήκη Baidu生产调度问题、自动控制
机器人智能控制
图像处理和模式识别
人工生命 遗传程序设计 机器学习
8.2 GA的基本理论
GA的核心思想源于：生物进化过程(从 简单到复杂，从低级向高级)本身是一个自 然的、并行发生的、稳健的优化过程。这一 优化过程的日标是对环境的自适应性，生物 种群通过“优胜劣汰”及遗传变异来达到进 化(优化)的目的。
（2）J.D.Bagley 首次提出“遗传算法”；发展遗传算子；不同阶段采用不同 的概率；在个体编码上使用了双倍体的编码方法…。 （3）K.A.De Jong
树立遗传算法的工作框架；推荐在大多数优化问题中都较适 用的遗传算法的参数；建立了五函数测试平台…。
例如，对于规模在50—100的群体，经过10—20代的进化，遗传算 法都能以很高的慨率找到最优或近似最优解。 （4）D.J.Goldberg 出版了专著《搜索、优化和机器学习中的遗传算法》(genetic algorithms in search, ptimization and machine learning)。该书系统总 结了遗传算法的主要研究成果，全面而完整地论述了遗传算法的 基本原理及其应用。
3）同时从许多初始点开始并行操作，较大可能获得 全局最优（隐含并行性）。通过目标函数计算适配 值，对问题依赖性小 4）使用概率搜索技术，增加了搜索灵活性，适合大 规模复杂问题优化
2. 遗传算法的发展
里程碑——John H . Holland 在1975年的
Adaptation in Natural and Artificial
适应度高的个体遗传到下一个个体的概率较 大，而适应度较低的就相对小一些。 对优化问题，适应度函数就是目标函数
模拟自然界优胜劣汰的进化现象，把搜 索空间映射为遗传空间，把可能的解编码成 一个向量——染色体，向量的每个元素称为 基因。 通过不断计算各染色体的适应值，选择 最好的染色体，获得最优解。
基本操作
一般的遗传算法包含有3个基本操作：
复制（reproduction，或称selection）
交换（crossover）
变异（mutation）
这3个基本操作分别模拟生物进化中的 自然选择和种群遗传过程中的繁殖、交配和 基因突变等现象。