第七章 遗传算法与并行处理PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多的情况下才有效。因为它不是将进化过程并行化的“自 然”方式，所以无法得到令人满意的结果。即使只用少量 个处理器，放牧式的加速比也很小。
第七章 遗传算法与并行处理
开发并行计算是因为它们基于一个统一的机制叫作区域分 解或数据并行。在自然界中对一个复杂的问题进行求解时 是将它分割成若干块，然后将不同块分配给一个或一组特 定的神经元。数据并行通过将区域划分成小块并将算法分 别作用到每一个点上来实现并行性。 根据指令流和数据流的不同，通常把计算机系统分为四类： 单指令流单数据流（SISD）， 单指令流多数据流（SIMD）， 多指令流单数据流（MISD）， 多指令流多数据流（MIMD）。
7。2 遗传算法的并行化途径
7。2。1 主从式（master-slave）并行化方法
▪ 当施行适应度评估时我们可以相互独立地评估群体内
的每个个体的适应度，从通信量的角度来讲，这意味 着在评估进程之间无需通信。
▪ 如单纯从减少通信量入手，也很自然地首先想到可将
适应度评估等局部操作交给从处理器网络(slave)并行 执行，而将选择、交叉等全局操作留给主处理器 (master)串行执行、这就是所谓主从式并行化方法。
7。2 遗传算法的并行化途径
▪ 放牧式(farming)：放牧式的思想或结构适用于有一组
相互独立的工作可以并发完成的问题。控制进程，即 运行在根节点上的牧场主(farmer)进程将任务划分为工 作包，然后将它们“放牧”到一组相同的工人进程上。
▪ 用放牧式的思想来实现并行遗传算法是，让牧场主进
程保存有整个群体的适应度值，它负责执行遗传操作， 而适应度评估工作则交由工人网(workers)完成。接收 到任务的第一个空闲的工人把它承担下来，完成它并 将结果送回给牧场主。
▪ Holland在最早提出遗传算法的理论和模型时就阐述了它所
包含的固有的并行性。
▪ 遗传算法在并行实现上的因难：标准遗传算法在并行化的
过程中会遇到通信量过大的困难。
▪ 必须对标准遗传算法进行改造，尽量减少巨量通信从而获
得高效率。但是，任何对标准遗传算法的改造都必须以尽 可能少地影响其进化效果为前提。
第七章 遗传算法与并行处理
所谓的SIMD，单指令流多数据流计算机或同步计算机， 即一个带有分布式内存和处理单元的耦合阵列，每个 处理单元都与它自已的内存相关联。在SIMD机器中， 每个节点都执行相同的指令流。MP-2最多可以有16K 个32位的处理器及1G(109字节)内存，相应的峰值速度 可以达到6GFLOPS(每秒钟109次浮点操作)。Thinking Machines的CM-1、CM-2和CM-200及AMT DAP都是 分布式内存的SIMD型机器。
第七章 遗传算法与并行处理
前言 并行计算简介
• 在很多应用领域中对计算能力的需求越来越高，这在很长 一段时间内将依靠大规模并行处理来解决。并行性最终必 将在所有的计算机中体现出来。
• 当我们制造一台超级计算机时，总是用多个CPU和多块印 刷板来构造一个处理器阵列，阵列中的每个节点都是一个 不同类型的处理器。
7。2 遗传算法的并行化途径
可能采用放牧式的理由如下： (1) 放牧式很通用且容易实现。 (2) 如果个体评估需时相同，则放牧式效率很高且负载均衡 (3) 可以用放牧式来模拟迁移式和扩散式， (4) 放牧式将评估交给工人网络来完成，降低了对主处理器的内存要
求。
▪ 通常，每个处理器上有一个工人进程，必须以一个合适的拓朴(如
7。2 遗传算法的并行化途径
▪ 因为无论当哪个处理器运行主算法时都要有同步机制，
所以像这样来开发存在于遗传算法中的并发性效率还 是不高的。这是由于主进程忙而子进程空闲以及子进 程忙而主进程空闲等情况（即负载不均衡）所造成的。
▪ 在上述算法的并行实现中，选择操作应该对整个群体
的适应度有个全局的了解，这部分地决定了通信要求。 主处理器必须知道每个个体的适应度值，所以必须支 持多到一的通信。
第七章 遗传算法与并行处理
分布式内存的MIMD机器结构是第二大类很重要的结构，最近 的MPP(大规模并行处理机)就是以此为基础设计出来的， 它的内存结构与处理能力都是物理上分布的。属于这种类 型的一个代表性机器是Thinking Machines生产的CM-5。它 们与上面所说的SIMD型体系结构有着根本的不同。MIMD 型体系结构满足了大多数应用中要求每个节点执行自已不 同指令流的需求，因此发展速度很快。
在共享内存的MIMD型机器中所有的处理器都将访问同一个全 局内存。共享内存体系结构受限制的是它的不易扩展性。
第七章 遗传算法与并行处理
7。1 遗传算法固有的并行性及其并行化的困难
▪ 自然界的进化过程本身就是一个并行过程。遗传算法来源
于自然进化，是对自然进化过程的机器模拟，很自然地也 就继承了自然进化过程所固有的并行性。
• 下图展示了一个nCUBE结构的并行超级计算机，它的每块 印刷板都有64个节点，每个节点由一个CPU芯片和附加内 存组成。要想使之实用还必须通过某种形式将其连接起来， 这也是目前研究的一个热点。
nCUBE-2节点与主板。在一台超级计算机上 最多可以有128块这样的主板
巨大挑战性应用：
Integrated fluid and structural Airframe simulation Climate Modeling Fluid Turbulence Pollution Dispersion Human Genome Ocean Circulation Quantum Chromodynamics(色动力学) Semiconductor Modeling Supercomputer Modeling Vision and Cognition
流水线)结构来连接处理器，并增加选路进程负责给空闲的工人进 程送去工作包，给控制进程回送果。
▪ 因为集中存储群体易造成瓶颈，所以任何基于放牧式的并行遗传
算法的可扩放性都不好。
7。2 遗传算法的并行化途径
▪ 实现时，体系结构可以采用树而不是流水线，控制进程放
在根节点上。
▪ 但是，这种方式也只有在交叉和评估比选择和传送费时很
第七章 遗传算法与并行处理
开发并行计算是因为它们基于一个统一的机制叫作区域分 解或数据并行。在自然界中对一个复杂的问题进行求解时 是将它分割成若干块，然后将不同块分配给一个或一组特 定的神经元。数据并行通过将区域划分成小块并将算法分 别作用到每一个点上来实现并行性。 根据指令流和数据流的不同，通常把计算机系统分为四类： 单指令流单数据流（SISD）， 单指令流多数据流（SIMD）， 多指令流单数据流（MISD）， 多指令流多数据流（MIMD）。
7。2 遗传算法的并行化途径
7。2。1 主从式（master-slave）并行化方法
▪ 当施行适应度评估时我们可以相互独立地评估群体内
的每个个体的适应度，从通信量的角度来讲，这意味 着在评估进程之间无需通信。
▪ 如单纯从减少通信量入手，也很自然地首先想到可将
适应度评估等局部操作交给从处理器网络(slave)并行 执行，而将选择、交叉等全局操作留给主处理器 (master)串行执行、这就是所谓主从式并行化方法。
7。2 遗传算法的并行化途径
▪ 放牧式(farming)：放牧式的思想或结构适用于有一组
相互独立的工作可以并发完成的问题。控制进程，即 运行在根节点上的牧场主(farmer)进程将任务划分为工 作包，然后将它们“放牧”到一组相同的工人进程上。
▪ 用放牧式的思想来实现并行遗传算法是，让牧场主进
程保存有整个群体的适应度值，它负责执行遗传操作， 而适应度评估工作则交由工人网(workers)完成。接收 到任务的第一个空闲的工人把它承担下来，完成它并 将结果送回给牧场主。
▪ Holland在最早提出遗传算法的理论和模型时就阐述了它所
包含的固有的并行性。
▪ 遗传算法在并行实现上的因难：标准遗传算法在并行化的
过程中会遇到通信量过大的困难。
▪ 必须对标准遗传算法进行改造，尽量减少巨量通信从而获
得高效率。但是，任何对标准遗传算法的改造都必须以尽 可能少地影响其进化效果为前提。
第七章 遗传算法与并行处理
所谓的SIMD，单指令流多数据流计算机或同步计算机， 即一个带有分布式内存和处理单元的耦合阵列，每个 处理单元都与它自已的内存相关联。在SIMD机器中， 每个节点都执行相同的指令流。MP-2最多可以有16K 个32位的处理器及1G(109字节)内存，相应的峰值速度 可以达到6GFLOPS(每秒钟109次浮点操作)。Thinking Machines的CM-1、CM-2和CM-200及AMT DAP都是 分布式内存的SIMD型机器。
第七章 遗传算法与并行处理
前言 并行计算简介
• 在很多应用领域中对计算能力的需求越来越高，这在很长 一段时间内将依靠大规模并行处理来解决。并行性最终必 将在所有的计算机中体现出来。
• 当我们制造一台超级计算机时，总是用多个CPU和多块印 刷板来构造一个处理器阵列，阵列中的每个节点都是一个 不同类型的处理器。
7。2 遗传算法的并行化途径
可能采用放牧式的理由如下： (1) 放牧式很通用且容易实现。 (2) 如果个体评估需时相同，则放牧式效率很高且负载均衡 (3) 可以用放牧式来模拟迁移式和扩散式， (4) 放牧式将评估交给工人网络来完成，降低了对主处理器的内存要
求。
▪ 通常，每个处理器上有一个工人进程，必须以一个合适的拓朴(如
7。2 遗传算法的并行化途径
▪ 因为无论当哪个处理器运行主算法时都要有同步机制，
所以像这样来开发存在于遗传算法中的并发性效率还 是不高的。这是由于主进程忙而子进程空闲以及子进 程忙而主进程空闲等情况（即负载不均衡）所造成的。
▪ 在上述算法的并行实现中，选择操作应该对整个群体
的适应度有个全局的了解，这部分地决定了通信要求。 主处理器必须知道每个个体的适应度值，所以必须支 持多到一的通信。
第七章 遗传算法与并行处理
分布式内存的MIMD机器结构是第二大类很重要的结构，最近 的MPP(大规模并行处理机)就是以此为基础设计出来的， 它的内存结构与处理能力都是物理上分布的。属于这种类 型的一个代表性机器是Thinking Machines生产的CM-5。它 们与上面所说的SIMD型体系结构有着根本的不同。MIMD 型体系结构满足了大多数应用中要求每个节点执行自已不 同指令流的需求，因此发展速度很快。
在共享内存的MIMD型机器中所有的处理器都将访问同一个全 局内存。共享内存体系结构受限制的是它的不易扩展性。
第七章 遗传算法与并行处理
7。1 遗传算法固有的并行性及其并行化的困难
▪ 自然界的进化过程本身就是一个并行过程。遗传算法来源
于自然进化，是对自然进化过程的机器模拟，很自然地也 就继承了自然进化过程所固有的并行性。
• 下图展示了一个nCUBE结构的并行超级计算机，它的每块 印刷板都有64个节点，每个节点由一个CPU芯片和附加内 存组成。要想使之实用还必须通过某种形式将其连接起来， 这也是目前研究的一个热点。
nCUBE-2节点与主板。在一台超级计算机上 最多可以有128块这样的主板
巨大挑战性应用：
Integrated fluid and structural Airframe simulation Climate Modeling Fluid Turbulence Pollution Dispersion Human Genome Ocean Circulation Quantum Chromodynamics(色动力学) Semiconductor Modeling Supercomputer Modeling Vision and Cognition
流水线)结构来连接处理器，并增加选路进程负责给空闲的工人进 程送去工作包，给控制进程回送果。
▪ 因为集中存储群体易造成瓶颈，所以任何基于放牧式的并行遗传
算法的可扩放性都不好。
7。2 遗传算法的并行化途径
▪ 实现时，体系结构可以采用树而不是流水线，控制进程放
在根节点上。
▪ 但是，这种方式也只有在交叉和评估比选择和传送费时很