计算智能主要算法的比较与融合
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模糊逻辑 ( FUZZY, fuzzy logic system )本身并不 模糊 ,而是用来对“模糊 ”进行处理以达到消除模糊 的逻辑 。其最大特点是用它可以自然地处理人类的 概念 。由于输入 、输出均为实型变量 ,所以特别适用 于工程应用系统 , FUZZY提供了一种描述专家组织 的模糊“ If - then”规则的一般化模式 ,模糊产生器 、 模糊推理机和反模糊化的选择也有很大的自由度 。 FUZZY的知识表达易于理解 , 但难于利用数值信 息 ,自学习能力较差 。
Com par ison and Fusion of Com puta tiona l In telligence’s M a in A lgor ithm s
SU J ian2yuan
(College of Electrical Engineering, Hehai University, Nanjing 210024, China)
具有自适应的结构 、随机产生的或指定的初始状态 、 适应度的评测函数 、修改结构的操作 、系统状态存储 器 、终止计算的条件 、指示结果的方法 、控制过程的 参数等共同要素 ,具有自学习 、自组织 、自适应的特 征和简单 、通用 、鲁棒性强 、易并行处理等特点 ,这些 特征已被应用于信息安全 、模式识别 、数据分类与挖 掘 、优化设计 、故障诊断 、机器学习 、联想记忆和控制 等领域 。计算智能的各领域服从“开放式计算系 统 ”的统一模型 [ 1 ] ,但它们也有一定的差别 ,国内外 介绍有关计算智能算法融合的资料比较少 , 文献
54
中国电子科学研究院学报
源自文库2007年第 1期
表 1 ANN、A IS、FUZZY 和 GA算法比较
部件
ANN 人工神经元
A IS
FU ZZY
S中属性字符串 /复杂结构 隶属度函数
GA 字符串表示的染色体
知识获取 连接强度
抗体分子字符串 /网络连 接强度
人类专家 (交互 )
染色体字符串
推理方法 高速并行计算 泛化能力 网络推断或学习算法
0 引 言
生物信息系统主要包括神经网络 、遗传系统 、免 疫系统和内分泌系统 。对免疫系统 、神经网络 、模糊 和遗传进化等生物现象和信息处理体系的借鉴和利 用已经形成一个新型的学科 ———生物计算智能系 统 ,简称计算智能 。计算智能是在 1994 年 IEEE举 办的首届计算智能世界大会上提出的 ,它以连接主 义和进化主义思想为基础 ,计算智能中的主要算法
神经网络 (ANN , artificial neural network)是对 人大脑神经细胞的简单近似的模拟 ,关键特性是它 所知的信息是隐含的 。ANN 具有快速 、并行处理 、 容错性强和自学习能力强等特点 ,但 ANN 不能利用 专家语言知识 。模糊逻辑系统和神经网络都是无模 型估计器 , 他们实际上是人大脑结构和功能的模 拟 ———大脑神经网络“硬件 ”拓扑结构 +信息模糊 处理“软件 ”思维功能 。由于模糊基函数综合了径 向基函数和 S型函数的优点 ,因此 FUZZY和 ANN 具有一定的等价性 。ANN 的模型已达近百种 ,其自
中
网络中
中
中
学习能力
全局执行一定任务 ,局部 改变连接强度
改变免疫细胞 、抗体等的 浓度和亲和力
依靠数据 信 息 对 参 数 进 行调整
调整 群体 大 小 和 使 用 遗 传操作的概率等
应用场合 基本流程
模式 识 别 、优 化 、故 障 诊 断 、机器学习 、联想记忆 、 控制 、预测等
信息安 全 、模 式 识 别 、数 据挖掘 、优化 、故障诊断 、 机器学 习 、联 想 记 忆 、控 制等
ANN、A IS、FUZZY和 GA 算法比较如表 1所示 。
2 计算智能主要算法的融合
A IS具有与 ANN 类似的自适应性和学习能力 , 但它是建立在多个进程动态合作基础上的 ; A IS具 有与 GA 类似的进化机制 ,但它能精确控制群体多 样性和特异性 。A IS具有类似 ANN 和 FUZZY的认 知能力 ,是神经认知能力的补充和调节 。如果以两 种方法融合为例 ,主要的融合包括 ANN 与 FUZZY 的融合 、A IS与 ANN 的融合 、GA 与 A IS的融合 、GA 与 FUZZY的 融 合 等 。设 A 、B分 别 为 ANN 、A IS、
收稿日期 : 2006211218 修订日期 : 2007201205
2007年第 1期
苏建元 :计算智能主要算法的比较与融合
53
[ 2 ]从模型设计角度对人工免疫系统和人工神经网 络进行了比较 。本文在此基础上尝试对计算智能主 要算法进行比较和融合 ,研究表明融合提高了算法 性能 ,扩大了应用范围 ,有助于克服算法选择的盲目 性 ,进一步明确了计算智能的研究方向 。
模式识 别 、故 障 诊 断 、自 动控制 、预测等
(1)初始化 ; (2)网络训练 ; (3)输入测试样本 ; (4)输出结果 。
人工免疫系统 (A IS, artificial immune system ) 是研究借鉴和利用生物免疫系统的信息处理机制而 发展的各类信息处理技术 、计算技术及应用的总称 , 用于复杂问题的解决 。A IS结合了分类器 、神经网 络和机器推理等学习系统的优点 ,是一种突现计算 , 但也存在收敛速度慢等缺点 。免疫算法的设计思路 有两种 ,一是结构和机理的模拟 ,一是输入输出和功 能上的模拟 。免疫算法可分为基于群体的免疫算法 和基于网络的免疫算法两大类 [ 4 ] 。基于群体的免 疫算法构成的系统中的元素之间通过间接方式联 系 ,系统组成元素直接和系统环境相互作用 。基于 网络的免疫算法构成的系统中的部分或全部元素之 间都能够相互作用 。1994 年以来 , A IS成为国际上 新的研究热点 。目前这一领域还处于起步阶段 。
并行计算 /导向随机搜索 低速启发式搜索
交叉反应阈值
规则推理
并行计算 /导向随机搜索 一般模式检测
适应能力
调整网络自由参数 (如连 接权值等 )
属性字 符 串 或 网 络 连 接 识别 、细胞更新
隶属度函数 、规则库的修 改
重组算子和 /或适应度的 修改
鲁棒性
知识 分 布 在 个 体 的 网 络 知识分布在个体的群体 / 知识 分 布 在 模 糊 规 则 库 知识 分 布 在 个 体 的 群 体
1 计算智能主要算法的比较
计算智能方法有模糊逻辑 、神经网络 、遗传算 法 、人工免疫系统 、人工内分泌系统 、DNA 软计算 、 生态计算 、模糊退火 、多代理 (Agent)系统等 。
生物内分泌系统由内分泌腺体 、内分泌细胞和 内分泌细胞所释放的激素所组成 。中枢神经系统通 过对内分泌腺的作用间接地调节机体内多种效应器 官 ,称为神经 - 体液调节 。下丘脑 - 垂体 - 靶腺轴 自上而下和自下而上地相互制约 ,相互依赖 ,形成 “反馈调节机制 ”。近年来内分泌反馈调节机制作 为生物信息处理的一个重要组成部分逐渐引起人们 的重视 。如 Shen W. M 模拟内分泌系统分布调节机 制 ,提出了简单的分布式同步控制算法 ,并将该算法 应用于变结构机器人研究 ; Canamero D 提出了简单 的人工内分泌模型 ,并将该模型应用于机器人行为 控制研究 ; Ogata T借鉴内分泌系统对人体内环境的 动态调节机制 ,提出了一种新的机器人行为控制策 略等 [ 3 ] 。
第 1期 2007年 2月
基础理论
中国电子科学研究院学报 Journal of CAE IT
Vol. 2 No. 1 Feb. 2007
计算智能主要算法的比较与融合
苏建元
(河海大学 电气工程学院 , 南京 210024)
摘 要 : 计算智能算法的融合可以有效解决实际问题 ,但算法选择带有一定盲目性 。文章对计算 智能的主要算法 ———人工神经网络 、人工免疫系统 、模糊系统和遗传算法等的特性进行比较 ,提出 了四种融合形态 ———串联型 、并联型 、部分融合型和完全融合型 ,以及融合步骤 、融合的数学描述 , 讨论了六种融合算法的特点和方法 。融合提高了算法性能 、扩大了应用范围 。通过比较明确了计 算智能算法的选择方法和进一步研究的方向 ;通过仿真分析说明了算法融合思路的正确性 。 关键词 : 神经网络 ;模糊系统 ;遗传算法 ;免疫系统 ;计算智能 中图分类号 : TP301 文献标识码 : A 文章编号 : 167325692 (2007) 012052205
Abstract: The fusion of computational intelligence′s algorithm s may be able to solve actual p roblem s, but the m ethod of selecting the algorithm s may not be so scientific. The characteristics of four m ajor algo2 rithm s2artificial neural network, artificial imm une system , fuzzy logic system , and genetic algorithm 2are compared in this paper. Fusion step s, fusion algorithm definition, and four kinds of fusion shapes ( se2 ries, parallel, partial, and comp lete) are p roposed. The characteristics and m ethods of six fusion algo2 rithm s are also discussed. The fusion enhances algorithm ′s performance and expands app lication′s scope. Both the method of selecting algorithm s and the further research direction in computational intelligence are given through comparison. The simulation study indicates that this algorithm fusion m entality is correct. Key words: neural network; fuzzy system; genetic algorithm; imm une system; computational intelli2 gence
动化设计 (连接法和进化法 )是当前的研究热点 。 进化计算 ( EA , evolution algorithm )主要包括遗
传算法 ( GA , genetic algorithm ) 、进化规划 ( EP, evo2 lution p lan ) 和 进 化 策 略 ( ES, evolution strategy) 。 GA 是一类借鉴生物界自然选择和自然遗传机制 (选择 、交叉 、变异 )的随机化搜索算法 ,其搜索对象 是一群二进制串 (染色体 、个体 )即种群 ,每个染色 体对应于问题的一个解 ,其主要特点是群体搜索策 略和群体中个体之间的信息交换 ,与解析法 、穷举 法 、随机法等传统搜索方法相比 ,遗传算法具有不需 要搜索空间的知识 、并行爬峰 、编码方法适应性广 、 搜索不依赖于梯度信息 、不存在求导和函数连续性 限定等优点 。但在实际应用中 ,简单遗传算法存在 着收敛速度慢和稳定性差等缺陷 。 GA 是所谓“演 化计算 ”的一种 ,它包含了 5 个基本要素 : 参数编 码 、初始群体的设定 、适应度函数的设计 、遗传操作 设计 、控 制 参 数 设 计 。改 进 的 遗 传 算 法 有 递 阶 、 CHC、M essy、微种群 、双种群 、并行算法等 。
Com par ison and Fusion of Com puta tiona l In telligence’s M a in A lgor ithm s
SU J ian2yuan
(College of Electrical Engineering, Hehai University, Nanjing 210024, China)
具有自适应的结构 、随机产生的或指定的初始状态 、 适应度的评测函数 、修改结构的操作 、系统状态存储 器 、终止计算的条件 、指示结果的方法 、控制过程的 参数等共同要素 ,具有自学习 、自组织 、自适应的特 征和简单 、通用 、鲁棒性强 、易并行处理等特点 ,这些 特征已被应用于信息安全 、模式识别 、数据分类与挖 掘 、优化设计 、故障诊断 、机器学习 、联想记忆和控制 等领域 。计算智能的各领域服从“开放式计算系 统 ”的统一模型 [ 1 ] ,但它们也有一定的差别 ,国内外 介绍有关计算智能算法融合的资料比较少 , 文献
54
中国电子科学研究院学报
源自文库2007年第 1期
表 1 ANN、A IS、FUZZY 和 GA算法比较
部件
ANN 人工神经元
A IS
FU ZZY
S中属性字符串 /复杂结构 隶属度函数
GA 字符串表示的染色体
知识获取 连接强度
抗体分子字符串 /网络连 接强度
人类专家 (交互 )
染色体字符串
推理方法 高速并行计算 泛化能力 网络推断或学习算法
0 引 言
生物信息系统主要包括神经网络 、遗传系统 、免 疫系统和内分泌系统 。对免疫系统 、神经网络 、模糊 和遗传进化等生物现象和信息处理体系的借鉴和利 用已经形成一个新型的学科 ———生物计算智能系 统 ,简称计算智能 。计算智能是在 1994 年 IEEE举 办的首届计算智能世界大会上提出的 ,它以连接主 义和进化主义思想为基础 ,计算智能中的主要算法
神经网络 (ANN , artificial neural network)是对 人大脑神经细胞的简单近似的模拟 ,关键特性是它 所知的信息是隐含的 。ANN 具有快速 、并行处理 、 容错性强和自学习能力强等特点 ,但 ANN 不能利用 专家语言知识 。模糊逻辑系统和神经网络都是无模 型估计器 , 他们实际上是人大脑结构和功能的模 拟 ———大脑神经网络“硬件 ”拓扑结构 +信息模糊 处理“软件 ”思维功能 。由于模糊基函数综合了径 向基函数和 S型函数的优点 ,因此 FUZZY和 ANN 具有一定的等价性 。ANN 的模型已达近百种 ,其自
中
网络中
中
中
学习能力
全局执行一定任务 ,局部 改变连接强度
改变免疫细胞 、抗体等的 浓度和亲和力
依靠数据 信 息 对 参 数 进 行调整
调整 群体 大 小 和 使 用 遗 传操作的概率等
应用场合 基本流程
模式 识 别 、优 化 、故 障 诊 断 、机器学习 、联想记忆 、 控制 、预测等
信息安 全 、模 式 识 别 、数 据挖掘 、优化 、故障诊断 、 机器学 习 、联 想 记 忆 、控 制等
ANN、A IS、FUZZY和 GA 算法比较如表 1所示 。
2 计算智能主要算法的融合
A IS具有与 ANN 类似的自适应性和学习能力 , 但它是建立在多个进程动态合作基础上的 ; A IS具 有与 GA 类似的进化机制 ,但它能精确控制群体多 样性和特异性 。A IS具有类似 ANN 和 FUZZY的认 知能力 ,是神经认知能力的补充和调节 。如果以两 种方法融合为例 ,主要的融合包括 ANN 与 FUZZY 的融合 、A IS与 ANN 的融合 、GA 与 A IS的融合 、GA 与 FUZZY的 融 合 等 。设 A 、B分 别 为 ANN 、A IS、
收稿日期 : 2006211218 修订日期 : 2007201205
2007年第 1期
苏建元 :计算智能主要算法的比较与融合
53
[ 2 ]从模型设计角度对人工免疫系统和人工神经网 络进行了比较 。本文在此基础上尝试对计算智能主 要算法进行比较和融合 ,研究表明融合提高了算法 性能 ,扩大了应用范围 ,有助于克服算法选择的盲目 性 ,进一步明确了计算智能的研究方向 。
模式识 别 、故 障 诊 断 、自 动控制 、预测等
(1)初始化 ; (2)网络训练 ; (3)输入测试样本 ; (4)输出结果 。
人工免疫系统 (A IS, artificial immune system ) 是研究借鉴和利用生物免疫系统的信息处理机制而 发展的各类信息处理技术 、计算技术及应用的总称 , 用于复杂问题的解决 。A IS结合了分类器 、神经网 络和机器推理等学习系统的优点 ,是一种突现计算 , 但也存在收敛速度慢等缺点 。免疫算法的设计思路 有两种 ,一是结构和机理的模拟 ,一是输入输出和功 能上的模拟 。免疫算法可分为基于群体的免疫算法 和基于网络的免疫算法两大类 [ 4 ] 。基于群体的免 疫算法构成的系统中的元素之间通过间接方式联 系 ,系统组成元素直接和系统环境相互作用 。基于 网络的免疫算法构成的系统中的部分或全部元素之 间都能够相互作用 。1994 年以来 , A IS成为国际上 新的研究热点 。目前这一领域还处于起步阶段 。
并行计算 /导向随机搜索 低速启发式搜索
交叉反应阈值
规则推理
并行计算 /导向随机搜索 一般模式检测
适应能力
调整网络自由参数 (如连 接权值等 )
属性字 符 串 或 网 络 连 接 识别 、细胞更新
隶属度函数 、规则库的修 改
重组算子和 /或适应度的 修改
鲁棒性
知识 分 布 在 个 体 的 网 络 知识分布在个体的群体 / 知识 分 布 在 模 糊 规 则 库 知识 分 布 在 个 体 的 群 体
1 计算智能主要算法的比较
计算智能方法有模糊逻辑 、神经网络 、遗传算 法 、人工免疫系统 、人工内分泌系统 、DNA 软计算 、 生态计算 、模糊退火 、多代理 (Agent)系统等 。
生物内分泌系统由内分泌腺体 、内分泌细胞和 内分泌细胞所释放的激素所组成 。中枢神经系统通 过对内分泌腺的作用间接地调节机体内多种效应器 官 ,称为神经 - 体液调节 。下丘脑 - 垂体 - 靶腺轴 自上而下和自下而上地相互制约 ,相互依赖 ,形成 “反馈调节机制 ”。近年来内分泌反馈调节机制作 为生物信息处理的一个重要组成部分逐渐引起人们 的重视 。如 Shen W. M 模拟内分泌系统分布调节机 制 ,提出了简单的分布式同步控制算法 ,并将该算法 应用于变结构机器人研究 ; Canamero D 提出了简单 的人工内分泌模型 ,并将该模型应用于机器人行为 控制研究 ; Ogata T借鉴内分泌系统对人体内环境的 动态调节机制 ,提出了一种新的机器人行为控制策 略等 [ 3 ] 。
第 1期 2007年 2月
基础理论
中国电子科学研究院学报 Journal of CAE IT
Vol. 2 No. 1 Feb. 2007
计算智能主要算法的比较与融合
苏建元
(河海大学 电气工程学院 , 南京 210024)
摘 要 : 计算智能算法的融合可以有效解决实际问题 ,但算法选择带有一定盲目性 。文章对计算 智能的主要算法 ———人工神经网络 、人工免疫系统 、模糊系统和遗传算法等的特性进行比较 ,提出 了四种融合形态 ———串联型 、并联型 、部分融合型和完全融合型 ,以及融合步骤 、融合的数学描述 , 讨论了六种融合算法的特点和方法 。融合提高了算法性能 、扩大了应用范围 。通过比较明确了计 算智能算法的选择方法和进一步研究的方向 ;通过仿真分析说明了算法融合思路的正确性 。 关键词 : 神经网络 ;模糊系统 ;遗传算法 ;免疫系统 ;计算智能 中图分类号 : TP301 文献标识码 : A 文章编号 : 167325692 (2007) 012052205
Abstract: The fusion of computational intelligence′s algorithm s may be able to solve actual p roblem s, but the m ethod of selecting the algorithm s may not be so scientific. The characteristics of four m ajor algo2 rithm s2artificial neural network, artificial imm une system , fuzzy logic system , and genetic algorithm 2are compared in this paper. Fusion step s, fusion algorithm definition, and four kinds of fusion shapes ( se2 ries, parallel, partial, and comp lete) are p roposed. The characteristics and m ethods of six fusion algo2 rithm s are also discussed. The fusion enhances algorithm ′s performance and expands app lication′s scope. Both the method of selecting algorithm s and the further research direction in computational intelligence are given through comparison. The simulation study indicates that this algorithm fusion m entality is correct. Key words: neural network; fuzzy system; genetic algorithm; imm une system; computational intelli2 gence
动化设计 (连接法和进化法 )是当前的研究热点 。 进化计算 ( EA , evolution algorithm )主要包括遗
传算法 ( GA , genetic algorithm ) 、进化规划 ( EP, evo2 lution p lan ) 和 进 化 策 略 ( ES, evolution strategy) 。 GA 是一类借鉴生物界自然选择和自然遗传机制 (选择 、交叉 、变异 )的随机化搜索算法 ,其搜索对象 是一群二进制串 (染色体 、个体 )即种群 ,每个染色 体对应于问题的一个解 ,其主要特点是群体搜索策 略和群体中个体之间的信息交换 ,与解析法 、穷举 法 、随机法等传统搜索方法相比 ,遗传算法具有不需 要搜索空间的知识 、并行爬峰 、编码方法适应性广 、 搜索不依赖于梯度信息 、不存在求导和函数连续性 限定等优点 。但在实际应用中 ,简单遗传算法存在 着收敛速度慢和稳定性差等缺陷 。 GA 是所谓“演 化计算 ”的一种 ,它包含了 5 个基本要素 : 参数编 码 、初始群体的设定 、适应度函数的设计 、遗传操作 设计 、控 制 参 数 设 计 。改 进 的 遗 传 算 法 有 递 阶 、 CHC、M essy、微种群 、双种群 、并行算法等 。