模糊神经网络技术综述_张凯
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 模糊神经网络的提出( Proposing of fuzzy
neural network)
模糊逻辑( FL) 、神经网络理论( NN) 、遗传算法 ( GA) 、随机推理( PR) , 以及置信网络、混沌理论和部 分学习理论相融合, 形成了一种协作体, 这种融合并 非杂乱无章地将模糊逻辑、神经网络和遗传算法等 进行拼凑, 而是通过各种方法解决本领域的问题并 相互取长补短, 从而形成了各种方法的协作. 从这个 意义上讲, 各种方法是互补的, 而不是竞争的. 在协 作体中, 各种方法起着不同的作用. 通过这种协作, 产生了混合智能系统. 模糊逻辑和神经网络都是重 要的智能控制方法, 将模糊逻辑和神经网络这两种 软计算方法相结合, 取长补短, 形成一种协作体 ) ) ) 模糊神经网络.
模糊逻辑和神经网络各自从不同角度研究人的 认知问题. 模糊逻辑从宏观出发, 研究认知中的模糊 性问题; 神经网络从微观出发, 模拟人脑神经细胞的 结构和功能. 模糊逻辑和神经网络的比较如表 1[ 1] .
* 收稿日期: 2002- 07- 10 基金项目: 国家自然科学基金资助项目( 60074027) ; 上海市教育发展基金会曙光计划项目( 2000SG18) ; 国家/ 十五0 863 计划 CIMS 技术主 题项目( 2001AA411230)
A SURVEY ON FUZZY NEURAL NETWORK TECHNOLOGY
ZHANG Kai, QIAN Feng, LIU Man- dan
( Insitute of Automation, East China University of Science and Technolog , Shanghai 200237, China)
Pedrycz 和 Rocha( 1993) 通过对模糊逻辑与神经 网络融合时逻辑操作的研究, 确定了大批模型, 并引 入聚 合神 经元 ( Aggregation Neurons) 和指 示神 经元 ( Referential Neurons) , 论述了具体问题与网络最终结 构间的关系[ 7] ; Hirota 与 Pedrycz( 1993) 提出了基于知 识的网络( Knowledge- based Network) , 该网络由/ 与0、 / 或0模糊神经元组成, 可以清楚地表达区域分类知 识[ 8] .
重要概念, 促进了模糊神经网络的研究向着多元化 深入发展. 随着研究的深入, 国际著名学术期刊纷纷 出版专辑, 如5IEEE Transactions on Neural Networks6 ( 1992) 、5Fuzzy Sets and Systems6 ( 1996, 1997) . 目前, 模糊神经网络作为智能控制理论的主要研究对象之
4 32
信息与控制
32 卷
表 1 模糊逻辑和神经网络的比较 Tab. 1 Comparisons of fuzzy logic and neural network
神经网络
模糊逻辑
基本组成 神经元
模糊规则
知识获取 样本、算法实例
专家知识、逻辑推理
知识表示 分布式表示
隶属函数
学习函数的 自控制、并 模糊规则的组合、启发
推理机制
行计算、速度快
式搜索、速度慢
推理操作 神经元的叠加
隶属 函数 的 最大 - 最 小
自然语言 实现不明确, 灵活性低 实现明确, 灵活性高
自适应性 优点 缺点
通过调整权 值学习, 容 错性高 自学习自组 织能力, 容 错, 泛化能力 黑箱模型, 难 于表达知 识
归纳学习, 容错性低
可利用专家的经验 难于学习, 推理过 程模 糊性增加
一, 已经受到广泛重视. 通常所述的模糊神经网络, 既指将模糊化概念
和模糊推理引入神经元的模糊神经网络, 又指基于 神经网络的模糊系统. 前者将模糊成分引入神经网 络, 提高了原有网络的可解释性和灵活性, 它有两种 形式: 引入模糊运算的神经网络和用模糊逻辑增强 网络功能的神经网络. 而后者则用神经网络结构来 实现模糊系统, 并利用神经网络学习算法对模糊系 统的参数进行调整. 3. 1 引入模糊运算的神经网络 ) ) ) 狭义模糊神经 网络
5期
张 凯等: 模糊 神经网络技术综述
433
模型名称 Fuzzy ML [9] Fuzzy CMAC[10]
FCM [6] Fuzzy ART [11] Fuzzy Hopield NN [7] Fuzzy Max- Min NN[ 12]
FCP [13] FWNN [14]
表 2 几种狭义模糊神经网络的结构 Tab. 2 Structure of several narrow sense fuzzy neural networks
Keywords: fuzzy logic; neural networks; survey
1 引言( Introduction)
系统的复杂性与所要求的精确性之间存在尖锐 矛盾. 为此, 通过模拟人类学习和自适应能力, 人们 提出 了 智 能 控 制 的 思 想. 控 制 理 论 专 家 Austrom ( 1991) 在 IFAC 大会上指出: 模糊逻辑控制、神经网 络与专家控制是三种典型的智能控制方法. 通常专 家系统建立在专家经验上, 并非建立在工业过程所 产生的操作数据上, 且一般复杂系统所具有的不精 确性、不确定性就算领域专家也很难把握, 这使建立 专家系统非常困难. 而模糊逻辑和神经网络作为两 种典型的智能控制方法, 各有优缺点. 模糊逻辑与神 经网络的融合 ) ) ) 模糊神经网络( Fuzzy Neural Network) 由于吸取了模糊逻辑和神经网络的优点, 部分 避免了两者的缺点, 已经成为当今智能控制研究的 热点之一.
第 32 卷第 5 期 2003 年 10 月 文章编号: 1002- 0411( 2003) 05- 0431- 05
信 息与 控 制
Information and Control
Vol. 32, No. 5 Oct. , 2003
模糊神经网络技术综述
张 凯, 钱 锋, 刘漫丹
( 华东理工大学自动化研究所, 上海 200237)
基于神经网络的模糊系统, 也被称为神经模糊 系统 ( NFS, Neura-l Fuzzy Systems) [ 15] , 是利 用神经 网 络学习算法的模糊系统. 这类模糊神经网络按照模 糊逻辑的运算步骤分层构造, 不改变模糊系统的基 本功能( 如模糊化、模糊推理和解模糊化) . 通常, 神 经模糊系统的实现方法是先提取模糊规则, 再利用
从上表中可见, 模糊逻辑与神经网络有本质上 的不同, 但是由于模糊逻辑和神经网络都被用于处 理不确定性、不精确性问题, 因此二者又有着天然的 联系. Hornik 和 White( 1989) 证明了神经网络的函数 映射能力[ 2] ; Kosko( 1992) 证明了可加性模糊系统的 模糊逼近定理( FAT, Fuzzy Approximat ion Theorem) [ 3] ; Wang 和 Mendel ( 1992) 、Buckley 和 Hayashi ( 1993) 、 Dubots 和 Grabish ( 1993) 、Watkins( 1994) 证明 了各种 可加性和非可加性模糊系统的模糊逼近定理[ 4] . 这 说明模糊逻辑和神经网络有着密切联系, 二者都是 自适应模型无关估计器. 正是由于这些理论上的共 性, 才使模糊逻辑和神经网络的结合成为可能.
神经网络的学习算法对神经模糊系统的参数进行调 整. 由于神经模糊系统由模糊规则组成, 既能通过先 验知识初始化模糊规则, 又能利用训练样本直接建 立模糊规则, 因此神经模糊系统的学习过程既可以 是数据驱动的, 又可以是知识驱动的, 从而体现了模 糊神经网络的特点. 通常采用专家经验获取模糊规 则, 但这种方法实现十分困难. 而引入神经网络后, 不仅解决了先 验知识不足时模糊规则 的自确定问 题, 而且还可以实现模糊系统的自适应功能. 3. 3. 1 神经模糊系统的结构
提出者
模糊化方法
特点
Pal 等 Jou
Kosko Carpent er 等
王士同
源自文库
模糊神经元 权值模糊化 模糊神经元
权值模糊化 用模糊集进行极大极小操作
模糊神经元
具有模糊分类的功能 仿照 CMAC 的五层结构, 提高了 CMAC 的泛化能力 通过模糊规则, 以网络形式描述的知识库( 专家系统)
较好地解决了模糊信息存储、记忆的问题 可以记忆模式间的模糊相似关系
Abstract:The emergence and superiority of fuzzy- neuro synergy is discussed firstly. The fuzzy neural networks can be divided into three types: narrow- sense fuzzy neural networks, neural networks enhanced by fuzzy logic, and neural fuzzy network systems. The network structure and learning algorithm of the three types are introduced, and the industrial applications are also recommended.
摘 要: 首先讨论了模糊神经网络协作体的产生和优越性 , 随后 将模糊神经 网络划分 为狭义模糊 神经网
络、用模糊逻辑增强网络功能的神经网络和神经模糊系统, 并分别介绍了各自的网络结构和学习算法, 最后介
绍了模糊神经网络的工业应用. *
关键词: 模糊逻辑; 神经网络; 综述
中图分类号: TP13
文献标识码: B
从宏观角度来看, 狭义模糊神经网络是对传统 神经网络加入了模糊成分( 模糊神经元或模糊化网 络的参数) 构造的. 表 2 列出了几种狭义模糊神经网 络的结构. 3. 1. 2 狭义模糊神经网络的学习算法
狭义模糊神经网络通过调整参数进行学习. 其 学习算法可以采用通用学习算法, 也可以通过对原 有神经网络的学习算法进行拓展得到. 反向传播学 习算法、随机搜索法、遗传算法等是几种与具体神经 网络结构无关的通用学习算法.
在有些文献中, 人们也称这类网络为模糊神经 网络. 相对来说, 此类系统只是狭义概念上的模糊神 经网络, 因此本文称之为狭义模糊神经网络. 在狭义 模糊神经网络中, / 领域知识0用模糊集合表示, 提高 了网络的透明度和解释能力. 3. 1. 1 狭义模糊神经网络的结构
从微观角度来看, 狭义模糊神经网络是由普通 神经元或模糊神经元组成的. 模糊神经元与普通神 经元的结构相同, 只不过用模糊数学描述部分参数, 因此具有处理模糊信息的能力. 常用的模糊神经元 有两种: 处理实数输入的模糊神经元和处理模糊输 入的模糊神经元. 这两种模糊神经元的具体形式为: / 与0模糊神经元( T 模操作) 和/ 或0模糊神经元( S 模 操作) .
3 模 糊 神 经 网 络 的 研 究 进 展 ( Research progress in fuzzy neural network)
模糊神经网络的发展经历了一个漫长的过程. MacCulloch- Pitta 模型便是早期将模糊集应用到神经 网络中的一例. 此后, 人们对模糊神经网络研究得很 少. 直到 1990 年 Takagi 才综述性地讨论了神经网络 与模糊逻辑的结合[ 5] . Kosko( 1992) 出版了该领域的 第一本专著5Neural Network and Fuzzy Systems6[ 6] , 并 在这本专著中提出了模糊联想记忆、模糊认知图等
Simpson 张志华等
模糊神经元 模糊化竞争神经元的输出
将超盒模糊集累积形成模式类 解决了宽度因子的选取问题
王岭和焦李成
权值模糊化
模糊化的子波神经网络
3. 2 用模糊逻辑增强网络功能的神经网络 这类模糊神经网络不是对神经网络与模糊逻辑
直接进行融合, 而是通过模糊逻辑改进神经网络的 学习算法. 首先通过分析网络性能得到启发式知识, 然后再将启发式知识用于调整学习参数, 从而加快 了学习收敛速度. 这方面研究才起步不久, 所做的研 究工作还不多. 3. 3 基于神经网络的模糊系统 ) ) ) 神经模糊系统
neural network)
模糊逻辑( FL) 、神经网络理论( NN) 、遗传算法 ( GA) 、随机推理( PR) , 以及置信网络、混沌理论和部 分学习理论相融合, 形成了一种协作体, 这种融合并 非杂乱无章地将模糊逻辑、神经网络和遗传算法等 进行拼凑, 而是通过各种方法解决本领域的问题并 相互取长补短, 从而形成了各种方法的协作. 从这个 意义上讲, 各种方法是互补的, 而不是竞争的. 在协 作体中, 各种方法起着不同的作用. 通过这种协作, 产生了混合智能系统. 模糊逻辑和神经网络都是重 要的智能控制方法, 将模糊逻辑和神经网络这两种 软计算方法相结合, 取长补短, 形成一种协作体 ) ) ) 模糊神经网络.
模糊逻辑和神经网络各自从不同角度研究人的 认知问题. 模糊逻辑从宏观出发, 研究认知中的模糊 性问题; 神经网络从微观出发, 模拟人脑神经细胞的 结构和功能. 模糊逻辑和神经网络的比较如表 1[ 1] .
* 收稿日期: 2002- 07- 10 基金项目: 国家自然科学基金资助项目( 60074027) ; 上海市教育发展基金会曙光计划项目( 2000SG18) ; 国家/ 十五0 863 计划 CIMS 技术主 题项目( 2001AA411230)
A SURVEY ON FUZZY NEURAL NETWORK TECHNOLOGY
ZHANG Kai, QIAN Feng, LIU Man- dan
( Insitute of Automation, East China University of Science and Technolog , Shanghai 200237, China)
Pedrycz 和 Rocha( 1993) 通过对模糊逻辑与神经 网络融合时逻辑操作的研究, 确定了大批模型, 并引 入聚 合神 经元 ( Aggregation Neurons) 和指 示神 经元 ( Referential Neurons) , 论述了具体问题与网络最终结 构间的关系[ 7] ; Hirota 与 Pedrycz( 1993) 提出了基于知 识的网络( Knowledge- based Network) , 该网络由/ 与0、 / 或0模糊神经元组成, 可以清楚地表达区域分类知 识[ 8] .
重要概念, 促进了模糊神经网络的研究向着多元化 深入发展. 随着研究的深入, 国际著名学术期刊纷纷 出版专辑, 如5IEEE Transactions on Neural Networks6 ( 1992) 、5Fuzzy Sets and Systems6 ( 1996, 1997) . 目前, 模糊神经网络作为智能控制理论的主要研究对象之
4 32
信息与控制
32 卷
表 1 模糊逻辑和神经网络的比较 Tab. 1 Comparisons of fuzzy logic and neural network
神经网络
模糊逻辑
基本组成 神经元
模糊规则
知识获取 样本、算法实例
专家知识、逻辑推理
知识表示 分布式表示
隶属函数
学习函数的 自控制、并 模糊规则的组合、启发
推理机制
行计算、速度快
式搜索、速度慢
推理操作 神经元的叠加
隶属 函数 的 最大 - 最 小
自然语言 实现不明确, 灵活性低 实现明确, 灵活性高
自适应性 优点 缺点
通过调整权 值学习, 容 错性高 自学习自组 织能力, 容 错, 泛化能力 黑箱模型, 难 于表达知 识
归纳学习, 容错性低
可利用专家的经验 难于学习, 推理过 程模 糊性增加
一, 已经受到广泛重视. 通常所述的模糊神经网络, 既指将模糊化概念
和模糊推理引入神经元的模糊神经网络, 又指基于 神经网络的模糊系统. 前者将模糊成分引入神经网 络, 提高了原有网络的可解释性和灵活性, 它有两种 形式: 引入模糊运算的神经网络和用模糊逻辑增强 网络功能的神经网络. 而后者则用神经网络结构来 实现模糊系统, 并利用神经网络学习算法对模糊系 统的参数进行调整. 3. 1 引入模糊运算的神经网络 ) ) ) 狭义模糊神经 网络
5期
张 凯等: 模糊 神经网络技术综述
433
模型名称 Fuzzy ML [9] Fuzzy CMAC[10]
FCM [6] Fuzzy ART [11] Fuzzy Hopield NN [7] Fuzzy Max- Min NN[ 12]
FCP [13] FWNN [14]
表 2 几种狭义模糊神经网络的结构 Tab. 2 Structure of several narrow sense fuzzy neural networks
Keywords: fuzzy logic; neural networks; survey
1 引言( Introduction)
系统的复杂性与所要求的精确性之间存在尖锐 矛盾. 为此, 通过模拟人类学习和自适应能力, 人们 提出 了 智 能 控 制 的 思 想. 控 制 理 论 专 家 Austrom ( 1991) 在 IFAC 大会上指出: 模糊逻辑控制、神经网 络与专家控制是三种典型的智能控制方法. 通常专 家系统建立在专家经验上, 并非建立在工业过程所 产生的操作数据上, 且一般复杂系统所具有的不精 确性、不确定性就算领域专家也很难把握, 这使建立 专家系统非常困难. 而模糊逻辑和神经网络作为两 种典型的智能控制方法, 各有优缺点. 模糊逻辑与神 经网络的融合 ) ) ) 模糊神经网络( Fuzzy Neural Network) 由于吸取了模糊逻辑和神经网络的优点, 部分 避免了两者的缺点, 已经成为当今智能控制研究的 热点之一.
第 32 卷第 5 期 2003 年 10 月 文章编号: 1002- 0411( 2003) 05- 0431- 05
信 息与 控 制
Information and Control
Vol. 32, No. 5 Oct. , 2003
模糊神经网络技术综述
张 凯, 钱 锋, 刘漫丹
( 华东理工大学自动化研究所, 上海 200237)
基于神经网络的模糊系统, 也被称为神经模糊 系统 ( NFS, Neura-l Fuzzy Systems) [ 15] , 是利 用神经 网 络学习算法的模糊系统. 这类模糊神经网络按照模 糊逻辑的运算步骤分层构造, 不改变模糊系统的基 本功能( 如模糊化、模糊推理和解模糊化) . 通常, 神 经模糊系统的实现方法是先提取模糊规则, 再利用
从上表中可见, 模糊逻辑与神经网络有本质上 的不同, 但是由于模糊逻辑和神经网络都被用于处 理不确定性、不精确性问题, 因此二者又有着天然的 联系. Hornik 和 White( 1989) 证明了神经网络的函数 映射能力[ 2] ; Kosko( 1992) 证明了可加性模糊系统的 模糊逼近定理( FAT, Fuzzy Approximat ion Theorem) [ 3] ; Wang 和 Mendel ( 1992) 、Buckley 和 Hayashi ( 1993) 、 Dubots 和 Grabish ( 1993) 、Watkins( 1994) 证明 了各种 可加性和非可加性模糊系统的模糊逼近定理[ 4] . 这 说明模糊逻辑和神经网络有着密切联系, 二者都是 自适应模型无关估计器. 正是由于这些理论上的共 性, 才使模糊逻辑和神经网络的结合成为可能.
神经网络的学习算法对神经模糊系统的参数进行调 整. 由于神经模糊系统由模糊规则组成, 既能通过先 验知识初始化模糊规则, 又能利用训练样本直接建 立模糊规则, 因此神经模糊系统的学习过程既可以 是数据驱动的, 又可以是知识驱动的, 从而体现了模 糊神经网络的特点. 通常采用专家经验获取模糊规 则, 但这种方法实现十分困难. 而引入神经网络后, 不仅解决了先 验知识不足时模糊规则 的自确定问 题, 而且还可以实现模糊系统的自适应功能. 3. 3. 1 神经模糊系统的结构
提出者
模糊化方法
特点
Pal 等 Jou
Kosko Carpent er 等
王士同
源自文库
模糊神经元 权值模糊化 模糊神经元
权值模糊化 用模糊集进行极大极小操作
模糊神经元
具有模糊分类的功能 仿照 CMAC 的五层结构, 提高了 CMAC 的泛化能力 通过模糊规则, 以网络形式描述的知识库( 专家系统)
较好地解决了模糊信息存储、记忆的问题 可以记忆模式间的模糊相似关系
Abstract:The emergence and superiority of fuzzy- neuro synergy is discussed firstly. The fuzzy neural networks can be divided into three types: narrow- sense fuzzy neural networks, neural networks enhanced by fuzzy logic, and neural fuzzy network systems. The network structure and learning algorithm of the three types are introduced, and the industrial applications are also recommended.
摘 要: 首先讨论了模糊神经网络协作体的产生和优越性 , 随后 将模糊神经 网络划分 为狭义模糊 神经网
络、用模糊逻辑增强网络功能的神经网络和神经模糊系统, 并分别介绍了各自的网络结构和学习算法, 最后介
绍了模糊神经网络的工业应用. *
关键词: 模糊逻辑; 神经网络; 综述
中图分类号: TP13
文献标识码: B
从宏观角度来看, 狭义模糊神经网络是对传统 神经网络加入了模糊成分( 模糊神经元或模糊化网 络的参数) 构造的. 表 2 列出了几种狭义模糊神经网 络的结构. 3. 1. 2 狭义模糊神经网络的学习算法
狭义模糊神经网络通过调整参数进行学习. 其 学习算法可以采用通用学习算法, 也可以通过对原 有神经网络的学习算法进行拓展得到. 反向传播学 习算法、随机搜索法、遗传算法等是几种与具体神经 网络结构无关的通用学习算法.
在有些文献中, 人们也称这类网络为模糊神经 网络. 相对来说, 此类系统只是狭义概念上的模糊神 经网络, 因此本文称之为狭义模糊神经网络. 在狭义 模糊神经网络中, / 领域知识0用模糊集合表示, 提高 了网络的透明度和解释能力. 3. 1. 1 狭义模糊神经网络的结构
从微观角度来看, 狭义模糊神经网络是由普通 神经元或模糊神经元组成的. 模糊神经元与普通神 经元的结构相同, 只不过用模糊数学描述部分参数, 因此具有处理模糊信息的能力. 常用的模糊神经元 有两种: 处理实数输入的模糊神经元和处理模糊输 入的模糊神经元. 这两种模糊神经元的具体形式为: / 与0模糊神经元( T 模操作) 和/ 或0模糊神经元( S 模 操作) .
3 模 糊 神 经 网 络 的 研 究 进 展 ( Research progress in fuzzy neural network)
模糊神经网络的发展经历了一个漫长的过程. MacCulloch- Pitta 模型便是早期将模糊集应用到神经 网络中的一例. 此后, 人们对模糊神经网络研究得很 少. 直到 1990 年 Takagi 才综述性地讨论了神经网络 与模糊逻辑的结合[ 5] . Kosko( 1992) 出版了该领域的 第一本专著5Neural Network and Fuzzy Systems6[ 6] , 并 在这本专著中提出了模糊联想记忆、模糊认知图等
Simpson 张志华等
模糊神经元 模糊化竞争神经元的输出
将超盒模糊集累积形成模式类 解决了宽度因子的选取问题
王岭和焦李成
权值模糊化
模糊化的子波神经网络
3. 2 用模糊逻辑增强网络功能的神经网络 这类模糊神经网络不是对神经网络与模糊逻辑
直接进行融合, 而是通过模糊逻辑改进神经网络的 学习算法. 首先通过分析网络性能得到启发式知识, 然后再将启发式知识用于调整学习参数, 从而加快 了学习收敛速度. 这方面研究才起步不久, 所做的研 究工作还不多. 3. 3 基于神经网络的模糊系统 ) ) ) 神经模糊系统