几种局部连接神经网络结构及性能的分析与比较
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
丛
摘
爽，郑毅松
(中国科学技术大学自动化系，合肥 230027) 要 ： 对人工神经网络中的局部连接网络进行了综合研究，比较和分析了CMAC、B样条和RBF这3种用于函数逼近的局部网络的性能。还
分析了以ART-2为代表的局部网络中用于模式识别的网络结构及功能。最后在对以上几种网络进行模糊化的基础上，讨论了相应模糊神经网 络的性能，为选择和应用局部神经网络提供了一定的依据。 关 键 词 ： 局部神经网络；CMAC；B样条；ART-2；模糊神经网络
(3) ⋅ Bi+1,k −1 (x), k =1,2,...,m (4)
Bi,k (x) =
x − xi xi +k − xi
⋅ Bi,k −1 (x) +
xi+ k +1 − x xi+k +1 − xi+1
其中； x i 为节点序列，k为B样条的阶次。 已经证明，利用多项式的插值原理，B样条网络可以作 为函数的万能逼近器。从以上公式还可以看出，B样条网络 利用B样条作为基函数改进了CMAC网络精度不高的缺点。 / 不过，由于B样条只是利用多项式的插值对特定输入输出点 进行逼近，曲线不具有光滑性，虽然利用插值原理提高了对 相应输入 /输出对的逼近精度，但其泛化能力却没有得到相 应的提高，使B样条神经网络应用受到一些限制。 (3) RBF神经网络 RBF神经网络也就是径向基函数神经网络，它采用高斯 (Gaussian) 型基函数来实现输出层同隐含层之间的映射, 高斯 函数具体如式(5)所示 αj(x)=
1 α j ( x i )＝ 0
j∈φ j∉φ
(2)
其中 α j ( x i ) 表示第j个感知器对应的基函数， φ 表示第i个 输 入向量x对应的 C个感知器的集合。网络训练时只需局部的 调整输出层的连接权值。同其它局部连接网络相比， CMAC 网络具有较快的学习收敛速度，尤其适用于自适应建模与控 制。另一方面，由于CMAC采用简单的方形基函数，其网络 输出只能用方形函数来逼近一个光滑函数，因此使其逼近精 度不高，如果希望提高分辨率就必须增大C值，从而需要增 加存储容量，这是CMAC网络的局限所在。但CMAC基函数 最为简单，最适合于实时应用。 (2) B样条神经网络 B样条是基本样条的简称，与CMAC网络不同， B样条 基函数以多项式分段插值的方式，采用了所有样条函数中具 有最小局部支撑的B样条基函数，对给定的输入/输出数据进 行曲线拟合。单变量 B样条函数是由一组B样条基函数的线 性组合而成，多变量的B样条网络则由多组单变量 B样条函 数组成。B样条基函数满足以下递推关系：
yk =
∑ w kj α j ( x i ) , k = 1,…,.s ; i = 1,…, r
j =1
m
(1)
1 具有函数逼近功能的局部神经网络
1.1 CMAC、 B样 条 和RBF 共 有 的 结 构 特 点 CMAC、B样条和RBF神经网络具有大体相似的如图1所 示的结构图。 a1 y(x 1 ) a2 x1 y (x 2 ) x2 . . . . . . . . . xr a m -1 y (x s ) am
第 29卷 第 22期 Vol.29 № 22
计 算 机 工 程 Computer Engineering
文章编号： 1000— 3428(2003)22 — 0011— 03 文献标识码： A
2003年 12月 December 2003
中图分类号： TP183
・博士论文 ・
几种局部连接神经网络结构及性能的分析与比较
图1 局部ห้องสมุดไป่ตู้接神经网络结构图
这是一种3 层结构网络，q组 r维输入向量
X l = [ x1 , x 2 , x3 ,..., x r ] , ( l＝1,2,…,q) ，通过输入层后进入含
其中yk表示网络输出层第k个结点的输出，αj(x) 表 示 隐 含 层 第 j个结点所对应的基函数，wkj表示隐含层第j个结点同输出 层第i个结点间的连接权值。 由式(1) 可以看出，隐含层的所有节点对输出层的每个 节点都有影响。但通过适当地选取基函数或不同的网络连接 形式，对于某一输入，可以使αj(x) 中只有少数元素非零， 而大部分元素为零。因此网络在实际运行中，对于任意输 入，其输出往往只是对隐含层中少数非零节点的输出进行加 权求和获得，所以网络实际上是局部连接。图1中用实线表 示局部非零元素的实际连接，用虚线表示虚连接。各种局部 连接网络的区别则是由不同基函数来划分的。 1.2 CMAC、 B样 条 和RBF 的不同之处 (1) CMAC方形基函数 CMAC是J.Albus在小脑模型的基础上，于1975年提出的 一种模拟人类小脑连接结构的小脑模型关节控制器 (cerebellar model articulation controller) 。它是一种基于表格查询式 输入/输出技术的局部连接网络。其基本结构如图1所示，分 为输入层、隐含层和输出层。其中隐含层到输出层是一个线 性映射，其中连接权值是可以调整的参数wkj(k = 1,2, … ,s ; j = 1, 2,…, m) . CMAC网络的输入层到隐含层之间是一个类似于查表结 构的特定映射结构，其对应关系在具体设计网络时确定，作 用是将输入层中的输入矢量根据相互距离的远近映射到隐含 层中。隐含层由一族量化感知器组成， 输入层中的每一个
Analysis and Comparison of the Structure and Performance of Several Local Neural Networks
CONG Shuang， ZHENG Yisong
(Dept. of Automation, Chinese University of Science & Technology, Hefei 230027) 【 Abstract 】 The paper synthesizes the local neural networks, analyzes and compares the structures and functions of three local networks CMAC, Bspline and RBF, which are often used to approach functions. Then it discusses the structure of ART-2, depicts their fuzzy structures and performances based on the fuzzy model of these local networks. The study and analysis in the paper are useful for selecting and designing local neural networks. 【 Key words】 Local neural network；CMAC ；B-spline；ART-2；Fuzzy-neural network
基 金 项 目 ： 安徽省自然科学基金资助项目(03042301) 作 者 简 介 ： 丛 爽(1961－)，女，博士、教授、博导，主要研究神 经网络、模糊系统的设计与实现；郑毅松，本科生 收 稿 日 期 ： 2002-12-02 E-mail ： scong@ustc.edu.cn
有m个节点的隐含层，通过与某种基函数相作用(视具体网 络而定) 形成隐含层的输出，然后与训练后的权值相乘得到 网络最终的s维输出。
20世纪80年代以来，人们对人工神经网络的研究在理论 上取得了重大进展，并把它应用在智能系统中的非线性建模 及其控制器设计、模式分类与模式识别、联想记忆和优化计 算等方面。若从总体结构来分，人工神经网络可以被分为前 馈网络和反馈网络，BP网络和Hopfield 网络分别是它们各自 的典型代表；从网络连接方式来看，人工神经网络又可分为 全连接神经网络与局部连接神经网络。而局部连接网络对于 每组输入 /输出数据对，网络只对少数甚至一个权值进行调 整，按功能可将其分为两大类：一类以 CMAC(小脑模型关 节控制器) 、B样条、RBF(径向基函数) 为代表，函数逼近和 系统建模是它们的主要功能；而ART-2(自适应共振理论 ) 和 自适应竞争网络则属于另一类，它们的主要应用为模式分类 和识别。本文目的在于对上述几种典型的局部连接神经网络 的结构及性能进行分析和比较。
2 具有自动分类功能的局部网络
从对样本数据训练的过程中可见，不论是监督式还是无 监督式的训练，都会出现网络在对新模式的学习中伴随着对 已经学习过模式的部分甚至全部的忘却，在监督式的训练情 况下，通过对网络成千上万次地反复输入样本的训练，使网 络逐渐达到稳定的记忆；在无监督式的训练情况下，对新数 据的学习将会产生对某种已经记忆的典型矢量的修改，从而 造成对已学习数据的部分忘却，控制不好将会使所记忆的矢 量来回波动而变成没有代表意义。所以在神经网络的训练过 程中，时刻面临着在对新知识学习记忆的同时对旧知识的退 化忘却这个问题。人们希望网络能够学会新的知识，而同时 对已学过的知识毫无不利的影响。但是在输入矢量特别大的 情况下，很难实现这种愿望。一般情况下，只能在新旧知识 的取舍上进行某种折衷，最大可能地接受新的知识而较少影 响原有的知识。 ART网络较好地解决了上述的问题。该网络和算法能够 根据需要自适应新输入的模式，可以避免对网络先前所学习 过的模式的修改。它的记忆容量可以随样本种类的增加而自 动增加，这样就可以在不破坏原记忆样本种类的情况下学习 新的样本种类。ART网络模型是由美国波斯顿(Boston)大 学 数学系自适应系统中心的Grossberg 和 Carpenter 提出的。最 先提出的只是适用于{0，1}二进制输入模式的ART-1 网络模 型；ART-2型网络在ART-1的基础上经过改进，使网络适用 于对任意模拟信号进行模式识别和分类。同样可以进行模式 分类的自组织竞争网络，则必须由设计者预先确定对模式的 分类种数，相比之下，ART-2 网络由于可依据设计者设置的 不同的警戒常数来达到对模式的无监督自动分类，因此在理 论和应用上具有明显的优势。 除此以外， ART-2 网络还可以用在函数的逼近上，不 过与前几节所讨论的的局部连结网络相比，不论在工作方式 还是性能上都存在很大不同。实际上ART-2 与用于函数逼近 的局部网络在结构上就存在着很大的差别，必须对ART-2 增 加一个输出层，方能将其应用于函数逼近。在工作方式上， 局部连接网络的函数逼近是通过基函数来使某一输入矢量同 隐含层中的几个节点相对应，而ART-2 网络则仍然是以对输 入矢量进行绝对分类的方式，以“胜者为王”的原则使输入 节点只与最“相似”的隐含层节点发生“共振”并对其连接 权值进行修改，而对其它节点的连接权值不作任何改变。在 网络训练方面，ART-2 中的一个重要参数是警戒值，它代表
1, B i ,0 ( x ) = 0 , x i < x ≤ x i+1 其 他
阶倒数均存在，因此RBF进一步增强了网络对函数的逼近能 力，同时具有很强的泛化能力。而且高斯型基函数在形式上 也比较简单，解析性也较好，适合于对多变量系统进行理论 分析。所以基于RBF神经网络的直接自适应控制法在有关非 线性动态系统的神经网络控制方法中，是一种便于分析、逼 进程度最高的一种方法。但是相对于CMAC和B样条网络来 说，RBF在网络训练时需要调整的连接权值会多一些，同时 高斯型基函数需要的运算量也较大，网络的速度要略慢于前 两种网络。 从上面对3 种局部网络的基函数的分析可以看出，由于 各自具有的特点，CMAC、B样条和RBF这3种网络对函数的 逼近精度依次增加，泛化能力也依次增强。随着精度的提 高，它们的运算量和需要的存储空间也相应增加。因此在实 际应用中，需要根据具体条件来选择应用以上网络。
—11—
矢量都同隐含层中的 C 个感知器相对应，其中 C 称为感知 野，它是CMAC网络中的一个重要参数。每一个输入矢量只 影响隐含层中的 C个感知器并使其输出为 1，而其它感知器 输出为 0，因此相应输出也只需考虑和C个感知器相对应的 权值。可以看出，CMAC采用的是一种简单的方形基函数， 如式(2) 所示：
摘
爽，郑毅松
(中国科学技术大学自动化系，合肥 230027) 要 ： 对人工神经网络中的局部连接网络进行了综合研究，比较和分析了CMAC、B样条和RBF这3种用于函数逼近的局部网络的性能。还
分析了以ART-2为代表的局部网络中用于模式识别的网络结构及功能。最后在对以上几种网络进行模糊化的基础上，讨论了相应模糊神经网 络的性能，为选择和应用局部神经网络提供了一定的依据。 关 键 词 ： 局部神经网络；CMAC；B样条；ART-2；模糊神经网络
(3) ⋅ Bi+1,k −1 (x), k =1,2,...,m (4)
Bi,k (x) =
x − xi xi +k − xi
⋅ Bi,k −1 (x) +
xi+ k +1 − x xi+k +1 − xi+1
其中； x i 为节点序列，k为B样条的阶次。 已经证明，利用多项式的插值原理，B样条网络可以作 为函数的万能逼近器。从以上公式还可以看出，B样条网络 利用B样条作为基函数改进了CMAC网络精度不高的缺点。 / 不过，由于B样条只是利用多项式的插值对特定输入输出点 进行逼近，曲线不具有光滑性，虽然利用插值原理提高了对 相应输入 /输出对的逼近精度，但其泛化能力却没有得到相 应的提高，使B样条神经网络应用受到一些限制。 (3) RBF神经网络 RBF神经网络也就是径向基函数神经网络，它采用高斯 (Gaussian) 型基函数来实现输出层同隐含层之间的映射, 高斯 函数具体如式(5)所示 αj(x)=
1 α j ( x i )＝ 0
j∈φ j∉φ
(2)
其中 α j ( x i ) 表示第j个感知器对应的基函数， φ 表示第i个 输 入向量x对应的 C个感知器的集合。网络训练时只需局部的 调整输出层的连接权值。同其它局部连接网络相比， CMAC 网络具有较快的学习收敛速度，尤其适用于自适应建模与控 制。另一方面，由于CMAC采用简单的方形基函数，其网络 输出只能用方形函数来逼近一个光滑函数，因此使其逼近精 度不高，如果希望提高分辨率就必须增大C值，从而需要增 加存储容量，这是CMAC网络的局限所在。但CMAC基函数 最为简单，最适合于实时应用。 (2) B样条神经网络 B样条是基本样条的简称，与CMAC网络不同， B样条 基函数以多项式分段插值的方式，采用了所有样条函数中具 有最小局部支撑的B样条基函数，对给定的输入/输出数据进 行曲线拟合。单变量 B样条函数是由一组B样条基函数的线 性组合而成，多变量的B样条网络则由多组单变量 B样条函 数组成。B样条基函数满足以下递推关系：
yk =
∑ w kj α j ( x i ) , k = 1,…,.s ; i = 1,…, r
j =1
m
(1)
1 具有函数逼近功能的局部神经网络
1.1 CMAC、 B样 条 和RBF 共 有 的 结 构 特 点 CMAC、B样条和RBF神经网络具有大体相似的如图1所 示的结构图。 a1 y(x 1 ) a2 x1 y (x 2 ) x2 . . . . . . . . . xr a m -1 y (x s ) am
第 29卷 第 22期 Vol.29 № 22
计 算 机 工 程 Computer Engineering
文章编号： 1000— 3428(2003)22 — 0011— 03 文献标识码： A
2003年 12月 December 2003
中图分类号： TP183
・博士论文 ・
几种局部连接神经网络结构及性能的分析与比较
图1 局部ห้องสมุดไป่ตู้接神经网络结构图
这是一种3 层结构网络，q组 r维输入向量
X l = [ x1 , x 2 , x3 ,..., x r ] , ( l＝1,2,…,q) ，通过输入层后进入含
其中yk表示网络输出层第k个结点的输出，αj(x) 表 示 隐 含 层 第 j个结点所对应的基函数，wkj表示隐含层第j个结点同输出 层第i个结点间的连接权值。 由式(1) 可以看出，隐含层的所有节点对输出层的每个 节点都有影响。但通过适当地选取基函数或不同的网络连接 形式，对于某一输入，可以使αj(x) 中只有少数元素非零， 而大部分元素为零。因此网络在实际运行中，对于任意输 入，其输出往往只是对隐含层中少数非零节点的输出进行加 权求和获得，所以网络实际上是局部连接。图1中用实线表 示局部非零元素的实际连接，用虚线表示虚连接。各种局部 连接网络的区别则是由不同基函数来划分的。 1.2 CMAC、 B样 条 和RBF 的不同之处 (1) CMAC方形基函数 CMAC是J.Albus在小脑模型的基础上，于1975年提出的 一种模拟人类小脑连接结构的小脑模型关节控制器 (cerebellar model articulation controller) 。它是一种基于表格查询式 输入/输出技术的局部连接网络。其基本结构如图1所示，分 为输入层、隐含层和输出层。其中隐含层到输出层是一个线 性映射，其中连接权值是可以调整的参数wkj(k = 1,2, … ,s ; j = 1, 2,…, m) . CMAC网络的输入层到隐含层之间是一个类似于查表结 构的特定映射结构，其对应关系在具体设计网络时确定，作 用是将输入层中的输入矢量根据相互距离的远近映射到隐含 层中。隐含层由一族量化感知器组成， 输入层中的每一个
Analysis and Comparison of the Structure and Performance of Several Local Neural Networks
CONG Shuang， ZHENG Yisong
(Dept. of Automation, Chinese University of Science & Technology, Hefei 230027) 【 Abstract 】 The paper synthesizes the local neural networks, analyzes and compares the structures and functions of three local networks CMAC, Bspline and RBF, which are often used to approach functions. Then it discusses the structure of ART-2, depicts their fuzzy structures and performances based on the fuzzy model of these local networks. The study and analysis in the paper are useful for selecting and designing local neural networks. 【 Key words】 Local neural network；CMAC ；B-spline；ART-2；Fuzzy-neural network
基 金 项 目 ： 安徽省自然科学基金资助项目(03042301) 作 者 简 介 ： 丛 爽(1961－)，女，博士、教授、博导，主要研究神 经网络、模糊系统的设计与实现；郑毅松，本科生 收 稿 日 期 ： 2002-12-02 E-mail ： scong@ustc.edu.cn
有m个节点的隐含层，通过与某种基函数相作用(视具体网 络而定) 形成隐含层的输出，然后与训练后的权值相乘得到 网络最终的s维输出。
20世纪80年代以来，人们对人工神经网络的研究在理论 上取得了重大进展，并把它应用在智能系统中的非线性建模 及其控制器设计、模式分类与模式识别、联想记忆和优化计 算等方面。若从总体结构来分，人工神经网络可以被分为前 馈网络和反馈网络，BP网络和Hopfield 网络分别是它们各自 的典型代表；从网络连接方式来看，人工神经网络又可分为 全连接神经网络与局部连接神经网络。而局部连接网络对于 每组输入 /输出数据对，网络只对少数甚至一个权值进行调 整，按功能可将其分为两大类：一类以 CMAC(小脑模型关 节控制器) 、B样条、RBF(径向基函数) 为代表，函数逼近和 系统建模是它们的主要功能；而ART-2(自适应共振理论 ) 和 自适应竞争网络则属于另一类，它们的主要应用为模式分类 和识别。本文目的在于对上述几种典型的局部连接神经网络 的结构及性能进行分析和比较。
2 具有自动分类功能的局部网络
从对样本数据训练的过程中可见，不论是监督式还是无 监督式的训练，都会出现网络在对新模式的学习中伴随着对 已经学习过模式的部分甚至全部的忘却，在监督式的训练情 况下，通过对网络成千上万次地反复输入样本的训练，使网 络逐渐达到稳定的记忆；在无监督式的训练情况下，对新数 据的学习将会产生对某种已经记忆的典型矢量的修改，从而 造成对已学习数据的部分忘却，控制不好将会使所记忆的矢 量来回波动而变成没有代表意义。所以在神经网络的训练过 程中，时刻面临着在对新知识学习记忆的同时对旧知识的退 化忘却这个问题。人们希望网络能够学会新的知识，而同时 对已学过的知识毫无不利的影响。但是在输入矢量特别大的 情况下，很难实现这种愿望。一般情况下，只能在新旧知识 的取舍上进行某种折衷，最大可能地接受新的知识而较少影 响原有的知识。 ART网络较好地解决了上述的问题。该网络和算法能够 根据需要自适应新输入的模式，可以避免对网络先前所学习 过的模式的修改。它的记忆容量可以随样本种类的增加而自 动增加，这样就可以在不破坏原记忆样本种类的情况下学习 新的样本种类。ART网络模型是由美国波斯顿(Boston)大 学 数学系自适应系统中心的Grossberg 和 Carpenter 提出的。最 先提出的只是适用于{0，1}二进制输入模式的ART-1 网络模 型；ART-2型网络在ART-1的基础上经过改进，使网络适用 于对任意模拟信号进行模式识别和分类。同样可以进行模式 分类的自组织竞争网络，则必须由设计者预先确定对模式的 分类种数，相比之下，ART-2 网络由于可依据设计者设置的 不同的警戒常数来达到对模式的无监督自动分类，因此在理 论和应用上具有明显的优势。 除此以外， ART-2 网络还可以用在函数的逼近上，不 过与前几节所讨论的的局部连结网络相比，不论在工作方式 还是性能上都存在很大不同。实际上ART-2 与用于函数逼近 的局部网络在结构上就存在着很大的差别，必须对ART-2 增 加一个输出层，方能将其应用于函数逼近。在工作方式上， 局部连接网络的函数逼近是通过基函数来使某一输入矢量同 隐含层中的几个节点相对应，而ART-2 网络则仍然是以对输 入矢量进行绝对分类的方式，以“胜者为王”的原则使输入 节点只与最“相似”的隐含层节点发生“共振”并对其连接 权值进行修改，而对其它节点的连接权值不作任何改变。在 网络训练方面，ART-2 中的一个重要参数是警戒值，它代表
1, B i ,0 ( x ) = 0 , x i < x ≤ x i+1 其 他
阶倒数均存在，因此RBF进一步增强了网络对函数的逼近能 力，同时具有很强的泛化能力。而且高斯型基函数在形式上 也比较简单，解析性也较好，适合于对多变量系统进行理论 分析。所以基于RBF神经网络的直接自适应控制法在有关非 线性动态系统的神经网络控制方法中，是一种便于分析、逼 进程度最高的一种方法。但是相对于CMAC和B样条网络来 说，RBF在网络训练时需要调整的连接权值会多一些，同时 高斯型基函数需要的运算量也较大，网络的速度要略慢于前 两种网络。 从上面对3 种局部网络的基函数的分析可以看出，由于 各自具有的特点，CMAC、B样条和RBF这3种网络对函数的 逼近精度依次增加，泛化能力也依次增强。随着精度的提 高，它们的运算量和需要的存储空间也相应增加。因此在实 际应用中，需要根据具体条件来选择应用以上网络。
—11—
矢量都同隐含层中的 C 个感知器相对应，其中 C 称为感知 野，它是CMAC网络中的一个重要参数。每一个输入矢量只 影响隐含层中的 C个感知器并使其输出为 1，而其它感知器 输出为 0，因此相应输出也只需考虑和C个感知器相对应的 权值。可以看出，CMAC采用的是一种简单的方形基函数， 如式(2) 所示：