神经网络典型模型的比较研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模型名称 感知器 有无教师 有师 学习规则 误差修 正 BP 网络 有师 误差修 正 Hopfield ART-1 无师 无师 Hebb 律 竞争律 反向 反向 优化计算,模式识别等 模式识别等 计算代价高 对输入值敏感 正向(误差反向) 分类，模式识别等 易局部极小,收敛慢 正向或反向传播 正向 应用领域 线性分类，预测等 缺点 输出单一，收敛慢
若Hj (t ) 0 若Hj (t ) 0
Hj (t ) wijXi (t ) j
i 1
n
其中，wij 为从节点 i 到节点 j 的连接权值；θj 为节点 j 的阈值。 Hopfield 网是一类不具有学习能力的单层自联想网络。它的网络模型由一组可使某一 个能量函数最小的微分方程组成。其不足之处是计算代价较高，而且需要对称连接。 2.4 ART 网络[2] ART(自适应谐振理论)网络是一种自组织网络模型。它是由 Grossberg 提出的，是一个 根据可选参数对输入数据进行粗略分类的网络。 它是一种无教师学习网络。 它能够较好地协 调适应性，稳定性和复杂性的要求。在 ART 网络中，通常需要两个功能互补的子系统相互作 用．这两个子系统称注意子系统和取向子系统。 ART 网络具有不同的版本。图 4 表示的是 ART-１版本，用于处理二元输入。新的版本， 如 ART-２，能够处理连续值输入。
杜华英(1975—)，女，江西樟树人，惠州学院成教处计算机工程师，主研人工智能，中南大学信息科学与 工程学院在读工程硕士。 2 赵跃龙(1958—)，男，湖南湘潭人，中南大学信息科学与工程学院计算机系教授，主要从事计算机体系结 构、磁盘阵列、计算机控制、神经网络应用等方面的研究。
1
1 2
线性阈值单元是前向网络(又称前馈网络)中最基本的计算单元，它具有 n 个输入(x1， x2，x3，…，xn)，一个输出 y，n 个连接权值(w1，w2，w3， ，…，wn)，且符合下式：
x1
y1
x2 ┇ xn 输入层 图2 ┇ 输出层 ┇
y2
yn
当有信息向网络输入时，信息首先由输入层传至隐层节点，经特性函数作用后，再传至 下一隐层， 直到最终传至输出层进行输出， 其间每经过一层都要由相应的特性函数进行变换， 节点的特性函数通常选用 S 型函数，例如：
f ( x)
BP 网络具有多个输出值，可以进行非线性分类，其缺点是训练时间比较长，易陷于局 部极小，且收敛的速度依旧慢。 2.3 Hopfield 网络[3] Hopfield 网络是最典型的反馈网络模型，它是目前人们研究得最多的模型之一。 Hopfield 网络是由相同的神经元构成的单层，并且不具学习功能的自联想网络，可以完成 制约优化和联想记忆等功能。 Hopfield 模型是霍普菲尔特（Hopfield）分别于 1982 年及 1984 年提出的两个神经网 络模型，一个是离散的，一个是连续的，但它们都属于反馈网络，即它们从输入层至输出层 都有反馈存在。如图 3 是一个单层反馈神经网络。
表 1 神经网络典型模型的比较 4 结束语 自从人们开始研究人工神经网络以来，已经作出许多努力以开发各种行之有效的 ANN， 它们在有无教师、学习规则、正反向传播等方面有着各自的特点，可利用其特点有针对性地 应用于计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域，并且 取得了一定的成就。然而，基于目前的技术现状，尤其是计算机技术和 VLSI 技术当前水平 的局限性，这些努力并非总是如愿以偿的。其主要困难在 VLSI 意义上的人工神经网络的设 计和制造问题[2]。要解决这一问题，研究人员可能还要继续走一段很长的路。
若i j 若i j
在该网络中，每当有信息进入输入层时，在输入层不做任何计算，直接将输入信息分布 地传递给下一层各有关节点。 若用 Xj(t)表示节点 j 在时刻 t 的状态． 则该节点在下一时刻(即 t+1)的状态由下式决定：
1, Xj (t 1) sgn( Hj (t )) 1(或0),
1, y 0,
单输出的感知器模型如图 1 所示。 x1 x2 x3 xn w1 w2 w3 ┆ wn
若 w ix i 0 若 w ix i 0
i 1 i 1 n
n
∑
f
y
图 1 单输出的感知器 单输出的感知器的缺点是只能作线性分类；只能是 0 和 1 的输出值； 由于学习规则的局 限性，当输入差别较大时，收敛较慢。如需解决感知器只能作线性分类的问题，可采用神经 网络的另一种经典模型——BP 网络。 2.2 BP 网络[1][4][5] BP 网络是误差反向传播(Back Propagation)网络。最初由 Werbos 开发的反向传播训练 算法是一种迭代梯度算法， 用于求解前馈网络的实际输出与期望输出间的最小均方差值。 它 是一种多层前向网络，采用最小均方差学习方式。当参数适当时，此网络能够收敛到较小的 均方差，是目前应用最广的网络之一。它可用于语言综合，识别和自适应控制等用途。 B-P 模型是一种用于前向多层神经网络的误差反向 传播学习算法，由鲁梅尔哈特 (D.Ruvmelhar)和麦克莱伦德(McClelland)于 1985 年提出。B-P 算法用于多层网络，网络中 不仅有输入层节点及输出层节点， 而且还有一层至多层隐层节点。 图 2 所示模型是只有一层 隐层节点的 BP 网络。
The Researching of Artificial Neural Networks DU Hua-ying，ZHAO Yue-long (School of Information Science and Engineering, Central South University, Changsha 410083 China) Abstract The artificial neural networks(ANN) is a new course in recent years, so it is necessary and worth studying. This paper introduced the fundamental concepts of the ANN - Pereceptron, BP, Hopfield and ART, how to choose an ANN in different fields, and also researched its advantages and disadvantages, self-studying or not, rule of studying, back propagation or not, applied fields. According to its characteristics, the ANN can be used in fields of computer vision, image processing, pattern recognition, signal processing, intelligent control, robots, etc. Key words ANN；Pereceptron；BP；Hopfield；ART
Wi
Vji
Vi
式中，ε为一小的常数，Vji 为 Vi 的第 j 个分量（即从输出神经元 i 到输入神经元 j 连 接的权值） 。 ART 网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感，即输 入有小的变化时，输出变化很大。 3 比较 人工神经网络的模型各有各的特点，优缺点及应用领域也不尽相同。 下表 1 是以上四种 ANN 模型的有无教师方式、学习规则、正反向传播、应用领域和缺点[2]。
参考文献 [1] [2] [3] [4] [5] 张立明．人工神经网络的模型及应用[M]．上海: 复旦大学出版社．1993 蔡自兴. 智能控制——基础及应用[M]．北京: 国防工业出版社．1998 蒋宗礼．人工神经网络导论[M]．高等教育出版社．2001 朱大奇 史慧. 人工神经网络原理及应用[M]. 科学出版社. 2006 王年，任彬，黄勇，汪炳权．基于神经网络的汽车车型图象自动识别[J]．中国图象图 形学报．1999，4（8） ：50-54.
神经网络典型Байду номын сангаас型的比较研究
杜华英 ，赵跃龙 （中南大学信息科学与工程学院，湖南 长沙 410083） 摘 要 神经网络是近年来发展起来的一门新兴学科， 具有较高的研究价值， 本文介绍了神 经网络的基本概念，针对神经网络在不同的应用领域如何选取问题，对感知器、BP 网络、 Hopfield 网络和 ART 网络四种神经网络模型在优缺点、有无教师方式、学习规则、正反向 传播、 应用领域等方面进行了比较研究。 可利用其特点有针对性地将神经网络应用于计算机 视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域。 关键词 神经网络；感知器；BP 网络；Hopfield 网络；ART 网络 1 引言 人工神经网络（Artificial Neural Network, ANN）是模仿生物神经网络功能的一种经 验模型。生物神经元受到传入的刺激，其作出的反应又从输出端传到相连的其它神经元，输 入和输出之间的变换关系一般是非线性的。 神经网络是由若干简单元件及其层次组织， 以大 规模并行连接方式构造而成的网络， 按照生物神经网络类似的方式处理输入的信息。 模仿生 物神经网络而建立的人工神经网络，对输入信号有功能强大的反应和处理能力。 若干神经元连接成网络， 其中的一个神经元可以接受多个输入信号， 按照一定的规则转 换为输出信号。由于神经网络中神经元间复杂的连接关系和各神经元传递信号的非线性方 式， 输入和输出信号间可以构建出各种各样的关系， 因此在运行网络时， 可视为一个 “黑箱” 模型，不必考虑其内部具体情况。人工神经网络模拟人类部分形象思维的能力，是模拟人工 智能的一条途径， 特别是可以利用人工神经网络解决人工智能研究中所遇到的一些难题。 目 前，人工神经网络理论的应用已经渗透到多个领域，在计算机视觉、图像处理、模式识别、 信号处理、智能监控、机器人等方面取得了可喜的进展。 2 神经网络的典型模型 在人们提出的几十种神经网络模型中，人们用得较多的是感知器、BP 网络、Hopfield 网络和 ART 网络。 2.1 感知器[2] 罗森勃拉特（Rosenblatt）于 1957 年提出的感知器模型是一组可训练的分类器，为最 古老的 ANN 之一，现已很少使用。然而，它把神经网络的研究从纯理论探讨引向了工程上的 实现，在神经网络的发展史上占有重要的地位。尽管它有较大的局限性，甚至连简单的异或 (XOR)逻辑运算都不能实现，但它毕竟是最先提出来的网络模型，而且它提出的自组织、自 学习思想及收敛算法对后来发展起来的网络模型都产生了重要的影响， 甚至可以说， 后来发 展的网络模型都是对它的改进与推广。 最初的感知器是一个只有单层计算单元的前向神经网络， 由线性阈值单元组成， 称为单 层感知器，后来针对其局限性进行了改进，提出了多层感知器。
自底向上权 W
输入层 ┇
┇
输出层
自顶向下权 V 图 4 一个 ART-1 网络 从图 4 可见，一个 ART-１网络含有两层，一个输入层和一个输出层。这两层完全互连， 该连接沿着正向（自底向上）和反馈（自顶向下）两个方向进行。自底向上连接至一个输出 神经元 i 的权矢量 Wi 形成它所表示的类的一个样本。全部权矢量 Wi 构成网络的长期存储器， 用于选择优胜的神经元，该神经元的权矢量 Wi 最相似于当前输入模式。自顶向下从一个输 出神经元 i 连接的权矢量用于警戒测试，即检验某个输入模式是否足够靠近已存储的样本。 警戒矢量 Vi 构成网络的短期存储器。Vi 和 Wi 是相关的,Wi 是 Vi 的一个规格化副本，即
隐层 BP 网络
1 1 e
x
x1 x2 ┇ xn 图 3 单层反馈神经网络 ┇
y1
y2
yn
霍普菲尔特提出的离散网络模型是一个离散时间系统，每个神经元只有两种状态， 可用 1 和-1，或者 1 和 0 表示，由连接权值 wij 所构成的矩阵是一个零对角的对称矩阵，即
wij , wij 0,
若Hj (t ) 0 若Hj (t ) 0
Hj (t ) wijXi (t ) j
i 1
n
其中，wij 为从节点 i 到节点 j 的连接权值；θj 为节点 j 的阈值。 Hopfield 网是一类不具有学习能力的单层自联想网络。它的网络模型由一组可使某一 个能量函数最小的微分方程组成。其不足之处是计算代价较高，而且需要对称连接。 2.4 ART 网络[2] ART(自适应谐振理论)网络是一种自组织网络模型。它是由 Grossberg 提出的，是一个 根据可选参数对输入数据进行粗略分类的网络。 它是一种无教师学习网络。 它能够较好地协 调适应性，稳定性和复杂性的要求。在 ART 网络中，通常需要两个功能互补的子系统相互作 用．这两个子系统称注意子系统和取向子系统。 ART 网络具有不同的版本。图 4 表示的是 ART-１版本，用于处理二元输入。新的版本， 如 ART-２，能够处理连续值输入。
杜华英(1975—)，女，江西樟树人，惠州学院成教处计算机工程师，主研人工智能，中南大学信息科学与 工程学院在读工程硕士。 2 赵跃龙(1958—)，男，湖南湘潭人，中南大学信息科学与工程学院计算机系教授，主要从事计算机体系结 构、磁盘阵列、计算机控制、神经网络应用等方面的研究。
1
1 2
线性阈值单元是前向网络(又称前馈网络)中最基本的计算单元，它具有 n 个输入(x1， x2，x3，…，xn)，一个输出 y，n 个连接权值(w1，w2，w3， ，…，wn)，且符合下式：
x1
y1
x2 ┇ xn 输入层 图2 ┇ 输出层 ┇
y2
yn
当有信息向网络输入时，信息首先由输入层传至隐层节点，经特性函数作用后，再传至 下一隐层， 直到最终传至输出层进行输出， 其间每经过一层都要由相应的特性函数进行变换， 节点的特性函数通常选用 S 型函数，例如：
f ( x)
BP 网络具有多个输出值，可以进行非线性分类，其缺点是训练时间比较长，易陷于局 部极小，且收敛的速度依旧慢。 2.3 Hopfield 网络[3] Hopfield 网络是最典型的反馈网络模型，它是目前人们研究得最多的模型之一。 Hopfield 网络是由相同的神经元构成的单层，并且不具学习功能的自联想网络，可以完成 制约优化和联想记忆等功能。 Hopfield 模型是霍普菲尔特（Hopfield）分别于 1982 年及 1984 年提出的两个神经网 络模型，一个是离散的，一个是连续的，但它们都属于反馈网络，即它们从输入层至输出层 都有反馈存在。如图 3 是一个单层反馈神经网络。
表 1 神经网络典型模型的比较 4 结束语 自从人们开始研究人工神经网络以来，已经作出许多努力以开发各种行之有效的 ANN， 它们在有无教师、学习规则、正反向传播等方面有着各自的特点，可利用其特点有针对性地 应用于计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域，并且 取得了一定的成就。然而，基于目前的技术现状，尤其是计算机技术和 VLSI 技术当前水平 的局限性，这些努力并非总是如愿以偿的。其主要困难在 VLSI 意义上的人工神经网络的设 计和制造问题[2]。要解决这一问题，研究人员可能还要继续走一段很长的路。
若i j 若i j
在该网络中，每当有信息进入输入层时，在输入层不做任何计算，直接将输入信息分布 地传递给下一层各有关节点。 若用 Xj(t)表示节点 j 在时刻 t 的状态． 则该节点在下一时刻(即 t+1)的状态由下式决定：
1, Xj (t 1) sgn( Hj (t )) 1(或0),
1, y 0,
单输出的感知器模型如图 1 所示。 x1 x2 x3 xn w1 w2 w3 ┆ wn
若 w ix i 0 若 w ix i 0
i 1 i 1 n
n
∑
f
y
图 1 单输出的感知器 单输出的感知器的缺点是只能作线性分类；只能是 0 和 1 的输出值； 由于学习规则的局 限性，当输入差别较大时，收敛较慢。如需解决感知器只能作线性分类的问题，可采用神经 网络的另一种经典模型——BP 网络。 2.2 BP 网络[1][4][5] BP 网络是误差反向传播(Back Propagation)网络。最初由 Werbos 开发的反向传播训练 算法是一种迭代梯度算法， 用于求解前馈网络的实际输出与期望输出间的最小均方差值。 它 是一种多层前向网络，采用最小均方差学习方式。当参数适当时，此网络能够收敛到较小的 均方差，是目前应用最广的网络之一。它可用于语言综合，识别和自适应控制等用途。 B-P 模型是一种用于前向多层神经网络的误差反向 传播学习算法，由鲁梅尔哈特 (D.Ruvmelhar)和麦克莱伦德(McClelland)于 1985 年提出。B-P 算法用于多层网络，网络中 不仅有输入层节点及输出层节点， 而且还有一层至多层隐层节点。 图 2 所示模型是只有一层 隐层节点的 BP 网络。
The Researching of Artificial Neural Networks DU Hua-ying，ZHAO Yue-long (School of Information Science and Engineering, Central South University, Changsha 410083 China) Abstract The artificial neural networks(ANN) is a new course in recent years, so it is necessary and worth studying. This paper introduced the fundamental concepts of the ANN - Pereceptron, BP, Hopfield and ART, how to choose an ANN in different fields, and also researched its advantages and disadvantages, self-studying or not, rule of studying, back propagation or not, applied fields. According to its characteristics, the ANN can be used in fields of computer vision, image processing, pattern recognition, signal processing, intelligent control, robots, etc. Key words ANN；Pereceptron；BP；Hopfield；ART
Wi
Vji
Vi
式中，ε为一小的常数，Vji 为 Vi 的第 j 个分量（即从输出神经元 i 到输入神经元 j 连 接的权值） 。 ART 网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感，即输 入有小的变化时，输出变化很大。 3 比较 人工神经网络的模型各有各的特点，优缺点及应用领域也不尽相同。 下表 1 是以上四种 ANN 模型的有无教师方式、学习规则、正反向传播、应用领域和缺点[2]。
参考文献 [1] [2] [3] [4] [5] 张立明．人工神经网络的模型及应用[M]．上海: 复旦大学出版社．1993 蔡自兴. 智能控制——基础及应用[M]．北京: 国防工业出版社．1998 蒋宗礼．人工神经网络导论[M]．高等教育出版社．2001 朱大奇 史慧. 人工神经网络原理及应用[M]. 科学出版社. 2006 王年，任彬，黄勇，汪炳权．基于神经网络的汽车车型图象自动识别[J]．中国图象图 形学报．1999，4（8） ：50-54.
神经网络典型Байду номын сангаас型的比较研究
杜华英 ，赵跃龙 （中南大学信息科学与工程学院，湖南 长沙 410083） 摘 要 神经网络是近年来发展起来的一门新兴学科， 具有较高的研究价值， 本文介绍了神 经网络的基本概念，针对神经网络在不同的应用领域如何选取问题，对感知器、BP 网络、 Hopfield 网络和 ART 网络四种神经网络模型在优缺点、有无教师方式、学习规则、正反向 传播、 应用领域等方面进行了比较研究。 可利用其特点有针对性地将神经网络应用于计算机 视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域。 关键词 神经网络；感知器；BP 网络；Hopfield 网络；ART 网络 1 引言 人工神经网络（Artificial Neural Network, ANN）是模仿生物神经网络功能的一种经 验模型。生物神经元受到传入的刺激，其作出的反应又从输出端传到相连的其它神经元，输 入和输出之间的变换关系一般是非线性的。 神经网络是由若干简单元件及其层次组织， 以大 规模并行连接方式构造而成的网络， 按照生物神经网络类似的方式处理输入的信息。 模仿生 物神经网络而建立的人工神经网络，对输入信号有功能强大的反应和处理能力。 若干神经元连接成网络， 其中的一个神经元可以接受多个输入信号， 按照一定的规则转 换为输出信号。由于神经网络中神经元间复杂的连接关系和各神经元传递信号的非线性方 式， 输入和输出信号间可以构建出各种各样的关系， 因此在运行网络时， 可视为一个 “黑箱” 模型，不必考虑其内部具体情况。人工神经网络模拟人类部分形象思维的能力，是模拟人工 智能的一条途径， 特别是可以利用人工神经网络解决人工智能研究中所遇到的一些难题。 目 前，人工神经网络理论的应用已经渗透到多个领域，在计算机视觉、图像处理、模式识别、 信号处理、智能监控、机器人等方面取得了可喜的进展。 2 神经网络的典型模型 在人们提出的几十种神经网络模型中，人们用得较多的是感知器、BP 网络、Hopfield 网络和 ART 网络。 2.1 感知器[2] 罗森勃拉特（Rosenblatt）于 1957 年提出的感知器模型是一组可训练的分类器，为最 古老的 ANN 之一，现已很少使用。然而，它把神经网络的研究从纯理论探讨引向了工程上的 实现，在神经网络的发展史上占有重要的地位。尽管它有较大的局限性，甚至连简单的异或 (XOR)逻辑运算都不能实现，但它毕竟是最先提出来的网络模型，而且它提出的自组织、自 学习思想及收敛算法对后来发展起来的网络模型都产生了重要的影响， 甚至可以说， 后来发 展的网络模型都是对它的改进与推广。 最初的感知器是一个只有单层计算单元的前向神经网络， 由线性阈值单元组成， 称为单 层感知器，后来针对其局限性进行了改进，提出了多层感知器。
自底向上权 W
输入层 ┇
┇
输出层
自顶向下权 V 图 4 一个 ART-1 网络 从图 4 可见，一个 ART-１网络含有两层，一个输入层和一个输出层。这两层完全互连， 该连接沿着正向（自底向上）和反馈（自顶向下）两个方向进行。自底向上连接至一个输出 神经元 i 的权矢量 Wi 形成它所表示的类的一个样本。全部权矢量 Wi 构成网络的长期存储器， 用于选择优胜的神经元，该神经元的权矢量 Wi 最相似于当前输入模式。自顶向下从一个输 出神经元 i 连接的权矢量用于警戒测试，即检验某个输入模式是否足够靠近已存储的样本。 警戒矢量 Vi 构成网络的短期存储器。Vi 和 Wi 是相关的,Wi 是 Vi 的一个规格化副本，即
隐层 BP 网络
1 1 e
x
x1 x2 ┇ xn 图 3 单层反馈神经网络 ┇
y1
y2
yn
霍普菲尔特提出的离散网络模型是一个离散时间系统，每个神经元只有两种状态， 可用 1 和-1，或者 1 和 0 表示，由连接权值 wij 所构成的矩阵是一个零对角的对称矩阵，即
wij , wij 0,