竞争型人工神经网络

目录：
1. 竞争型神经网络简介 2.竞 争型神经网络主要网络类型 3. 竞争型神经网络Matlab实现 4. 竞争型神经网络在区域经济学的应用
Artificial Neural Networks | 15
竞争型神经网络主要类型：
竞争型神经网络
自组织特征映射网络 自适应共振网络 对向传播网络
Artificial Neural Networks | 16
• ART是一种能自组织地 产生对环境认识编码的 神经网络理论模型。
• ART来源于无意识推理 学说的“协作-竞争网 络交互模型”。
• ART理论已提出了三种 模型结构，即 ART1， ART2，ART3。
• ART理论可以用于语音、 视觉、嗅觉和字符识别 等领域。
自适应共 振理论
竞争型 神经网络
对向传播神经网络
生物神经网络特征
树突是树状的神经纤维接收网络，它将电信号 传送到细胞体；
细胞体对这些输入信号进行整合并进行阈值处 理；
轴突是单根长纤维，它把细胞体的输出信号导 向其他神经元；
一个神经细胞的轴突和另一个神经细胞树突的 结合点称为突触；
神经元的排列和突触的强度(由复杂的化学过程 决定)确立了神经网络的功能。
Artificial Neural Networks | 12
竞争型神经网络的学习规则——外星学习规则
外星学习规则
外星学习规则也是由格劳斯内格 （S.Grossberg）首先提出。
外星学习规则可以被训练来产生向量。外星 学习规则的激活函数是线性函数，它被训练来 在一层s个线性神经元的输出端产生一个特别的 向量A。所采用的方法和内星识别向量时的方法 极其类似。
特殊网络结构
自组织竞争网的无导师指导学习是通过其特 殊的网络结构实现的。自组织竞争网在结构 上属于多层网络，共同特点是都具有竞争层。
自组织竞争网络的竞争层，各神经元之间存 在横向连接，各连接被赋予权值。通过竞争 学习规则，达到自组织，实现对输入样本的 自动分类。
特殊学习规则
竞争学习规则： 竞争层神经元之间相互竞争 以求被激活，结果在每一轮竞争中只有一个神 经元被激活。这个被激活的神经元称为“获胜 神经元”，而其它神经元的状态被抑制。然后 获胜神经元及其附近神经元的对应权值将被调 整以反映竞争结果。
侧抑制现象：这种侧抑制使神经细胞之间呈现出竞争，一个兴奋程度最强的神经细胞 对周围神经细胞有明显的抑制作用，其结果使其周围神经细胞兴奋度减弱，从而该神 经网络是这次竞争的“胜者”，而其他神经细胞在竞争中失败。
生物神经网络接受外界的特定时空信息时，神经网络的特定区域兴奋，而且类似的外 界信息在对应区域是连续映象的。SOM经训练后，其竞争层神经元，功能类似的相互 靠近，功能不同的相互较远，这与生物神经网络的组织构造非常类似。
Artificial Neural Networks | 3
人工神经网络六大基本特征：
1
由神经元及其联接组成；
2
神经元之间的联接强度决定信号传递的强弱；
3
神经元之间的联接强度是可以随训练改变的；
4
信号可以是起刺激作用的，也可以是起抑制作用的；
6
一个神经元接受的信号的累积效果决定该神经元的状态；
7
每个神经元可以有一个“阈值”。
发展应用
自提出以来，自组织特征映射网得到快速发展和改进，目前广泛应用于样本分类、排 序和样本检测等方面，和工程、金融、医疗、军事等领域，并成为其他人工神经网络 的基础。
Artificial Neural Networks | 17
1 自组织特征映射网络
自组织特征映射网络的拓扑结构分为两层：输入层和输出层（竞争层）。
Artificial Neural Networks | 13
竞争型神经网络的主要类型：自组织特征映射网络、对偶传播神经网络、自适 应共振理论网等。
自组织特征映射网络
自适应共振理论
自组织特征映 射网络
• 1981年，科霍恩(Kohonen)教授首先 提出自组织特征映射网（SOM）。 SOM的运行基于Kohonen规则。
竞争型人工神经网络
二〇一五年四月
从人工神经网络（ANN）谈起：
人工神经网络是近年来得到迅速发展的一个前沿课题。神经 网络由于其大规模并行处理、容错性、自组织和自适应能力 和联想功能强等特点，已成为解决很多问题的有力工具。
Artificial Neural Networks | 2
人工神经网络是对生物神经网络特征的模拟：
竞争型神经网络就是模拟上述生物神经系统 功能的人工神经网络。如右图所示，输出层各 神经元之间都有双向连接线，各连接线被赋予 相应的权值。从而实现对生物网络神经元相互 竞争和抑制现象的模拟。
x1
x2 ······ xi ······
Artificial Neural Networks | 10
竞争型神经网络基于特殊的网络结构和学习规则，具备自组织功能，能无导师 学习。
论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。
2 0 世 纪60年 代人 工神 经网 络发 展的 低潮 期 20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人
工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年 代末期起，人工神经网络的研究进入了低潮。
2 0 世 纪80年 代BP网络 的出 现 1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，
简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。
Artificial Neural Networks | 7
人工神经网络的主要类型包括：前向型神经网络、反馈型神经网络、竞争型神 经网络等。
Artificial Neural Networks | 6
人工神经网络发展历程：
2 0 世 纪80年 代Hopfield网络 的出 现 1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络
的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机 应用神经网络的新途径。
竞争型神经网络
• 自组织特征映射神经网 络（SOM/SOFM）；
• 自适应共振网络；
• 对向传播网络；
• 学习向量量化神经网 络……
前向型神经 网络
前向型神经网络
• BP神经网络（误差反转神经网络）； • 径向基神经网络……
wk.baidu.com
人工神经网络
竞争型神 经网络
反馈型神 经网络
反馈型神经网络
• Hopfield神经网络； • Elman神经网络； • Boltzmann机网络； • 双向联想记忆神经网络； • BSB模型……
与内星不同的是，外星的连接强度的变化Δ������ 是与输出向量������成正比。这意味着当输出向量被 保持高值，比如接近1时，每个权值������������������ 将输出 ������������值，若������������ = 1，则外星使权值产生输出向量， 若������������ = 0，网络权值得不到任何学习和修正。
对偶传播 神经网络
• 对传网是三层结构的前向网（输 入层、隐含层、输出层），形式 上与BP网类似，但工作机理不同。 隐含层采用无导师的竞争学习算 法，输出层用采用有导师的学习 算法。
• 最突出的优点是将有监督和无监 督的训练算法有机结合起来，从 而提高训练效率。
Artificial Neural Networks | 14
主要的竞争学习规则有“胜者为王”和 Kohonen规则等。
自组织功能无导师学习
竞争型神经网络的一大特点是：具有自组织功能，能够自适应地改变网络参数和结构，从而实现无导师 学习。
自组织竞争网络无导师学习方式更类似于人类大脑神经网络的学习，大大拓宽了神经网络在模式识别和 和分类上的应用。
无导师指导的分类称为聚类，由于无导师学习的训练样本中不含有期望输出，因此没有任何先验的知识。
1 自组织特征映射网络
1981年芬兰学者科霍恩首先提出自组织特征映射网络，该网络自提出以来发展 迅速，目前广泛应用多个领域。
概念提出 生物学基础
1981年，科霍恩(Kohonen)教授提出一种自组织特征映射网(Self-Organizing feature Map,简称SOM，又称Kohonen网）。科霍恩认为，一个生物神经网络在接受外界输 入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且 这个过程是自动完成的。以此为基础，科霍恩创建了SOM。
…
…
(a)一维竞争层
…
…
(b)二维竞争层
Artificial Neural Networks | 18
1 自组织特征映射网络
自组织特征映射网的拓扑结构，可以做到以若干神经元同时反映分类结果，使 其具有很强的抗干扰特性。
2 0 世 纪40年 代Hebb规则 的出 现 1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。
现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。
Artificial Neural Networks | 5
人工神经网络发展历程：
2 0 世 纪50年 代“ 感知 器” 模型 的出 现 1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理
SOM 拓扑结构
自组织特征映射网络的拓扑结构分为两层：输入层和输出层（竞争层）。 SOM拓扑结构不包括隐含层。
输入层为一维。竞争层可以是一维、二维或多维。其中二维竞争层由矩阵方式 构成，二维竞争层的应用最为广泛。 SOM中有两种连接权值，一种是神经元对外部输入反应的连接权值，另外一 种是神经元之间的特征权值，它的大小控制着神经元之间交互作用的强弱。
生物神经网络特征
在生物神经系统中，存在着一种“侧抑制” 现象，即当一个神经细胞兴奋后，会对其周围 的神经细胞产生抑制作用。这种“侧抑制”使 神经细胞之间呈现出竞争。开始时可能多个细 胞同时兴奋，但一个兴奋程度最强的神经细胞 会逐渐抑制周围神经细胞，其结果使其周围神 经细胞兴奋度减弱，从而兴奋度最高的细胞是 这次竞争的“胜者”，而其他神经细胞在竞争 中失败。
Artificial Neural Networks | 11
竞争型神经网络的学习规则——内星学习规则
内星学习规则
内星学习规则由格劳斯内格（S.Grossberg）首先提 出。 内星学习规则主要用于识别一个向量。通过内星学 习规则，来训练每个神经元节点只响应特点的输出向 量P。这是通过调节网络权向量W近似于输出向量P来实 现的。 内星神经元连接强度的变化 Δ������1������ 是与输出成正比的。 如果内星输出������被某一外部方式维护为高值时，那么通 过不断反复学习，权值将能够逐步趋近于输入向量������������ 的值，并使Δ������1������逐渐减小，直到最终达到Δ������1������=������������， 从而使内星权向量学习了输入向量������，达到了用内星学 习规则来识别一个向量的目的。另一方面，如果内星 输出保持为低值，网络权向量被学习的可能性较小， 甚至不能被学习。 科霍恩学习规则是内星学习规则的一个特例。但它 比采用内星规则进行网络设计要节省更多的学习，因 而常常用来替代内星学习规则。
Artificial Neural Networks | 4
人工神经网络发展历程：
2 0 世 纪40年 代MP神经 网络 的出 现 最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提
出了形式神经元的数学模型。这一模型一般被简称MP神经网络模型，至今仍在应用，可 以说，人工神经网络的研究时代，就由此开始了。
Artificial Neural Networks | 8
目录：
1. 竞争型神经网络简介 2.竞 争型神经网络主要网络类型 3. 竞争型神经网络Matlab实现 4. 竞争型神经网络在区域经济学的应用
Artificial Neural Networks | 9
竞争型神经网络：此类网络是模拟生物神经系统“侧抑制”现象的一类人工神 经网络。