竞争型神经网络与自组织神经网络
神经网络的发展历程与应用
神经网络的发展历程与应用神经网络是一种仿生的人工智能技术，它模拟了人类大脑中神经元之间的连接和信息传递方式，具有自学习和适应性强的特点。
神经网络的发展历程可以追溯到上世纪50年代，经过了长期的理论研究和应用实践，如今已经成为了人工智能领域中的重要技术之一。
本文将从神经网络的发展历程、基本模型、优化算法以及应用领域等方面进行介绍。
一、神经网络的发展历程神经网络的发展历程可以分为三个阶段，分别是感知机、多层前馈神经网络和深度学习。
1. 感知机感知机是神经网络的起源，由美国心理学家罗森布拉特于1957年提出。
感知机是一种单层神经网络，由若干感知器（Perceptron）组成。
每个感知器接收输入信号并进行加权和，然后经过一个阈值函数得到输出。
该模型的最大缺点是只能处理线性可分问题，无法解决非线性问题。
2. 多层前馈神经网络为了克服感知机的局限性，科学家们开始尝试使用多层前馈神经网络来处理非线性问题。
多层前馈神经网络由输入层、隐藏层和输出层组成。
每个神经元都有一个激活函数，用于将输入信号转换为输出。
这种结构可以处理非线性问题，并且可以通过反向传播算法来训练网络参数。
多层前馈神经网络在图像识别、语音识别、自然语言处理等领域得到了广泛应用。
3. 深度学习深度学习是指使用多层神经网络来学习高层次特征表示的一种机器学习方法。
深度学习在计算机视觉、自然语言处理等领域有着广泛的应用。
其中最著名的就是卷积神经网络（CNN）和循环神经网络（RNN）。
卷积神经网络主要用于图像识别和分类问题，循环神经网络主要用于序列预测和语言建模。
二、神经网络的基本模型神经网络的基本模型可以分为三类，分别是前馈神经网络、反馈神经网络和自组织神经网络。
1. 前馈神经网络前馈神经网络是指信息只能从输入层到输出层流动的神经网络。
其中最常用的是多层前馈神经网络，它由多个隐藏层和一个输出层组成。
前馈神经网络的训练主要使用反向传播算法。
2. 反馈神经网络反馈神经网络是指信息可以从输出层到输入层循环反馈的神经网络。
自组织竞争神经网络
第23页
3.搜索阶段：
由Reset信号置获胜阶段无效开始，网络进入搜索 阶段。此时R为全0，G1=1 ，在C层输出端又得到了此 次输入模式X。所以，网络又进入识别及比较阶段，得 到新获胜节点（以前获胜节点不参加竞争）。这么重 复直至搜索到某一个获胜节点K，它与输入向量X充分 匹配到达满足要求为止。模式X编制到R层K节点所连 模式类别中，即按一定方法修改K节点自下而上和自上 而下权向量，使网络以后再碰到X或与X相近模式时， R层K节点能很快取得竞争胜利。若搜索了全部R层输 出节点而没有发觉有与X充分靠近模式，则增设一个R 层节点以表示X或与X相近模式。
⑥ 警戒线检测。设向量X中不为0个数用||X||表示，可
有 n || X || xi
n
||C'|| w' j *iXi i1
(5.3.1)
i 1
n
||C'|| w' j *iXi
(5.3.2)
i1
若||C||/||X||>成立，则接收j*为获胜节点，转⑦。
不然发Reset信号，置j*为0（不允许其再参加竞争），
信号1：输入X第i个分量Xi。 信号2：R层第j个单元自上而下返回信号Rj。 信号3：G1控制信号。 设C层第i个单元输出为Ci。 Ci依据“2/3规则”产 生，即Ci含有三个信号中多数相同值。 网络开始运行时， G1 =1，R层反馈信号为0。
自组织竞争神经网络
第18页
2.R 层结构：
R层功效结构相当于一个前向竞争网络，假设输出 层有m个节点，m类输入模式。输出层节点能动态增加， 以满足设置新模式类需要。设由C层自下而上连接到R 层第j个节点权向量用Wj={w1j,w2j,..,wnj} 表示。C层输出向量C沿Wj向前馈送，经过竞争在R层 输出端产生获胜节点，指示此次输入向量类别。
自组织竞争神经网络
dj =
n
∑ (x
i =1
i
− wi j ) 2
∆wi j = η h( j , j*)( xi − wi j )
j − j*2 h ( j , j *) = exp − σ2
自组织竞争神经网络算法能够进行有效的自适应分类，但它仍存在一些问题： 学习速度的选择使其不得不在学习速度和最终权值向量的稳定性之间进行折中。 有时有一个神经元的初始权值向量离输入向量太远以至于它从未在竞争中获胜， 因 此也从未得到学习，这将形成毫无用处的“死”神经元。
网络结构
%1.ÎÊÌâÌá³ö X=[0 1;0 1]; clusters=8; points=10; std_dev=0.05; P=nngenc(X,clusters,points,std_dev); plot(P(1,:),P(2,:),'+r'); title('ÊäÈëÏòÁ¿'); xlabel('P(1)'); ylabel('P(2)'); %2.ÍøÂçÉè¼Æ net=newc([0 1;0 1],8,.1) w=net.IW{1}; plot(P(1,:),P(2,:),'+r'); hold on; circle=plot(w(:,1),w(:,2),'ob') %3.ÍøÂçѵÁ· net.trainParam.epochs=7; net=train(net,P) w=net.IW{1}; delete(circle); plot(w(:,1),w(:,2),'ob'); %4.ÍøÂç²âÊÔ p=[0.5;0.2]; a=sim(net,p)
BP神经网络RBF神经网络自组织竞争型神经网络
（3）如果在已被占用的输出端中找到一个优胜者，它的由顶向下矢量Z（k）与S（k）的相似度足够高，或者开辟了一个未被占用的新输出端，则对于该端相应的由底向上和由顶向下权重系数进行调整。设此端的编号为L，那么被调整的系数是 和 。下面给出系数调整的计算公式:
概括而言，按照ART（也就是以竞争学习和自稳机制为原则所建立的理论）构成的ANN有如下特点: （1）它能对任何输入观察矢量（包括非平衡输入）进行“实时学习”，这就是说，学习和工作是分不开的。这种学习保证能够达到稳定、可靠的结果，直至记忆容量全部用完为止。任何情况下都不会造成新记忆破坏老记忆的灾难性后果。 （2）学习是自治和自组织的，学习过程无需教师指导，因此是一种无监督（unsupervised）学习。
F2层（STM） 此层的作用是由矢量T计算输出矢量Y，其计算公式为 若 （5-3） 可以看出，在输出层F2进行的是一种竞争抉择运算: 在t0～tM-1之间，有一个最大的分量，其对应输出即定为1，而所有其它分量所对应的输出皆定为0。
下面讨论此系统用于分类时的学习策略 在学习开始以前，首先需要对LTM层中的各个权值系数置以随机初值wij（0），然后依次送入观察矢量X（k），随时按照下列公式将各个权重系数调整成一组新的数值: j=0~(N-1),i=0~(M-1) （5-4）
(5-8) 其中α是步幅, 其值取为一个小正实数。
可以看到, 按照上面给出的算法, 只有当新的输入矢量与已存入记忆中的某个矢量足够相似时, 两者才能互相融合, 即对有关的权重系数进行调整, 从而使长期记忆得以改变。这造成一种自适应谐振（adaptive resonance）状态, 这就是ART这个名称的来源。需要指出, 上面给出的（1）和（2）两项运算, 其运算速度相对而言是快的, 在运算时只有F1和F2这两个STM层的输出发生变化, 而LTM层中的系数不产生改变。当进入自适应谐振状态时（即进入第（3）项运算时）LTM层中的有关系数才发生变化。这类似于人的记忆过程, 当输入一个观察矢量时, 大脑必须在已有的记忆内容中搜索与之相似的矢量, 如果得到了印证, 那么对其记忆就会加强。另一方面, 如果输入的是一个完全新奇的矢量, 这也会造成深刻的印象并被植入长期记忆库之中。
自组织神经网络概述
针对自组织神经网络的计算密集型特 性，硬件加速技术如GPU、FPGA等 正被广泛应用于提升自组织神经网络 的计算效率和实时性。
大规模数据的应用
随着大数据技术的不断发展，自组织 神经网络在大规模数据上的应用也日 益广泛，能够从海量数据中提取有用 的特征和模式。
未来展望
01
更高效的自组织学习机制
未来的研究将致力于开发更高效、更灵活的自组织学习算法，以适应不
它利用神经元之间的连接权重进 行学习，使得相似的输入数据能 够被映射到相近的神经元输出。
自组织映射能够自动识别输入数 据的内在结构和规律，从而对数
据进行分类、聚类和可视化。
竞争学习
01
竞争学习是自组织神经网络中 的一种重要机制，通过竞争的 方式选择最佳的神经元来表示 输入数据。
02
在竞争过程中，每个神经元根 据其与输入数据的相似度进行 响应，相似度最高的神经元将 获得胜利并更新其连接权重。
它不需要预先定义输入数据的类别或 结构，而是通过学习输入数据的内在 规律和模式，自动对数据进行分类或 聚类。
自组织神经网络的应用场景
图像识别
语音识别
自组织神经网络可以用于图像识别任务， 自动提取图像中的特征并进行分类。
在语音识别领域，自组织神经网络可以用 于自动提取语音中的特征，提高语音识别 的准确率。
总结词
通过最小化预测误差的方式，学习输入样本的映射关系，用于预测和函数逼近。
详细描述
回归型自组织神经网络采用最小化预测误差的规则，通过调整神经元权重，使得 神经元的输出能够逼近输入样本的目标值。这种类型的自组织神经网络常用于时 间序列预测和函数逼近。
概率型自组织神经网络
总结词
基于概率密度函数，学习输入样本的概 率分布，用于概率建模和异常检测。
自组织神经网络
❖
PR
- Rx2 矩阵确定输入范围
❖
Di
- 第i层神经元个数,缺省为5× 8
❖ TFCN
- 拓扑函数,缺省为 'hextop'.
❖ DFCN
- 距离函数,缺省为 'linkdist'.
❖
OLR
- 排序阶段学习率,缺省为0.9.
❖ OSTEPS - 排序阶段最大学习步骤,缺省为1000.
❖
TLR
- 调整阶段学习率,缺省为0.02;
例：LVQ网络的设计
❖ 设定输入样本和期望输出 ❖ 构建并设置网络参数 ❖ 根据训练样本对网络进行训练 ❖ 用训练样本测试网络 ❖ 用新样本测试网络 ❖ 讨论比例的影响
小结
❖ 何谓自组织：没有答案的学习
❖ 自组织竞争神经网络的基本概念
神经元：输入与权值的负距离加上阈值 网络结构：竞争网络 学习方法：Kohonen和阈值学习规则 用途：聚类
❖
TND
- 调整阶段最大学习步骤,缺省为1
例八：SOFM网络的构建和训练
❖ 构建网络 ❖ 设置训练样本 待聚类样本 ❖ 观察训练前网络的状态 ❖ 根据样本进行训练
排序阶段 粗调 调整阶段 细调
❖ 观察训练后网络的状态
例九：一维SOFM网络设计
❖ 输入为二维向量,神经元分布为一维 ❖ 将二维空间的特征映射到一维拓扑结构 ❖ 步骤
* IW 1 ,1 ( q 1 )
若分类不正确：
修正第 i个神经元的权值更远离
该样本
i i － ( p ( q ) i ) * IW 1,1 ( q )
* IW 1 ,1 ( q 1 )
* IW 1 ,1 ( q 1 )
神经网络及其应用之竞争型神经网络课件
神经网络及其应用之竞争型神经网络课件神经网络是一种模拟人脑神经元之间相互连接的计算模型，以其强大的学习和模式识别能力在各个领域展示出巨大潜力。
在神经网络的众多类型中，竞争型神经网络是一种常见且重要的类型。
本课件将介绍竞争型神经网络的原理和应用，帮助大家更好地理解和使用该网络模型。
一、什么是竞争型神经网络？竞争型神经网络（Competitive Neural Network，简称CNN）是一种基于竞争机制的神经网络模型。
它模拟了生物神经系统中神经元之间的竞争与抑制关系，通过竞争机制来实现输入样本的分类和聚类。
竞争型神经网络通常由竞争层、输出层和连接权重组成。
二、竞争型神经网络的原理1. 竞争层竞争层是竞争型神经网络的核心组成部分，它由若干个竞争单元（也称为神经元）构成。
竞争单元之间存在全互连的连接，通过竞争机制决定输出。
2. 竞争机制竞争机制是竞争型神经网络实现分类和聚类的关键。
在竞争型神经网络中，每个输入样本会与竞争层的竞争单元进行比较，最终选择出一个获胜者，即输出最大的竞争单元。
3. 输出层输出层接收竞争层中获胜的竞争单元作为输入，并输出最终的分类结果或聚类结果。
4. 连接权重连接权重是竞争型神经网络中的参数，它决定了输入样本与竞争单元之间的连接强度。
连接权重的调整是竞争型神经网络学习的关键步骤之一。
三、竞争型神经网络的应用竞争型神经网络在许多领域都有广泛的应用，以下是一些典型的应用场景：1. 图像处理竞争型神经网络可以用于图像处理中的特征提取、图像分类和图像压缩等任务。
通过在竞争层中进行竞争，可以选取出输入图像的最显著特征，实现图像的自动分类和压缩。
2. 数据挖掘竞争型神经网络能够对大数据进行聚类和分类，是数据挖掘领域中常用的工具之一。
通过竞争机制，可以将数据按照相似性进行聚类，并快速识别出数据中的异常值。
3. 人工智能竞争型神经网络在人工智能领域中具有重要作用，可以应用于机器学习、机器视觉和自然语言处理等任务。
自组织神经网络
自组织特征映射（SOFM）模型
自组织特征映射模型也称为Kohonen网络．或者称为Selforganizing map，由芬兰学者Teuvo Kohonen于1981年提 出。该网络是一个由全互连的神经元阵列形成的无教师自组 织自学习网络。Kohonen认为，处于空间中不同区域的神经 元有不同的分工，当一个神经网络接受外界输入模式时，将 会分为不同的反应区域，各区域对输入模式具有不同的响应 特征。
对这种竞争学习算法进行的模式分类，有时依赖于初始的 权值以及输入样本的次序。要得到较好的训练结果，例如图所 示的模式分类，网络应将其按Hamming距离分为三类。
9
竞争学习网络特征
假如竞争层的初始权值都是相 同的，那么竞争分类的结果 是：首先训练的模式属于类 1，由竞争单元1表示；随后训 练的模式如果不属于类1，它 就使竞争单元2表示类2；剩下 的不属于前两类的模式使单元3 获胜，为类3。假如不改变初始 权值分布，只改变模式的训练顺 序，这可能使竞争层单元对模式影响分类响应不一样，此时获胜 的竞争单元1有可能代表类2或3，这种顺序上的不一样会造成分 类学习很不稳定，会出现对同一输入模式在不同的迭代时有不同 的响应单元，分类结果就产生振荡。
10
竞争学习网络特征
竞争学习网络所实现的模式分类情况与典型的BP网络分类有 所不同。BP网络分类学习必须预先知道将输入模式分为几个类别， 而竞争网络将给定的模式分为几类预先并不知道，只有在学习后 才能确定。
竞争学习网络也存在一些局限性： （1）只用部分输入模式训练网络，当用一个明显不同的新 的输入模式进行分类时，网络的分类能力可能会降 低，甚至无法对其进行分类，这是由于竞争学习网络 采用的是非推理方式调节权值。 （2）竞争学习对模式变换不具备冗余性，其分类不是大 小、位移、旋转不变的，从结构上也不支持大小、 位移、旋转不变的分类模式。因此在使用上通常利用 竞争学习的无监督性，将其包含在其它网络中。
竞争性神经网络的原理及应用
竞争性神经网络的原理及应用竞争性神经网络是一类典型的无监督学习算法，它在人类的神经系统中有着广泛的应用。
竞争性神经网络作为一种较新的技术，其目标在于模拟人类神经系统的行为，实现自主学习和不断变化的能力。
本文将介绍竞争性神经网络的原理及其应用。
一、竞争性神经网络的原理竞争性神经网络是通过模拟人类神经系统的行为来进行学习的。
它的基本原理是，将一组数据输入系统中，每个神经元之间相互竞争，最终经过竞争得出“优胜者”。
竞争性神经网络中最常用的模型是Kohonen自组织映射网络。
在Kohonen自组织映射网络中，每个神经元都与一个向量相关联，称为权重向量。
每次输入向量并给出一个胜出神经元，胜出神经元的权重向量通过调整来接近输入向量，而其他神经元的权重向量则保持不变。
Kohonen自组织映射网络的工作过程如下：（1）初始化每个神经元的权重向量；（2）给定输入向量；（3）计算每个神经元与输入向量的距离；（4）选择距离最近的神经元作为胜出神经元；（5）调整胜出神经元及其周围神经元的权重向量。
上述过程重复多次，神经元的位置会不断调整，最终形成一个由许多神经元构成的二维网格。
这个过程中，神经元的权重向量会不断调整，使得相似的输入向量聚集在相邻的神经元上。
二、竞争性神经网络的应用竞争性神经网络的应用十分广泛，在模式分类、数据挖掘、机器人控制、图像处理等领域中都有着重要的应用。
1. 模式分类竞争性神经网络可以通过自组织学习的方式进行模式分类。
在输入向量空间中聚集在一起的向量归为同一类别，从而对其它向量进行分类。
例如，通过对由红色和蓝色像素组成的图像进行训练，可以将红色像素和蓝色像素分别归类，并将其它颜色的像素归类到与其最接近的类别中。
2. 数据挖掘竞争性神经网络可以在数据挖掘领域中用来确定数据的特征。
这种网络可以在输入向量空间中分离出各种特征，并将其归为不同的类别。
例如，在一个由客户购买历史、性别、年龄等组成的数据集中使用竞争性神经网络，将各种特征分离出来，并将客户划分为不同的类别。
自组织神经网络
自组织神经网络通常包含大量的神经元和参数，这使得训练过程变得非常耗时。传统的 优化算法往往需要长时间的迭代才能找到最优解，这限制了自组织神经网络的应用范围。
泛化能力不足
总结词
自组织神经网络的泛化能力不足是另一个挑 战，这主要是由于其容易过拟合训练数据。
详细描述
由于自组织神经网络具有强大的拟合能力， 它很容易过拟合训练数据，导致对测试数据 的泛化能力下降。这限制了自组织神经网络 在实际问题中的应用效果。
缺乏有效的学习规则
总结词
目前自组织神经网络缺乏有效的学习规则， 这限制了其自适应能力和进化速度。
详细描述
自组织神经网络的学习规则决定了其结构和 参数的调整方式，但目前大多数学习规则的 效果并不理想。如何设计更有效的学习规则 ，以提高自组织神经网络的自适应能力和进
化速度，是当前研究的重点之一。
未来发展方向与趋势
K-均值聚类算法
总结词
K-均值聚类算法是一种无监督的机器学 习算法，用于将输入数据划分为K个聚类 。
VS
详细描述
K-均值聚类算法通过迭代的方式将输入数 据划分为K个聚类，每个聚类由其质心表 示。算法通过计算每个数据点到各个质心 的距离，将数据点划分到最近的质心所在 的聚类中，并更新质心位置。K-均值聚类 算法具有简单、高效的特点，广泛应用于 数据挖掘、图像分割和机器视觉等领域。
自适应共振理论模型
总结词
自适应共振理论模型是一种基于自适应滤波原理的神经网络模型，能够自适应地学习和识别输入数据 中的模式。
详细描述
自适应共振理论模型通过调整神经元之间的连接权重，使得神经网络能够自适应地跟踪和识别输入数 据中的模式。该模型具有较强的鲁棒性和适应性，能够处理噪声和异常值，广泛应用于信号处理、语 音识别和自然语言处理等领域。
自组织神经网络
自组织网络在竞争层神经元之间的连 线，它们是模拟生物神经网络层内神经元 相互抑制现象的权值，这类抑制性权值满 足一定的分布关系，如距离近的抑制强， 距离远的抑制弱。
这种权值（或说侧抑制关系）一般是 固定的，训练过程中不需要调整，在各类 自组织网络拓朴图中一般予以省略。（不 省略时，也只看成抑制关系的表示，不作 为网络权来训练）。
最强的抑制关系是竞争获胜者“惟我独兴”，不允许其它神经元兴 奋，这种抑制方式也称为胜者为王。
4.1.1.4 向量归一化 不同的向量有长短和方向区别，向量归一化的目的是将向量变成方向
不变长度为1的单位向量。单位向量进行比较时，只需比较向量的夹角。
X向量的归一化： Xˆ X [ x1
X
n
x2j
j
x2 xn ]T
当 j j* 时，对应神经无的权值得不到调整，其实质是“胜者”对它们 进行了强测抑制，不允许它们兴奋。
应注意，归一化后的权向量经过调整后得到的新向量不再是单位向 量，需要重新归一化。步骤（3）完成后回到步骤（1）继续训练，直到 学习率 衰减到零。
4.2自组织特征映射（SOM）神经网络
4.2.1SOM网络的生物学基础
若25个神经元排列成5×5二维格栅拓扑结构,第13神经的指定优胜域 半径的区域内神经元为:
d=1
d=2
（7）令t=t+1,返回步骤（2）
（8）结束检查 判断η(t)是否衰减到某预定精度或判断t=T.
Kohonen学习算 法程序流程
4.2.4 SOM网络的功能 SOM网络的功能特点之一是：保序映射，即能将输入 空间的样本模式类有序地映射在输出层上。
若输入模式未归一化，可计算欧式距离，找出距离最小的为获胜节点。
（4）调整权值 以j*为中心，对优胜域Nj*(t)内的所有节点调整权值：
第五章：自组织神经网络
x 0 x 1
F (x)
0
x0
1 x 1
5.2 竞争型自组织网络
（6）返回（5），计算到第j神经元的输出值远大于其他的 (m-1)个元的输出为止。
（7）对与神经元j相连接的权值进行调整
wij
: wij
wij
wij , wij
(uik
M
wij )
（8）另选一个样本，返回（3），直到所有样本全部学习完
预备知识
Xˆ
Wˆ j
*
min
j1, 2, . . . ,m
Xˆ Wˆ j
Xˆ Wˆ j* (Xˆ Wˆ j* )T (Xˆ Wˆ j* )
Xˆ T Xˆ 2Wˆ Tj* Xˆ Wˆ Tj* Wˆ Tj*
2(1
WT j*
Xˆ )
从上式可以看出，欲使两单位向量的欧式距离
最小，须使两向量的点积最大。即：
vvikkj
1sj 0
si (
j
1,2,, m)i
j
（3）比较阶段：学习后，已经直接将学习样本本身存在 t ji 中
运行：设获胜元为j=g，比较uik 与t jg 是否完全相同。是：分类正
确；否：将获胜元置为0，进入下一步寻找阶段。
似的分离开。
预备知识
• 相似性测量＿欧式距离法
X Xi (X Xi )T (X Xi )
类1
类2
• •
•
• •
• T
(a)基于欧式距离的相似性测量
• •
(b)基于
类2 • •
•
相似性测量
预备知识
• 相似性测量＿余弦法
co s XT Xi
X Xi
类1
•• ••
自组织竞争网络
2．竞争学习原理
设输入模式为二维向量，归一化后 其矢端可以看成分布在单位圆上的点， 用“o”表示。竞争层4个神经元对应的 4个内星权向量归一化后在单位圆上用 *表示。输入模式点分布大体上聚集为 4簇，可分4类。而训练样本中无分类 指导信息，网络如何自动发现样本空 间的类别划分?
如果对r层所有的模式类若相似度都不能满足要求说明当前输入模式无类可归需在输出层增加一个神经元来代表并存储该模式类为此将其内星权向量bj设计成当前输入模式向量外星权向量tj各分量全设为4学习阶段对发生共振的获胜神经元对应的模式类加强学习使以后出现与该模式相似的输入样本时能获得更大的共振
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
思路：将高维输入数据分成若干区域，对每个区域 确定一个向量中心做为聚类中心，该区域的输入向 量可以用该中心向量代表，从而形成以各中心向量 为聚类中心的点集。
式中C1为与输出层神经元数m有关的正常数，B1为 大于1的常数，tm为预先选定的最大训练次数。
4．学习率η(t)的设计
η(t) 在训练开始时可以取值较大，之后以较快的速 度下降，这样有利于很快捕捉到输入向量的大致结 构。然后又在较小的值上缓降至趋于0值，这样可以 精细地调整权值使之符合输入空间的样本分布结构， 按此规律变化的 η(t) 表达式如下
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
竞争神经网络
17
SOFM模型
➢ 网络结构
• 输入层和输出层（竞争层）
• 输入为 Xt x1, x，2 ,输xn出T 可
以是任意维， 但一般取二维 其 中分布m个神经元。 • 输入节点i通过权值 w与ij 输出层 的m个节点连接，每个输出节点j 对应一组权向量：
22
SOFM模型
在竞争学习过程中，通过邻域的作用逐渐地 扩大排他性，最终仅一个神经元竞争获胜
23
竞争学习算法
① 初始化：对各节点的权赋以小的随机数作为初始值 w ji 0,i 1, p;
归一化权值和输入样本
j 1, m
定初始领域 ，学N习c 速0率 ，迭代总0数 T，t=0
② 随机选取某样本输入 X t x1t , x2 t x p t
Neuron 3 is the winner and its weight vector W3 is updated according to the competitive learning rule.
w13 ( x1 w13 ) 0.1 (0.52 0.43) 0.01 w23 ( x2 w23 ) 0.1 (0.12 0.21) 0.01
6
Competitive Learning
➢ 竞争网络结构 y1
y2
y3 ----
ym
竞争层
输入层
-每个输入节点与每个输
出节点全连接
-竞争层的每一个节点接 x1
x2
x3 ------
xn
受一个输入加权和
7
Competitive Learning
竞争学习过程 ──“winner takes all” 确定winner (competitive phase) ：按一定的准则计 算每个输出节点与输入节点之间的权矢量与输入矢量之 间的逼近度,最逼近的为winner. 调整权矢量(reward phase) ：按一定的准则调整 winner的权矢量 – In simple competitive learning ，only the winner is allowed to learn (change its weight).
自组织映射知识
自组织映射（self-organizing feature mapping）自组织神经网络SOM（self-organization mapping net）是基于无监督学习方法的神经网络的一种重要类型。
自组织映射网络理论最早是由芬兰赫尔辛基理工大学Kohen于1981年提出的。
此后，伴随着神经网络在20世纪80年代中后期的迅速发展，自组织映射理论及其应用也有了长足的进步。
它是一种无指导的聚类方法。
它模拟人脑中处于不同区域的神经细胞分工不同的特点，即不同区域具有不同的响应特征，而且这一过程是自动完成的。
自组织映射网络通过寻找最优参考矢量集合来对输入模式集合进行分类。
每个参考矢量为一输出单元对应的连接权向量。
与传统的模式聚类方法相比，它所形成的聚类中心能映射到一个曲面或平面上，而保持拓扑结构不变。
对于未知聚类中心的判别问题可以用自组织映射来实现。
[1]自组织神经网络是神经网络最富有魅力的研究领域之一，它能够通过其输入样本学会检测其规律性和输入样本相互之间的关系，并且根据这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本相适应。
竞争型神经网络的神经元通过输入信息能够识别成组的相似输入向量；自组织映射神经网络通过学习同样能够识别成组的相似输入向量，使那些网络层中彼此靠得很近的神经元对相似的输入向量产生响应。
与竞争型神经网络不同的是，自组织映射神经网络不但能学习输入向量的分布情况，还可以学习输入向量的拓扑结构，其单个神经元对模式分类不起决定性作用，而要靠多个神经元的协同作用才能完成模式分类。
学习向量量化LVQ（learning vector quantization）是一种用于训练竞争层的有监督学习（supervised learning）方法。
竞争层神经网络可以自动学习对输入向量模式的分类，但是竞争层进行的分类只取决于输入向量之间的距离，当两个输入向量非常接近时，竞争层就可能把它们归为一类。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
竞争型神经网络是基于无监督学习的神经网络的一种重要类型，作为基本的网络形式，构成了其他一些具有组织能力的网络，如学习向量量化网络、自组织映射网络、自适应共振理论网络等。
与其它类型的神经网络和学习规则相比，竞争型神经网络具有结构简单、学习算法简便、运算速度快等特点。
竞争型神经网络模拟生物神经网络系统依靠神经元之间的兴奋、协调与抑制、竞争的方式进行信息处理。
一个竞争神经网络可以解释为：在这个神经网络中，当一个神经元兴奋后，会通过它的分支对其他神经元产生抑制，从而使神经元之间出现竞争。
当多个神经元受到抑制，兴奋最强的神经细胞“战胜”了其它神经元的抑制作用脱颖而出，成为竞争的胜利者，这时兴奋最强的神经元的净输入被设定为 1，所有其他的神经元的净输入被设定为 0，也就是所谓的“成者为王，败者为寇”。
一般说来，竞争神经网络包含两类状态变量：短期记忆变元（STM）和长期记忆变元（LTM）。
STM 描述了快速变化的神经元动力学行为，而 LTM 描述了无监督的神经细胞突触的缓慢行为。
因为人类的记忆有长期记忆（LTM）和短期记忆（STM）之分，因此包含长时和短时记忆的竞争神经网络在理论研究和工程应用中受到广泛关注。
竞争性神经网络模型图
自组织特征映射神经网络（简称SOM），是由输入层和输出层组成的单层神经网络，主要用于对输入向量进行区域分类。
SOM是一种无导师聚类，能将一维输入模式在输出层映射成二维离散图形，此图形分布在网格中，网格大小由m*n 表示，并保持其拓扑结构不变，从而使有相似特征的神经元彼此靠近，不同特征的神经元彼此远离，最终实现区分识别样品的目的。
SOM 通过学习输入向量的分布情况和拓扑结构，靠多个神经元的协同作用来完成模式分类。
当神经网络接受外界输入模式时，神经网络就会将其分布在不同的对应区域，并且记忆各区域对输入模式的不同响应特征，使各神经元形成有序的空间分布。
当输入不同的样品光谱时，网络中的神经元便随机兴奋，经过SOM 训练后神经元在输出层有序排列，作用相近的神经元相互靠近，作用不同的神经元相互远离。
在神经网络的应用中，对于待识别的输入模式属于哪一类并没有任何先验知识，只能是把相似的模式样品划归为一类，而将不相似的分离开，从而实现样品的类内相似性和类间
分离性，因此相似性是输入模式的聚类依据，导致不同次的网络训练，同一样品会分布在网格中的不同位置，聚类效果良好。
与竞争神经网络不太一样的是SOM 没有阈值，不是一个神经元获得机会进行阈值调整而是多个神经元获得机会进行权值调整。
SOM神经网络模型图。