自组织竞争神经网络

2、 自适应共振理论网络
x=(x1, x2, x3, …, xn)T
dj =
∑ (x − w
i =1 i
n
ij
)2
wij——输入层的 i 神经元和映射层的 j 神经元之间的权值。
∆wi j = η h( j , j*)( xi − wi j )
η ——一个大于 0 小于 1 的常数； h(j,j*)——领域函数，用下式表示：
输输输输
1 0.9 0.8 0.7 0.6 P(2) 0.5 0.4 0.3 0.2 0.1 0
0
0.2
0.4
0.6 P(1)
0.8
1
1.2
1.4
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 1.2 1.4
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 1.2 1.4
dj =
n
∑ (x
i =1
i
− wi j ) 2
∆wi j = η h( j , j*)( xi − wi j )
j − j*2 h ( j , j *) = exp − σ2

自组织竞争神经网络算法能够进行有效的自适应分类，但它仍存在一些问题： 学习速度的选择使其不得不在学习速度和最终权值向量的稳定性之间进行折中。 有时有一个神经元的初始权值向量离输入向量太远以至于它从未在竞争中获胜， 因 此也从未得到学习，这将形成毫无用处的“死”神经元。
网络结构
%1.ÎÊÌâÌá³ö X=[0 1;0 1]; clusters=8; points=10; std_dev=0.05; P=nngenc(X,clusters,points,std_dev); plot(P(1,:),P(2,:),'+r'); title('ÊäÈëÏòÁ¿'); xlabel('P(1)'); ylabel('P(2)'); %2.ÍøÂçÉè¼Æ net=newc([0 1;0 1],8,.1) w=net.IW{1}; plot(P(1,:),P(2,:),'+r'); hold on; circle=plot(w(:,1),w(:,2),'ob') %3.ÍøÂçѵÁ· net.trainParam.epochs=7; net=train(net,P) w=net.IW{1}; delete(circle); plot(w(:,1),w(:,2),'ob'); %4.ÍøÂç²âÊÔ p=[0.5;0.2]; a=sim(net,p)
0.3856 0.1772 0.0270 0.5959 0.4032 0.9371 0.3693 0.4519 胜出
学习矢量量化神经网络（ 学习矢量量化神经网络（LVQ）
Learning Vector Quantization Network， 是两层网络结构， 第一层为竞争层， 第二层为线性层。 竞争层和前面的自组织竞争网络的竞争层类似，用于对输入向量进行分类； 线性层将竞争层传递过来的分类信息转换为使用者所定义的期望类别。 通常竞争层称为子类，线性层称为期望类别。
最简单的网络结构具有一个输入层和一个竞争层。 输入层负责接收外界信息并将输入模 式向竞争层传递，起“观察”作用，竞争层负责对该模式进行“分析比较”，找出规律以正确归 类。竞争机制。
竞争学习的原理
1、 竞争学习的策略 竞争学习策略中采用的典型学习规则为胜者为王（Winner~Take-all） 。 （1） 向量归一化 首先将自组织网络中的当前输入模式向量 X 和竞争层中各神经元对应的内星权向量 Wj(j=1, 2,…, m)全部进行归一化处理，得到 X 和 W j (j=1,2,…,m)。 （2） 寻找获胜神经元 当网络得到一个输入模式向量 X 时，竞争层的所有神经元对应对的内星权向量 W j
自组织竞争神经网络
人获得大量知识常常是靠“无师自通”，即通过对客观事件的反复观察、分析与比较，自 行提示其内在规律，并对具有共同特征的事物进行正确归类。无导师学习方式，其重要特点 是通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 自组织网络结构上属于层次型网络，有多种类型，其共同特点是具有竞争层。
0
0.2
0.4
0.6
0.8
1
1.2
网络测试： >> p=[0.7;0.4] p= 0.7000 0.4000 >> plot(p(1,:),p(2,:),'xg') >> a=sim(net,p) a= (8,1) w= 0.8162 0.0285 0.8917 0.7085 0.8518 0.3344 0.9372 0.7044 1
自组织神经网络模型
常用的自组织竞争神经网络有自适应共振理论 （Adaptive Resonance Theory, ART） 网络、 自组织特征映射（Self-Organizing Map, SOM）网络、对传（Counter Propagation, CP）网络 和协同神经网络（Synergetic Neural Network, ANN）等。 1、 自组织特征映射神经网络(Self-Organizing Feature Maps,SOFM) 也称为 Kohonen 网络，由荷兰学者 Teuvo Kohonen 于 1981 年提出的，基本上为输 入层和映射层的双层结构，输入层用于接收输入模式，映射层用于输出结果，映射 层的神经元互连，每个输出神经元连接至所有输入神经元。
j − j*2 h( j , j*) = exp − 2 σ
式中 a——学习速率， a ∈ (0,1] ，一般其值随着学习的进展而减小。 当 j ≠ j * 时，对应神经元的权值得不到调整，其实质是“胜者”对它们进行了强侧抑 制，不允许它们兴奋。 归一化后的权向量经过调整后得到的新向量不再是单位向量， 因此需要对调整后的向量 重新归一化。步骤（3）完成后回到步骤（1）继续训练，直到学习速率 a 衰减到 0 或规定的 值。 2、 原理
^
^
Biblioteka Baidu
^
^
^
X − W j* = ( X − W j* )T ( X − W j* ) = ( X T X − 2 W j *T X + W j * T W j * ) = 2(1 − W j*T X )
欲使两单位向量的欧氏距离最小，须使两向量的点积最大。即
^ ^ ^ ^ W j*T X = max W jT X j∈{1,2,..., m}
自组织特征映射 SOFM 模型可以用二维阵列表示，如图所示。SOFM 网络是由输入 层和竞争层组成的单层神经网络。输入层是一维的神经元，有 n 个节点。竞争层是 二维的神经元，按二维形式排成节点矩阵。输入层的神经元和竞争层的神经元都有 权值链接，竞争层节点相互间也可能有局部链接。竞争层也称输出层。 学习算法步骤归纳如下：
w=net.IW{1} w= 0.4047 0.1757 0.3667 0.9412 0.3554 0.3198 0.9712 0.7039 0.5887 0.7521 0.5145 0.7255 0.2674 0.5668 0.6019 0.1219
1.2
1
0.8
0.6
0.4
0.2
0
-0.2 -0.2
^ ^ ^ ^ ^ ^ ^ ^
^
^
^
^
^
^
（3） 网络输入与权值调整 胜者为王竞争学习算法规定，获胜神经元输出为 1，其余输出为 0，即
0 oj = 1
^
j = j* j ≠ j*
只有获胜神经元才有权调整其权向量 W j* ，调整权值后向量为
^ ^ W (t + 1) = W^ (t ) + ∆W = W^ (t ) + a ( X − W j* j* j* j* j* ) ^ W j (t + 1) = W j (t ) j ≠ j*
^
^
^
^
(j=1,2,…,m)均与 X 进行相似性比较，将和 X 最相似的内星权向量判为竞争获胜神经元，其 权向量记为 W j* 。 测量相似性的方法是对 W j 和 X 计算欧式距离（或夹角余弦） 。
^ ^ ^ ^ X − W j* = min X − W j j∈{1,2,..., m}