SOM神经网络

SOM神经网络

第4章 SOM自组织特征映射神经网络

生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。

据此芬兰Helsinki大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map，SOM），又称Kohonen网络[1-5]。Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区

域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。

4.1 竞争学习算法基础[6]

4.1.1 自组织神经网络结构

1．定义

自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。

2．结构

层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。

…

竞争层

…

图4-1 自组织神经网络结构

·输入层：接受外界信息，将输入模式向竞争

层传递，起“观察”作用。

竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。

4.1.2 自组织神经网络的原理

1．分类与输入模式的相似性

分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。

2．相似性测量

神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。 （1）欧式距离法

设i

X X ,为两向量，其间的欧式距离

T

i i i X X X X X X d ))((--=-=

（4-1）

d

越小，X 与i

X 越接近，

两者越相似，当0=d 时，i

X X =；以T d =（常数）为判据，可对输入向量模式进行聚类分析：

由于31

23

12

,,d d d 均小于T ，46

56

45

,,d d d 均小于T ,而)6,5,4(1=>i T d i

, )6,5,4(2=>i T d i , )6,5,4(3=>i T d i ，故将输入模式6

54321,,,,,X X X X X X 分为类1和类2两大类，如图4-2所示。 （2）余弦法

设i

X X ,为两向量，其间的夹角余弦

i

T

X X XX =

ϕcos

（4-2）

ϕ

越小，X 与i X 越接近，两者越相似；当ϕ＝0时，

ϕcos ＝1，

i

X X =；同样以0

ϕϕ=为判据可进行聚类分析。 X 1

X 2

X 6

类1

类2

X 3

X 5

X 4

图4-2 基于欧式距离法的模式分类

3．竞争学习原理

竞争学习规则的生理学基础是神经细胞的侧抑制现象：当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。最强的抑制作用是竞争获胜的“唯我独兴”，这种做法称为“胜者为王”（Winner-Take-All ，WTA ）。竞争学习规则就是从神经细胞的侧抑制现象获得的。它的学习步骤为：

（1）向量归一化

对自组织网络中的当前输入模式向量X 、竞争层中各神经元对应的内星权向量j

w (m j ,,2,1Λ=)，全

部进行归一化处理，如图4-3所示，得到X ˆ和j

W ˆ：

X

X X

=ˆ,

j

j j W W W

=ˆ

（4-3）

j

W 1j

W ij

X 1

X i

X W nj

k

j

y …

…

图4-3 向量归一化

（2）寻找获胜神经元

将X ˆ与竞争层所有神经元对应的内星权向量),,2,1(ˆm j W

j

Λ=进行相似性比较。最相似的神经元获胜，权向量为*

ˆj W

： {}j

n j j W

X W X ˆˆmin

}

,,2,1{*-=

-∈Λ)

) T j j T j T T j j j W W X W X X W X W X W X ******ˆˆˆˆ2ˆˆ)ˆ)(ˆ(ˆˆ+-=--=-⇒)ˆˆ1(2*T j

X W -=

)ˆˆ(max ˆˆ*T j j

T j

X W X W =⇒

（4-4）

（3）网络输出与权调整

按WTA 学习法则，获胜神经元输出为“1”，其余为0。即：

⎪⎩⎪⎨

⎧≠==+*

*0

1

)1(j j j j t y j

（4-5）

只有获胜神经元才有权调整其权向量*

j W 。其权向

量学习调整如下：

⎪⎩⎪⎨

⎧≠=+-+=∆+=+*)

(ˆ)1()

ˆˆ()(ˆ)(ˆ)1(*****j j t W t W W X t W W t W t W j j j j j j j α

（4-6）

1

0≤<α为学习率，α一般随着学习的进展而减小，

即调整的程度越来越小，趋于聚类中心。 （4）重新归一化处理

归一化后的权向量经过调整后，得到的新向量