自组织神经网络_SOM

描述
I = [l*, a*, b*, μ2 ,σ2 ,T8]
基于SOM神经网络的皮革聚类
2. SOM 神经网络的设计 网络结构: 6输入1维线阵输出。 聚类时每批100张皮，平均每件皮衣需要5～ 6张皮，因此将输出层设置20个神经元。每 个神经元代表一类外观效果相似的皮料，如 果聚为一类的皮料不够做一件皮衣，可以和 相邻类归并使用。
SOM网在皮革配皮中的应用
要生产出优质皮衣，必须保证每件皮衣所用皮料在 颜色和纹理方面的相似性。在生产中，通常由有经验的 工人根据皮料颜色、纹理的相近程度进行分类。这道称 为“配皮”的工序，因光照条件、工人经验不同以及情 绪、体力等因素变化的影响，质量难于保证。
计算机皮革检测与分类系统可对成批皮革的颜色及 纹理进行在线检测、特征值提取及快速分类，从而代替 了传统的手工操作，取得了良好的效果。
系统硬件组成
标准灯箱 皮革
CCD 彩色
摄像 机
解码器（ PAL)
图像 采集卡
及 帧存 储器
计算机 486/66
D65光源
彩色 监视器
打印机
皮料传送带
基于SOM神经网络的皮革聚类
1. 颜色纹理特征提取 颜色参数: CIE1996均匀颜色空间值 l*, a*, b* 纹理参数: 梯度均值μ2, 梯度标差 σ2 , 及梯度 墒T8。 皮革外观由６维输入矢量
序
i = 1 ,2 ,… n j N j* ( t)
流
N
h ( t ) < h min
程
Y 结束
功能分析
(1)保序映射——将输入空间的样本模式类有序地映射在输出层上。 例1：动物属性特征映射。
动物 属性
鸽子 母鸡
鸭
鹅
猫头 鹰
隼
鹰 狐狸 狗
狼
猫
虎
狮
马 斑马 牛
小
1111110000100000
中
0000001111000000
将不相似的分离开。
4.1.1 基本概念
• 相似性测量＿欧式距离法
X X i (X X i)T(X X i)
类1
类2
• •
•
• •
• T
(a)基于欧式距离的相似性测量
• •
(b)基于
类2 • •
•
的相似性测量
4.1.1 基本概念
• 相似性测量＿余弦法
cos XT Xi
X Xi
类1
•• ••
类2
•
W ˆj*TX ˆj { m 1,2,..m a.},(W x ˆjTX ˆ)
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 j j* oj(t1)0 j j*
W j* (t 1 ) W ˆj* (t) W j* W ˆj* (t)(t)(X ˆ W ˆj* )
学习率h 赋初始值。
(2)接受输入 从训练集中随机选取一个输入模式并进行
归一化处理，得到 Xˆ p ，p{1,2,…,P}。
(3)寻找获胜节点 计算 Xˆ p与 Wˆ j 的点积，j=1,2,…m， 从中选出点积最大的获胜节点j*。
(4)定义优胜邻域Nj* (t) 以j*为中心确定t 时刻的权值调整域 ，一般初始邻域Nj* (0)较大，训练过程中Nj* (t)随训练时间 逐渐收缩。
对于某一图形或某一频率的特定兴奋过程，神经 元的有序排列以及对外界信息的连续映象是自组织特 征映射网中竞争机制的生物学基础。
SOM网的拓扑结构
SOM网共有两层，输入层模拟感知外界输入信 息的视网膜，输出层模拟做出响应的大脑皮层。
…… (a)一维线阵
…… (b)二维平面线阵
SOM网的权值调整域
SOM网的获胜神经元对其邻近神经元的 影响是由近及远，由兴奋逐渐转变为抑制， 因此其学习算法中不仅获胜神经元本身要调 整权向量，它周围的神经元在其影响下也要 程度不同地调整权向量。这种调整可用三种 函数表示：
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时 ，竞争层的所有神经元对应的内星权向量均与其进行 相似性比较，并将最相似的内星权向量判为竞争获胜 神经元。
欲使两单位向量最相似，须使其点积最大。即：
W ˆj*TX ˆj { m 1,2,..m a.},(W x ˆjTX ˆ)
W j(t1)W ˆ j(t)
jj*
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
竞争学习的几何意义
☻*
*
*
*
竞争学习的几何意义
* Wˆ1
┆
** Wˆ j*
W (t) h(t)[ Xˆ p (t) Wˆ j* (t)]
*
Wˆ j* (t 1)
Xˆ p(t)
Wˆ j
Wˆ m
*
…
*
竞争学习游戏
Kohonen认为：一个神经网络接受外界输 入模式时，将会分为不同的对应区域，各区域 对输入模式具有不同的响应特征，而且这个过 程是自动完成的。自组织特征映射正是根据这 一看法提出来的，其特点与人脑的自组织特性 相类似。
SOM网的生物学基础
生物学研究的事实表明，在人脑的感觉通道上， 神经元的组织原理是有序排列。因此当人脑通过感官 接受外界的特定时空信息时，大脑皮层的特定区域兴 奋，而且类似的外界信息在对应区域是连续映象的。
••
T
••
•
(b)基于余弦法的相似性测量
4.1.2 竞争学习原理
竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被 激活，结果在每一时刻只有一个输出神经元 被激活。这个被激活的神经元称为竞争获胜 神经元，而其它神经元的状态被抑制，故称
为Winner Take All。
自组织网络的自组织功能是通过竞争 学习（competitive learning）实现的。
4.1竞争学习的概念与原理
4.1.1 基本概念
分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的 模式类中。
聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而
竞争学习规则——Winner-Take-All
1.向量归一化 首先将当前输入模式向量
X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m)
Xˆ
X X
x1
n
x2j
j1
...
T
xn
n
j1
x2j
向量归一化之前
*
*
* *
向量归一化之后
* *
*
* *
竞争学习原理
0
t0
t
0
t
(6)结束检查 学习率是否衰减到零或某个预定的 正小数？
Kohonen
初 始 化、 归一 化权 向量 W： Wˆ j ， j = 1 , 2 , … m ；
建 立 初 始 优 胜 邻 域 N j* ( 0 ) 学 习 率 h (t)赋 初 始 值
输入归一化样本
Xˆ p ， p { 1 , 2 , … , P }
例2：SOM网用于字符排序。
ABCDEFGHIGKLMNOPQRSTUVWXYZ123456
x0 1 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 x1 0 0 0 0 0 1 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 x2 0 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6 7 8 3 3 3 3 6 6 6 6 6 6 6 6 6 6 x3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 1 2 3 4 2 2 2 2 2 2 x4 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6
第四章 自组织神经网络
4.1竞争学习的概念与原理 4.2自组织特征映射神经网络
第四章 自组织神经网络
竞争层 输入层
自组织神经网络的典型结构
第四章 自组织神经网络
自组织学习(self-organized learning) ： 通过自动寻找样本中的内在规律和本
质属性，自组织、自适应地改变网络参数 与结构。
竞争学习规则——Winner-Take-All
X ˆ W ˆj* j m 1 ,2 ,.m . .i X ,ˆn W ˆj
X ˆW ˆj* (X ˆW ˆj*)T(X ˆW ˆj*)
X ˆTX ˆ2W ˆT j*X ˆW ˆT j*W ˆT j* 2(1WTj*X ˆ )
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：
W 1* W 3*
* W4 W2 *
* W1
*
W2
* W3
*W5 *W5
* W4
w1 w2 w3 w4 w5
SOM网的运行原理
工作阶段
*
* W1
W2
*W5
* W3
* W4
*
* W1
W2
*W5
* W3
* W4
SOM网的学习算法
Kohonen 学习算法
(1)初始化 对输出层各权向量赋小随机数并进行归一化 处理，得到 Wˆ j ，j=1,2,…m；建立初始优胜邻域Nj*(0)；
3.网络参数设计
N j* (t) 优胜邻域在训练开始时覆盖整个输出线阵，以后训练 次数每增加Δt =tm/P，Nj*(t)邻域两端各收缩一个神经元直至邻域 内只剩下获胜神经元。
对η(t)采用了以下模拟退火函数：
h (t)
η0＝0.95
tm＝5000
tp＝1500
t
tp
tm
基于SOM神经网络的皮革聚类
学
计
算
点
积
Wˆ
T j
Xˆ
p
，
j= 1 ,2 ,…
m
习
选 出 点 积 最 大 的 获 胜 节 点 j*
算
定 义 优 胜 邻 域 N j* ( t)
法
对 优 胜 邻 域 N j* ( t) 内 节 点 调 整 权 值 ：
程
w ij ( t 1 ) w ij ( t ) h ( t , N )[ x i p w ij ( t )]
大
0000000000011111
2只 腿 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0
4只 腿 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
毛
0000000111111111
蹄
0000000000000111
鬃毛
0000000000000110
羽毛
1111111000000000
竞争层设两个权向量，随机初始化为单位向量： W1(0)1010o W2(0)01118o0
4.2自组织特征映射神经网络 （Self-Organizing feature Map）
1981年芬兰Helsink大学的T.Kohonen教授 提出一种自组织特征映射网，简称SOM网，又称 Kohonen网。
SOM网的学习算法
Kohonen学习算法
Nj*(0) Nj*(1) Nj*(2)
Nj*(0) Nj*(1) Nj*(2)
SOM网的学习算法
Kohonen学习算法
(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值
：
h w i( jt 1 ) w i( jt)( t,N )x [ ip w i( jt)]
猎
0000111101111000
跑
0000000011011110
飞
1001111000000000
泳
0011000000000000
功能分析
鸭马
牛
斑马
虎
鹅
狼百度文库
猫隼
头
狮
鸽
鹰
狗
鹰
母鸡
狐
猫
功能分析
(2)数据压缩 —— 将高维空间的样本在保持拓扑结构不变的条 件下投影到低维空间。
(3)特征抽取 —— 高维空间的向量经过特征抽取后可以在低维 特征空间更加清晰地表达。
将一维样本空间的12个样本分为3类
竞争学习游戏
o1
o1
o1
w1
w2
w3
x
训练样本集
例4.1 用竞争学习算法将下列各模式分为2类：
X1
0.8 0.6
X2
00.1.9783468
X3
00..770077
X4
00..3943297
X5
0.6 0.8
解：为作图方便，将上述模式转换成极坐标形式 ：
X113.68o9X2180oX314.45X4170oX515.31o3
i=1,2,…n jNj*(t) 式中，h(t, N) 是训练时间t 和邻域内第j 个神经元与获 胜神经元 j* 之间的拓扑距离N 的函数，该函数一般
有以下规律： t h,N h
SOM网的学习算法
Kohonen学习算法
(5)调整权值
h(t,N)h(t)eN
h(t)
h(t)
h(t)
h(0)
h(0)
h(0)
SOM网的权值调整域
以获胜神经元为中心设定一个邻域半径，该 半径圈定的范围称为优胜邻域。在SOM网学习算法 中，优胜邻域内的所有神经元均按其离开获胜神 经元的距离远近不同程度地调整权值。
优胜邻域开始定得很大，但其大小随着训练 次数的增加不断收缩，最终收缩到半径为零。
SOM网的运行原理
训练阶段
4.皮革纹理分类结果
频度
⑴ ⑶ ⑷ ⑸ ⑹ ⑺ ⑻ ⑼ ⑽ ⑾ ⑿ ⒀ ⒁ ⒂ ⒃ ⒄ ⒅ ⒆ ⒇ 节点