自组织神经网络及其运用

此例用到 CGF(computer generated foeces)作训练对手，而其被 FALCON 驱动。
F1c1 代表当前状态， F1c 2 为行为区域， F1c 3 为奖励区
图 6 FALCON 网络结构
4.2.2 基本参数介绍
6
（1）输入向量
S ( s1 , s2 , , sn ) 表示状态向量， si [0,1] 表第
1.引言
人工神经网络的构成与工作行为是基于大脑生物神经系统中神经细胞对刺激做出的反应，在自 组织神经网络中这种反应体现为一种抑制现象。这种抑制现象表示为一个神经细胞兴奋后会对周围 其他神经细胞产生影响，此影响会使神经细胞们产生竞争，它们争相对刺激做出反应以求获胜[1]。 自组织竞争型神经网络的学习规则是无导师制，其具有自组织的功能，可通过自身的学习、训 练来对输入模式进行分类。 在这一点上， 另一种神经网络 Hopfield 网络的模拟人脑的功能与其相似。 而与 BP 网络相比，这种自组织、自适应的学习机制拓宽了人工神经网络在模式识别、优化分类上的 应用。而自组织神经网络的这种处理分类的理念也可以用在其他神经网络中，因为其核心的竞争层 也是其他神经网络中出现。 本文中会详细阐述自组织神经网络在煤矿安全预警系统、 无人驾驶战斗机、 移动电话通信网 （参 考文献的一片专利）和在遥感上的应用。
*
*W
W1* W2
4
*
*
W1
W2
*W *W
5
3
W3*
*W
5
*W
4
4
（b）学习阶段
* *
W1 W2
* *
*W
3
W1
W2
*W *W
5
3
*W
5
*W
4
*W
4
3.2.2
KohBiblioteka Baidunen 学习算法[3]
（1）初始化 给定学习率初值 (0) ； 建立初始优胜邻域 Nj*(0)值；
ˆ 对输出层各权向量赋小随机数并进行归一化处理，得到 W j ，j=1,2,…m。
ˆ W
j*
ˆ W ˆ (t ) (t )(X
j*
)
其中 (t ) (0,1] 为学习率。当 j 不等于 j*时，对应神经元的权值得不到调整，因为被抑制了， 即为上式中第二个公式。 应注意，归一化的权向量经过调整后便不再是单位向量，需要重新归一化。(3)到(1)继续训练， 直到学习率为 0。

T
[9]
ˆ X X X
x1

n
... x
2 j
xn
j 1

n
j 1
x2 j
3
（2）寻找获胜神经元 当有输入模式 X 进入时，我们将 X 与竞争层所有神经元对应的内星权向量进行相似性比 较，相似性最大的内星权向量即为竞争获胜神经元，并记为W j* 。 比较方法可采用欧氏距离法（也可余弦法），欧式距离法得公式为：
T
X X
i i



T


T
类 2


T



T
( a ) 基 于 欧 式 距 离 的 相 似 性 测 量 (b)基于余弦法的相似性测量 (b )基 于 余 弦 法 的 相 似 性 测 量 (a)基于欧式距离的相似性测量
图 3 欧式距离法
图 4 基于余弦法的相似性测量
（b）余弦法 两向量越接近，其夹角越小，余弦值越大。若对同一类中个模式向量间的夹角进行规 定，不允许超过某一角度 A，则 A 就是聚类准则。 此法适用模式向量长度相同和模式特征只与向量方向相关的相似性测量 。 2.2.2 学习原理步骤 网络的输出神经元之间相互竞争以求被激活，结果在同一时刻只有一个神经元被激活。被激活 的神经元就是“获胜神经元”，而其他神经元就被抑制，故为 Winner Take All。 此过程可分为 3 步骤： （1）向量归一化 首先将当前输入模式 X 和竞争层中各神经元对应的内星权向量 Wj 全部进行归一化处理 (j=1,2,…,m)，归一化式为：
（3）网络输出与权值调整
此算法输出规定获胜神经元输出为 1，其余输出为 0，即：
1 j j* oj (t 1) * 0 j j
只有获胜神经元才有权调整其权向量，调整后的权向量为：
W
W
j*
j
ˆ (t 1) W
ˆ (t 1) W
j*
j
(t ) W
(t )
j*
2.自组织的工作模式和学习规则
2.1 自组织网络的工作模式 最简单的自组织网络有两层——输入层和输出层，如图 1 所示。令最终分类有 n 个，则代 表每一个输入模式最后将会归为这 n 个分类之一 。
[2]
2
图 1 自组织神经网络结构模型
[2]
图 2 工作模式
图 1 中的 i 和 j 代表输入模式（表示刺激），输出层也叫竞争层。自组织神经网络具有揭 示样本聚类结构的功能，它能够逼近 n 维分类指标到类型空间的非线性关系，从而达到分类的 目的 。 2.2 自组织网络的学习机制
3.自组织特征映射神经网络
3.1 自组织特征映射(Self-Organizing Feature Map)神经网络 1981 年芬兰 Helsink 大学的 T.Kohonen 教授提出一种自组织特征映射网，简称 SOM 网，又称 Kohonen 网。 Kohonen 认为一个神经网络接收外界输入模式时， 不同的对应区域会有不同的相应特征， 这一过程是自动完成的。自组织特征就是根据这一看法提出，其特点相似与人脑的自组织特征[3]。 3.2 SOM 网的拓扑结构 SOM 网共有两层，输入层模拟接受外界信息的视网膜，输出层模拟做出响应的大脑皮层（也 是竞争层）。 3.2.1 SOM 网的运行原理 （a）训练阶段
5
[2]
表 1 矿井危险等级二进制表示
4.1.2
网络模型的训练和检验 选择采深、煤层瓦斯含量、工作面日产量、煤层厚度和层间距等 5 个指标，包括预测模型 中输入节点单元为 8 个。
表 2 自组织神经网络的学习样本和预测样本
实际测试中，训练样本取自淮北煤矿有限公司，其设计年产 60 万吨，可采煤层 X1 和 X2，双采 集 5 个工作面，各独立面均采用独立通风系统，选取 1-12 个训练样本，如表 2 示。设计系统平均误 差，0.001，动量系数（分类阈值）为 0.80。训练完毕后，系统网络建立了对学习样本的记忆和联 想功能，建立了输入与输出的“函数”关系。当输入待测样本时，网络通过“联想”，确定所属类 别，最终输入层兴奋的神经元代表的安全类型就是样本所属的危险等级。 检验时，选择 3 个未经训 练的样本，可发现自组织神经网络的输入样本与实际结果相吻合，证明自组织神经网络的性能良好， 准确度很高。 4.2 自组织神经网络用于空中无人战斗机中的学习[4] 接下来本文介绍一种名为 TD-FALCON 的自组织神经网络学习机制用来 1 对 1 空中战斗机的作战 问题。ART 是一种自组织神经网络结构，属无导师的学习网络。此网络基于当神经网络和环境有相 互作用时，对环境的编码会自发地在神经网络中产生，则认为神经网络在进行自组织活动这一理念。 4.2.1 基础 FALCON 网络介绍
2.2.1 相似性测量（分类依据）
[8]
(a)欧式测量法 两模式向量越接近，其欧氏距离越小。若规定同一类中各向量之间的最大欧氏距离为 D， 则 D 就称为此类的聚类依据。
X X i ( X X i )T ( X X i )
类1
类 1
cos
类1
类 2



类2
类2

X X
类 1
N j* (t )
内的所有节点调整权值：
p
w ij ( t 1 ) w ij ( t ) ( t , N )[ x i w ij ( t )]
， i=1,2,…n，j Nj*(t)

（6）结束检查 判断学习率是否衰减到 0 或预定的某一小数。
4. 自组织神经网络的运用实例
4.1 在煤矿安全监测上的应用 安全性一直是在煤矿开挖、生产中要考虑的重大问题。在对煤矿进行安全监测时，首先要对其 中的各项安全指标进行监测。 4.1.1 指标检测 需要监测的部分主要是对地下煤与瓦斯突出等，尤其在生产过程中煤层所在的地质和开采 条件是最重要的考虑因素。煤层地质条件主要有：煤层赋存深度、煤层厚度、层间距、煤层瓦 斯含量和地质构造等。其中煤与瓦斯突出是研究重点，因为其是引发矿难频率最高的因素，其 产生和发展规律至今还没有被人们完全掌握。故从生产方面来说，研究安全指标的诱发因素， 把它们按危险程度进行分类预测，并在安全管理上区别对待是非常有必要且具有实际意义的。 因此在该预警系统模型中，将矿井危险等级预测作为输出，三种等级用二进制表示，如表 1 所 示，竞争层是一个二维平面阵列 M 3 3 9 个神经元组成。
ˆ X Wˆ
j
*
^
^

j
1
min
, 2 ,...,
m


ˆ X

Wˆ
j

余弦法公式为：
ˆ W ˆ X
j*

ˆ W ˆ (X
j*
ˆ W ˆ )T (X
j*
)
ˆ) ˆ TX ˆ 2W ˆ T* X ˆ W ˆ T* W ˆ T* 2(1 W T* X X j j j j
i 个感官；
A (a1 , a2 , , am )
R (r, r )

表示行为向量，
ai [0,1] 表可能行为 i ；

表示奖励向量， r [0,1] 是奖励信号值， r 1 r ；
Self-organizing neural network and its application
Abstract:Artificial neural network is a hot spot in the field of artificial intelligence since the last end of century,due to its on intelligence robot,pattern recognition and automatic control of outstanding achievements in the nearly decade research,give its heat rising.As a artificial neural network,self-organizing neural network has the competition mechanism and unsupervised learning rule,therefore,it has extremely high accuracy in classification application.SOM network(also kohonen network)is a kind of more accurate classification of the self-organizing network,and the and the other from the use of the network also in the positive research and usefulness.
（2）接受输入
ˆ p ，p 的取值范围为{1,2,…,P}。 从训练集中随机选取一个输入模式并进行归一化处理，得到 X
（3）寻找获胜节点 计算
ˆ X
p
与
ˆ W j
的点积，j=1,2,…m，找出最大的获胜节点 j*；如若输入模式未归一化，可计算
欧氏距离，寻找距离最小的。 （4）定义优胜区域 N j* (t ) 以 j*为中心确定 t 时刻的权值调整域，一般初始邻域 N j* (0) 较大，训练过程中 N j* (t ) 随训练时间 逐渐收缩。 （5）调整权值 对优胜邻域
上海大学 2014～2015 学年秋季学期研究生课程考试
课程名称：
现代电路技术
课程编号：
07SAY9006
题目:
自组织神经网络及其运用
研究生姓名:
陈军丽
学 号:
15721072
评语:
成 绩:
任课教师:
评阅日期:
1
自组织神经网络及其运用
15721072，陈军丽
2016.2.14
摘要：人工神经网络是上世纪末以来人工智能领域掀起的研究热点，由于其在智能机器人、模式识别、自动控制上 的出色成果使其在近十年研究热度持续攀升。而作为一种人工神经网络，自组织神经网络有着竞争机制机制，且是 无监督的学习规则，在分类应用上具有极高的准确性。SOM 网是一种分类较为准确的自组织网络，而其他自组织网的 使用也在积极的研究与使用中。