自组织竞争网络
自组织竞争神经网络
第23页
3.搜索阶段：
由Reset信号置获胜阶段无效开始，网络进入搜索 阶段。此时R为全0，G1=1 ，在C层输出端又得到了此 次输入模式X。所以，网络又进入识别及比较阶段，得 到新获胜节点（以前获胜节点不参加竞争）。这么重 复直至搜索到某一个获胜节点K，它与输入向量X充分 匹配到达满足要求为止。模式X编制到R层K节点所连 模式类别中，即按一定方法修改K节点自下而上和自上 而下权向量，使网络以后再碰到X或与X相近模式时， R层K节点能很快取得竞争胜利。若搜索了全部R层输 出节点而没有发觉有与X充分靠近模式，则增设一个R 层节点以表示X或与X相近模式。
⑥ 警戒线检测。设向量X中不为0个数用||X||表示，可
有 n || X || xi
n
||C'|| w' j *iXi i1
(5.3.1)
i 1
n
||C'|| w' j *iXi
(5.3.2)
i1
若||C||/||X||>成立，则接收j*为获胜节点，转⑦。
不然发Reset信号，置j*为0（不允许其再参加竞争），
信号1：输入X第i个分量Xi。 信号2：R层第j个单元自上而下返回信号Rj。 信号3：G1控制信号。 设C层第i个单元输出为Ci。 Ci依据“2/3规则”产 生，即Ci含有三个信号中多数相同值。 网络开始运行时， G1 =1，R层反馈信号为0。
自组织竞争神经网络
第18页
2.R 层结构：
R层功效结构相当于一个前向竞争网络，假设输出 层有m个节点，m类输入模式。输出层节点能动态增加， 以满足设置新模式类需要。设由C层自下而上连接到R 层第j个节点权向量用Wj={w1j,w2j,..,wnj} 表示。C层输出向量C沿Wj向前馈送，经过竞争在R层 输出端产生获胜节点，指示此次输入向量类别。
无线自组网竞争类MAC协议分析及研究
无线自组网竞争类MAC协议分析及研究无线自组网是一种没有任何中心实体的，由一组带有无线通信收发装置的移动终端节点组成的自治性网络。
依靠节点间的相互协作可在任何时刻、任何地点以及各种移动、复杂多变的无线环境中自行成网，并借助多跳转发技术来弥补无线设备的有限传输距离，从而拓宽网络的传输范围，为用户提供各种服务、传输各种业务。
在现代化战场上，如数字化与自动化战场、各种军事车辆、士兵之间的协同通信、发生地震等自然灾害后、搜救与营救以及移动办公、虚拟教室、传感器网络等通信领域应用非常广泛。
其中MAC协议是无线自组网协议的基础，控制着节点对无线媒体的占用，对自组织网的整体性能起着决定性的作用。
从自组织网出现至今，MAC协议设计一直是研究的重点。
目前，移动自组织网采用的信道访问控制协议大致包括3类：竞争协议、分配协议、竞争协议和分配协议的组合协议(混合类协议)。
这3种协议的区别在于各自的信道接入策略不同。
由于MAC协议的研究主要集中在基于竞争的机制，本文着重针对竞争类协议中几种较常用的典型MAC协议进行对比分析，并在OPNET 仿真建模软件中创建出各协议的状态模型，这对无线自组织网络仿真研究及选择高效适用的MAC技术方案具有实际参考价值。
1 竞争协议的概念及特点竞争协议是使用直接竞争来决定信道访问权，并且通过随机重传来解决碰撞问题。
ALOHA协议和载波侦听多址访问CSMA 协议就是竞争协议的典型例子。
除了时隙化的ALOHA协议，大多数竞争协议都使用异步通信模式。
这种协议在低传输负荷下运行良好，如碰撞次数少，信道利用率高、分组传输时延小。
随着传输负荷的增大，往往使协议性能下降、碰撞次数增多。
在传输负荷很重的时候，竞争协议可能随着信道利用率下降而变得不稳定。
这就可能导致分组传输时延呈指数形式增大，以及网络服务的崩溃。
这就对MAC协议的设计提出了较高的要求。
当前无线自组网中MAC协议的设计面临如下几个问题。
1．1 隐藏终端和暴露终端无线自组网的无线信道是一个共享的广播信道，但它不是一跳共享的，而是多跳的共享信道。
自组织竞争网络在测井资料岩性识别中的应用
—
５—
ｌ
２ Βιβλιοθήκη ０ ４ ３ ０ ４ ６ ０ ４ ６ Ｏ ５ ６ ０ ３ ｌ 泥 ． ０６ ．３ ５ ．８ ０ ． １ １ ．４ ９
０ １４ ．４ ５ ０． ７１ ０． ６３ ０． ９８ｌ ０． ８ ４ １ ４ ９ ４ ３ ０６
岩
３
４
０ ５５ ０ ６０ ０ ６４ ０ ６ ９ ０ ７５ 砂 ． ３２ ．４８ ． １５ ．２ ９ ． ｌ４
０ ５４ ．５ ２ ０． ５ ８ ６ ２ ０． ２３ Ｏ． ７ｌ ０． ０ ６ ４ ６ ５ ７ ２５
岩
对 网络进 行初 始 化 ，论文 用到 函数 ｉｉｃｎ ｎ ｔｏ 。接 着 就可 以对 网络 进行 训练 ，当达 到最 大训 练次 数 时 ，训练停 止 。此 时用 仿真 函数 ｓｍ 检验 网络 对 岩性 分类模 式 的分 类 。为 了检验 网络 的分类 性 能 ｉ 采用 训练 样本 以外 的数据对 网络进 行测 试 。利用 自组织 竞争 神经 网络 进行 岩性 识 别 ，不必 对输 入 的测井 数据 进行 统 计 ，只要 将 网
ｌ ｈ ｌ ｇ ｆ ｅ ｅ ｅ ｒ ｈｔ ｅ ｔｙ ｎ ｗ ｔ ｏ ｓ ｉ ｏ ｏ ｙ ｏ ｔ ｓ ａ ｃ ｉ ｎ ｉ ｅ ｍｅ ｄ ． ｔ ｈ ｒ ｏｄ ｆ ｈ
Ｋｅ ｗ ｏ ｄ ： ｅｆｏ ｇａ ｉ ｉｇ ｃ ｙ ｒ ｓ Ｓ ｌ－ ｒ ｎ ｚｎ ｏｍｐｅｉｉｅｎ ｔ ｏ ｋ Ｌｏ ｔ ｉ ｏ ｏ ｙ ｉｅ ｔｆｃ ｔｏ Ｍ ＡＴＬＡＢ ｔｔｖ ｅｗ ｒ ； ｇｄａａｌ ｌ ｇ ｄ ｎ ｉ ａｉｎ； ｈ ｔ ｉ
ｅ ｔｂ ｉ ｅｆ ｒ ａ ｉｉｇ ｃ ｍｐ ｔ ｉ ｅ ｎ ｔ ｏ ｋ ｍｏ ｅ ａ ｅ ｎ ＭＡＴ ｓ ｌ ｈ ｓ ｌ ｏ ｇ ｎ ｚｎ ｏ ｅｉ ｖ ｅ ｒ ｄ ｌｂ ｓ ｄ ｏ ａ ｓ － ｔ ｗ ＬＡＢ． ｙ ｃ ｍｐ ｒ ｇ ｔ ｅ ｔ ｔｕ ｔｒ ｓ ｏ ａ ｉ ｃ ｍｐ ｔ ｉｅ Ｂ ｏ ａ ｉ ｈ ｗｏ ｓｒ ｃｕ ｅ ｆｂ ｓｃ ｏ ｅｉ ｖ ｎ ｔ ｎ ｔ ｏ ｋ ａ ｄ ｓ ｌ ｏ ｇ ｎ ｚｎ ｏ ｅｉ ｖ ｅ ｗｏ ｋ ｔ ｃ ｉｖ ｉ ｏ ｏ ｙ ｃａ ｓ ｃ ｔ ｎＥｘ ｅｉ ｎ ａ ｅ ｕｔ ｈ ｗ ｈ ｔｔ ｅ ｕ ｅ ｏ ｅ ｒ ｎ ｅｆ ｒ ａ ｉ ｉｇ ｃ ｍｐ ｔ ｉ ｅ ｎ ｔ ｒ ｏ ａ ｈ ｅ ｅ １ ｈ ｌ ｇ ｌｓ ｉ ａｉ ． ｐ ｒ ｗ － ｔ ｔ ｉ ｆ ｏ ｍｅ ｔ ｌｒ ｓ ｌ ｓ ｏ ｔ ａ ｈ ｓ ｆ ｓ
自组织竞争神经网络SOM
本章主要介绍自组织竞争型神经网络的结构 学习算法;及相关理论
1
第四章自组织竞争型神经网络
§4 1 前言 §4 2 竞争学习的概念和原理 §4 3自组织特征映射神经网络 §4 4自组织特征映射神经网络的设计 §4 5 对偶传播神经网络 §4 6小结
2
§4 1 前言
在生物神经系统中;存在着一种侧抑制现象;即一 个神经细胞兴奋以后;会对周围其他神经细胞产生 抑制作用 这种抑制作用会使神经细胞之间出现竞 争;其结果是某些获胜;而另一些则失败 表现形式 是获胜神经细胞兴奋;失败神经细胞抑制
在网络结构上;它一般是由输入层和竞争层构成的 两层网络 两层之间各神经元实现双向连接;而且网 络没有隐含层 有时竞争层各神经元之间还存在横 向连接
4
在学习算法上;它模拟生物神经元之间的兴奋 协调 与抑制 竞争作用的信息处理的动力学原理来指导 网络的学习与工作;而不像大多数神经网络那样是 以网络的误差或能量函数作为算法的准则
X1
0.8 0.6
X2
00.1.9783468
X3
00..770077
X4
00..3943297
X5
0.6 0.8
解：为作图方便;将上述模式转换成极坐标形式 ：
X113.68o9X2180oX314.4 5X4170oX515.31o3
竞争层设两个权向量;随机初始化为单位向量：
W1(0)1010o W2(0)01118o0
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
自组织竞争神经网络
dj =
n
∑ (x
i =1
i
− wi j ) 2
∆wi j = η h( j , j*)( xi − wi j )
j − j*2 h ( j , j *) = exp − σ2
自组织竞争神经网络算法能够进行有效的自适应分类，但它仍存在一些问题： 学习速度的选择使其不得不在学习速度和最终权值向量的稳定性之间进行折中。 有时有一个神经元的初始权值向量离输入向量太远以至于它从未在竞争中获胜， 因 此也从未得到学习，这将形成毫无用处的“死”神经元。
网络结构
%1.ÎÊÌâÌá³ö X=[0 1;0 1]; clusters=8; points=10; std_dev=0.05; P=nngenc(X,clusters,points,std_dev); plot(P(1,:),P(2,:),'+r'); title('ÊäÈëÏòÁ¿'); xlabel('P(1)'); ylabel('P(2)'); %2.ÍøÂçÉè¼Æ net=newc([0 1;0 1],8,.1) w=net.IW{1}; plot(P(1,:),P(2,:),'+r'); hold on; circle=plot(w(:,1),w(:,2),'ob') %3.ÍøÂçѵÁ· net.trainParam.epochs=7; net=train(net,P) w=net.IW{1}; delete(circle); plot(w(:,1),w(:,2),'ob'); %4.ÍøÂç²âÊÔ p=[0.5;0.2]; a=sim(net,p)
SOM神经网络原理
1 . SOM是由输入层和竞争层组成的单层神经网络，输入层是一维的 神经元，有n个节点。竞争层是二维的神经元，按二维的形式排列成 节点矩阵，有M=m^2个节点。
视频名称:SOM神经网络理论及其matlab实现 会员：Hgsz2003
2013-10-29 10 我 版权申明：视频归原创作者跟Matlab中文论坛所有，可以在Matlab中文论坛下载或者观看，请勿转载！ ！
视频名称:SOM神经网络理论及其matlab实现 会员：Hgsz2003
SOM是由芬兰赫尔辛基大学神经网络专家Kohonen教授在1981年提 出的。这种网络模拟大脑神经系统自组织特征映射的功能，是一种竞 争型网络，并在学习中能无导师进行自组织学习。
2013-10-29 我 版权申明：视频归原创作者跟Matlab中文论坛所有，可以在Matlab中文论坛下载或者观看，请勿转载！ ！5
在网络结构上，自组织竞争网络一般是有输入和竞争层构成的单层网 络，网络没有隐藏层，输入和竞争层之间的神经元实现双向连接，同 时竞争层各神经元之间还存在横向连接。
视频名称:SOM神经网络理论及其matlab实现 会员：Hgsz2003
2013-10-29 我 版权申明：视频归原创作者跟Matlab中文论坛所有，可以在Matlab中文论坛下载或者观看，请勿转载！ ！4
Matlab&Simulink为美国mathworks公司注册商标！版权归mathworks公司所有！
SOM算法是一种无导师的聚类法，它能将任意维输入模式在输出层映 射成一维或者二维离散图形，并保持其拓扑结构不变，即在无导师的 情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出 来，此外，网络通过对输入模式的反复学习，可以使连接权值空间分 布密度与输入模式的概率分布趋于一致，即连接权向量空间分布能反 映输入模式的统计特征。
自组织神经网络
❖
PR
- Rx2 矩阵确定输入范围
❖
Di
- 第i层神经元个数,缺省为5× 8
❖ TFCN
- 拓扑函数,缺省为 'hextop'.
❖ DFCN
- 距离函数,缺省为 'linkdist'.
❖
OLR
- 排序阶段学习率,缺省为0.9.
❖ OSTEPS - 排序阶段最大学习步骤,缺省为1000.
❖
TLR
- 调整阶段学习率,缺省为0.02;
例：LVQ网络的设计
❖ 设定输入样本和期望输出 ❖ 构建并设置网络参数 ❖ 根据训练样本对网络进行训练 ❖ 用训练样本测试网络 ❖ 用新样本测试网络 ❖ 讨论比例的影响
小结
❖ 何谓自组织：没有答案的学习
❖ 自组织竞争神经网络的基本概念
神经元：输入与权值的负距离加上阈值 网络结构：竞争网络 学习方法：Kohonen和阈值学习规则 用途：聚类
❖
TND
- 调整阶段最大学习步骤,缺省为1
例八：SOFM网络的构建和训练
❖ 构建网络 ❖ 设置训练样本 待聚类样本 ❖ 观察训练前网络的状态 ❖ 根据样本进行训练
排序阶段 粗调 调整阶段 细调
❖ 观察训练后网络的状态
例九：一维SOFM网络设计
❖ 输入为二维向量,神经元分布为一维 ❖ 将二维空间的特征映射到一维拓扑结构 ❖ 步骤
* IW 1 ,1 ( q 1 )
若分类不正确：
修正第 i个神经元的权值更远离
该样本
i i － ( p ( q ) i ) * IW 1,1 ( q )
* IW 1 ,1 ( q 1 )
* IW 1 ,1 ( q 1 )
竞争型神经网络与自组织神经网络
竞争型神经网络是基于无监督学习的神经网络的一种重要类型，作为基本的网络形式，构成了其他一些具有组织能力的网络，如学习向量量化网络、自组织映射网络、自适应共振理论网络等。
与其它类型的神经网络和学习规则相比，竞争型神经网络具有结构简单、学习算法简便、运算速度快等特点。
竞争型神经网络模拟生物神经网络系统依靠神经元之间的兴奋、协调与抑制、竞争的方式进行信息处理。
一个竞争神经网络可以解释为：在这个神经网络中，当一个神经元兴奋后，会通过它的分支对其他神经元产生抑制，从而使神经元之间出现竞争。
当多个神经元受到抑制，兴奋最强的神经细胞“战胜”了其它神经元的抑制作用脱颖而出，成为竞争的胜利者，这时兴奋最强的神经元的净输入被设定为 1，所有其他的神经元的净输入被设定为 0，也就是所谓的“成者为王，败者为寇”。
一般说来，竞争神经网络包含两类状态变量：短期记忆变元（STM）和长期记忆变元（LTM）。
STM 描述了快速变化的神经元动力学行为，而 LTM 描述了无监督的神经细胞突触的缓慢行为。
因为人类的记忆有长期记忆（LTM）和短期记忆（STM）之分，因此包含长时和短时记忆的竞争神经网络在理论研究和工程应用中受到广泛关注。
竞争性神经网络模型图自组织特征映射神经网络（简称SOM），是由输入层和输出层组成的单层神经网络，主要用于对输入向量进行区域分类。
SOM是一种无导师聚类，能将一维输入模式在输出层映射成二维离散图形，此图形分布在网格中，网格大小由m*n 表示，并保持其拓扑结构不变，从而使有相似特征的神经元彼此靠近，不同特征的神经元彼此远离，最终实现区分识别样品的目的。
SOM 通过学习输入向量的分布情况和拓扑结构，靠多个神经元的协同作用来完成模式分类。
当神经网络接受外界输入模式时，神经网络就会将其分布在不同的对应区域，并且记忆各区域对输入模式的不同响应特征，使各神经元形成有序的空间分布。
当输入不同的样品光谱时，网络中的神经元便随机兴奋，经过SOM 训练后神经元在输出层有序排列，作用相近的神经元相互靠近，作用不同的神经元相互远离。
自组织网络SON
自组织网络SON所谓自组织网络（SON：Self-Organized Network）是由一组带有无线收发装置的移动终端节点组成的无中心网络，是一种不需要依靠现有固定通信网络基础设施的、能够迅速展开使用的网络体系，是没有任何中心实体、自组织、自愈的网络；各个网络节点相互协作、通过无线链路进行通信、交换信息，实现信息和服务的共享；网络中两个无法直接通信的节点可以借助于其他节点进行分组转发，形成多跳的通信模式。
自组织网络具有一系列的自主智能功能，比如自我配置、自我规划、自我优化、自我修复等等，可以自适应网络的变化，动态调整，使网络达到最佳。
在网络拓扑变动和链路断开的情况下，SON技术的自动愈合和自动组织特性增强了移动Adhoc网络的健壮性。
SON也能够保证优化带宽使用效率。
SON多跳路由技术扩展了Adhoc和网络的覆盖范围。
基于IP层的SON 技术，支持多种无线和有线接口。
SON将智能和自动化引入到移动通信网络中，使得运营商在运营复杂网络的同时能够以最低、最优化的资源给终端用户提供最优的网络性能和最优的业务体验。
SON避免了大量重复性的人工劳动，简化了流程，能够显著提高运营商的运营效率，提升整个网络的业务体验。
自组织网络中，每个移动终端具备路由器和主机两种功能：作为主机，终端需要运行面向用户的应用程序；作为路由器，终端需要运行相应的路由协议，根据路由策略参与分组转发和路由维护工作。
由于终端的无线传输范围有限，两个无法直接通信的终端节点往往会通过多个中间节点的转发来实现通信。
自组织网络同时具各移动通信网络和计算机网络的特点，可以看作是一种特殊的移动计算机网络。
自组织网络具有如下显著特点：（1）网络拓扑结构动态变化自组网中，用户终端的移动具有很大的随机性，加上无线发射装置发送功率的变化、无线信道间的互相干扰以及地形等综合因素的影响，网络的拓扑结构可能随时发生变化，而且这种变化的方式和速度难以预测。
（2）采用分布式控制方式在自组网中，不设专门的控制中心，把网络的控制功能分散配置到各节点，网络的建立和调整是通过各节点的有机配合实现的。
自组织网络中的自适应动态路由算法研究
自组织网络中的自适应动态路由算法研究自组织网络是由一组自主节点组成的网络系统，它们在互联网上没有中央控制器。
这些节点通过无线信号相互连接，构成了一个分布式的网络结构。
由于它的灵活性和可靠性，成为了现代网络的一个关键技术。
而自适应动态路由算法则是自组织网络中保障数据传输的一项核心技术，本文主要探讨自组织网络中的自适应动态路由算法的研究现状。
一、自组织网络简介自组织网络是一种分布式的网络系统，它的一个主要特点是没有中央控制器。
节点之间通过无线信号建立连接，并可以根据需要自动组建或解散网络。
自组织网络可以同时使用多种通信技术，例如移动节点和无线传感器网络。
这种网络结构能够提供高可靠性和灵活性，因为它们具有去中心化、分布式、无线连接、自治、可扩展和灵活性等特征。
目前，自组织网络已经在各个领域得到应用，例如车联网、无人机网络、智能家居等等。
二、动态路由算法概述动态路由算法是指在网络中最佳寻路算法，它利用不同节点之间的链路状况动态地选择最佳路径。
自适应动态路由算法就是在网络拓扑时发生变化时，能够自动确定新的路由表。
自适应动态路由算法的本质是通过路由选择器，根据网络拓扑变化和链路状况来动态调整节点之间的路由路径，以确保数据传输的高效性和可靠性。
三、自适应动态路由算法的分类根据网络的特点和适用场景不同，自适应动态路由算法可以分为以下几种类型。
1.状态-响应路由算法。
状态-响应路由算法是根据每个节点对当前链路状况进行监测和评估的。
当链路质量发生变化时，路由就会根据新状况进行优化。
每个节点将实时更新邻居之间的距离，而这个距离代表了从一个点到另一个点的链路状况。
例如，OSPF和BGP路由协议就是典型的状态-响应路由算法。
2.分布式虚拟路径路由算法。
分布式虚拟路径路由算法是指网络中的节点会形成一个虚拟网格，每个节点在路由时就按照一定的分布式算法来进行路由，例如Ad-Hoc On-Demand Distance Vector Protocol（AODV）和Destination-Sequenced Distance Vector（DSDV）。
自组织神经网络
自组织神经网络通常包含大量的神经元和参数，这使得训练过程变得非常耗时。传统的 优化算法往往需要长时间的迭代才能找到最优解，这限制了自组织神经网络的应用范围。
泛化能力不足
总结词
自组织神经网络的泛化能力不足是另一个挑 战，这主要是由于其容易过拟合训练数据。
详细描述
由于自组织神经网络具有强大的拟合能力， 它很容易过拟合训练数据，导致对测试数据 的泛化能力下降。这限制了自组织神经网络 在实际问题中的应用效果。
缺乏有效的学习规则
总结词
目前自组织神经网络缺乏有效的学习规则， 这限制了其自适应能力和进化速度。
详细描述
自组织神经网络的学习规则决定了其结构和 参数的调整方式，但目前大多数学习规则的 效果并不理想。如何设计更有效的学习规则 ，以提高自组织神经网络的自适应能力和进
化速度，是当前研究的重点之一。
未来发展方向与趋势
K-均值聚类算法
总结词
K-均值聚类算法是一种无监督的机器学 习算法，用于将输入数据划分为K个聚类 。
VS
详细描述
K-均值聚类算法通过迭代的方式将输入数 据划分为K个聚类，每个聚类由其质心表 示。算法通过计算每个数据点到各个质心 的距离，将数据点划分到最近的质心所在 的聚类中，并更新质心位置。K-均值聚类 算法具有简单、高效的特点，广泛应用于 数据挖掘、图像分割和机器视觉等领域。
自适应共振理论模型
总结词
自适应共振理论模型是一种基于自适应滤波原理的神经网络模型，能够自适应地学习和识别输入数据 中的模式。
详细描述
自适应共振理论模型通过调整神经元之间的连接权重，使得神经网络能够自适应地跟踪和识别输入数 据中的模式。该模型具有较强的鲁棒性和适应性，能够处理噪声和异常值，广泛应用于信号处理、语 音识别和自然语言处理等领域。
[医学]自组织神经网络(SOM)方法及其应用
![[医学]自组织神经网络(SOM)方法及其应用](https://img.taocdn.com/s3/m/94ede3855022aaea998f0fb3.png)
4.1竞争学习的概念与原理
4.1.1 基本概念
分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的 模式类中去。
聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而
将不相似的分离开。
4.1.1 基本概念
• 相似性测量＿欧式距离法
X X i (X X i)T(X X i)
w1
训练 次数
W1
W2
1 18.43 -180
2 -30.8 -180
3 7 -180
4 -32 -180
5 11 -180
6 24 -180
7 24 -130
8 34 -130
9 34 -100
10 44 -100
11 40.5 -100
12 40.5 -90
3 7 -180
4 -32 -180
5 11 -180
6 24 -180
7 24 -130
8 34 -130
9 34 -100
10 44 -100
11 40.5 -100
12 40.5 -90
13 43 -90
14 43 -81
15 47.5 -81
6 24 -180
7 24 -130
8 34 -130
9 34 -100
10 44 -100
类1
类2
类1
类2
T
T
(a)基于欧式距离的相似性测量 (b)基于余弦法的相似性测量
4.1.1 基本概念
• 相似性测量＿余弦法
cos
自组织神经网络
自组织网络在竞争层神经元之间的连 线，它们是模拟生物神经网络层内神经元 相互抑制现象的权值，这类抑制性权值满 足一定的分布关系，如距离近的抑制强， 距离远的抑制弱。
这种权值（或说侧抑制关系）一般是 固定的，训练过程中不需要调整，在各类 自组织网络拓朴图中一般予以省略。（不 省略时，也只看成抑制关系的表示，不作 为网络权来训练）。
最强的抑制关系是竞争获胜者“惟我独兴”，不允许其它神经元兴 奋，这种抑制方式也称为胜者为王。
4.1.1.4 向量归一化 不同的向量有长短和方向区别，向量归一化的目的是将向量变成方向
不变长度为1的单位向量。单位向量进行比较时，只需比较向量的夹角。
X向量的归一化： Xˆ X [ x1
X
n
x2j
j
x2 xn ]T
当 j j* 时，对应神经无的权值得不到调整，其实质是“胜者”对它们 进行了强测抑制，不允许它们兴奋。
应注意，归一化后的权向量经过调整后得到的新向量不再是单位向 量，需要重新归一化。步骤（3）完成后回到步骤（1）继续训练，直到 学习率 衰减到零。
4.2自组织特征映射（SOM）神经网络
4.2.1SOM网络的生物学基础
若25个神经元排列成5×5二维格栅拓扑结构,第13神经的指定优胜域 半径的区域内神经元为:
d=1
d=2
（7）令t=t+1,返回步骤（2）
（8）结束检查 判断η(t)是否衰减到某预定精度或判断t=T.
Kohonen学习算 法程序流程
4.2.4 SOM网络的功能 SOM网络的功能特点之一是：保序映射，即能将输入 空间的样本模式类有序地映射在输出层上。
若输入模式未归一化，可计算欧式距离，找出距离最小的为获胜节点。
（4）调整权值 以j*为中心，对优胜域Nj*(t)内的所有节点调整权值：
人工神经网络自组织竞争人工神经网络
(8．1)
由(8．1)式可见，内星神经元联接强度旳变化Δw1j是与 输出成正比旳。假如内星输出a被某一外部方式维护高 值时，那么经过不断反复地学习，权值将能够逐渐趋近 于输入矢量pj旳值，并趋使Δw1j逐渐降低，直至最终到 达w1j＝pj，从而使内星权矢量学习了输入矢量P，到达 了用内星来辨认一种矢量旳目旳。另一方面，假如内星 输出保持为低值时，网络权矢量被学习旳可能性较小，
人工神经网络自组织 竞争人工神经网络
在实际旳神经网络中，例如人旳视网膜中，存在 着一种“侧克制”现象，即一种神经细胞兴奋后， 经过它旳分支会对周围其他神经细胞产生克制。
自组织竞争人工神经网络正是基于上述生物构造 和现象形成旳。它能够对输入模式进行自组织 训练和判断，并将其最终分为不同旳类型。
与BP网络相比，这种自组织自适应旳学习能力进 一步拓宽了人工神经网络在模式辨认、分类方 面旳应用，另一方面，竞争学习网络旳关键— —竞争层，又是许多种其他神经网络模型旳主 要构成部分。
思索：下面有两元素旳输入矢量以及与它们有关 旳四元素目旳矢量，试设计一种外星网络实既 有效旳矢量旳取得，外星没有偏差。
P＝[1 0]； T＝[0.1826 0.6325；
0.3651 0.3162； 0.5477 0.3162； 0.7303 0.6325]；
8．1．3科荷伦(Kohonen)学习规则 科荷伦学习规则是由内星规则发展而来旳。 科荷伦规则为：
一层具有s个神经元旳内星，能够用相同旳方式进行训 练，权值修正公式为：
MATLAB神经网络工具箱中内星学习规则旳执行是用函 数learnis.m来完毕上述权矢量旳修正过程： dW＝1earnis(W，P，A，lr)；
移动自组织网络
混合协议 ZRP, LANMAR
总结
3
自组织网络概述
自组织网络是由一群兼具终端及路由功能的设 备通过无线链路形成的无中心、多跳、临时性 自制系统。
多跳：节点发射功率有限，远距离通信需要依靠其 他节点的中继，从而每个节点既是终端又是路由器
基站示例
Wired network
B1
B2
自组织网络示例
3 1
2 4
基站+移动节点 基站和移动节点之间无线链路 基站之间的有线链路；
A,C之间进行通信 B作为中继 协议需求
仅有移动节点 主机和路由器 多跳
6
三类不同的无线自组织网络
移动自组织网络 (MANET)
传输
7
56
7
t t t t t
17
ALOHA
时隙ALOHA协议
把信道分成若干等长时隙.如果用户有数据要发送，则必须 在时隙的起始处发送. 提高了信道利用率，但增加了时间开销 35% 信道利用率
冲突和转发
会话1
t
T0 到达
到达
冲突和转发
会话 2
t
到达T0到达 Nhomakorabea18
竞争性协议
载波侦听多路访问协议 (CSMA)
先应式协议 DSR和优化 AODV
反应式协议 OLSR DSDV
混合协议 ZRP, LANMAR
总结
43
移动性特征
移动模式可能很难 (NP Hard!)
坐在机场候机室的人们 纽约出租车 正在玩耍的小孩 军事活动 个人区域网络
33
能量控制MAC协议PCM
自组织竞争神经网络及其在社会经济区划中的应用
类 法 中建立 距离 矩 阵或模 糊 聚类 法 中建 立 模 糊相 似 矩 阵） 存 在 对 样 本 信 息 的取 舍 差 异 ， 明不 同的 数 据 ， 说
标 定方 法利 用 和提取 样本 信 息有 所不 同 ，这将 会 影 响到 最 后 的分 类结 果 ｕ ．另 外 在 确 定 最 佳 分 类结 果 时 ， 需 要人 为地 给 出分类 距离 值 或形成 截 集 的值 ，而该 值 是否 合理 则 需 要进 一 步 对 实际 问 题进 行 分 析判 断 ．因 此传 统 的分 类方 法在 解决 具体 问题 时 还需要 不 断给 出人 为判 断 ， 具有 较 强 的主观 性． 仍 近年 来 ，随着信 息技 术 、 算机 技术 的 飞速发 展 ， 工 神经 网络 （ 计 人 ＡＮＮ） 作为 模 式识 别 的 经典 方 法 已被 广泛 地应 用 于各个 学 科．借 助 ＡＮＮ模 型 去解决 复 杂 的分 类 问题 已成 为 趋 势 ，其 中具有 聚类 分 析 功 能 的人 工神 经 网络—— 自组织 竞 争神 经 网络 （ ｅｆ ｒ ａ ｉ ｔ ｎＮＮｓ 能很 好 地解决 分 类过 程 中主 观性 过强 的 问题 ． ｓ ｌ ｏ ｇ ｎｚ ｉ － ａｏ ） 由于它对 实 际问题 的结 构 没有要 求 ，不必对 变 量之 间 的关 系做 出任何 假设 ，因此 只 需利 用 在 学 习 阶段所 获 得 的知识 对输 入 因子进 行处 理 ， 可得 到结 果．这 种处 理 方 式 能 够更好 的 符合 客 观 实 际 ，因而 得 到 的结 果 就 将 具有 更 大 的可靠 性口 ．基 于此 ， 文 将 自组织 竞 争神 经 网 络方 法应 用 于 区域 的社 会 经 济 分 区 ，以期 为 科 ］ 本 学地进 行 社会 经济 区划 提供 一种 新 的思路 和方 法 ．
kohonen神经网络
11
(4)定义优胜邻域Nj*(t) 以j*为中心确定t 时刻的权值调整域， 一般初始邻域Nj*(0)较大，训练过程中Nj*(t)随训练时间逐 渐收缩。
12
(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值：
Kohonen神经网络
组长：陈永兴 组员：李文采
刘娇
陈爽
kohonen背景
kohonen神经网 络概念与原理
kohonen神经网 络应用
2
背景
在生物神经系统中，存在着一种侧抑制现象，即 一个神经细胞兴奋以后，会对周围其他神经细胞 产生抑制作用。这种抑制作用会使神经细胞之间 出现竞争，其结果是某些获胜，而另一些则失败。 表现形式是获胜神经细胞兴奋，失败神经细胞抑 制。 kohonen神经网络就是模拟上述生物神经系统功 能的人工神经网络。
ˆTX ˆ p ，j=1,2,…m 计算点积 W j
Kohonen 学 习 算 法 程 序 流 程
16
选出点积最大的获胜节点 j* 定义优胜邻域 N j*(t) 对优胜邻域 N j*(t)内节点调整权值：
wij (t 1) wij (t ) (t , N )[ xi p wij (t )]
i=1,2, …n N jNj*( t)
(t ) <
min
Y 结束
kohonen神经网络应用
4
在学习算法上，它模拟生物神经元之间的兴奋、 协调与抑制、竞争作用的信息处理的动力学原理 来指导网络的学习与工作，而不像大多数神经网 络那样是以网络的误差或能量函数作为算法的准 则。 竞争型神经网络构成的基本思想是网络的竞争层 各神经元竞争对输入模式响应的机会，最后仅有 一个神经元成为竞争的胜者。这一获胜神经元则 表示对输入模式的分类。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.1 竞争学习的概念与原理
5.1.1 基本概念
1．模式、分类、聚类与相似性
模式：是对某些感兴趣的客体的定量描述或结构描
述，模式类是具有某些共同特征的模式的集合。
分类（有导师指导） ：是在类别知识等导师信号的
指导下，将待识别的输入模式分配到各自的模式类 中去。
聚类（无导师指导）：将相似的模式样本划归一类，
(2)余弦法 计算两个模式向量夹角的余弦，两个模式向量越接近，其夹 角越小，余弦越大。对模式向量间的夹角作出规定，就为一 种聚类判据。适合模式特征只与向量方向相关的相似性测量。
n维空间欧式距离公式
d=sqrt( ∑(xi1-xi2)2 )
i=1,2...n
xi1表示第一个点的第i维坐标,
xi2表示第二个点的第i维坐标。
4．向量归一化 向量归一化的目的是将向量变成方向不变长度为1 的单位向量。比较时，只需比较向量的夹角。归一 化后的向量用 ^标记。
4.1.2 竞争学习原理 1.竞争学习规则 典型竞争学习规则称为胜者为王。算法分3个步骤。
(1)向量归一化 对输入模式向量X和竞争层中各神经元对应的内 星权向量wj进行归一化处理。 (2)寻找获胜神经元 X输入给网络时，竞争层的所有神经元对应的内 星权向量Wj均与X进行相似性比较, 将与X最相似的 内星权向量判为竞争获胜神经元，其权向量记为Wj*。 测量相似性的方法是对Wj和X计算欧式距离(或夹角 余弦)
训练前先对竞争层权向量随机初始化。初始状态，单位圆上 的“*”是随机分布的。前已证明，两个向量的点积越大，两 者越近似，因此以点积最大获胜的神经元对应的权向量应最接 近当前输入模式。从图，如果当前输入模式用“o”表示，单位 圆上各“*”点代表的权向量依次同“o”点代表的输入向量比 较
距离，结果是离得最近的那个*获胜。
调整后，获胜*点的位置进一步移向o点及其所在 的簇。显然，当下次出现与o点相像的同簇内的输 入模式时，上次获胜的*点更容易获胜。
依此方式经过充分训练后，单位圆上的4个*点会 逐渐移入各输入模式的簇中心，从而使竞争层每个 神经元的权向量成为一类输入模式的聚类中心。当 向网络输入一个模式时，竞争层中哪个神经元获胜 使输出为1，当前输入模式就归为哪类。
3．侧抑制与竞争
在人的视网膜中，存在着一种“侧抑制” 现象，即一个神经细胞兴奋后，通过它的分 支会对周围其他神经细胞产生抑制。这种侧 抑制使神经细胞之间出现竞争，虽然开始阶 段各个神经细胞都处于程度不同的兴奋状态， 由于侧抑制的作用，各细胞之间相互竞争的 最终结果是：兴奋作用最强的神经细胞所产 生的抑制作用战胜了它周围所有其他细胞的 抑制作用而“赢”了，其周围的其他神经细 胞则全“输”了。（胜者为王）
而将不相似的分离开，其结果实现了模式样本的类 内相似性和类间分离性。对一组输入模式，只能根 据它们之间的相似程度分为若干类，因此相似性是 输入模式的聚类依据。
2．相似性测量
欧式距离法和余弦法。 (1)欧式距离法
欧式距离，即两个模式向量的欧式距离越小，两个向量越接 近，因此认为这两个模式越相似，当两个模式完全相同时其 欧式距离为零。对各个模式向量间的欧式距离作出规定，则 最大欧式距离T就成为一种聚类判据。同类模式向量的距离 小于T，异类模式向量的距离大于T。
权向量经调整后不再是单位向量，因此需要对调整后 的向量重新归一化。步骤(3)完成后回到步骤(1)继续训 练，直到学习率α衰减到0或规定的值。
2．竞争学习原理
设输入模式为二维向量，归一化后 其矢端可以看成分布在单位圆上的点， 用“o”表示。竞争层4个神经元对应的 4个内星权向量归一化后在单位圆上用 *表示。输入模式点分布大体上聚集为 4簇，可分4类。而训练样本中无分类 指导信息，网络如何自动发现样本空 间的类别划分?
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
自组织神经网络的无导师学习方式类似于大脑中 生物神经网络的学习，其最重要的特点是通过自动 寻找样本中的内在规律和本质属性，自组织、自适 应地改变网络参数与结构。
自组织网络结构上属于层次型网络，有多种类型， 其共同特点是都具有竞争层。输入层负责接受外界 信息并将输入模式向竞争层传递，起“观察”作用， 竞争层负责对该模式进行“分析比较”，找出规律 以正确归类。
=0.65
W32=0.1+0.5(0.2-0.1)
=0.15
4.2 自组织特征映射神经网络(SOFM)
1981年Kohonen提出，又称Kohonen网。他认为， 一个神经网络接受外界输入模式时，将会分为不同的 对应区域，各区域对输入模式具有不同的响应特征， 且该过程自动完成。特点与人脑的自组织特性相类似。
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
算法规定，获胜神经元输出为1，其余输出为0。
即只有获胜神经元才有权调整其权向量wj，调整后权向 量为
α∈(0，1]为学习率，其值随着学习的进展而减小。可 以看出，当j≠j*时，权值得不到调整，实质是“胜者” 对它们进行了强侧抑制，不允许兴奋。
竞争学习算法示例
0
0
1
0
1
2
j
4
0.3 0.6
0.2
0.7
0.7 0.1
0.3
0.6
0.6
0.2
j
WX
1 0.36+0.06=0.42
2 0.12+0.14=0.26
3 0.42+0.02=0.44
4 0.18+0.12=0.30
第3个神经元获胜
设a=0.5
w31=0.7+0.5(0.6-0.7)
4.2.1 SOFM生物学基础
生物视网膜中有许多特定的细胞对特定的图形比较 敏感，当视网膜中有若干个接收单元同时受特定模式 刺激时，就使大脑皮层中的特定神经元开始兴奋，输 入模式接近，对应的兴奋神经元也相近。大脑皮层中 神经元的这种响应特点是通过后天的学习自组织形成 的。
4.2.2 SOFM网的拓扑结构与权值调整域
1．拓扑结构
SOFM网共有两层，输入层各神经元通过权向量将外界信息 汇集到输出层的各神经元。输入层形式与BP相同，神经元数 与样本维数相等。输出层也是竞争层，神经元的排列有多种形 式，如一维线阵、二维平面阵和三维栅格阵，常见的是前两种 类型。