ANN算法讲解

匹配结果考察Hamming距离
2012-11-2 22
2.竞争层
定义一个传输函数，来做一个递归竞争层所做的工作：
a=compet(n) 求出具有最大净输入神经元的下标（记作 i *）,并将其输 出设置为1，而其他输出为0。
1 即ai 0 i i* i i*
n
* i
ni , i, 且i* i, ni ni
*

若原型已知，原型向量存于w 矩
阵的每行中，C将权值向量与输入向
量最为接近的神经元的输入指定为1。 （设向量已规格化）
2012-11-2 23
2.1 竞争学习
若原型向量未知，则用学习规则来训练。
instar规则 kohonen规则
i
w(q ) i w(q 1) ai (q ) p (q ) i w(q 1) w(q ) i w(q 1) p (q ) i w(q 1) (1 ) i w(q 1) p (q ) w(q ) i w( q 1) i ii ii
带衰减Hebb 规则的问题： 设ai 0, 则wij ( q ) (1 ) wij ( q 1) wij 在每次ai 0时都在减少。 任何已学习的联想最终将丢失。
带衰减的Hebb规则要求刺激不断重复，否则联想将 会丢失。
2012-11-2
9
联想学习规则
无监督Hebb规则： Wq Wq 1 aq p
0


网络只对形状产生关联，不论是否闻到气味。 2) 当w b 0.5时，联想关系建立，此时p 1会产生响应a 1 ， 而不论p 是何值。
2012-11-2 4
0
1、无监督的Hebb规则
当几个事件同时发生时，人和动物倾向于将它们联 系起来。 Hebb认为，当香蕉气味的刺激与香蕉形状的刺激 同时产生时，网络加强它们之间的联系，以后当只有 香蕉气味刺激时，也能产生香蕉概念的响应。
当instar活跃 (ai 1)
i
只有 instar 神经元活跃时才允许权值衰减，这样权值的增加 仍被限制，但遗忘被减到最小； 且当输入向量是规格化时，权向量也是规格化的。
2012-11-2 12
Kohonen 规则
wenku.baidu.com
一种与instar规则相关的联想学习规则，
学习发生在神经元的下标i是集合x（q）的元素时：
1 p 1 1
1 3 4 1 1 1 1 1 1 1 1 a f (w p b ) 1 3 2 1 1 1 1 0.5 4 2 2 2 a (1) poslin ( w a (0)) poslin 0.5 1 2
2012-11-2 15
1. 第一层
p 网络要识别原型向量： 1 , , p Q
T 1 w T p1 1 取w , T T w pQ s
s Q ,
R 1 b ； R
2 i
2
2012-11-2
17
每次迭代，每个神经元的输出都会随着所有 其他神经元输出的和按比例下降（最小的为0）。 初始状态最大的神经元输出降得慢一些，最终该 神经元成为唯一具有正值输出的神经元，对应和 输入匹配的最好的原型向量。此时网络已达到稳 定状态。 胜者全得：只有一个神经元有非零输出，被叫 做胜者全得竞争。
则第一层的输出为：
T p1 p R 1 1 1 a w pb T pQ p R
内积大小表明原型向量与输入向量的接近程度。
2012-11-2 16
2. 第二层 a 0 a
2 2 1
a t 1 poslin w a t
i
w(q) i w(q 1) pq i w(q 1)
i X q
2012-11-2
13
竞争网络
2012-11-2
14
1.Hamming网络
Hamming 网络的目标是判定哪个原型向量最接近输入
向量。展示了一种用神经网络进行模式识别的技术。
第一层将输入向量与原型向量通过内积联系起来； 第二层采用竞争决定哪种原型向量最接近输入向量。
巴甫洛夫的实验： 喂食时摇铃训练狗对铃声的反应。
2012-11-2
2
一、简单的联想网络
p
w

n
b 0.5
a
1
a hard lim wp 0.5 1 有刺激 p 0 无刺激 有响应a 1 ， 有刺激p 1, 1 有响应 a 0 无响应 即wp 0.5 0, 从而w 0.5时，网络对刺激有响应.
3 3 poslin 0 0 1 2 2 2 a (2) poslin ( w a (1)) poslin 0.5
第一个神经元获胜，其代表的第一个标准模式（橘子）为
0.5 3 3 1 0 0
2012-11-2
18
例、Hamming网络解决苹果、橘子的分类问题。
1 1 1 苹果pa 1 ，橘子po 1, 求网络对椭圆形橘子po 1的响应 1 1 1
1 1
2012-11-2
1 1
1 3 p 3 1
19
2.递归层。
a (0) a
2 1
a (t 1) f
2
2
( w a (t )) 1 S 1
2
2
W
2
1
1
(0
，S为递归层神经元个数
ai , p j 设为1(最大化学习)，取极限得稳态权值： wij (1 ) wij ai p j , wij (1 ) wij , wij
2012-11-2

8
带衰减的Hebb规则能够保证已学习的联想不会成为认
为的噪声，任何小的随机增加将很快地衰减掉。
向量形式： wq i wq 1 ai (q)( p(q)i wq 1) i
i
wq i wq 1 ai (q)( p(q)i wq 1)
wq i wq 1 p (q ) i wq 1 1 i wq 1 p ( q )
2012-11-2
5
学习规则
无监督Hebb 规则按输入p j 和输出ai的乘积的比例增加权值wij： wij q wij q 1 ai q p j q 1,2, , Q 学习速度决定了联想关系建立前刺激和响应同时发生的次数。 向量形式：W q W q 1 a q p
T T
q
q
对所有的无监督规则，学习是由对一个按时间的输入序列 （训练序列）的响应决定的：p (1), p (2),..., p (Q) (使用记号p(q )代替p q是为了强调输入的时序性质。）
2012-11-2 6
Hebb规则的缺点：
1） 随着学习的继续，w将越来越大；
2）噪声积累，以至网络对任何刺激都产生 响应。
2 a1 (t ) ) 2 1 a2 (t ))
1 2 2 2 2 2 a (t 1) f ( w a (t )) f (
2 2 a1 (t ) a2 (t ) 2 f 2 a (t ) a 2 (t ) 1 2
2012-11-2 11
Instar规则
wij (q ) wij (q 1) ai (q ) p j (q ) ai (q ) wij (q 1)

为了在获得权值衰减的同时限制遗忘问题，加一个与ai (q)成正比的衰减项。
wij (q 1) ai (q )( p j (q ) wij (q 1))
2012-11-2
7
2. 带衰减的Hebb规则
W (q ) W (q 1) a (q ) p (q ) W (q 1)
T
(1 )W (q 1) a (q ) p (q )
T
其中为衰减速度， 1 0 ，防止权值无限地增加， 当趋近于0时，学习规则即为标准Hebb 规则， 当趋近于1时，学习只能记住当前模式，忘了前面的输入。
无条件刺激( p 0)：巴甫洛夫实验中的食物 条件刺激( p ）：巴甫洛夫实验中的铃声
2012-11-2 3
例：香蕉联想器 无条件刺激
（香蕉的形象）p
0
w 1
0

有条件刺激 （香蕉的气味）p
n
b 0.5
a香蕉？
w0
1
1 p 0
0
a hard lim w p wp b
2 2


1 2 W 1
1 i j 1 w 0 s 1 i j
2 ij
W 产生横向抑制，即每个神经元的输出都将对所有其他的 神经元产生一种抑制作用： 2 ai t a 2 t a t 1 poslin j j i
联想学习
2012-11-2
1
联想学习(Associative
learning)使网络对输入模式
学习其中的关联能力，执行模式的识别和回忆。
联想----网络输入与输出之间的任何联系，当模式A输 入到网络时（刺激），产生模式B的反应（响应）。
联想学习是接受有条件刺激和无条件刺激，从而训练网络， 使得网络在无条件刺激时产生联想，正确识别。
2012-11-2
20
向量中每个元素都减去另一元素比例相同的部分。从而较 大元素减去的量较小，较小元素减去的量较大，导致元素 的差别进一步扩大。最终初始值最大的元素保持为正，其 余变为零。 输出为正的神经元对应于按Hamming距离与输入模式最近
的标准模式。
2012-11-2
21
椭圆形橘子的网络响应
0 0


检测形状 不检测形状
1 p 0
检测气味 不检测气味
1 有响应（是香蕉） a 0 无响应
希望网络指明水果是香蕉的响应与香蕉形状关联，而不是气味。 设b 0.5, 取w 1 b
0
1) 当w 0 b ，则a hard lim p 0.5 ，
带衰减的Hebb规则： W ( q ) (1 )W (q 1) a (q ) p (q )
T
T
q
其中为衰减速度， 1 0 ，防止权值无限地增加。
改进：instar 规则
2012-11-2
10
二.简单的识别网络
instar 神经元 （一个向量输入，一个 标量输出），实现模式 识别。
当1 w p b 0， 1 w p 即
T T 1
w p cos b 时，神经元活跃。
若令b 1 w p 及 p
1
w 则神经元仅当p 1 w时才是活跃的。
从而有了一个只能识别模式1 w的神经元。
若想让instar 能响应更多的接近1 w（很小）的模式， 则可适当增加b。
1.前馈层。
T po 1 W T p a
1 1
1 1
1 1 R 3 , b R 3 1
R p R
T po 1 1 1 1 1 1 a f (W p b ) W p b T p a