四种无监督学习定律(主要讲前两种)

过 M T。这里仅考察前向的情况。
二极矢量
X
提供给神经元系统。有若干 X
i，X
越
i
接近 X ，解码精度越高。
2019/6/20
9
Heb相关解码
矢量X i通过滤波器M时，同步阈值产生输 出双极矢量Y，Y与Yi接近到什么程度？ 我们可对信噪分解
m
XiM
X
i
X
T i
Yi
X
i
X
T j
min k
xxT mk mkT 2xmkT
mj
2 2xmTj
min k
mk 2 2xmkT
（174－177）
2019/6/20
26
竞争作为相关检测器
利用等范数特性并进一步简化可得：
xmTj

max k
xmkT
（179）
可看出当且仅当输入信号模式 x 与m最j 大相关
中对先前知识 mij 0 的指数权 et 。
2019/6/20
4
近期的影响与遗忘
实际上遗忘定律提供的最简单的局部非 监督学习定律为：
mij mij 说明了两个关键特征：
（134）
1 仅依赖于局部信息，即现在的突触强
度 mij t 。
2 呈指数律达到平衡，可实时操作。
2019/6/20
5
渐进相关编码
突触矩阵M可用双极相关矩阵
X
T K
YK
表示
M

X
T K
YK
(135)
X和Y：双极信号 S x 和S y 。 si，s j = 1，-1 两种极端情况：
1、Si S j 1 mij t 1 mij 0 1 et
mij t 1t
2、
（181）
突触矢量 m j倾向于等于区域Dj 的质心，
至少也是平均意义上的质心。具体的细
节见第六章。
结论：平均突触矢量可以指数规律迅速 收敛到质心。应用此特性可以把训练样 本只通过一次或少数的几次即可。
2019/6/20
28
竞争协方差估计
质心估计提供未知概率密度函数的一阶估计，而局部的 协方差估计提供它的二阶描述。

相同的比特数-不同的比特数
n H Ai , Aj H Ai Aj
n 2H Ai Aj
（154）
H表示汉明距离：
n
H Ai Aj
aik

a
k j
k
2019/6/20
12
Heb相关解码
• 若两个二值矢量Ai 和 Aj靠近 ，相同的比特
竞争学习规律扩展到渐进估计条件协方差矩阵 K j 。
K j

E

x xj
T
x xj
D
j

（189）
x j Dj xp(x Dj )dx E X X Dj
这里
x
j表示 D
的质心。每个确定类
j
D
j都有一个质心。
2019/6/20
29
竞争协方差估计
t 0
Si

s

S
j

s

e
st
ds
(133)
2019/源自文库/20
2
1、信号的Heb学习
近期的影响与遗忘 渐进相关编码 Heb相关解码
2019/6/20
3
近期的影响与遗忘
Heb学习遵循的是指数加权平均的样本模
式。式中的遗忘项为-mij 。
上述遗忘项产生了积分方程中先前突触 的指数系数。说明学习的同时也在遗忘， 而且是呈指数衰减。 在式（132）中的遗忘项 mij 产生了（133）
S j y j IDj x
（168）
这样如果样本x来自于区域 Dj ，则第j个竞争
元获胜，其它神经元失败。
S j xmTj f j IDj x
（169）
2019/6/20
22
竞争作为指示器
S j xmTj f j IDj x
上式是 FY 的神经元激励。使用的是随机线性竞
信号，就产生了 X i1 ：
XiT nXi1 cij X j1 X Xi1 ji
2019/6/20
14
Heb相关解码
Heb编码步骤（例证）： 一个三步极限环 A1 A2 A3 A1
位矢量： A1 1 0 1 0 A2 1 1 0 0 A3 1 0 0 1
2019/6/20
7
Heb相关解码
考虑m个二极矢量联想对 Xi,Yi 的二极相关编码。
表维示 二Y极ni维X空二i 间极空间
中的1一,1个n点，
中的一个1,点1。p
表示p
二极联想对 Ai , Bi 对应于二值矢量联对 Xi,Yi 。
这里Ai 表示n维布尔空间0,1n 中的一个点，Bi 代
时，第j个竞争元才竞争获胜。
利用余弦定律： XmTj X mj cos x, mj
得到度量竞争学习的几何解释：第j个神经元当 且仅当输入模式更平行于突触矢量时才获胜。
2019/6/20
27
渐进的质心估计
简化的竞争学习定律：
mij IDj x x mj nj
数大于不同的比特数，那么cij 0。极端情
况下cij n，
。
• H Ai , Aj n / 2时，Yj Yi ，校正系数将度量上
含糊不清的矢量丢弃掉，不参与求和。
• Ai 与 Aj 相差较远，cij 0 。极端情况下cij n 则 cijYj nYj nYi ，cij 0 。
，而Heb学
因此两种学习方法的区别在于它们如何遗 忘而不是如何学习。
2019/6/20
18
2、竞争学习
两种情况下都有当第j个竞争神经元获胜时
，
突S触j 1以指数率mi迅j 速编码信号 。与HebS突i 触
不同的是，竞争突触当后突触神经元失败时，
并不遗忘，即
。因S j 此 （0 165）就简化为不
将位矢量转换成二极矢量
2019/6/20
15
Heb相关解码
X1 1 1 1 1 X2 1 1 1 1 X3 1 1 1 1
产生TAM矩阵
2019/6/20
T

X1T
X2

X
T 2
X3

X
T 3
X1
1 1 1 1 1 1 1 1 1 1 1 1
于 Y j 。把 Yi 或其它靠近的矢量Y通 过 MT ，校正性质依然成立。
用神经元网络从有代表性的训练样本中
估计连续函数f时，有一个连续的假设。
2019/6/20
11
Heb相关解码
假定异联想样本 Xi ,Yi 从连续函数f上取样，那么输入
的微小变化必然引起输出的微小变化。
cij

Xi
X
T j
误差估计理论的一个重要定理：
E

y E y
x
y E y
x
T

E

y

f
x
y

f
xT

（190）
其中f x为Borel测度随机矢量函数。
2019/6/20
30
竞争协方差估计
每一步迭代中估计未知的质心 x j 作为当前突触 矢量 m j 。这样K j 就成为一个误差条件协方差矩 阵。对于获胜突触矢量有下列随机微分方程算
2019/6/20
24
竞争作为相关检测器
度量指示函数：
Sj
yj

1
if
0 if
x mj
2
min k
x mk
2
x mj
2
min k
x mk
2
（171）
于是竞争学习就简化为信号相关检测。 那么如何将度量竞争学习简化为相关检测？ 设在每个时刻的突触矢量具有相等的正的有限 的范数值：
四种无监督学习定律（主要讲前两种）
信号的Heb学习 竞争学习 微分Heb学习 微分竞争学习
2019/6/20
1
1、信号的Heb学习
通过求解Heb学习法则的公式
mij mij t Si xi t S j yj t
(132)
可获得如下积分方程
mij t mij 0 et


1
1
1
1


1
1
1
1



1
1
1
1
1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1
3 1 1 1


1
1
1
3
争 是学f习竞j 和争简F神Y 单经的元加向模第型j个。神X经与元m发j是出随的机阻行性矢反量馈，。
p
f j
skj Sk yk
k 1
（170）
2019/6/20
23
竞争作为指示器
其中 f j是阻性反馈值，它等于突触加权 信号的和式。式（170）中 S j 为二值阈值 化函数，因此该式可简化为：当第j个神 经元获胜时 f j s jj ，如果第k个神经元 获胜，则 f j skj 。 竞争神经元激励自 己（或邻近区域），同时抑制其它（或 较远的区域）。
SiS j

1 mij
t
1t

实际中必须使用一个对角衰减记忆指数矩阵 W 来补偿固有的信息指数衰减。
2019/6/20
6
渐进相关编码
m
X TWY
wk
X
T k
Yk
k 1
（142）
X和Y表示二极信号矢量矩阵。简单说，用 对角衰减矩阵W的目的就是对过去的联想 模式取一段学习时间，而给最近的m个联 想模式取更短一些的学习时间。达到补偿 指数衰减的目的。
Yj
ji
m
nYi
X
i
X
T j
Yj
ji
（144） （145）
cijYj
j
（146）
2019/6/20
10
Heb相关解码
其中 cij

X
i
X
T j

X j XiT
cji
， 这里 Yi
为
信号矢量而 Yj 为噪声矢量。cij 为校正系
数，使每个 cijYj 尽可能从符号上接近
就会成为“grandmother”突触，突触值很快等
于种模 模式 式。Si x或 xi ，其它突触不会编码这
2019/6/20
20
2、竞争学习
竞争作为指示器 竞争作为相关检测器 渐进质心估计 竞争协方差估计
2019/6/20
21
竞争作为指示器
质心估计需要竞争信号 S j 近似为局部样本模
式 D j 的指示函数 IDj
2019/6/20
25
竞争作为相关检测器
m1 2 m2 2 mp 2
（173）
从（4-171）知：第j个竞争神经元获胜当且仅当：
x mj
2
min k
x mk
2
x mj
x mj
T

min k

x

mk


x

mk
T
xxT
mjmTj
2xmTj
表p维空间 0,1p中的一个点。
2019/6/20
8
Heb相关解码
可以看出，把－1换成0， Xi ,Yi 就会变成
。
这样 A，i, B若i 加权矩阵W为单位阵I，二极联想对的
Heb编码就对应于（142）的加权Heb编码方案：
（143）
m
M
X
T i
Yi
i 1
可用Heb突触矩阵M对FX 和 FY 神经元信号进行 双向处理。可把神经元信号前向通过M，后向通
改变的形式 的形式
。而mijHeb0学习则简化为（134）
。mij mij
Heb学习是分布式的，对每个样本模式进行编码，
因此学习新模式后，会遗忘每个所学模式的部
分。
2019/6/20
19
2、竞争学习
而竞争学习不是分布式的，只有赢得突触矢量
才对样本模式 S x 或 x 进行编码。如果样本 模式 S x 或 x 坚持足够长的学习，竞争突触
2019/6/20
13
Heb相关解码
Heb编码步骤：
1 把二值矢量 Ai 变为双极矢量 X i ；
2 对邻接的相关编码的联想求和
m1
T

X
T m
X
1

X
T i
X
j 1
i
若时间联想记忆（TAM）假设成立：H Ai , Aj H Ai1, Aj1
则对同步的TAM输入 X i ，把激励同步阈值化为
A1 A2 A3 A1
后向情况用位矢量 Ai 乘以 T T ，可得到：
A1 A3 A2 A1
2019/6/20
17
2、竞争学习
确定性竞争学习定律：
mij S j Si mij
（165）
展开：mij S jmij Si S j
这里用的是非线性遗忘项 S j mij 习定律用的是线性遗忘项。
法（191-192）
mj k 1 mj k ck xk mj k
1 3 1 1
1 1 3 1
16
Heb相关解码
位矢量 Ai 通过T产生：
A1T 2 2 2 2 1 1 0 0 A2 A2T 2 2 2 2 1 0 0 1 A3
因此A3T产生2前向2 极2限环2 1 0 1 0 A1