第四章 突触动力学 非监督学习答辩PPT课件

其中含有一个陡峭逻辑响应函数
1
Sj yj 1ecyj
2020/11/3
2
第四章 突触动力学 非监督学习
复习 3 微分Heb学习法则
m ijSj yj xm j
2020/11/3
3
第四章 突触动力学 非监督学习
复习 4 微分竞争学习法则
m ij S j yj S ix i m ij
通过M，后向通过M T 。这里仅考察前向
的情况。 二极矢量 X i 提供给神经元系统。有若 干 X ，X 越接近 X i ，解码精度越高。
2020/11/3
14
Heb相关解码
信噪分解 m XiMXiXiT Yi XiXT j Yj ji m nYi XiXTj Yj ji
cijY j
(133)
2020/11/3
6
一 信号的Heb学习
近期的影响与遗忘 渐进相关编码 Heb相关解码
2020/11/3
7
近期的影响与遗忘
Heb学习遵循的是指数加权平均的样本模
式。式中的遗忘项为 - m i j 。
上述遗忘项产生了积分方程中先前突 触的指数系数。说明学习的同时也在遗 忘，而且是呈指数衰减。
j
（144） （145） （146）
2020/11/3
15
Heb相关解码
其中 cij XiXT j XjXiTcji 这里Y i 为 信号矢量而 Y j 为噪声矢量。 c i 为j 校正 系数，使每个 c i j Y j 尽可能从符号上接 近于 Y j 。把 Y i 或其它靠近的矢量Y通 过 M T ，校正性质依然成立。 用神经元网络从有代表性的训练样本中 估计连续函数f时，有一个连续的假设。
则对同步的TAM输入 X i ，把激励同步阈值化为
信号，就产生了 X ： i 1
X iT n X i 1 c ijX j 1 X X i 1 j i
2020/11/3
19
Heb相关解码
Heb编码步骤（例证）： 一个三步极限环 A 1 A 2 A 3 A 1
位矢量：A 11 0 1 0 A21 1 0 0 A31 0 0 1
2020/11/3
4
第四章 突触动力学 非监督学习
信号的Heb学习 竞争学习 微分Heb学习 微分竞争学习
2020/11/3
5
一 信号的Heb学习
通过求解Heb学习法则的公式
m ij m ijt S i x itS j y jt (132)
可获得如下积分方程
m ijt m ij0 e t0 tS isS jse s td s
（132）中的遗忘项 m ij 产生了（133）中
对先前知识 m ij 0 的指数权 e t 。
2020/11/3
8
近期的影响与遗忘
实际上遗忘定律提供的最简单的局部非 监督学习定律为：
mij mij 说明了两个关键特征：
（134）
1 仅依赖于局部信息，即现在的突触强
度 m ij t 。
2 呈指数律达到平衡，可实时操作。
2020/11/3
9
渐进相关编码
M XKTYK
(135)
X和Y：双极信号 S x 和 S y 。s i ，s j = 1，-1
两种极端情况：
1 S iS j 1 m ijt 1 t
m ijt1m ij01et
2 S iS j 1 m ijt 1 t
2020/11/3
16
Heb相关解码
假定异联想样本 X i ,Yi 从连续函数f上取 样，那么输入的微小变化必然引起输 出的微小变化。
cij Xi XTj 相同的比特数-不同的比特数
n H A i,A j H A i A j
n2HAiAj
（154）
2020/11/3
17
Heb相关解码
实际中必须使用一个对角衰减记忆指数矩阵 W
来补偿固有的信息指数衰减。
2020/11/3
10
渐进相关编码
m
XTWY wkxkTYk k1
（142）
X和Y表示二极信号矢量矩阵。简单说， 用对角衰减矩阵W的目的就是对过去的 联想模式取一段学习时间，而给最近的 m个联想模式取更短一些的学习时间。 达到补偿指数衰减的目的。
第四章 突触动力学 非监督学习
复习 1 Heb学习法则
m ij m ij S iXx i S Y j y j
简化后可得
m ij m ij S i x i S j y j
2020/11/3
1
第四章 突触动力学 非监督学习
复习 2 竞争学习法则
m ij S j yj S ix i m ij
• 若两个二值矢量A i 和A j 靠近 ，相同的比
特数大于不同的比特数，那么c ij 0 。
极端情况下 Y j Y i ，c ij n 。
• H 量上Ai,含Aj 糊n不/2清时的，c矢ij 量 丢0 弃，掉校，正不系参数与将求度
和。 • A i 与A j 相差较远，c ij 0 。极端情况
2020/11/3
12
Heb相关解码
可以看出，把0换成-1， X i ,Yi 就会变
成 Ai , Bi 。这样，若加权矩阵W为单位阵 I，二极联想对的Heb编码就对应于（142）
的加权Heb编码方案：
m
M
X
T i
Yi
（143）
i 1
2020/11/3
13
Heb相关解码
可用Heb突触矩阵M对 F X 和 F Y 神经元信 号进行双向处理。可把神经元信号前向
将位矢量转换成二极矢量
2020/11/3
20
Heb相关解码
X11111 X21111 X31111
下 cij n ，则 cijYj nYj nYi 。
2020/11Hale Waihona Puke Baidu3
18
Heb相关解码
Heb编码步骤：
1 把二值矢量 A i 变为双极矢量 X i ；
2 对邻接的相关编码联想求和 m1 TXm TX1 XiTXj1
若TAM假设成立 i HA i,A j HA i 1 ,A j 1
2020/11/3
11
Heb相关解码
考虑m个二极矢量联想对 X i ,Yi 的二
极相关编码。X i 表示n维二极空间 1,1 n
中的一个点，Y i 表示p维二极空间 1,1 p 中的一个点。
二极联想对 X i ,Yi 对应于二值矢量联 想对 Ai , Bi 。A i 表示n维布尔空间 0 , 1 n中 的一个点，B i 代表p维空间 0 , 1 p 中的一 个点。