第八讲 联想记忆网络

1, f ( x) hard lim s( x) 1,
x0 x<0
1, f ( x) hard lim s( x) 1,
x0 x<0
Hopfield联想记忆实例(1.2)
Hopfield联想记忆实例(2.1)
T=[1 -1 1;1 -1 -1;-1 1 1] P=T T1=[1;1;-1] T2=[-1;-1;1] T3=[1;-1;1] I=[1 0 0;0 1 0;0 0 1] W=T1*T1'+T2*T2'+T3*T3'-3*I A=W*P
• 神经网络实用教程
– 杨伟刚，浙江大学出版社，ISBN:7-308-02453-9
联想记忆概论（1）
• 联想记忆网络存贮成对的矢量（模式对）。 设在学习过程中存入M个学习样本对 {(Xi,Yi),i=1…M}。若输出样本X=Xk+ɑ, ɑ是 噪声,要求输出为Yk。
– 自联想：Xk = Yk – 异联想：Xk ≠ Yk
• 例：对下面的离散双向联想记忆网络模式 数据
– 计算W与WT – 计算(-1 -1 1)T作为网络的输入时网络的行为
1 A1 1 1 1 1 1 1 1 B1 A2 1 B2 1 1 1 1 1
Hopfield联想记忆实例(2.2)
• • • • • T=[1 -1 1;1 -1 -1;-1 1 1] net=newhop(T) P=T [Y,Pf,Af] = sim(net,3,[],P) Y
思考题
• 离散Hopfield网络实现的联想记忆与离散双 向联想记忆模型有什么关系？
离散双向联想记忆模型（5）
• 记忆容量
q m , 4 log q
q=min(n,p)
Hopfield联想记忆实例(1.1)
0 2 W 3 2 3 2 3 0 2 3 2 3 2 3 0
(-1 1 -1) (1 -1 1 )
– 学习算法 – 容错性 – 稳定性 – 存贮容量
联想记忆概论（4）
• 联想记忆的设计原则
– 作为期望模式或存贮样本的矢量，应是神经网 络能量函数的一个局部极小点(即将期望的模式 作为网络的渐进稳定平衡点来存贮 – 每个存贮样本的吸引子范围应有较大的容错性 且可控 – 网络的伪存贮状态最少
联想记忆概论（5）
离散双向联想记忆模型（1）
1, f ( x) hard lim s( x) 1,
x0 x0
离散双向联想记忆模型（2）
• 权矩阵构造 • W： LALB • WT：LBLA
W Bk A
k
T k
T k
T k
W Ak B
离散双向联想记忆模型（3）
离散双向联想记忆模型（4）
第八讲 联想记忆网络
主要内容
• • • • • • 联想记忆概论 线性联想记忆(LAM)模型 神经动力学：吸引子 Hopfield联想记忆 离散双向联想记忆模型 举例
推荐参考书目
• 神经网络原理
– 叶世伟 史忠植，机械工业出版社，ISBN:7-111-12759-5
• 神经网络设计
– Hagan，机械工业出版社，ISBN:7-111-10841-8 – 戴葵，机械工业出版社，ISBN:7-111-07585-4
吸引子（4）
• 稳定与收敛(3)
吸引子（5）
• 稳定与收敛(4)
吸引子（6）
• 稳定与收敛(5)
吸引子（7）
• 散耗系统中存在吸引集 • 用流形表示吸引集
– 流形可是是状态空间中的 点，此时是点吸引子 – 其它类型吸引子：极限环、双曲吸引子、奇异 吸引子等
吸引子（8）
• Hopfield网络中存在吸引子
Hopfield与联想记忆(7)
Hopfield与联想记忆(8)
• 第二步的两个修正
– 不求平均 – 0/1编码
Hopfield与联想记忆(9)
• 缺憾
– 存储容量小 – 权矩阵对称，与生理事实不符，且VLSI实现困 难 – 权矩阵是设计的 – 存在伪状态（伪吸引子）
Hopfield与联想记忆(10)
Hopfield与联想记忆(1)
• • • • 首先记忆模式 其次联想 重要的应用：按内容检索 离散Hopfield网络可以按照内容寻址
Hopfield与联想记忆(2)
Hopfield与联想记忆(3)
Hopfield与联想记忆(4)
Hopfield与联想记忆(5)
Hopfield与联想记忆(6)
• AM网络应具备的能力
– 尽可能多地存贮输入输出模式对 – 强壮的鲁棒性和冗余性 – 并行性计算 – 分布式存贮 – 实时快速性 – 自组织性
线性联想记忆(LAM)模型（1）
f ( x) x
线性联想记忆(LAM)模型（2）
• 权矩阵构造
– Ak正交，归一
W Bk A
k
T k
线性联想记忆(LAM)模型（3）
线性联想记忆(LAM)模型（4）
• 局限与缺憾
– 对输入要求严格 – 存贮的模式最大数为n(LA层的单元数) – 不能存贮模式对之间的非线性映射关系(这是由 于线性矩阵运算所造成的)。
吸引子（1）
• 状态空间模型 • 平衡状态 • 散耗系统
吸引子（2）
• 稳定与收敛(1)
吸引子（3）
• 稳定与收敛(2)
联想记忆概论（2）
• 联想记忆按照运行方式分类：
– 映射式：构造一定的映射(变换)，使输入直接 映射为所需的输出 – 演化式：按非线性动力学系统的演化过程进行 （待识别的模式设为系统的初始状态，网络按 一定的动力学规律演化，网络最终平衡稳定的 状态即为输出的模式。）
联想记忆概论（3）
• 联想记忆网络研究关注的பைடு நூலகம்题