《神经网络导论》实验二 双向联想记忆

《神经网络导论》实验二双向联想记忆

专业班级硕2081

学号**********

姓名李海玥

完成时间2013年1月

《神经网络导论》试验二

双向联想记忆

李海玥

2013年1月

一、实验目的

熟悉Kosko型双向联想记忆网络的原理与结构，通过仿真实验掌握具体的实现方法，了解该网络的功能及性能，加深对该类网络的稳定状态和能量函数等概念的理解。

二、实验原理

联想记忆功能分为自联想和异联想，异联想也称为双向联想记忆，简写为BAM。BAM存储器可存储两组矢量，若有如下N维矢量A和P维矢量B：

A=[a0,a1,⋯a N−1]T∈{−1,1}N

B=[b0,b1,⋯b P−1]T∈{−1,1}P

构成M对矢量(A s,B s),s=0,1,⋯,M−1，给定A可经联想得到对应的标准样本B，当有噪声或残缺时，联想功能可使样本对复原。

如图1所示，与矢量A相应的一层有N个节点，另一层对应矢量B，有P 个节点，两层间双向连接。假定B到A的传输为正向，正向的权矩阵为W。

如果输入矢量由上层加入，且相应于网络中B的稳定状态，则经W之作用产生A稳定状态。

图1：双向联想记忆网络

当任意矢量输入时，网络要经若干次次迭代计算演变至稳态，过程可示意为：

WB(t)→A(t+1)

W T A(t+1)→B(t+2)

WB(t+2)→A(t+3)

⋯

直至A、B为稳态，演变过程结束。

网络学习遵从Hebb规则，若给定M个双极性矢量对：

(A0,B0),(A1,B1),⋯,(A M−1,B M−1)

则正，反向权矩阵为：

W=∑A s,B s T

M−1

s=0

W T=∑B s,A s T

M−1

s=0

如果BAM网络神经元函数值为0，则称为齐次BAM网络，其能量函数为：

E(A,B)=−1

2

A T WB−

1

2

B T W T A=−A T WB

若神经元的非线性函数为f，则描述齐次BAM动态特性的差分方程为：

✧正向联想(B⟹A)

a i(t+1)=f[∑w ij

b j(t)

P

j=1

]

✧反向联想(A⇒B)

b j(t+2)=f[∑w ij a i(t+1)

P

j=1

]

三、实验内容及步骤

1、选择齐次Kosko型BAM网络编制程序实现联想记忆。设神经元非线性函数f 为硬限幅函数，即f(x)=san(x)；当x=0时，神经元的输出维持不变。

2、根据Hebb规则算出网络的连接权矩阵并记录；算出四对矢量所对应的稳定状态的能量值。

✧连接权值W=

4 2 2 -2 0 -2 0 -2 4 0

2 0 0 -4 2 0 2 0 2 -2

2 0 0 0 2 0 -2 -4 2 2

-2 -4 0 0 2 0 2 0 -2 -2

0 2 2 2 -4 -2 0 2 0 0

-2 0 0 0 -2 0 2 4 -2 -2

0 2 -2 2 0 2 -4 -2 0 4

-2 0 -4 0 2 4 -2 0 -2 2

4 2 2 -2 0 -2 0 -2 4 0

0 -2 2 -2 0 -2 4 2 0 -4

0 -2 2 2 0 -2 0 -2 0 0

-2 -4 0 0 2 0 2 0 -2 -2

2 4 0 0 -2 0 -2 0 2 2

0 2 -2 -2 0 2 0 2 0 0

0 2 -2 2 0 2 -4 -2 0 4

稳定状态能量值：

E=[−158−142−158−146]

3、验证网络的联想能力

经过Matlab编程验证，经过以上计算出的权值W和对称硬限幅函数的非线性作用，选择标准样本Ai进行迭代，观察上下两层的状态是否为(Ai, Bi)。同样任选Bi输入观察稳定后的结果。

经过前面计算出的权值W和符号函数非线性作用，进行一次迭代，联想成功没有偏差。即

A i=sgn(W∗

B i),i=1,2,3,4

B i=sgn(W T∗A i),i=1,2,3,4

4、验证网络抗噪能力

以标准矢量A1随机两位取反形成畸变矢量

A1’=[1,−1,1,−1,1,−1,1,−1,1,−1,1,−1,1,−1,1]T，

带入网络中迭代至稳定。

得到结果

A’1=A1，B’1=B1

过程经过两次迭代期间能量变化为：

E0=−118，E1=−142，E2=−158

5、噪声大小对联想能力的影响

统计4个矢量分别在1~3位上取反时的联想正确率。对于每种情况取2000次运算得到平均性能。

表1 噪声对网络联想力的影响

6、正反向联想抗噪能力

统计4个B矢量分别在1~3位取反时的联想正确率，记录结果并与第5步结果比较。

表2 反向联想抗噪能力

四、实验思考题

1、在实验步骤4中观察网络能量E是如何变化的？根据网络机理说明原因。

从步骤4中可以看出，网络能量E随着跌代的次数而减小。这是因为双向联想网络是Hopfield网络的一种，所以也具有Hopfield网络特性。而对于标准Hopfield网络，其能量函数E对时间的导数为负值，

dE dt =−∑C i(

dV i

dt

)

2df

i

−1(V

i

)

dV i

i

≤0

也就是说网络总是朝着能量函数E减小的方向运动，且达到稳态时，E取极小值。

2、如果我们想要“擦除”存储矢量中的某对(A i,B i)，应如何调整网络？

双向联想记忆网络特性主要体现在权值W上，如果想要“擦除”存储矢量中的某对(A i,B i)，只需要对权值进行调整：

W′=∑A s,B s T

M−1

s=0,s≠i

或者更新权值为：

W′=W−A i∙B i T

3、通过总结第5步和第6步的实验结果，能得出什么结论？简要解释其中的原因。

随着矢量位取反的位数增多，即噪声的增大，网络达到稳态所需迭代次数增加。