适用于联想记忆的几种神经网络

适用于联想记忆的几种神经网络

[摘要]神经网络通过模拟人的神经系统处理信息的原理，使机器具有类似信息处理的能力。利用多元的Hopfield网络多吸引子和吸引城，可实现信息的联想记忆。目前，适用于联想记忆的网络有3大类，基本的hopfield网络，加入混沌的联想记忆网络以及加入模糊的联想记忆网络，本文介绍了现有适用于联想记忆的几种神经网络的运行原理和联想记忆性能，以及其中的两大类联想记忆网络和对它们的改进，为人们研究神经网络提供了便利。

[关键词]联想记忆；神经网络；混沌

近年来神经网络受到了生物，物理，数学，电子工程等学科专家的广泛关注，神经网络正发展成一门交叉学科。联想记忆是人脑的一种重要形式，研究联想记忆神经网络。一方便可为进一步探索人脑的记忆奥秘提供启示。另一方面也为神经网络模型在信息处理，模式识别等领域的研究打下基础。所以，对联想记忆神经网路的研究具有很重要的意义和价值。

1基于外积法的学习算法

自从Hopfield提出以外积学习规则为基础的联想记忆网络之后，人们为了改善网络的联想性能，提高网络的记忆容量，减少伪模式数目，已提出了不少的改进措施，例如，投影法，正交化法，外积取等原则以及优化学习算法等等。下面本文对此进行理论和实例用外积法确定权值的学习方法的在样本差异较大时具有较好的效果，经证明得出等式(1)的要求。

但是用外积法学习的网络虽然构造简单，但是存储器的冗余吸引子是一个很严重的问题。

2 混沌神经网络在联想记忆中的应用

本文提出了一种改进的由混沌神经元组成的人工神经网络模型，该模型从拓扑结构上看类似离散Hopfield神经网络，主旨是进一步研究类似离散Hopfield 神经网络的混沌神经元系统及其在信息处理中的应用，主要是在联想记忆中的应用。

2.1 Ishii混沌神经元网络

利用对称映象的全局耦合一维映象模型(s-GCM)定义如下

式(2)中的x：(n)表示第1个神经元在离散时间n(步数)时的状态值，每个神经元的动力学行为完全出反对称立方映象表示，它把(－1，1)区间映象于自身。当a=3.4时该神经元处于混沌状态。事实上，当a∈[3,4,4]时为混沌状态，a＞2时。f(x)在[-1，1]上有2个极值点，因而最多它有两个吸引子的周期轨道。S-GCM 构造的联想记忆系统流程如下：

2.2 Inoue等的混沌神经网络模型

Inoue混沌神经元网络由若干个处理单元(神经元)组成，每个处理单元由两个彼此耦合的混沌振荡子组成。耦合的混沌振荡子的同步和异步分别对应神经元的激活和抑制两个状态，虽然混沌是由简单的确定性规则产生的,但它包含规则性和不规则性两个方面。耦合的混沌振荡于的同步来自规则性，而不规则性可产生随机耦合振荡子的运动方程由离散一维映象函数表示，为简化起见，两个混沌振荡子均采用logistic映象。

这里ε是同步的判别参数x(n)和y(n)是两个振荡子的状态变量，由前一迭代步时的混沌映象迭代结果和耦合系数ki(n)决定，当u(n)=1表明两个振荡子彼此完全同步，一旦同步出现。即使耦合系数Di(n)变小时神经元也总是处于相同的状态。各神经元彼此间通过耦合系数wii全互联起来神经元的状态通过连接煤介对耦合系数Di(n)产生影响。对设有需存储的T个模式状态集合{x，n=1，…，T},xpi是第p存储模式的第i个分量,lnoue等提出的混沌神经计算机方法。对存储T个模式的对称的自联想矩阵定义如下

其中,wii=O，网络的阶数对应于节点数，对N阶混沌神经元网络(w，θ)来说，w是nXn对称矩阵，其中wij为附加边i,j的权；θ是－n维向量，θi表示节点i 的阈值。每个神经元由两个彼此耦合的混沌振荡子组成。耦合振荡子的运动方程由离散的一维迭代映象表示，分别表示为f(x)(第一映象)和g(z)(第二映象)。其相互耦合关系及迭代演化过程推导如下：

由此建立的层次分析模型后，我们就可以通过层次分析法来计算出同层次各

个指标对上层指标的重要程度的权重值，为我们后续的回归分析做准备。

这里Di(n)是第i个神经元在时间n时的两个振荡子之间的耦合系数xi(n)和y(n)分别

是第i个神经元在时间n时第一个振荡子和第二个振荡子的状态变量。f(x)，8(y)选混沌动力学基本的Logistic映射：

f(x)=ax(1-x)，0＜a≤4

B(y)=by(1-y)，0＜b≤4

ε是同步的临界参数，当ε=0且a=b时,Ui(n)=1(激活)表明两个振荡于完全同步。一旦完全同步，即使Di(n)变得很小，神经元始终处于相同状态，所以选择a≠b以避免完全同步。

3.改进用于联想记忆的混沌神经元网络

在分析Ishii耦合混沌系统中，发现其主要问题是联想回忆速度较慢，而Inoue 混沌神经元计算机联想记忆成功率较低，因此融合了lshii耦合混沌系统中联想记忆方法和Inoue混沌神经元计算机方法，一方面对混沌神经元的离散一维映象采用反对称立方映象，另一方面对自联想矩阵定义进行改进，提出了一种新的自联想矩阵定义方法。混沌神经元计算机系绕在拓扑结构上类似于离散Hopfield 神经网络，每个神经元仍然由两个彼此耦合的混沌振荡于组成。耦合振荡子的运动方程由离散的一维迭代映象表示，分别表示为f(x)(第映象)和g(x)(第二映象)，其相互耦合关系及迭代演化过程同Inoue的公式(8)、(9)。

这里DI(n)是第i个神经元在时间n时的两个振荡子之间的耦合系数xi。(n)和y1(n)分别是第，个神经元在时间n时第一个振荡子和第二个振荡子的状态变量。神经元在时间n时刻的状态表示为u(n)，定义同公式(5)和(6)。各神经元彼此间通过耦合系数wij全互联起来。wij和Di(n)的关系在联想记忆神经元网络系统中具有重要的作用，其相互关系可以表示如下：

4，结论

稳定性是神经网络记忆能力的重要因素。目前可用于联想记忆的网络大多都是对Hopfield网络结构的改进，包括用于双向联想记忆的BAM网络。加入混沌虽然可以在一定程度上减少冗余吸引子的个数，提高了神经网络的联想成功率和回忆速度，但容易产生反模式问题。