自联想记忆神经网络研究_王传栋

0引 言
长期以来, 为了模仿人脑功能, 构造出具有类人智 能的人工智能系统, 人 们对大 脑的 工作机 制和思 维的 本质作了大量的研究工作。人工神经网络就是这样一 种能够模仿和延伸 人脑智能、思维 和意识 等功能 的自 适应动力学系统。联想记忆模型作为人工神经网络研 究的一个重要分支, 具 有信息 分布 式存储 和内容 可寻 址访问的重要特点, 能模拟人脑简单的思维功能, 通过
输入模式, 经过若 干次迭代学习后, 神经 元一定会趋于 稳定, 输出结果或 者是已记忆模式, 或者 是未记忆模式 (未记忆模式称为 HAM 网络的伪稳态模式 ) 。
在离散时 刻和 离散 状 态下, 对于 X ( t ) 的 异 步变 化, 如果 Lyapunov能量函数:
E ( t) = - 1 X ( t)T WX ( t) + X ( t)T
网络的收敛性决定着网络的动 态行为最终能否稳
定。如果 X 满足等式 X = sgn(WX - ) , 则 HAM 网络 达到稳定状态, 此 时状态 X 即为 Lyapunov能 量函数的
吸引子或不动点。网络迭代学习的目的 就是通过权值
更新使待记忆模式成为吸引子或不动点。容易证明, 异
步更新模式下, HAM 从任意初态 出发最终都 将收敛到 吸引子或不动点。或者说, 对于 HAM 网络的任意一个
( 2)
2
满足两个条件: ( 1 )能量函数 E ( t) 有界; ( 2) 能量函数
E ( t) 随 X ( t) 的变化而减小, 则说明 HAM 网络在该更 新方式下收敛, 详细证明过程参见文献 [ 5] 。
3 ) HAM 模型的特点。
HAM 模型具有以下几个特点:
( 1) 创造性地引入 Lyapunov能量函数描述 神经网 络状态的动态学习行 为, 能量 函数的 局部 最小点 存储 了所有待学习的模式或信息;
1 ) HAM 模型权值更新规则。
HAM 模型是由二值神经元以全互连的 方式构成, 其学习算法采用 了著名的 H ebb 学习 规则。学习 的实
质是最小化 Lyapunov能量函 数, 通过调 整各个 神经元 的权值最终达到存储待记忆模式的目的。假设有一组
待记忆的 n 维模 式列 向量 {X i { - 1, 1 }n, i = 1, 2, , M } , X 为任 意 输 入 模 式, X 为' X 的 下 一 个 状 态,
( 2) 能够通过数学理论分析 该模型 的存储容 量以 及所能获得的纠错性能;
( 3) 开创了 联想 记忆 神经 网络 研究 的先 河, 特 别 是通过能量函数分析网络稳定性的思路在后续很多联 想记忆模型的研究中得以广泛使用;
( 4) 为解决组合优化等实际 应用问 题提供了 有益 的思路。
2 自联想记忆模型研究进展
摘 要: 自联想记忆神经网络能模拟人脑思维和机器智能, 具有信息分布式存储和内容可寻址访问的重要特征, 是人工神
经网络研究的一个重要分支。介绍了开创自联想记忆神经网络研究先河的 H opfie ld联想记忆神经网络模型, 分析了该模
型的优缺点; 然后在系统分析现有自联想记忆神经网络相关研究文献的基础上, 从学习算法、体系结构和应用领域三个方
尽管 HAM 模 型的 影响 甚 大, 推 动 了神 经 网络 方 向的研究, 但分析表明该模型仍然存在如下缺陷:
( 1) 存储容量偏低, 其上界仅 为 0. 15N (N 为 网络 中神经元个数 );
( 2) 神经元 状态 仅为 二值, 无法 直接 处理 现实 中 的多值情形;
( 3) 网络结构过度复杂, 随 着网络 规模的扩 大, 神 经元个数的增多将导致不可实现的全互连, 等等。
HAM 的回忆规则描述如下:
X ' = sgn (WX ) = sgn (
M
X
i
(X
i
T
)
X
)
=
i= 1
sgn ( M X i X i, X )
( 1)
i= 1
其中, W =
M X i (Xi )T , 这里 W 为权值 矩阵,
i= 1Baidu Nhomakorabea
sgn ( ) 为二值符号函数。
2 ) HAM 模型收敛性分析。
联想回忆出不完整的 输入, 特 别适用 于处 理含噪 和不 确定的信息, 因 此在 内容 可寻 址 存储、智能 搜 索和 检 索、优化计算、纠错编 码、智 能控制、图像压 缩、模 式识 别和知识推理等方面 获得了 极为广 泛的 应用, 成 为当 今神经计算主要研究课题之一 [ 1] 。
迄今为止, 作为人工 神经 网络研 究的 一个重 要分 支, 联想记忆模型的研究已经取得了丰硕的成果, 涉及 到自联想、异联想、序列 联想、多向联 想和 多对多 联想 等各种联想模式 [ 2], 研究重点主要包括体系结构、学习 算法和实际应用。文中在系统调研现有自联想记忆神 经网络相关研究文献 的基础 上, 结合 我们 在该领 域的 研究成果, 首先 详细介 绍了 著名的 Hop field 联想 记忆 模型 ( H op f ie ld A ssociative M em ory, HAM ), 接 着归 纳 阐述了自联想记忆神 经网络 的研究 进展, 最后总 结了 自联想记忆神经网络 目前存 在的主 要问 题, 并且 预测
想器模型和盒中 脑状态 模型等。 Hopf ield 把这些 重要 思想结合起来并 进行了简 明的数 学分 析 ( Lyapunov稳
定性定 理 的 应 用 ), 在 此 基 础 上 提 出 了 影 响 深 远 的 H op field联想记 忆模 型, 不仅 开创 了自 联 想记 忆 模型
研究的先河, 而且显示出了神经网络的巨大潜力, 对神 经网络研究的复苏起了重要作用。
面对自联想记忆神经网络的研究进展进行了归纳阐述; 总结了自联想记忆神经网络目前存在的主要问题, 并且预测了其
未来的发展趋势。
关键词: 神经网络; 自联想记忆; 智能信息处理
中图分类号: TP183
文献标识码: A
文章编号: 1673- 629X ( 2011) 03- 0109- 04
R esearch on Auto- A ssociative M emory N eural Networks
3. D epartm en t o f Info rm ation and T echno logy, N an jing C o llege o f Fo restry Po lice, N an jing 210046, Ch ina)
A bstract: A s an im portant art if icial n eural n etw o rk, au to - associative m em ory m odel ( AM ) can b e em p loyed to m im ic hum an th ink ing and m ach ine in tell igence, w h ich has m assively parallel distribu ted con f igurat ion and con ten t- addressab le ab ility. In th is pap er, in troduce in detail the H opf ield A ssociativeM em ory ( HAM ) n eural netw ork w h ich has y ie lded a great im pact on the developm en t of au to- assoc i ativem em ory m ode,l and an alyze HAM s strongpo in t and d raw back. S econd ly, focu sing on the exist ing re levan t research literatures, presen t a survey of au to - asso ciativem em ory m odels f rom the three aspects such as learn ing a lgorithm, n etw ork arch itecture and p ractical app lication; Fina lly, summ ariz e th e m ain question w h ich au to - associativem em ory m odels are faced w ith at presen,t and forecast its fu ture developm en t tendency. K ey words: neural netw o rk; au to- assoc iativ em em ory; in tel ligen t in form ation p rocessing
WA NG Chuan- dong1, 2, YA NG Y an- y ing3
( 1. C o lleg e o f C om pu te r, N anjing U n iv ersity o f Po sts & T e lecomm un ica tions, N anjing 210003, Ch ina; 2. Institute o f Com puter T echno lo gy, N an jing U niversity of Po sts & T elecomm un icatio ns, N an jing 210003, Ch ina;
因此, Hop field模型更多 的是在 于理 论指导 意义, 为此, 国内外许多学者 从以下 三个方 面展 开了一 系列 富有成效的研究:
1 )学习算法方面。 为了提高 HAM 的存 储容量, 扩 大它 的处理 范围, 众多研究人员对此进 行了长 期不懈 的研 究, 提出 了许 多新的自联想 记忆模 型学 习算法。 1986 年, P saltis[6] 等人提出了一个高阶关联联 想记忆 模型 ( H igh - O rder Correlation A ssociat ive M em ory, HOCAM ) , HOCAM 按 下面的演化规则进行迭代: X '= sgn ( M ( Xi, X + n )q* X i ) , q N, q 1
第 21卷 第 3期 2011年 3月
计算机技术与发展
COM PUTER TECHNO LOGY AND D EV ELO PM EN T
V o.l 21 N o. 3 M ar. 2011
自联想记忆神经网络研究
王传栋1, 2, 杨雁莹 3
( 1. 南京邮电大学 计算机学院, 江苏 南京 210003; 2. 南京邮电大学 计算机技术研究所, 江苏 南京 210003; 3. 南京森林警察学院 信息技术系, 江苏 南京 210046)
110
计算机技术与发展
第 21卷
了其未来的发展趋势。
1 Hopfield联想记忆模型
早在 20 世 纪 80 年 代 初, 美 国 著 名 物 理 学 家
H op field发表了两篇具 有划时 代意义的 论文 [3, 4], 这两 篇文章吸收了前人的许多 观点, 如 G rossberg的 改进模 型, M cCu lloch和 P itts的神 经模 型, A nderson 的线 性联
i= 1
( 3) 虽然 HOCAM 也 是 二 值 模 型, 但 其 存 储 容 量 较 Hopfield模 型 有 了 很 大 的 提 高, 在 数 量 级 上 达 到 了 N q 。 1988年, Dembo 和 Zeitoun i[ 7, 8] 提出了势函 数关联 联想记 忆模型 ( Poten tial- Function Correlat ion A ssocia tive M em ory, PFCAM )。该模型的演化规则如下: X '= sgn ( M ( n - X i, X )- L* Xi ) , L 1
收稿日期: 2010 - 08- 20; 修回日期: 2010- 11- 20 基金项目: 国家自然科学 基金 ( 61003040 ) ; 南京 邮电大 学校 科研基 金 ( NY 210043 ) 作者简介: 王传栋 ( 1971- ), 男, 讲师, 硕士, 研究方向为 神经网络与 模式识别、数据仓库与数据挖掘; 杨雁莹, 副教 授, 硕士, 研究 方向为 软件工程与数据库、数据挖掘。