异联想记忆Hopfield神经网络的模型、算法及性能
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
102
系统工程理论与实践
2005 年 5 月
当样本矢量分布具有某些规律时 ,网络对样本才有最大的存储容量. 考虑到任何实际问题的样本集不会是 规律性分布的 ,这将降低网络的样本存储容量 ,使为求解问题所需建立的原型样本集不能被全部记忆. 而 前向 NN 在一般的情况下受其他因素的影响较小 ,其记忆存储能力是相当强的. 因此对于那些输入信息具 有确定性的问题 ,应用前向 NN 是非常适合的 ,而对那些问题的求解是依赖于相应环境下的实时输入信 息 ,在具体获取过程中可能出现信息受干扰变异或丢失的情况 ,要求所建系统有较高的容错性 ,应用前向 NN 是存在困难的 ,目前的研究从不同的角度都试图提高其容错性[1～5] . 然而 Hopfield NN 自身的性能对于 这类问题却显示出它的巨大优势. 因此 ,对于实时信息处理系统这样的模式识别问题 ,应用 Hopfield NN 应 该是一个较合适的方法.
入神经元 ( x1 , x2 , …, xp ) ,另一类是输出神经元 ( y1 , y2 , …, yq) ,显然 p + q = n ,输出神经元的输出不反馈到自身 ,
而只反馈到输入神经元的输入端 ,权值连接为 Wy ;同样 ,输入神经元的输出也不反馈到其自身 ,而是只反
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
模式识别问题. 为了充分发挥 Hopfield NN 容错性强的优
势 ,将其应用于异联想记忆的模式识别问题 ,本文基于双
向联想存储器的原理 ,建造了异联想记忆 Hopfield NN 模型
结构 ,如图 1 所示. 它将全部神经元 n 分成两类 ,一类是输
图 1 异联想记忆 Hopfield NN 模型结构
①离散 Hopfield NN 模型一般是自联想记忆模型 ,它的输入和输出是同一神经元 ,且代表相同的物理 含义 ;
②离散 Hopfield NN 模型实现自联想记忆的算法通常采用的是基于 Hebb 规则的外积学习算法 ,虽然 它具有学习速度快 、方法简便等优势 ,但是它对随机分布的样本记忆容量很小. 只有当样本矢量满足正交 条件时 ,才能被记忆存储到网络中去 ,成为网络的稳定吸引子.
虽然在容错性方面反馈式 Hopfield NN 要强于前向式 NN ,然而在网络训练过程中 Hopfield NN 对标准 训练样本的记忆存储能力却不如前向式 NN ,它受样本矢量在空间的分布以及相互间的关系影响较严重 ,
收稿日期 :2004207213 资助项目 :国家自然科学基金 (59877016) 作者简介 :姜惠兰 (1965 - ) ,女 (汉) ,河北籍 ,博士 ,副教授 ,硕士生导师 ,主攻人工智能和电力系统故障分析与控制的研 究.
射关系 ,联想过程可从输入到输出 ,也就是一组输入矢量可以通过联想将其相应输出联想出来 ,即可完成
异联想记忆功能. 这种模型对于解决异联想记忆的模式识别问题是完全可行的 ,从建模上解决了常规
Hopfield NN 用于异联想记忆模式识别的难点问题.
3 异联想记忆 Hopfield NN 的学习算法
第5期
异联想记忆 Hopfield 神经网络的模型 、算法及性能
103
馈到输出神经元的输入端 ,权值连接为 Wx . 这种异反馈连接的离散 Hopfield NN 的表达式可用 (1) 式描述.
p
∑ yi ( t) = sgn
Wxij xj ( t) - θp+ i ,
i = 1 ,2 , …, q
Abstract : This paper analyzes the performance of associative memory neural network. On the basis of bidirectional associative memory theory , a hetero associative memory Hopfield NN model is built to be used for pattern recognition. For the shortcoming of lack of storage capacity of Hopfield NN this paper improves traditional learning algorithm , proposes pseudo converse and generalized converse learning algorithm , and therefore the capacity of Hopfield NN to store training samples is increased. The simulation and results show that the study of this paper solves the key of Hopfield NN being applied in hetero associative memory pattern recognition. Key words : Hopfield NN ; associative memory ; memory capacity ; pattern recognition
1 引言
联想记忆是 NN 的重要应用之一 ,它主要利用 NN 的良好容错性能使不完整 、缺损的信号恢复成完整 的原型. 一个有效的联想记忆 NN 应该保证每个原型样本都成为网络的稳定状态 ,且具有强大的吸引特 性 ,就是说记忆为网络稳定状态所对应的样本吸引子应有一定范围的吸引域. 目前 ,用神经网络实现联想 记忆原则上有两类方式. 一类是前向式 NN ,即从输入模式到输出模式的映射网络 ,它属于异联想记忆网 络 ,是一个由非线性元件组成的学习系统 ,对样本模式的记忆能力是很强的 ,存储容量很大. 但是它不从系 统稳定性的角度出发 ,缺乏丰富的动力学行为 ,经训练记忆存储到网络中的原型样本吸引子对其他检测样 本的吸引性不强 ,即容错性不强. 另一类是反馈式网络 ,是从初态到终态的演化式网络 ,如著名的 Hopfield 网络. 它属于非线性动力学系统 ,引用 Lyapunov 能量函数的概念 ,从 NN 稳定性的角度出发 ,具有丰富的动 力学行为 ,存储的样本模式将构成系统的不动点吸引子 ,且稳定吸引子有足够大的吸引域 ,其容错性能较 强.
定状态提供了保证. 下面介绍各种算法.
311 基于 Hebb 规则的外积法[9]
对应于图 1 的模型结构 ,原型样本的矢量将由原来自联想的 X 扩展成 S = ( X , Y) ,其中 X 代表输入
神经元矢量 , Y 代表输出神经元矢量. 那么 ,以自联想记忆 Hopfield NN 原理作为基础 ,可以确定出相应的
一个有效 NN 的联想记忆能力不仅依赖于它的模型结构 ,而且与所采用的学习算法有关. 一般地 ,
Hopfield NN 多采用 Hebb 规则 ,它具有学习速度快和信息存储方便等优点 ,但是它要求用于训练权值的“联
想记忆模式对”是一组正交的矢量集. 对于工程实际问题 ,所构造的训练样本是很难满足这一苛刻的条件 ,
③当原型样本矢量两两相互正交时 ,各吸引子的吸引域将均匀地占据状态空间 ,进而表现出较强的 吸引性 ,容错性能较高.
因此 ,在用 Hopfield NN 来实现异联想记忆模式识别时 ,将存在两方面的困难 :一是异联想记忆模式识 别问题 ,其一组输入矢量对应着一组输出矢量 ,即输入和输出代表不同的物理含义 ,应该用不同的神经元 来表示 ;二是为实现属于模式识别问题所构造的原型样本是按照应用系统的具体情况来建立的 ,它们在状 态空间的分布不能保证是均匀的 ,更不可能满足正交的条件. 显然 ,在用具有较强容错性的 Hopfield NN 来 实现模式识别问题时 ,上述两方面是关键之处. 本文基于双向联想记忆的概念[8] ,对 Hopfield 自联想记忆 模型进行了扩展 ,建造了具有异联想记忆功能的 Hopfield NN 模型结构 ,并基于投影原理推导出适合于该 模型的伪逆学习算法和广义逆学习算法 ,使给定的原型样本通过训练尽可能地成为网络的稳定状态 ,保证 网络的联想能力. 通过选取不同性质的原型样本 ,并对三种算法的记忆能力进行了仿真分析 ,表明本文提 出的广义逆学习算法 ,对样本的记忆存储条件较比其它两个算法宽松 ,也就是说 ,为解决问题所建立的样 本模式能够容易地被存储到网络中去成为稳定吸引子 ,也只有样本被可靠地记忆到网络中 ,才谈得上容错 性. 所以本文所提出的模型和算法适合应用于异联想记忆的模式识别问题.
Hetero Associative Memory Hopfield NN Model , Learning Algorithms and Performance
J IANG Hui2lan , SUN Ya2ming
(School of Electrical Engineering and Automation , Tianjin University ,Tianjin 300072 ,China)
2 异联想记忆 Hopfield NN 模型结构
反馈式 Hopfield NN 是由非线性处理单元构成的单层
反馈非线性动力学系统 ,其一般的拓扑结构是具有自反馈
连接的 ,输入和输出是同一神经元且代表相同的物理含
义 ,属于自联想记忆网络 ,不适合于解决输入和输出所需
神经元数目不同且两者间具有相关关系的异联想记忆的
j=1 p
,
(1)
∑ xi ( t + 1) = sgn
Wyij yj ( t) - θi , i = 1 ,2 , …, p
j=1
其中 , xi ( t) , yi ( t) ∈{ - 1 ,1} ,θi 表示节点 i 的阀值.
可见 ,这种模型的神经元有输入和输出之分 ,输入和输出代表不同的物理含义 ,两者间具有对应的映
Hopfield NN 有离散和连续模型之分 ,都是单层对称连接的简单 NN ,是非线性动力学系统网络 ,离散模 型可用于联想记忆 ,连续模型可用于优化计算[6 ,7] . 模式识别是联想记忆问题 ,所以解决模式识别问题时 , 应采用离散 Hopfield NN. 通过对可实现联想记忆的 Hopfield NN 及其学习算法的分析可知 :
致使所建网络的记忆能力受到限制. 本文在分析 Hebb 规则学习算法的基础上 ,以矩阵理论的原理为基础 ,
将算法进行了改进 ,建立了异联想记忆 Hopfield NN 的伪逆和广义逆学习算法 ,它使样本正交的条件变得
宽松 ,扩大了 NN 对原型样本的记忆 ,进而为研究问题所建立的“联想记忆模式对”能够被记忆成网络的稳
2005 年 5 月
文章编号 :100026788 (2005) 0520101207
系统工程理论与实践
第Baidu Nhomakorabea期
异联想记忆 Hopfield 神经网络的模型 、算法及性能
姜惠兰 ,孙雅明
(天津大学电气与自动化工程学院 ,天津 300072)
摘要 : 对联想记忆神经网络 (neural networks2NN) 的特性进行了分析 ,基于双向联想存储器 BAM 原理 ,对 自联想记忆 Hopfield NN 模型进行了扩展 ,建造了适合于求解模式识别问题的异联想记忆 Hopfield NN 模 型结构. 并针对 Hopfield NN 记忆容量不足的缺陷 ,对常规的学习算法进行了改进 ,建立了基于投影原理 的伪逆学习算法和广义逆学习算法 ,提高了 Hopfield NN 对样本的记忆存储能力. 分析表明 :本文的研究 解决了 Hopfield NN 应用于异联想记忆模式识别的关键问题. 关键词 : Hopfield NN ;联想记忆 ;记忆容量 ;模式识别 中图分类号 : TP18 文献标识码 : A
102
系统工程理论与实践
2005 年 5 月
当样本矢量分布具有某些规律时 ,网络对样本才有最大的存储容量. 考虑到任何实际问题的样本集不会是 规律性分布的 ,这将降低网络的样本存储容量 ,使为求解问题所需建立的原型样本集不能被全部记忆. 而 前向 NN 在一般的情况下受其他因素的影响较小 ,其记忆存储能力是相当强的. 因此对于那些输入信息具 有确定性的问题 ,应用前向 NN 是非常适合的 ,而对那些问题的求解是依赖于相应环境下的实时输入信 息 ,在具体获取过程中可能出现信息受干扰变异或丢失的情况 ,要求所建系统有较高的容错性 ,应用前向 NN 是存在困难的 ,目前的研究从不同的角度都试图提高其容错性[1～5] . 然而 Hopfield NN 自身的性能对于 这类问题却显示出它的巨大优势. 因此 ,对于实时信息处理系统这样的模式识别问题 ,应用 Hopfield NN 应 该是一个较合适的方法.
入神经元 ( x1 , x2 , …, xp ) ,另一类是输出神经元 ( y1 , y2 , …, yq) ,显然 p + q = n ,输出神经元的输出不反馈到自身 ,
而只反馈到输入神经元的输入端 ,权值连接为 Wy ;同样 ,输入神经元的输出也不反馈到其自身 ,而是只反
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
模式识别问题. 为了充分发挥 Hopfield NN 容错性强的优
势 ,将其应用于异联想记忆的模式识别问题 ,本文基于双
向联想存储器的原理 ,建造了异联想记忆 Hopfield NN 模型
结构 ,如图 1 所示. 它将全部神经元 n 分成两类 ,一类是输
图 1 异联想记忆 Hopfield NN 模型结构
①离散 Hopfield NN 模型一般是自联想记忆模型 ,它的输入和输出是同一神经元 ,且代表相同的物理 含义 ;
②离散 Hopfield NN 模型实现自联想记忆的算法通常采用的是基于 Hebb 规则的外积学习算法 ,虽然 它具有学习速度快 、方法简便等优势 ,但是它对随机分布的样本记忆容量很小. 只有当样本矢量满足正交 条件时 ,才能被记忆存储到网络中去 ,成为网络的稳定吸引子.
虽然在容错性方面反馈式 Hopfield NN 要强于前向式 NN ,然而在网络训练过程中 Hopfield NN 对标准 训练样本的记忆存储能力却不如前向式 NN ,它受样本矢量在空间的分布以及相互间的关系影响较严重 ,
收稿日期 :2004207213 资助项目 :国家自然科学基金 (59877016) 作者简介 :姜惠兰 (1965 - ) ,女 (汉) ,河北籍 ,博士 ,副教授 ,硕士生导师 ,主攻人工智能和电力系统故障分析与控制的研 究.
射关系 ,联想过程可从输入到输出 ,也就是一组输入矢量可以通过联想将其相应输出联想出来 ,即可完成
异联想记忆功能. 这种模型对于解决异联想记忆的模式识别问题是完全可行的 ,从建模上解决了常规
Hopfield NN 用于异联想记忆模式识别的难点问题.
3 异联想记忆 Hopfield NN 的学习算法
第5期
异联想记忆 Hopfield 神经网络的模型 、算法及性能
103
馈到输出神经元的输入端 ,权值连接为 Wx . 这种异反馈连接的离散 Hopfield NN 的表达式可用 (1) 式描述.
p
∑ yi ( t) = sgn
Wxij xj ( t) - θp+ i ,
i = 1 ,2 , …, q
Abstract : This paper analyzes the performance of associative memory neural network. On the basis of bidirectional associative memory theory , a hetero associative memory Hopfield NN model is built to be used for pattern recognition. For the shortcoming of lack of storage capacity of Hopfield NN this paper improves traditional learning algorithm , proposes pseudo converse and generalized converse learning algorithm , and therefore the capacity of Hopfield NN to store training samples is increased. The simulation and results show that the study of this paper solves the key of Hopfield NN being applied in hetero associative memory pattern recognition. Key words : Hopfield NN ; associative memory ; memory capacity ; pattern recognition
1 引言
联想记忆是 NN 的重要应用之一 ,它主要利用 NN 的良好容错性能使不完整 、缺损的信号恢复成完整 的原型. 一个有效的联想记忆 NN 应该保证每个原型样本都成为网络的稳定状态 ,且具有强大的吸引特 性 ,就是说记忆为网络稳定状态所对应的样本吸引子应有一定范围的吸引域. 目前 ,用神经网络实现联想 记忆原则上有两类方式. 一类是前向式 NN ,即从输入模式到输出模式的映射网络 ,它属于异联想记忆网 络 ,是一个由非线性元件组成的学习系统 ,对样本模式的记忆能力是很强的 ,存储容量很大. 但是它不从系 统稳定性的角度出发 ,缺乏丰富的动力学行为 ,经训练记忆存储到网络中的原型样本吸引子对其他检测样 本的吸引性不强 ,即容错性不强. 另一类是反馈式网络 ,是从初态到终态的演化式网络 ,如著名的 Hopfield 网络. 它属于非线性动力学系统 ,引用 Lyapunov 能量函数的概念 ,从 NN 稳定性的角度出发 ,具有丰富的动 力学行为 ,存储的样本模式将构成系统的不动点吸引子 ,且稳定吸引子有足够大的吸引域 ,其容错性能较 强.
定状态提供了保证. 下面介绍各种算法.
311 基于 Hebb 规则的外积法[9]
对应于图 1 的模型结构 ,原型样本的矢量将由原来自联想的 X 扩展成 S = ( X , Y) ,其中 X 代表输入
神经元矢量 , Y 代表输出神经元矢量. 那么 ,以自联想记忆 Hopfield NN 原理作为基础 ,可以确定出相应的
一个有效 NN 的联想记忆能力不仅依赖于它的模型结构 ,而且与所采用的学习算法有关. 一般地 ,
Hopfield NN 多采用 Hebb 规则 ,它具有学习速度快和信息存储方便等优点 ,但是它要求用于训练权值的“联
想记忆模式对”是一组正交的矢量集. 对于工程实际问题 ,所构造的训练样本是很难满足这一苛刻的条件 ,
③当原型样本矢量两两相互正交时 ,各吸引子的吸引域将均匀地占据状态空间 ,进而表现出较强的 吸引性 ,容错性能较高.
因此 ,在用 Hopfield NN 来实现异联想记忆模式识别时 ,将存在两方面的困难 :一是异联想记忆模式识 别问题 ,其一组输入矢量对应着一组输出矢量 ,即输入和输出代表不同的物理含义 ,应该用不同的神经元 来表示 ;二是为实现属于模式识别问题所构造的原型样本是按照应用系统的具体情况来建立的 ,它们在状 态空间的分布不能保证是均匀的 ,更不可能满足正交的条件. 显然 ,在用具有较强容错性的 Hopfield NN 来 实现模式识别问题时 ,上述两方面是关键之处. 本文基于双向联想记忆的概念[8] ,对 Hopfield 自联想记忆 模型进行了扩展 ,建造了具有异联想记忆功能的 Hopfield NN 模型结构 ,并基于投影原理推导出适合于该 模型的伪逆学习算法和广义逆学习算法 ,使给定的原型样本通过训练尽可能地成为网络的稳定状态 ,保证 网络的联想能力. 通过选取不同性质的原型样本 ,并对三种算法的记忆能力进行了仿真分析 ,表明本文提 出的广义逆学习算法 ,对样本的记忆存储条件较比其它两个算法宽松 ,也就是说 ,为解决问题所建立的样 本模式能够容易地被存储到网络中去成为稳定吸引子 ,也只有样本被可靠地记忆到网络中 ,才谈得上容错 性. 所以本文所提出的模型和算法适合应用于异联想记忆的模式识别问题.
Hetero Associative Memory Hopfield NN Model , Learning Algorithms and Performance
J IANG Hui2lan , SUN Ya2ming
(School of Electrical Engineering and Automation , Tianjin University ,Tianjin 300072 ,China)
2 异联想记忆 Hopfield NN 模型结构
反馈式 Hopfield NN 是由非线性处理单元构成的单层
反馈非线性动力学系统 ,其一般的拓扑结构是具有自反馈
连接的 ,输入和输出是同一神经元且代表相同的物理含
义 ,属于自联想记忆网络 ,不适合于解决输入和输出所需
神经元数目不同且两者间具有相关关系的异联想记忆的
j=1 p
,
(1)
∑ xi ( t + 1) = sgn
Wyij yj ( t) - θi , i = 1 ,2 , …, p
j=1
其中 , xi ( t) , yi ( t) ∈{ - 1 ,1} ,θi 表示节点 i 的阀值.
可见 ,这种模型的神经元有输入和输出之分 ,输入和输出代表不同的物理含义 ,两者间具有对应的映
Hopfield NN 有离散和连续模型之分 ,都是单层对称连接的简单 NN ,是非线性动力学系统网络 ,离散模 型可用于联想记忆 ,连续模型可用于优化计算[6 ,7] . 模式识别是联想记忆问题 ,所以解决模式识别问题时 , 应采用离散 Hopfield NN. 通过对可实现联想记忆的 Hopfield NN 及其学习算法的分析可知 :
致使所建网络的记忆能力受到限制. 本文在分析 Hebb 规则学习算法的基础上 ,以矩阵理论的原理为基础 ,
将算法进行了改进 ,建立了异联想记忆 Hopfield NN 的伪逆和广义逆学习算法 ,它使样本正交的条件变得
宽松 ,扩大了 NN 对原型样本的记忆 ,进而为研究问题所建立的“联想记忆模式对”能够被记忆成网络的稳
2005 年 5 月
文章编号 :100026788 (2005) 0520101207
系统工程理论与实践
第Baidu Nhomakorabea期
异联想记忆 Hopfield 神经网络的模型 、算法及性能
姜惠兰 ,孙雅明
(天津大学电气与自动化工程学院 ,天津 300072)
摘要 : 对联想记忆神经网络 (neural networks2NN) 的特性进行了分析 ,基于双向联想存储器 BAM 原理 ,对 自联想记忆 Hopfield NN 模型进行了扩展 ,建造了适合于求解模式识别问题的异联想记忆 Hopfield NN 模 型结构. 并针对 Hopfield NN 记忆容量不足的缺陷 ,对常规的学习算法进行了改进 ,建立了基于投影原理 的伪逆学习算法和广义逆学习算法 ,提高了 Hopfield NN 对样本的记忆存储能力. 分析表明 :本文的研究 解决了 Hopfield NN 应用于异联想记忆模式识别的关键问题. 关键词 : Hopfield NN ;联想记忆 ;记忆容量 ;模式识别 中图分类号 : TP18 文献标识码 : A