连续型Hopfield神经网络

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
对称型Sigmoid函数
f x 1
1 ex
f
x
1 1
e e
x x
连续型Hopfield神经网络稳定性分析
能量函数的定义(有备注)
1 n
E 2 i1
n
n
n1
WijViV j
j 1
Vi Ii
i1
i1
Ri
Vi f 1 V
0
dV
求取 dE
dt
其中:
dE E dVi
dt i Vi dt
图a 单层反馈型网络
2) 前馈网络
前馈网络具有递阶分层结构,由一些同层神经 元不存在互连的层级组成。从输入层至输出层 的信号通过单向连接流通;神经元从一层连接 至下一层,不存在同层神经元间的连接,前馈 网络的例子有多层感知器(MLP),学习矢量化 (LVQ)网络、小脑膜型连接控制(CMCA)网络和数 据处理(GMDH)网络等。
神经元具有以下特点:
➢ 神经元是一多输入、单输出元件。
➢ 它具有非线性的输入、输出特性。
➢ 它具有可塑性,其塑性变化的部分主要是权值 的变化,这相当于生物神经元的突触部分的变 化。
➢ 神经元的输出响应是各个输入值的综合作用的 结果。
➢ 输入分为兴奋型(正值)和抑制型(负值)两 种。
国际著名的神经网络研究专家, 第一家 神经计算机公司的创立者与领导人HechtNielsen 给人工神经网络下的定义就是: “人工神经网络是由人工建立的、以有向 图为拓扑结构的动态系统,它通过对连续 或断续的输入作状态响应而进行信息处 理。”
E 1
Vi 2
j
WijV j
1 2
j
W jiV j
Ii
1 Ri U i
由于Wij=Wji 则有:
E
Vi
j
WijV j
Ii
1 Ri
Ui
由连续Hopfield运行方程可得
E Vi
Ci
dU i dt
Ci
dU i dVi
Ci
dVi dt
d dVi
f 1Vi
将上式代入原式可得:
dE
Wij
j 1
Ci
dU i dt
Ui Ri
n
WijVi I i
j 1
Vi f Ui
一般设 U x,V y, RiCi , I / C
则有
dxi
dt
1
xi
1 Ci
Wij y j i
j
yi f xi
式中f(x)为S形激励 函数。一般有以下两 种形式:
非对称型Sigmoid函 数
4.连续型Hopfield神经网络应用
Hopfield神经网络的提出就是与其实际应用密切相关的, 其主要功能有联想记忆(离散Hopfield)和优化计算功 能(连续Hopfield)。Hopfield网络除了在模式识别方 面有重要应用以外,对于解决组合优化问题,它也有许 多用途。组合优化问题,就是在给定的约束条件下,求 出使目标函数极小(或极大)的变量组合问题。将 Hopfield网络应用于求解组合优化问题,就是把目标函 数转化为网络的能量函数,把问题的变量对应于网络的 状态。
dt
j
Ci
dVi dt
2
f 1Vi
由于Ci>0, f(U)单调递增,故f -1 (U)也单调递 增,可得:
dE 0 dt
当且仅当, dVi 0 时, dE 0
dt
dt
结论:网络是渐进稳定的,随着时间的推移,网 络的状态向E减小的方向运动,其稳定平衡状态 就是E的极小点。
连续型Hopfield神经网络特点
图b 单层前馈网络
图c 二层前馈网络
人工神经网络的主要学习算法
神经网络主要通过两种学习算法进行训练,即有导师 (指导式)学习算法和无导师(非指导式)学习算法。 此外还存在第三种学习算法,即强化学习算法,可把它 看作是有导师学习的一种特例。 1) 有导师学习 有导师学习算法能够根据期望的和实际的网络输出(对 应于给定输入)之间的差来调整神经元连接的强度或权。 因此,有导师学习需要提供期望或目标输出信号。
n
s wi xi i 1
y s
2.Hopfield神经网络概述
Hopfield网络是J.J.Hopfield在20世纪80年代 提出来的。他指出,如果神经网络的突触联系 是有效对称的,那么系统必将演化到一个固定 的有序状态。于是他引入能量函数的概念,表 明如果突触联系是对称的,则网络的动态演化 过程将达到能量最小的稳定状态。利用这一特 性,Hopfield网络可完成一些诸如最优化和联 想记忆的功能。
当网络的能量函数收敛于极小值时,网络的状 态就对应于问题的最优解。由于神经网络的计 算量不随维数的增加而发生指数性的剧增,所 以对于优化问题的快速计算特别有效。
优化计算在实际问题中有着广泛的应用,如常 见的TSP问题,工业生产和交通运输中的调度问 题等。应用Hopfield神经网络来解决优化计算 问题的一般步骤为:
连续型Hopfield神经网络
报告人:彭佳伟 导 师:齐乐华 教授
Outline
人工神经网络简介 Hopfield神经网络概述 连续型Hopfield神经网络结构及特点 简单应用
1 人工神经网络简介
人工神经网络(Artificial Neural Networks,简写为ANN)也简 称为神经网络(NN)或称作连接模型,是对人脑或自然神经网络若干 基本特性的抽象和模拟。人工神经网络是以对大脑的生理研究成果 为基础的,其目的在于模拟大脑的某些机理与机制, 实现某个方 面的功能。
油料资源输送,是指利用信息技术在战前和作战过程中 精确预测作战部队的油料需求,精确“可视”全部油料 资源,灵活调遣保障资源,采取多种运输手段,主动地 在需要的时间和地点为作战部队保障油料。随着现代运 输手段的发展,如何安全、快速、准确地输送油料,是 油料部门急需解决的问题。由于作战区域广泛,战争中 前方和后方的界线变得十分模糊,作战部队经常处于不 断移动的状态,因此就存在许多油库供应多个作战部队 油料的情况,存在一个或多个油料供应点到多个油料需 求点的油料输送问题。
Hopfield网络是一种具有反馈性质的网络,而反馈网络 的一个主要特点就是它应具有稳定状态。当网络结构满 足上面所指出的两个条件时,按上述工作运行规则反复 更新状态,当达到一定程度后,各输出不再变化,网络 达到稳定状态,即Ui(t+1)=Ui(t)=sgn(Hi)。在实 际应用中必须运行许多次才能达到稳定状态。网络运行 达到稳定状态的速度,以及网络的稳定程度主要取决于 网络的“能量函数”。
在Hopfield网络中,各连接权的值主要是设计出来的, 而不是通过网络运行而学到的,网络的学习过程只能对 它进行微小的调整,所以连接权的值在网络运行过程中 是基本固定的,网络的运行只是通过按一定的规则计算 与更新网络的状态,以求达到网络的一种稳定状态,如 果将这种稳定状态设计在网络能量函数极小值的点上, 那么,就可以用这种网络来记忆一些需要记忆的模式或 得到某些问题的最优解。
4.2.利用Hopfield神经网络进行图的同构识别
图的同构问题一直受到数学界与工程技术界, 特别是大 系统建模技术人员的关注和兴趣。所谓图的同构,是指 两个图有相同数量的节点和边,并且节点和边分别存在 着一一对应,且保持关联关系。相应节点自由度相同。
图的同构问题具有很好的应用背景, 特别是应用于系统 建模:如果建模者能够证明需建的模型与已有的某模型 同构, 则勿需再建, 这将大大节省人力物力。传统的方 法检验图的同构间题是非常困难的, 特别是当图的顶点 数较大时, 几乎是不可能的。因此, 人们只能设法寻找 其它途径以求得对此问题有所帮助。
人工神经网络的主要学习算法
2) 无导师学习 无导师学习算法不需要知道期望输出,在训练过程中, 只要神经网络提供输入模式,神经网络就能够自动地适 应连接权,以便按相似的特征把输入模式分组聚集。
3) 强化学习 强化学习是有导师学习的特例,它不需要给出目标输出, 强化学习算法采用一个“评论员”来评价与给定输入项 相对应的神经网络输出的优度(质量因数)。强化学习 算法的一个例子是遗传算法(GA)。
人工神经元模型
常用的人工神经元模 型主要是基于模Βιβλιοθήκη Baidu生 物神经元信息传递特 性,即输入、输出关 系。如果将生物神经 元输入、输出脉冲的 密度用模拟电压来表 示,可用右图的模型 来模拟。
人工神经元模型
xi(i=1,2,···,n)为加于输入端(突触)上的输 入信号;wi(i=1,2,···,n)为相应的突触连接权 系数,它是模拟突触传递强度的一个比例系数: Σ表示突触后信号的空间累加;θ表示神经元 的阈值,σ表示神经元的响应函数。该模型的 数学表达式为:
设模型中放大器为理想放大器,其输入端无电 流输入,则第i个放大器的输入方程为:
Ci
dU i dt
Ui Rio
n
Wij
j 1
Vi
Ui
Ii
Wij
1 Rij
连续型Hopfield动 态神经网络模型如 右图所示。
取Wij=Wji ,Wii=0(无 自反馈)
设 则有
1
Ri
1 Rio
n
3.连续型Hopfield网络结构及特点
连续型Hopfield网 络结构如右图所示, 它是单层反馈非线 性网络,每一个节 点的输出均反馈至 节点的输入。
Hopfield网络用模拟 电路实现的神经元节 点如右图。图中电阻 Rio和电容Ci并联,模 拟生物神经元的延时 特性,电阻 Rij(j=1,2,…,n)模拟 突触特征,偏置电流 Ii相当于阈值,运算 放大器模拟神经元的 非线性饱和特性。
4.1.基于连续型Hopfield网络的油料资源输送优化
设计一套最佳的巡回路线,在所有可能的路径 方案中选出一个最符合条件的油料输送路径, 是提高战时油料保障军事经济效益的重要途径。 在人工神经网络理论中,连续型Hopfield神经 网络可以实现对油料输送路径的最优化搜索, 能很好地解决油料资源输送优化计算问题,为 提高战时油料资源保障质量效益奠定基础。
Hopfield网络的运行规则
Hopfield网络运行规则主要有以下几步:
① 从网络中随机选出一个神经元i;
② 求出神经元i的所有输入的加权总和;
③ 计算神经元i在第t+1时刻的输出值,即 Ui(t+1);
④ Ui以外的其他所有输出值保持不变,
Uj(t+1)=Uj(t)
j=1,2,3,…n
ji
⑤ 返回到第一步,直至网络进入稳定状态。
Hopfield网络的运行规则
按以上运行规则,在满足以下两个条件时,Hopfield 学习算法总是收敛的。
a. 网络的连接权矩阵无自连接并且具有对称性: Wii=0 i=1,2,…,n Wij=Wji i,j=1,2,…,n
b. 网络中各神经元以非同步或串行方式,根据运行规则 改变其状态;当某个神经元改变状态时,其他所有神 经元保持原状态不变。
连续神经网络模型在简化生物神经元性质的同 时,重点突出了以下特点:
a. 神经元作为一个输入输出变换,其传输特性 具有sigmoid特性。
b. 神经元之间大量的兴奋性、抑制性连接,主 要通过反馈来实现。
c. 既代表产生动作电位的神经元又代表按渐进 方式工作的神经元。 因此,连续神经网络模型准确地保留了生物神 经网络的动态和非线形特征。
(1)分析问题:网络输出与问题的解相对应。 (2)构造网络能量函数:构造合适的网络能量函
数,使其最小值对应问题最佳解。 (3)设计网络结构:将能量函数与标准式相比较,
定出权矩阵与偏置电流。 (4)由网络结构建立网络的电子线路并运行,稳
态优化解。
4.1.基于连续型Hopfield网络的油料资源输送优化
人工神经网络的结构分类
人工神经网络的结构基本上分为两类,即递归 网络和前馈网络。
1) 递归网络 此类网络中,多个神经元互连组织成一个互连神经网络。 有些神经网络输出被反馈至同层或前层神经元。因此, 信号能从正向和反向流通。Hopfield 网络、Elmman 网 络和Jordan 网络是递归网络中具有代表性的例子。递 归网络又叫反馈网络。
Hopfield网络分为离散型和连续型两种, 都是对称互连网络(Wij=Wji),根据节点状 态的取值来划分是离散型的还是连续型。 离散网络节点取{-1,+1}或{0,+1},连 续网络节点状态在某个随机区间内连续取 值。
Hopfield网络的运行规则
神经元网络主要有两种运行方式,一种是学习运行方式, 即通过学习调整连接权的值来达到模式记忆与识别的目 的。另一种就是即将要介绍的Hopfield网络所采用的运 行方式。
相关文档
最新文档