Hopfield神经网络优化方法

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

x)
0
特点:
x 1 1 x 1
x 1
类似于系数为1的非线性放大器, 当工作于线性区时它是一个线性组合器,
放大系数趋于无பைடு நூலகம்大时变成一个阈值单元
Hopfield神经网络优化方法神经网络优化方法
13
激活函数的若干形式
(3)sigmoid函数
f (x) 1 1exp(cx)
式中,c为大于0的参数 ,可控制曲线斜率
形式。 反馈网络按对能量函数极 小点的利用分为两类:
•一类是能量函数的所有极 小点都起作用,主要用作 各种联想存储器;
•第二类只利用全局极小点 ,主要用于优化问题求解 。Hopfield模型、波尔兹 曼机(BM)模型等可以完 成此类计算。
Hopfield神经网络优化方法神经网络优化方法
16
10.2 Hopfield神经网络 - HNN
11
激活函数的若干形式
(1)阈值函数,即阶跃函数
f(x)sgn(x) 1 0
x0 x0
于是神经元i的相应输出为:
1 vi 0
xi 0 xi 0
式中,
n
xi wijs j i
j1
Hopfield神经网络优化方法神经网络优化方法
12
激活函数的若干形式
(2)分段线性函数
1
f
(x)
1 2
(1
10
人工神经元模型
上述作用可用数学方式表示如下:
n
u i w i j s j j1
xi ui i vi f (xi)
i=1, 2,…, n
式中,sj为输入信号;wij为神经元i对输入信号sj的权值;
ui为线性组合结果;i为阈值;f()为激活函数;
vi为神经元i的输出。
Hopfield神经网络优化方法神经网络优化方法
Hopfield神经网络优化方法神经网络优化方法
8
人工神经元模型
激活函数:图中的f(),主要起非线性映射作用 ,另外还可以作为限幅器将神经元输出幅度限 制在一定范围内;
Hopfield神经网络优化方法神经网络优化方法
9
人工神经元模型
阈值:控制激活函数输出的开关量,用i表示

Hopfield神经网络优化方法神经网络优化方法
表示。 i 为第i个神经元的阈值。
1 vi 0
xi 0 xi 0
(10-6)
Hopfield神经网络优化方法神经网络优化方法
19
离散型Hopfield网络
2种状态更新方式:
异步方式:在任一时刻t,只有某一个神经元按式( 10-6)发生变化,而其余n-1个神经元的状态保持不 变。
18
离散型Hopfield网络
定义:对图10-8中的特性函数f(•)取阈值函数(见图 10-3)等硬限函数,使神经元的输出取离散值,就得 到离散型Hopfield神经网络。
工作原理:设有n个神经元,v为神经网络的状态矢量 v i ,为第i个神经元的输出,输出取值为0或者为l的二 值状态。对任一神经元{ iv,j i } j 为第i个神经元的内部 未加权输入,它们对该神经元的影响程度用连接权wij
Hopfield神经网络优化方法神经网络优化方法
14
10.1.3 人工神经网络的互连模式
根据连接方式的不同,将现有的各类神经网络分为 如下2种形式:前馈型网络 ,反馈型网络
(1)前馈型网络
各神经元接受前一层的输入,并输出给下一 层,没有反馈。
结点分为两类,即输入单元和计算单元,每 一计算单元可有任意个输入,但只有一个输 出(它可耦合到任意多个其他结点作为输入 )。
特点:
网络中引入了反馈,所以它是一个非线性动力 学系统 .
非线性动力学系统着重关心的是系统的稳定性 问题。
在Hopfield模型中,神经网络之间的联系总是 设为对称的,这保证了系统最终会达到一个固 定的有序状态,即稳定状态。
Hopfield神经网络优化方法神经网络优化方法
17
Hopfield网络基本结构:
其中,I1, I2,..., In是外部对网络的输入;v1, v2,..., vn是网络系统 的输出;u1, u2, ..., un是对相应神经元输入,wij是从第j个神经 元对第i个神经元的输入的权值,wji=wij,wii=0。f(•)是特性函 数,决定了网络是离散的还是连续的。
Hopfield神经网络优化方法神经网络优化方法
第10章 Hopfield神经网络优化 方法
1
Hopfield神经网络优化方法
10.1 人工神经网络模型 10.2 Hopfield神经网络 10.3 Hopfield网络与最优化问题
Hopfield神经网络优化方法神经网络优化方法
2
人工神经网络
人工神经网络是指由大量简单人工神经元互联而成的一 种计算结构。它可以在某种程度上模拟生物神经系统的 工作过程,从而具备解决实际问题的能力。
人工神经网络由于其大规模并行处理、学习、联想和记 忆等功能,以及它高度的自组织和自适应能力,已成为 解决许多工程问题的有力工具,近年来得到了飞速的发 展。
Hopfield神经网络优化方法神经网络优化方法
3
生物神经系统
生物神经系统是一个有高度组织和相互作用的 数目庞大的细胞组织群体。这些细胞被称为神 经细胞,也称作神经元。
可分为不同的层,第i-1层输出是第i层的输 入,输入和输出结点与外界相连,而其他中 间层称为隐层。
主要起函数映射作用,常用于模式识别和函数逼近 。
Hopfield神经网络优化方法神经网络优化方法
15
(2)反馈型网络
所有结点都是计算单元,同时也可接受输入,并向外界输出。 若总的单元数为n,则每一个结点有n-1个输入、—个输出,如图10-7 的
Hopfield神经网络优化方法神经网络优化方法
6
人工神经元模型
权值:给不同的输入的信号一定的权值,用wij 表示。一般权值为‘+’表示激活,为‘-’表示 抑制;
Hopfield神经网络优化方法神经网络优化方法
7
人工神经元模型
求和器:用表示,以计算各输入信号的加权 和,其效果等同于一个线性组合;
Hopfield神经网络优化方法神经网络优化方法
4
人工神经元模型
人工神经元是构成人工神经网络的基本单元, 是对生物神经元特性及功能的一种数学抽象, 通常为一个多输入单输出器件。
Hopfield神经网络优化方法神经网络优化方法
5
人工神经元模型
输入与输出信号:s1、s2、….sn为输入,vi为输 出。输出也称为单元的状态。
相关文档
最新文档