第2章 神经元模型和网络结构

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
a=ƒ(Wp+b) 图2-7 S个神经元组成的层
bS
输入向量p的每个元素均通过权值矩阵W和每个神 经元相连。 输入向量通过如下权矩阵W进入网络: w1,1 w1, 2 L w1, R w2,1 w2, 2 L w2, R W = M M M M wS ,1 wS , 2 L wS , R
2.2.2 神经元模型 1. 单输入神经元 偏置(值 权值 偏置 值)
输入
净输入 传输函数
通用神经元
p
w

b 1
n
f
a
图2-1 单输入神经元
若将这个简单模型和前面第1章所讨论的生物神经 若将这个简单模型和前面第 章所讨论的生物神经 元相对照,则权值w对应于突触的连接强度 对应于突触的连接强度, 元相对照,则权值 对应于突触的连接强度,细胞体 对应于累加器和传输函数,神经元输出a代表轴突的 对应于累加器和传输函数,神经元输出 代表轴突的 信号。 信号。
神经元输出按下式计算: 神经元输出按下式计算 a=f(wp+b)
注:还有多阈值、多权值神经元 还有多阈值、
实际输出取决与所选择的待定传输函数。 实际输出取决与所选择的待定传输函数。 2. 传输函数 图2-1中的传输函数可以是n的线性或者非线性函数。 中的传输函数可以是 的线性或者非线性函数。 可以用特定的传输函数满足神经元要解决的特定问题。 可以用特定的传输函数满足神经元要解决的特定问题。 本书包括了各个不同的传输函数。 本书包括了各个不同的传输函数。下面将讨论其中 最常用的三种。 最常用的三种。 硬极限传输函数 线性传输函数 a=n (2.1) (2.2)
输入/ 输入/输出关系 a=0,n<0 a=1,n≥0 a=-1,n<0 a=a=+1,n≥0 a=n a=0,n<0 a=n,0≤n≤1 a=1,n>1 a=-1,n<-1 a=-1,n<a=n,a=n,-1≤n≤1 a=1,n>1 a=1/1+e-n a=en-e-n/en+e-n a=0,n<0 a=n,n ≥ 0 a=1,具有最大 a=1,具有最大n的神经元 具有最大n a=0,所有其他神经元 a=0,所有其他神经元
a(t+1) S×1
D
a(t) S×1
S
a(0)=p
a(t+1)=satlins(Wa(t)+b)
图2-13
递归网络
a(1)=satlins(Wa(0)+b), a(2)=satlins(Wa(1)+b),…
2.3 小结
输入 通用神经元
单输入神经元
p w

b 1
n
f
a
多输入神经元
...
名称
传输函数
图2-3 线性传输函数
a=logsig(n) Log-Sigmoid 传输函数
a=logsig(wp+b) 单输入logsig神经元 神经元 单输入
对数-S形传输函数 图2-4 对数 形传输函数
名称 硬极限函数 对称硬极限函数 线性函数 饱和线性函数
输入/ 输入/输出关系 a=0,n<0 a=1,n≥0 a=-1,n<0 a=a=+1,n≥0 a=n a=0,n<0 a=n,0≤n≤1 a=1,n>1 a=-1,n<-1 a=-1,n<a=n,a=n,-1≤n≤1 a=1,n>1 a=1/1+e-n a=en-e-n/en+e-n a=0,n<0 a=n,n ≥ 0 a=1,具有最大 a=1,具有最大n的神经元 具有最大n a=0,所有其他神经元 a=0,所有其他神经元
神经元层
三层神经元
延时模块
积分器模块
a(t) = ∫ u(τ )dτ + a(0)
0
t
初始条件
递归层
递归网络
p S×1
W
S×S
+ b
S S×1
n(t+1) S×1
a(t+1) S×1
D
a(t) S×1
S
a(0)=p
a(t+1)=satlins(Wa(t)+b)
如何选取一种网络结构 应用问题的描述从如下几个方面非常有助于定义网络 的结构: 的结构: 1)网络的输入个数=应用问题的输入数; )网络的输入个数 应用问题的输入数; 应用问题的输入数 2)输出层神经元的数目=应用问题的输出数目 )输出层神经元的数目 应用问题的输出数目 应用问题的输出数目;
第2章 神经元模型和网络结构
2.1 目的 2.2 理论和实例 2.2.1 符号 2.2.2 神经元模型 2.2.3 网络结构 2.3 小结 2.4 例题 2.5 结束语
2.1 目的
章给除了生物神经元和神经网络的简述。 第1章给除了生物神经元和神经网络的简述。现在 章给除了生物神经元和神经网络的简述 来介绍简化的神经元数学模型, 来介绍简化的神经元数学模型,并解释这些人工神经 元如何相互连接形成各种网络结构。另外,本章还将 元如何相互连接形成各种网络结构。另外, 通过几个简单的实例阐述这些网络如何工作。 通过几个简单的实例阐述这些网络如何工作。本书中 将使用本章所引入的概念和符号。 将使用本章所引入的概念和符号。
源自文库
图2-5
...
多输入神经元
该神经元有一个偏置值b,它与所有输入的加权和累 该神经元有一个偏置值 它与所有输入的加权和累 从而形成净输入n: 加,从而形成净输入 : n=w1,1p1+w1,2p2+…+w1,RpR+b 这个表达式也可以写成矩阵形式: 这个表达式也可以写成矩阵形式: n=Wp+b 其中单个神经元的权值矩阵W只有一 元素。 只有一行 其中单个神经元的权值矩阵 只有一行元素。 神经元的输出可以写成: 神经元的输出可以写成:a=f(Wp+b) (2.3) ) (2.4) (2.5)
2.2.3 网络结构 P2 1.神经元的层 神经元的层 P3

R WS,R
1
∑ b2 ∑
n2
ƒ
a2
1 2-7是由 个神经元组成的单层网络。 是由S个神经元组成的单层网络 层 图p 是由 个神经元组成的单层网络。
nS
ƒ
aS
该层包括权值矩阵、累加器、偏置值向量 、 该层包括权值矩阵、累加器、偏置值向量b、传输 函数框和输出向量a。 函数框和输出向量 。 1
(ii)因为未指定传输函数,所以不能确定该神经元 )因为未指定传输函数, 的输出。 的输出。 P2.2 如果 如果P2.1中的神经元分别具有如下传输函 中的神经元分别具有如下传输函 请问其输出值分别是多少? 数,请问其输出值分别是多少? (i)硬极限函数 ) (ii)线性函数 ) (iii)对数 形(logsig)函数 )对数-S形 ) 解 (i)对硬极限传输函数有 ) (ii)对线性传输函数有 ) (iii)对对数 形传输函数有 )对对数-S形传输函数有
… … … … …
如果某层的输出是网络的输出, 输入层 隐含层 如果某层的输出是网络的输出, 那么称该层为输出层,而其他层叫隐含层。 那么称该层为输出层,而其他层叫隐含层。 前面讨论的三层网络同样也可以用简化的符号表 如图2-10所示。 所示。 示,如图 所示
3.递归网络 递归网络 在讨论递归网络前, 延时 在讨论递归网络前,首先介绍一些简单的构 造模块。第一种是延时模块,如图2-11所示。 所示。 造模块。第一种是延时模块,如图 所示
积 分 器 a(t) u(t)
a(0)
a (t ) =

t
0
u (τ )d τ + a ( 0 )
图 2-12 积 分 器 模 块
积分器的输出a(t)由输入 由输入u(t)根据下式计算得到: 根据下式计算得到: 积分器的输出 由输入 根据下式计算得到
a(t ) = ∫ u (τ )dτ + a(0)
0 t
(2.8)
一个递归网络是一个带反馈的网络, 递归网络 一个递归网络是一个带反馈的网络,其部 分输出连接到它的输入。 分输出连接到它的输入。图2-13给出了一种类型的离散 给出了一种类型的离散 时间递归网络。 时间递归网络。
初始条件 递归层
p S×1
W
S×S
+ b
S S×1
n(t+1) S×1
权值下标 权值矩阵元素下标的第一个下标表示 权值相应连接所指定的目标神经元编号, 权值相应连接所指定的目标神经元编号,第二个下 标表示权值相应连接的源神经元编号。 标表示权值相应连接的源神经元编号。 简化符号 图2-6为利用这种符号所表示的多输入 为利用这种符号所表示的多输入 神经元。 神经元。
具有R个输入的神经元的简化符号 图2-6 具有 个输入的神经元的简化符号 在图2-6中 左边垂直的实心条表示输入向量 , 在图 中,左边垂直的实心条表示输入向量p,p 下面的变量R 表示 的维数,也即输入是由R个元素 表示p的维数 下面的变量 ×1表示 的维数,也即输入是由 个元素 组成的一维向量。这些输入被送人权值矩阵W, 有 组成的一维向量。这些输入被送人权值矩阵 ,W有1 则作为输入与标量偏置值b相乘 行R列。常量 则作为输入与标量偏置值 相乘。传输函 列 常量1则作为输入与标量偏置值 相乘。 的净输入是n,它是偏置值b与积 与积Wp的和。在这种情 的和。 数f的净输入是 ,它是偏置值 与积 的净输入是 的和 况
2.2 原理和实例 2.2.1 符号 本书中的图、 本书中的图、数字公式以及解释图和数字公式的正 将使用一下符号: 文,将使用一下符号:
● 标量:小写的斜体字母,如a,b,c。 标量:小写的斜体字母, 。 ● 向量:小写的黑正体字母,如a,b,c。 向量:小写的黑正体字母, a,b,c。 ● 矩阵:大写的黑整体字母,如A,B,C。 矩阵:大写的黑整体字母, A,B,C。
(2.6)
同样,具有S个神经元、R个输入的单层网络也能 用简化的符号表示为如图2-8所示的形式。
权值下标 权值矩阵元素下标的第一个下标表示权值相应 连接所指定的目标神经元编号, 连接所指定的目标神经元编号,第二个下标表示权值相应 连接的源神经元编号。 连接的源神经元编号。W2,3 ?
2.多层神经元 层上标 现在考虑具有几层神经元的网络。每个 变量都附加一个上标来表示其所处层次。图2-9所示 的三层网络就使用了这种标记方法。
对数-S形传输函数 对数 形传输函数 a=1/1+e-n
a=hardlim(n) 硬极限传输函数
a=hardlim(wp+b) 单输入hardlim神经元 神经元 单输入
图2-2 硬极限传输函数
a
+1 -b/w 0 -1
a
+b
n
0 -b
p
a=purelin(n) 线性传输函数
a=purelin(wp+b) 单输入purelin神经元 神经元 单输入
3)输出层的传输函数选择至少部分依赖与应用问 题的输出描述。 题的输出描述。 2.4 例题 一个单输入神经元的输入是2.0 2.0, P2.1 一个单输入神经元的输入是2.0,其权值是 2.3,偏置值是-3。 2.3,偏置值是(i)传输函数的净输入是多少? 传输函数的净输入是多少? (ii)神经元的输出是多少? ii)神经元的输出是多少? 解 (i)传输函数的网络输出由下式给出: 传输函数的网络输出由下式给出:
延时 u(t) a(t)
D
a(0)
a(t)=u(t-1) 图 2-11 延 时 模 块
延时输出a(t)由输入u(t)根据下式计算得到: a(t)=u(t-1) (2.7)
另一种将用于第15章至第 章至第18章中的连续 积分器 另一种将用于第 章至第 章中的连续 时间递归网络的构造模块是积分器,如图2-12所示: 所示: 时间递归网络的构造模块是积分器,如图 所示
输入 S个神经元的层 是一个标量。 下,神经元的输出a是一个标量。如果网络有多个神经 神经元的输出 是一个标量 那么网络输出就可能是一个向量。 元,那么网络输出就可能是一个向量。 a1 n1 ƒ ∑
W1,1
P1 b1 请注意,网络的输入是由问题的外部描述决定的。 请注意,网络的输入是由问题的外部描述决定的。
图标
MATLAB函数 MATLAB函数 hardlim hardlims purelin satlin
对称饱和线性函数
satlins
对数对数-S形函数 双曲正切S 双曲正切S形函数 正线性函数 竞争函数
logsig tansig poslin compet
3.多输入神经元 3.多输入神经元 通常,一个神经元有不止一个输入。 权值矩阵 通常,一个神经元有不止一个输入。具 个输入的神经元如图2 所示。 有R个输入的神经元如图2-5所示。其输入p1,p2,…,pR 分别对应权值矩阵W 分别对应权值矩阵W的元素w1,1,w1,2,…,w1,R 。
图标
MATLAB函数 MATLAB函数 hardlim hardlims purelin satlin
硬极限函数 对称硬极限函数 线性函数 饱和线性函数
对称饱和线性函数
satlins
对数对数-S形函数 双曲正切S 双曲正切S形函数 正线性函数 竞争函数
logsig tansig poslin compet
相关文档
最新文档