第2章 神经元模型和网络结构

-1
图2-3线性传输函数
2016/11/11
7
对数-S形传输函数
a +1 p 0 -b/w 0 -1 a +1 p
a=logsig(n)
Log-Sigmoid传输函数
-1
a=logsig(wp+b)
Log-Sigmoid传输函数
图2-4对数-S形传输函数
2016/11/11
8
对数-S型传输函数的输入在（-∞，+∞）之间取值， 输出则在0到1之间取值，其数学表达形式为：
（注意： w和b是神经元的可调整标量参数。 设计者可以选择特定的传输函数，在一定 的学习规则中调整w和b，以满足特定的需 要。）
2016/11/11 4
2.2原理和实例
2.传输函数 上图中的传输函数可以是n的线性或者非线性 函数。可以用特定的传输函数满足神经元要 解决的特定问题。 下面将介绍三种最常用的。
a 1 1 e n
MATLAB函数
hardlim hardlims purelin satlin
对称饱和线性函数
satlin
对数-S型函数 双曲正切S型函数 正线性函数 竞争函数 2016/11/11
logsig tansig poslin compet
en en a n n e e
2016/11/11 26
P2.2如果P2.1中的神经元分别具有如下传输 函数，请问其输出值分别是多少？ I. 硬极限函数 II. 线性函数 III. 对数-S型函数 解 I. 对于硬极限函数有a=hardlim(1.6)=1.0 II. 对于线性传输函数有a=purelin(1.6)=1.6 III. 对于对数-S型函数有 a=logsig(1.6)=1/(1+e-1.6)=0.8320
2016/11/11 13
简化符号
输入 多输入神经元
p
R×1
W
1×R
＋
n
1×1
1 R
b
1×1
f
1
a
1×1
a=f(Wp+b) 图2-6 具有R个输入的神经元的简化符号
注：一般要标出变量的维数，这样可以立即知道 该变量是标量，还是向量或者矩阵。
2016/11/11 14
2.2.3网络结构
层——实际应用中需要有多个并行操作的 神经元，本文将这些可以并行操作的神经 元组成的集合称为“层”。 1.神经元的层 图2-7是由S个神经元组成的单层网络。注 意，R个输入中的每一个均与每个神经元相 连，权值矩阵现在有S行。
（注：全书中用到的所有符号都可以在附录B中查到。）
2016/11/11
2
2.2原理和实例
2.2.2神经元模型
1.单输入神经元
输入 通用神经元
p
w
Σ
b
1
n
f
a
a=f(wp+b) 图2-1 单输入神经元
2016/11/11 3
2.2原理和实例
神经元输出按下式计算: a=f(wp+b) 例如,若w=3,p=2,b=-1.5,则 a=f(3(2)-1.5)=f(4.5) 实际输出取决于所选择的特定传输函数
2016/11/11 18
2.多层神经元 层上标： 对于一个具有几层神经元的网络。每层都有 自己的权值矩阵等等参量，需要额外的符号 来区分这些层次。这里用上标来表示每个参 量的所处的层次。
2016/11/11
19
2016/11/11
20
输入层 隐含层 如果某层的输出是网络的输出，那么称该层 为输出层，而其他层叫隐含层。上图中的网 络有一个输出层（第3层）和两个隐含层（第 1层和第2层）。
0 t
图2-12 积分器模块
初始条件由指向积分器模块底部的箭头来表示。
2016/11/11 23
递归网络： 利用上述的模块就可以构造出递归网络。一个递归网络是一 个带反馈的网络，其部分输出连接到它的输入。
初始条件 递归层
p
S×1
W
S×S
＋
n(t+1)
a(t+1)
1 S
b
S×1
S×1
D
a(t)
S×1
2016/11/11
15
2016/11/11
16
上图中每个变量下的符号指明P是长度为R的向 量，W是一个S×R矩阵，a和b是长度为S的向量。
2016/11/11 17
输入向量通过如下权矩阵W进入网络：
矩阵W中的元素的行下标代表该权值相应连接输 出的目的神经元，而列下标代表该权值相应连接 的输入源神经元。
a=0,n<0 a=n,n≥0 a=1,具有最大n的神经元a=0,所有其他神 经元
10
3.多输入神经元 权值矩阵 通常，一个神经元有不止一个输入。具 有R个输入的神经元如图2-5所示。
输入 通用神ຫໍສະໝຸດ Baidu元
p1 p2
w1.1
Σ
w1.R 1
n
f
a
b
pR
a=f(Wp+b)
2016/11/11
图2-5 单输入神经元
第2章 神经元模型和网络结构
2.1 目的
介绍简化的神经元数学模型 解释这些人工神经网络如何互相连接形成 各种网络结构 通过几个简单的实例来介绍这些网络的工 作原理
2016/11/11
1
2.2原理和实例
2.2.1符号 本书中的图、数学公式的正文，将使用以下 符号： 标量：小写的斜体字母，如a,b,c。 向量：小写的黑正体字母，如a,b,c。 矩阵：大写的黑正体字母，如A,B,C。
2016/11/11 25
2.3
例 题
P2.1一个单输入神经元的输入是2.0，其权值是2.3， 偏置值是-3。 I. 传输函数的净输入是多少？ II. 神经元的输出是多少？ 解 I. 传输函数的网络输出由下式给出： n=wp+b=2.3×2-3=1.6 II. 因为没有指定传输函数，所以无法确定输出。
2016/11/11
21
3.递归网络 延时：在讨论递归网络前，首先介绍一些简单 的构造模块。
u(t)
D
a(0)
a(t)
图2-11 延时模块
延时输出a(t)由输入u(t)根据下式计算得到： 2016/11/11 a(t)= u(t-1)
22
积分器
积分器 u(t) a(t)
a(0)
a t u d a 0
11
该神经元有一个偏置值b，它与所有输入的加 权和累加，从而形成净输入n:
n w1.1 p1 w1.2 p2 w1.R pR b
矩阵形式：
n Wp b
神经元的输出可以写成：
a f Wp b
2016/11/11 12
权值下标
本书将采用习惯的方法表示权值矩阵元素 的下标。权值矩阵元素下标的第一个下标 表示权值相应连接所指定的目标神经元编 号，第二个下标表示权值相应连接的原神 经元编号。 w 1.2的含义： 该权值表示从第二个神经元到第一个神经 元的连接。
S
a0 P at 1 satlins (Wat b) 图2-13 递归网络
2016/11/11 24
如何选取一种网络结构 应用问题的描述从如下几个方面非常有助于 定义网络的结构： 1. 网络的输入个数=应用问题的输入数； 2. 输出层神经元的数目=应用问题的输出数 目； 3. 输出层的传输函数选择至少部分依赖于应 用问题的输出描述。
1 n 1 e
在某种程度上可以说，正是由于对数-S型函数是 可微的，所以用于反传（BP）算法训练的多层网 络才采用了该传输函数。
2016/11/11 9
表2-1 传输函数
名称
硬极限函数 对数硬极限函数 线性函数 饱和线性函数
输入/输出关系
a=0,n<0 a=1,n≥0 a=-1,n<0 a=+1,n≥0 a=n a=0,n<0 a=n,0≤n≤1 a=1,n>1 a=-1,n<-1 a=n,-1≤n≤1 a=1,n>1
2016/11/11 27
2016/11/11
5
硬极限传输函数
a +1 +1
0 -1
-b/w
0 -1
p
a=hardlim(n)
a=hardlim(wp+b)
图2-2硬极限传输函数
2016/11/11
6
线性传输函数
a +1 a +b
-b/w
0 0
p
a=purelin(n)
线性传输函数
-1
a=purelin(wp+b)
线性传输函数