神经元模型和网络结构优秀课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Байду номын сангаас
输2入.多层神第1经层元
第2层
第3层
变的量三p都层层1w11,附 网上1 加 络标∑1 b一 就11现n1个 使1 在ƒ上 用1考标 了a1虑1 来这w具21,表种1 有∑示标1b几21其记n2层1 所方神ƒ处法2 经层。a2元1 次w的31。,1网∑图1b络312n。-319所每ƒ3 示个a31
2.2.2 神经元模型
1. 单输入神经元
权值 偏置(值) 净输入 传输函数
输入
通用神经元
p
w
∑n f
a
b
1
a=f(wp+b)
图2-1 单输入神经元
若将这个简单模型和前面第1章所讨论的生物神经 元相对照，则权值w对应于突触的连接强度，细胞体 对应于累加器和传输函数，神经元输出a代表轴突的 信号。
神经元输出按下式计算： a=f(wp+b)
神经元模型和网络结 构
2.1 目的
第1章给除了生物神经元和神经网络的简述。现在 来介绍简化的神经元数学模型，并解释这些人工神经 元如何相互连接形成各种网络结构。另外，本章还将 通过几个简单的实例阐述这些网络如何工作。本书中 将使用本章所引入的概念和符号。
2.2 原理和实例 2.2.1 符号
本书中的图、数字公式以及解释图和数字公式的正 文，将使用一下符号： ● 标量：小写的斜体字母，如a,b,c。 ● 向量：小写的黑正体字母，如a,b,c。 ● 矩阵：大写的黑整体字母，如A,B,C。
神经元的输出可以写成：a=f(Wp+b)
(2.5)
权值下标 权值矩阵元素下标的第一个下标表示
权值相应连接所指定的目标神经元编号，第二个下 标表示权值相应连接的源神经元编号。
简化符号 图2-6为利用这种符号所表示的多输入 神经元。
输入
多输入神经元
p R×1
1 R
W
1×R
b
1×1
a
1×1
+
n 1×1
ƒ
下，神经元输的入输出a是一S个个神标经量元的。层如果网络有多个神经
元，那么网络输W出1,1 就可∑能是n一1 个向ƒ量。a1 请注P意1 ，网络的输入b1是由问题的外部描述决定的。
2.2.3 网络P2结构
1
∑ n2
ƒ a2
1.神经元的P3 层
b2
层 图…p2R-7是由WSS,R个神∑经1 元组nS 成的ƒ单层aS网络。
该层包括权值矩阵、累bS加器、偏置值向量b、传输
函数框和输出向量a。 1
a=ƒ(Wp+b)
图2-7 S个神经元组成的层
输入向量p的每个元素均通过权值矩阵W和每个神
经元相连。
输入
S个神经元的层
输入向量通过如下权矩阵W进入网络：
W w1p,1 w1,2
W
wR×2,11
w2,2 S×R
b wS1,1 wS,2
a3=ƒ3(W3a2+b3)
a=0,n<0 a=1,n≥0 a=-1,n<0 a=+1,n≥0 a=n
a=0,n<0 a=n,0≤n≤1 a=1,n>1
图标
a=-1,n<-1 a=n,-1≤n≤1 a=1,n>1 a=1/1+e-n
a=en-e-n/en+e-n
a=0,n<0 a=n,n ≥ 0 a=1,具有最大n的神经元 a=0,所有其他神经元
MATLAB函数 hardlim hardlims purelin satlin
satlins
logsig tansig poslin compet
3.多输入神经元
权值矩阵 通常，一个神经元有不止一个输入。具
有R个输入的神经元如图2-5所示。其输入p1,p2,…,pR 分别对应权值矩阵W的元素w1,1,w1,2,…,w1,R 。
图2-3 线性传输函数
a=logsig(n)
a=logsig(wp+b)
Log-Sigmoid 传输函数 单输入logsig神经元
图2-4 对数-S形传输函数
名称 硬极限函数 对称硬极限函数 线性函数 饱和线性函数
对称饱和线性函数
对数-S形函数 双曲正切S形函数 正线性函数 竞争函数
输入/输出关系
注：还有多阈值、多权值神经元
实际输出取决与所选择的待定传输函数。
2. 传输函数
图2-1中的传输函数可以是n的线性或者非线性函数。
可以用特定的传输函数满足神经元要解决的特定问题。
本书包括了各个不同的传输函数。下面将讨论其中 最常用的三种。
硬极限传输函数
线性传输函数 a=n
(2.1)
对数-S形传输函数 a=1/1+e-n
(2.2)
a +1
0
n
-1
a
+1
-b/w
0
p
-1
a=hardlim(n)
a=hardlim(wp+b)
硬极限传输函数
单输入hardlim神经元
图2-2 硬极限传输函数
a +1
0
n
-1
a
+b
-b/w
0
p
-b
a=purelin(n)
a=purelin(wp+b)
线性传输函数
单输入purelin神经元
输入
多输入神经元
P1
P2
W1,1
P3 .
∑n ƒ a
...
. .
W1,R b
pR
1
a=ƒ(Wp+b)
图2-5 多输入神经元
该神经元有一个偏置值b,它与所有输入的加权和累 加，从而形成净输入n：
n=w1,1p1+w1,2p2+…+w1,RpR+b
（2.3）
这个表达式也可以写成矩阵形式： n=Wp+b (2.4) 其中单个神经元的权值矩阵W只有一行元素。
1 a=ƒ(Wp+b)
图2-6 具有R个输入的神经元的简化符号
在图2-6中，左边垂直的实心条表示输入向量p，p 下面的变量R×1表示p的维数，也即输入是由R个元素 组成的一维向量。这些输入被送人权值矩阵W，W有1 行R列。常量1则作为输入与标量偏置值b相乘。传输函 数f的净输入是n，它是偏置值b与积Wp的和。在这种情
w1, R
a
+ ƒ w2,
R
n
S×1
S×1
wS
,
R
（2.6）
同样，R 具有S个S×神1 经元、R个输入的S 单层网络也能
用简化的符号表示为如图a=2ƒ-(8W所p+b示) 的形式。
图2-8 由S个神经元组成的层的简化表示
权值下标 权值矩阵元素下标的第一个下标表示权值相应
连接所指定的目标神经元编号，第二个下标表示权值相应 连接的源神经元编号。W2,3 ?
p2 p3
…
pR
w1S1,R
∑ n12 ƒ1 a12
∑ n22
b12
1
……
b22
1
∑ n1S1 ƒ1 a1S1
∑ n2S2
b1S1
w2S2,S1 b2S2
ƒ2 a22
∑ n32 ƒ3
b32
…
1
…
ƒ2
a2S2 w3S3,S2
∑
n3s3 ƒ3
b3S3
a32 a3s3
1
1
1
a1=ƒ1(W1p+b1)
a2=ƒ2(W2a1+b2)
输2入.多层神第1经层元
第2层
第3层
变的量三p都层层1w11,附 网上1 加 络标∑1 b一 就11现n1个 使1 在ƒ上 用1考标 了a1虑1 来这w具21,表种1 有∑示标1b几21其记n2层1 所方神ƒ处法2 经层。a2元1 次w的31。,1网∑图1b络312n。-319所每ƒ3 示个a31
2.2.2 神经元模型
1. 单输入神经元
权值 偏置(值) 净输入 传输函数
输入
通用神经元
p
w
∑n f
a
b
1
a=f(wp+b)
图2-1 单输入神经元
若将这个简单模型和前面第1章所讨论的生物神经 元相对照，则权值w对应于突触的连接强度，细胞体 对应于累加器和传输函数，神经元输出a代表轴突的 信号。
神经元输出按下式计算： a=f(wp+b)
神经元模型和网络结 构
2.1 目的
第1章给除了生物神经元和神经网络的简述。现在 来介绍简化的神经元数学模型，并解释这些人工神经 元如何相互连接形成各种网络结构。另外，本章还将 通过几个简单的实例阐述这些网络如何工作。本书中 将使用本章所引入的概念和符号。
2.2 原理和实例 2.2.1 符号
本书中的图、数字公式以及解释图和数字公式的正 文，将使用一下符号： ● 标量：小写的斜体字母，如a,b,c。 ● 向量：小写的黑正体字母，如a,b,c。 ● 矩阵：大写的黑整体字母，如A,B,C。
神经元的输出可以写成：a=f(Wp+b)
(2.5)
权值下标 权值矩阵元素下标的第一个下标表示
权值相应连接所指定的目标神经元编号，第二个下 标表示权值相应连接的源神经元编号。
简化符号 图2-6为利用这种符号所表示的多输入 神经元。
输入
多输入神经元
p R×1
1 R
W
1×R
b
1×1
a
1×1
+
n 1×1
ƒ
下，神经元输的入输出a是一S个个神标经量元的。层如果网络有多个神经
元，那么网络输W出1,1 就可∑能是n一1 个向ƒ量。a1 请注P意1 ，网络的输入b1是由问题的外部描述决定的。
2.2.3 网络P2结构
1
∑ n2
ƒ a2
1.神经元的P3 层
b2
层 图…p2R-7是由WSS,R个神∑经1 元组nS 成的ƒ单层aS网络。
该层包括权值矩阵、累bS加器、偏置值向量b、传输
函数框和输出向量a。 1
a=ƒ(Wp+b)
图2-7 S个神经元组成的层
输入向量p的每个元素均通过权值矩阵W和每个神
经元相连。
输入
S个神经元的层
输入向量通过如下权矩阵W进入网络：
W w1p,1 w1,2
W
wR×2,11
w2,2 S×R
b wS1,1 wS,2
a3=ƒ3(W3a2+b3)
a=0,n<0 a=1,n≥0 a=-1,n<0 a=+1,n≥0 a=n
a=0,n<0 a=n,0≤n≤1 a=1,n>1
图标
a=-1,n<-1 a=n,-1≤n≤1 a=1,n>1 a=1/1+e-n
a=en-e-n/en+e-n
a=0,n<0 a=n,n ≥ 0 a=1,具有最大n的神经元 a=0,所有其他神经元
MATLAB函数 hardlim hardlims purelin satlin
satlins
logsig tansig poslin compet
3.多输入神经元
权值矩阵 通常，一个神经元有不止一个输入。具
有R个输入的神经元如图2-5所示。其输入p1,p2,…,pR 分别对应权值矩阵W的元素w1,1,w1,2,…,w1,R 。
图2-3 线性传输函数
a=logsig(n)
a=logsig(wp+b)
Log-Sigmoid 传输函数 单输入logsig神经元
图2-4 对数-S形传输函数
名称 硬极限函数 对称硬极限函数 线性函数 饱和线性函数
对称饱和线性函数
对数-S形函数 双曲正切S形函数 正线性函数 竞争函数
输入/输出关系
注：还有多阈值、多权值神经元
实际输出取决与所选择的待定传输函数。
2. 传输函数
图2-1中的传输函数可以是n的线性或者非线性函数。
可以用特定的传输函数满足神经元要解决的特定问题。
本书包括了各个不同的传输函数。下面将讨论其中 最常用的三种。
硬极限传输函数
线性传输函数 a=n
(2.1)
对数-S形传输函数 a=1/1+e-n
(2.2)
a +1
0
n
-1
a
+1
-b/w
0
p
-1
a=hardlim(n)
a=hardlim(wp+b)
硬极限传输函数
单输入hardlim神经元
图2-2 硬极限传输函数
a +1
0
n
-1
a
+b
-b/w
0
p
-b
a=purelin(n)
a=purelin(wp+b)
线性传输函数
单输入purelin神经元
输入
多输入神经元
P1
P2
W1,1
P3 .
∑n ƒ a
...
. .
W1,R b
pR
1
a=ƒ(Wp+b)
图2-5 多输入神经元
该神经元有一个偏置值b,它与所有输入的加权和累 加，从而形成净输入n：
n=w1,1p1+w1,2p2+…+w1,RpR+b
（2.3）
这个表达式也可以写成矩阵形式： n=Wp+b (2.4) 其中单个神经元的权值矩阵W只有一行元素。
1 a=ƒ(Wp+b)
图2-6 具有R个输入的神经元的简化符号
在图2-6中，左边垂直的实心条表示输入向量p，p 下面的变量R×1表示p的维数，也即输入是由R个元素 组成的一维向量。这些输入被送人权值矩阵W，W有1 行R列。常量1则作为输入与标量偏置值b相乘。传输函 数f的净输入是n，它是偏置值b与积Wp的和。在这种情
w1, R
a
+ ƒ w2,
R
n
S×1
S×1
wS
,
R
（2.6）
同样，R 具有S个S×神1 经元、R个输入的S 单层网络也能
用简化的符号表示为如图a=2ƒ-(8W所p+b示) 的形式。
图2-8 由S个神经元组成的层的简化表示
权值下标 权值矩阵元素下标的第一个下标表示权值相应
连接所指定的目标神经元编号，第二个下标表示权值相应 连接的源神经元编号。W2,3 ?
p2 p3
…
pR
w1S1,R
∑ n12 ƒ1 a12
∑ n22
b12
1
……
b22
1
∑ n1S1 ƒ1 a1S1
∑ n2S2
b1S1
w2S2,S1 b2S2
ƒ2 a22
∑ n32 ƒ3
b32
…
1
…
ƒ2
a2S2 w3S3,S2
∑
n3s3 ƒ3
b3S3
a32 a3s3
1
1
1
a1=ƒ1(W1p+b1)
a2=ƒ2(W2a1+b2)