2人工神经网络导论第2章课件】

同样，如果网络有7个输出，那么网络的输 出层就应该有7 个神经元。
2021/7/10
34
输出信号所期望的特征有助于选择输出
层的传输函数。如果一个输出要么是-1 ， 要么是1 ，那么该输出神经元就可以用对称 硬极限传输函数。
2021/7/10
35
那么，如果网络有两层以上的神经元
时，又将如何确定各层的神经元数目？其 实问题的关键在于外部问题并没有直接指 明隐含层需要的神经元数目。
本书所用的大多数传输函数在表2-1中 都可以找到。当然，你也可以定义不同于 表2-1的传输函数。
2021/7/10
13
表2-1 传输函数 名 称 输入/输出
关系
硬极限函 a=0,n<0
数
a=1,n≥0
对称硬极 a=-1,n<0
限函数
a=1,n≥0
线性函数 a=n
饱和线性 函数
2021/7/10
a=0 ,n<0 a=n,0≤n≤1 a=1,n>1
15
正线性函 数
a=0,n<0 a=n,n≥0
poslin
a=1,具有最大n
竞争函数 的神经元
C
a=0,所有其他的
神经元
2021/7/10
compot
16
3．多输入神经元 概念：权值矩阵： 通常，一个神经元有不止一个输入。具
有R个输入的神经元如图2-5 所示。
其输入：p1、p2pR
分别对应权值矩阵W的元素：
第三、四章将广泛使用该传输函数。
ahard)lima(w haprdlibm ) (wp
硬极限传输函数Βιβλιοθήκη 单输入hardlim神经元
图2-2 硬极限传输函数
2021/7/10
9
图2-2的右图描述了使用硬极限传输函数的 单输入神经元的输入/输出特征曲线。从中可 看出权值和偏置值的影响。注意，两图之间 的图标代表硬极限传输函数。在网络图中的 这个图标表示使用了该传输函数。
2021/7/10
10
●线性传输函数：
线性传输函数的输出等于输入（如图2-3 所
示）:
an
apurlin(wp) apurelin(wbp)
线性传输函数 单输入purelin神经元 图2-3 线性传输函数
2021/7/10
11
●对数-S 形传输函数： 对数-S 形（logsig）传输函数如图2-4 所示。
若将这个简单模型和第1章所讨论的生 物神经元相对照，则权值对应于突触的连 接强度，细胞体对应于累加器和传输函数， 神经元输出代表轴突的信号。
2021/7/10
6
神经元输出按下式计算：
af(wpb)
例如，若 w 3 ,p2 ,b 1 .5 ，则
af(3*21.5)f（ 4.5 ）
注意，w和b是神经元的可调整标量参数。 设计者也可选择特定的传输函数，在一些学 习规则中调整参数w和b，以满足特定的需要。 正如将在下一节所讨论的，依据不同目的可 以选择不同的传输函数。
af(wpb）
2021/7/10
19
概念：权值下标 权值矩阵元素下标的第一个下标表示权值 相应连接所指定的目标神经元编号，第二个 下标表示权值相应连接的源神经元编号。
据此，w 1 2 的含义是：该权值表示从第二
个源神经元到第一个目标神经元的连接。
2021/7/10
20
概念：简化符号
本课程将采用简化符号来表示神经元。
a l o g s i g ( w p ) a l o g s i g ( w p b )
Log-Sigmoid 传输函数 单输入logsig神经元 图2-4 对数-S形传输函数
2021/7/10
12
该传输函数的输入在（-∞，+∞）之间
取值，输出则在0到1 之间取值，其数学表
达为：
a
1
1 e-n
2021/7/10
31
a 1 f （ 1 W 1 p + b 1 ） a 2 f 2 ( W 2 a 1 + b 2 )a 3 f 3 ( W 3 a 2 + b 3 )
a 3 f 3 ( W 3 f （ 2 W 2 f （ 1 W 2 f （ 1 W 1 p + b 1 ) b 2 ） b 3 ）
第2章 神经元模型和网络结构
2021/7/10
1
2.1 目的
第1章给出了生物神经元和神经网络的 简述。现在来介绍简化的神经元数学模型， 并解释这些人工神经元如何相互连接形成 各种网络结构。另外，本章还将通过几个 简单的实例阐述这些网络如何工作。
本书中将使用本章所引入的概念和符号。
2021/7/10
2021/7/10
38
例2．2 设
0.5 0.5 0.5
purelin
p[22]T,IW 1 0.9-0.1 ,b1 -0.5 ， f1 purelin
0.9-0.1 0.4
purelin
试画出其网络结构示意图，并求网络的 输出值。
2021/7/10
39
图2-14 例2.2的神经网络的结构
图2-8 由S个神经元组成的层的简化表示
2021/7/10
27
2．多层神经网络
概念：层上标
第一层的值矩阵可以写为 W 1 ,第二层的
权值矩阵可以写为 W 2 ，等等。如图2-9所
示的三层网络就用了这种标记方法。
2021/7/10
28
a 1 f （ 1 W 1 p b 1 ） a 2 f 2 ( W 2 a 1 b 2 )a 3 f 3 ( W 3 a 2 b 3 )
(5) a=logsig(wp b)=logsig(1.2*2-4)
1
= 0.168
1 e1.6
2021/7/10
23
2.2.3 网络结构 1．神经网络的层
概念：层
图2-7是由S个神经元组成的单层网络。 注意，R个输入中的每一个值均与每个神 经元相连。权值矩阵现有S行。 通常，每层的输入个数并不等于该层中神 经元的数目（即R≠S）
w 1 1 、 w 1 2 w 1 R
2021/7/10
17
图2-5 多输入神经元
2021/7/10
18
该神经元有一个偏置值b，它与所有输入的
加权和累加，从而形成净输入 n ：
n w 1 1 p 1 w 1 2 p 2 w 1 R p R b
这个表达式也可以写成矩阵形式：
nwpb
其中单个神经元的权值矩阵W只有一列元素。 神经元的输出可以写成：
图标 MATLAB 函数 Hardlim
hardlims
purelin stalin
14
对称饱和 线性函数
a=-1 ,n<-1 a=n,-1≤n≤1 a=1,n>1
对数-S函 数
a
1 1 e-n
双曲正切S函数
2021/7/10
a
en en
- e-n e-n
stalins
logsig tansig
在本课中，我们尽可能地使用标准符号。
2021/7/10
3
2.2 原理和实例
本课中的图、数学公式以及解释图和数 学公式的正文，将使用以下符号：
• 标量：小写的斜体字母，如a,b,c。
• 向量：小写的黑正体字母，如a,b,c。 • 矩阵：大写的黑正体字母，如 A,B,C。
2021/7/10
4
2.2.2 神经元模型 1．单输入神经元 概念：输入、权值、偏置（值）、净输入、
图2-10 三层网络的简化表示
2021/7/10
32
多层网络的功能要比单层网络强大得多。 比如，一个第一层具有S 形传输函数、第 二层具有线性传输函数的网络，经过训练 可对大多数函数达到任意精度的逼近,而单 层网络则不能做到这一点。
2021/7/10
33
决定一个网络的神经元个数非常重要。网 络的输入/输出神经元的数量是由问题描述定 义的。如果有4 个外部变量作为网络输入，那 么网络就有4 个外部变量作为网络输入，那么 网络就有4个输入。
2021/7/10
36
实际上，精确预测隐含层所需要的神经 元的数目至今仍然存在一些在理论上还没 有解决的问题。这个问题是一个十分活跃 的研究领域。
大多数实际的神经网络仅仅只有2到3层 神经元，很少有4层或更多层。
2021/7/10
37
这里还应该讨论一下偏置值的使用 问题。是否使用偏置值是可以选择的。 偏置值给网络提供了额外的变量，从而 使得网络具有更强的能力，事实也的确 是如此。例如，如果没有偏置值，当网 络输入为0时，一个神经元的净输入总是 为0。这是不希望出现的，可以通过用偏 置值来避免。
据此，可以将第二层看作是一个单层网络， 它有R = S1个输入，S ＝S2个神经元，和一个 S2S1维的权值矩阵W2。第二层的输入是a1 ， 输出是a2。
第三层与第二层情况相似。
2021/7/10
30
概念：输出层、隐含层
如某层的输出是网络的输出，则称该层 为输出层，而其他层叫隐含层。
上图中的网络有一个输出层（第3 层） 和两个隐含层（第1 层和第2层）。前面讨 论的三层网络同样也可以用简化的符号表 示，如图2-10 所示。
2021/7/10
22
解：据（2.1）式有
(1) a=hardlim(wp b)=hardlim (1.2*2-4)= 0
(2) a=hardlims(wp b)=hardlims(1.2*2-4)= -1
(3) a=purelin(wp b)=purelin(1.2*2-4)= -1.6
(4) a=satlin(wp b)=satlin(1.2*2-4)= 0
2021/7/10
42
解：根据题意，其网络向量模型结构示意 图如图2-15
2021/7/10
图2-15 例2.3 神经网络的向量模型
43
例2.4 某个神经网络的部分属性如下，据此画 出其网络向量模型结构示意图。
• net.numlnputs=1 %网络有1个输入向量
• net.inputs{l}.size=2 %2个输入变量，即输 入变量为2维。
a 3 f 3 ( W 3 f （ 2 W 2 f （ 1 W 2 f （ 1 W 1 p b 1 ) b 2 ） b 3 ）
图2-9 三层网络
2021/7/10
29
如图所示，第一层有R个输入、S1个神经元， 第二层有S2个神经元，等等。要注意不同层可 以有不同数目的神经元。
第一层和第二层的输出分别是第二层和第三 层的输入。
2021/7/10
40
则
a1f（ 1IW 1b1） f10 0 0...9 9 5--00 0...51 1 -220 -00...4 5 5p p pu u urrre e e0 5 5 lll） iii))n n n(((
0 .5
1
.
5
2 . 0
2021/7/10
41
例2.3 一个两层神经网络有4个输入，3个输 出，输出为0～1之间连续变化量。设第1层 的神经元数为2,传输函数为tansig,两层神 经元都有阈值，画出其网络向量模型结构 示意图。
2
2.2 原理和实例
2.2.1 符号
神经网络是一门新兴学科。迄今为止，人 们还并没有对其建立严格的数学符号和结构化 表示。另外，神经网络方面的论文和书籍均是 来自诸如工程、物理、心理学和数学等许多不 同领域，作者都习惯使用本专业的特殊词汇。 于是，神经网络的许多文献都难以阅读，概念 也较实际情况更为复杂。
图2-6 为利用这种符号所表示的多输入神经 元。
图2-6 具有R个输入的神经元的简化符号
2021/7/10
21
例2.1 对于图2-1所示的单个神经元设输 入 p2,w 1,.b2-，3分别采用hardlm, hardlims, purelin,satlin,logsig传输函 数，求神经元的输出值。
2021/7/10
7
2．传输函数
图2-1中的传输函数可以是累加器输出 （净输入）n的线性或非线性函数。可以用特 定的传输函数满足神经元要解决的特定问题。
本书包括了各种不同的传输函数。下面将 讨论其中最常用的三种。
2021/7/10
8
●硬极限传输函数: 硬极限传输函数如图2-2 中的左图所示，
当函数的自变量小于0时，函数的输出为0 ; 当函数的自变量大于或等于0时，函数的输出 为1 。用该函数可以把输入分成两类。
2021/7/10
24
af(W pb)
图2-7 S个神经元组成的层
2021/7/10
25
输入向量通过如下权矩阵W进入网络：
w1.1 w1.2
W
w2.1
w2.2
wS .1 wS .2
w1.R
w2.R
(2.6)
wS .R
2021/7/10
26
同样，具有S个神经元、R 个输入的单层网 络能用简化的符号表示为图2-8 所示的形式。
传输函数、输出. 一个规范的单输入神经元如图2-1 所示。
图2-1 单输入神经元表示
2021/7/10
5
●标量输入p乘标量权值w得到wp，再将其送 入累加器。
●另一个输入1 乘上偏置值b，再将其送入累 加器。
●累加器输出通常被称为净输入n，它被送入 一个传输函数。
●传输函数f中产生神经元的标量输出a。