2人工神经网络导论第2章.ppt

图2-5 多输入神经元
2020/10/15
18
该神经元有一个偏置值b，它与所有输入的
加权和累加，从而形成净输入 n ：
n w11 p1 w12 p2 w1R pR b
这个表达式也可以写成矩阵形式：
n wp b
其中单个神经元的权值矩阵W只有一列元素。 神经元的输出可以写成：
a f (wp b）
2020/10/15
19
概念：权值下标 权值矩阵元素下标的第一个下标表示权值 相应连接所指定的目标神经元编号，第二个 下标表示权值相应连接的源神经元编号。
据此，w12 的含义是：该权值表示从第二
个源神经元到第一个目标神经元的连接。
2020/10/15
20
概念：简化符号
本课程将采用简化符号来表示神经元。
2
2.2 原理和实例
2.2.1 符号
神经网络是一门新兴学科。迄今为止，人 们还并没有对其建立严格的数学符号和结构化 表示。另外，神经网络方面的论文和书籍均是 来自诸如工程、物理、心理学和数学等许多不 同领域，作者都习惯使用本专业的特殊词汇。 于是，神经网络的许多文献都难以阅读，概念 也较实际情况更为复杂。
purelin stalin
14
对称饱和 线性函数
a=-1 ,n<-1 a=n,-1≤n≤1 a=1,n>1
对数-S函 数
a
1
1 e-n
双曲正切S函数
2020/10/15
a
en en
- e-n e-n
stalins
logsig tansig
15
正线性函 数
a=0,n<0 a=n,n≥0
poslin
传输函数、输出. 一个规范的单输入神经元如图2-1 所示。
图2-1 单输入神经元表示
2020/10/15
5
●标量输入p乘标量权值w得到wp，再将其送 入累加器。
●另一个输入1 乘上偏置值b，再将其送入累 加器。
●累加器输出通常被称为净输入n，它被送入 一个传输函数。
●传输函数f中产生神经元的标量输出a。
本书包括了各种不同的传输函数。下面将 讨论其中最常用的三种。
2020/10/15
8
●硬极限传输函数: 硬极限传输函数如图2-2 中的左图所示，
当函数的自变量小于0时，函数的输出为0 ; 当函数的自变量大于或等于0时，函数的输出 为1 。用该函数可以把输入分成两类。
第三、四章将广泛使用该传输函数。
a hardlim(wp)
图2-6 为利用这种符号所表示的多输入神经 元。
图2-6 具有R个输入的神经元的简化符号
2020/10/15
21
例2.1 对于图2-1所示的单个神经元设输 入 p 2, w 1.2, b -3，分别采用hardlm, hardlims, purelin,satlin,logsig传输函 数，求神经元的输出值。
若将这个简单模型和第1章所讨论的生 物神经元相对照，则权值对应于突触的连 接强度，细胞体对应于累加器和传输函数， 神经元输出代表轴突的信号。
2020/10/15
6
神经元输出按下式计算： a f (wp b)
例如，若 w 3, p 2,b 1.5 ，则
a f (3*2 1.5) f（4.5）
a logsig(wp)
a logsig(wp b)
Log-Sigmoid 传输函数 单输入logsig神经元
图2-4 对数-S形传输函数
2020/10/15
12
该传输函数的输入在（-∞，+∞）之间
取值，输出则在0到1 之间取值，其数学表
达为：
a
1 1 e-n
本书所用的大多数传输函数在表2-1中 都可以找到。当然，你也可以定义不同于 表2-1的传输函数。
2020/10/15
10
●线性传输函数：
线性传输函数的输出等于输入（如图2-3 所
示）:
an
a purlin(wp)
a purelin(wp b)
线性传输函数 单输入purelin神经元 图2-3 线性传输函数
2020/10/15
11
●对数-S 形传输函数： 对数-S 形（logsig）传输函数如图2-4 所示。
a=1,具有最大n
竞争函数 的神经元
C
a=0,所有其他的
神经元
2020/10/15
compot
16
3．多输入神经元
Байду номын сангаас
概念：权值矩阵：
通常，一个神经元有不止一个输入。具
有R个输入的神经元如图2-5 所示。
其输入：p1、p2
p R
分别对应权值矩阵W的元素：
w11、w12 w1 R
2020/10/15
17
注意，w和b是神经元的可调整标量参数。 设计者也可选择特定的传输函数，在一些学 习规则中调整参数w和b，以满足特定的需要。 正如将在下一节所讨论的，依据不同目的可 以选择不同的传输函数。
2020/10/15
7
2．传输函数
图2-1中的传输函数可以是累加器输出 （净输入）n的线性或非线性函数。可以用特 定的传输函数满足神经元要解决的特定问题。
第2章 神经元模型和网络结构
2020/10/15
1
2.1 目的
第1章给出了生物神经元和神经网络的 简述。现在来介绍简化的神经元数学模型， 并解释这些人工神经元如何相互连接形成 各种网络结构。另外，本章还将通过几个 简单的实例阐述这些网络如何工作。
本书中将使用本章所引入的概念和符号。
2020/10/15
在本课中，我们尽可能地使用标准符号。
2020/10/15
3
2.2 原理和实例
本课中的图、数学公式以及解释图和数 学公式的正文，将使用以下符号：
• 标量：小写的斜体字母，如a,b,c。
• 向量：小写的黑正体字母，如a,b,c。 • 矩阵：大写的黑正体字母，如 A,B,C。
2020/10/15
4
2.2.2 神经元模型 1．单输入神经元 概念：输入、权值、偏置（值）、净输入、
a hardlim(wp b)
硬极限传输函数
单输入hardlim神经元
图2-2 硬极限传输函数
2020/10/15
9
图2-2的右图描述了使用硬极限传输函数的 单输入神经元的输入/输出特征曲线。从中可 看出权值和偏置值的影响。注意，两图之间 的图标代表硬极限传输函数。在网络图中的 这个图标表示使用了该传输函数。
2020/10/15
13
表2-1 传输函数 名 称 输入/输出
关系
硬极限函 a=0,n<0
数
a=1,n≥0
对称硬极 a=-1,n<0
限函数
a=1,n≥0
线性函数 a=n
饱和线性 函数
2020/10/15
a=0 ,n<0 a=n,0≤n≤1 a=1,n>1
图标 MATLAB 函数 Hardlim
hardlims