2人工神经网络导论第2章.

a logsig(wp)
Log-Sigmoid 传输函数
a logsig(wp b)
单输入logsig神经元
图2-4 对数-S形传输函数
2018/10/24 12
该传输函数的输入在（-∞，+∞）之间 取值，输出则在0到1 之间取值，其数学表 达为：
1 a -n 1 e
本书所用的大多数传输函数在表2-1中 都可以找到。当然，你也可以定义不同于 表2-1的传输函数。
2
2.2 原理和实例
2.2.1 符号 神经网络是一门新兴学科。迄今为止，人 们还并没有对其建立严格的数学符号和结构化 表示。另外，神经网络方面的论文和书籍均是 来自诸如工程、物理、心理学和数学等许多不 同领域，作者都习惯使用本专业的特殊词汇。 于是，神经网络的许多文献都难以阅读，概念 也较实际情况更为复杂。 在本课中，我们尽可能地使用标准符号。
2018/10/24
C
compot
16
3．多输入神经元 概念：权值矩阵： 通常，一个神经元有不止一个输入。具 有R个输入的神经元如图2-5 所示。 其输入：p1、p2 pR 分别对应权值矩阵W的元素：
w11、w12w1R
2018/10/24
17
图2-5 多输入神经元
2018/10/24 18
2018/10/24
图2-1 单输入神经元表示
5
●标量输入p乘标量权值w得到wp，再将其送 入累加器。 ●另一个输入1 乘上偏置值b，再将其送入累 加器。 ●累加器输出通常被称为净输入n，它被送入 一个传输函数。 ●传输函数f中产生神经元的标量输出a。 若将这个简单模型和第1章所讨论的生 物神经元相对照，则权值对应于突触的连 接强度，细胞体对应于累加器和传输函数， 神经元输出代表轴突的信号。
2018/10/24 6
神经元输出按下式计算： a f (wp b) 例如，若 w 3, p 2, b 1.5
，则
a f (3 * 2 1.5) f（4.5）
注意，w和b是神经元的可调整标量参数。 设计者也可选择特定的传输函数，在一些学 习规则中调整参数w和b，以满足特定的需要。 正如将在下一节所讨论的，依据不同目的可 以选择不同的传输函数。
该神经元有一个偏置值b，它与所有输入的 加权和累加，从而形成净输入 n ：
n w11 p1 w12 p2 w1R pR b
这个表达式也可以写成矩阵形式：
n wp b
其中单个神经元的权值矩阵W只有一列元素。 神经元的输出可以写成：
a f (wp b）
2018/10/24 19
概念：权值下标 权值矩阵元素下标的第一个下标表示权值 相应连接所指定的目标神经元编号，第二个 下标表示权值相应连接的源神经元编号。 据此，w12 的含义是：该权值表示从第二 个源神经元到第一个目标神经元的连接。
2018/10/24
20
概念：简化符号 本课程将采用简化符号来表示神经元。 图2-6 为利用这种符号所表示的多输入神经 元。
2018/10/24 13
表2-1 传输函数 名 称 输入/输出 关系 硬极限函 a=0,n<0 数 a=1,n≥0 对称硬极 限函数 线性函数 饱和线性 函数
2018/10/24
图标 MATLAB 函数 Hardlim hardlims purelin stalin
14
a=-1,n<0 a=1,n≥0 a=n a=0 ,n<0 a=n,0≤n≤1 a=1,n>1
第2 章
神经元模型和网络结构
2018/10/24 1
2.1 目的 第1章给出了生物神经元和神经网络的 简述。现在来介绍简化的神经元数学模型， 并解释这些人工神经元如何相互连接形成 各种网络结构。另外，本章还将通过几个 简单的实例阐述这些网络如何工作。 本书中将使用本章所引入的概念和符号。
2018/10/24
对称饱和 线性函数
a=-1 ,n<-1 a=n,-1≤n≤1 a=1,n>1
stalins
对数-S函 数 双曲正切S函数
2018/10/24
1 a -n 1 e
e n - e -n a n -n e e
logsig
tansig
15
正线性函 数
a=0,n<0 a=n,n≥0
poslin
a=1,具有最大n 的神经元 竞争函数 a=0,所有其他的 神经元
2018/10/24 3
2.2 原理和实例
本课中的图、数学公式以及解释图和数 学公式的正文，将使用以下符号： • 标量：小写的斜体字母，如a,b,c。 • 向量：小写的黑正体字母，如a,b,c。 • 矩阵：大写的黑正体字母，如 A,B,C。
2018/10/24
4
2.2.2 神经元模型 1．单输入神经元 概念：输入、权值、偏置（值）、净输入、 传输函数、输出. 一个规范的单输入神经元如图2-1 所示。
2018/10/24
10
●线性传输函数： 线性传输函数的输出等于输入（如图2-3 所 示）:
a n
a purlin(wp)
a purelin(wp b)
线性传输函数 单输入purelin神经元 图2-3 线性传输函数
2018/10/24 11
●对数-S 形传输函数：
对数-S 形（logsig）传输函数如图2-4 所示。
2018/10/24 7
2．传输函数 图2-1中的传输函数可以是累加器输出 （净输入）n的线性或非线性函数。可以用特 定的传输函数满足神经元要解决的特定问题。 本书包括了各种不同的传输函数。下面将 讨论其中最常用的三种。
2018/10/24
8
●硬极限传输函数: 硬极限传输函数如图2-2 中的左图所示， 当函数的自变量小于0时，函数的输出为0 ; 当函数的自变量大于或等于0时，函数的输出 为1 。用该函数可以把输入分成两类。 第三、四章将广泛使用该传输函数。
a hardlim(wp )
2018/10/24
a hardlim(wp b)
9
ቤተ መጻሕፍቲ ባይዱ
硬极限传输函数 单输入hardlim神经元 图2-2 硬极限传输函数
图2-2的右图描述了使用硬极限传输函数的 单输入神经元的输入/输出特征曲线。从中可 看出权值和偏置值的影响。注意，两图之间 的图标代表硬极限传输函数。在网络图中的 这个图标表示使用了该传输函数。