第2章 人工神经网络的基本模型

2006-5-9 北京科技大学 自动化系 5
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
人工神经元的六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用，也可以是起抑制作用； 5）一个神经元接受的信号的累积效果决定该神经元 的状态； 6) 每个神经元可以有一个“阈值”。 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应具有生物神经元的六个基本特性。
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
f(x)：作用（激发）函数——是一种阶跃函数。 从神经元的结构示意图上可见：当输入yj的加权和 wij y j 大于
j 1 n
域值 j 时，神经元的输出yi =1，即神经元处于‚兴奋状态‛；
反之，当输入yj的加权和 wij y j 大于域值 j 时，神经元的输
yi f ( wij y j ), i j
j 0
n
… yn wn
∑
人工神经元模拟生物神经元的一阶特性。 –输入：Y=（ y0， y1，y2，…，yn） –联接权：W=（ w0， w1，w2，…，wn）T –网络输入： netj=∑wjiyi –向量形式： netj=WY
2006-5-9 北京科技大学 自动化系 9
2006-5-9
北京科技大学 自动化系
35
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
有教师学习（称为监督学习）
误差信号可以定义为：神经网络实际输出与预 期响应之差。这种调节可以逐步而又不断反复地进 行，其最终目的就是要让神经网络模拟老师——学 习样本；从统计的角度来看，这种模拟是最优的。 如果我们能给定一个设计好的算法来使成本 费用最小，而且有足够的输入/输出的数据集，那 么有指导的学习系统往往可以较好地完成诸如模 式分类，函数逼近之类的任务。
第二章 人工神经网络的基本模型
北京科技大学 信息工程学院 付冬梅 fdm2003@163.com 62334967
2006-5-9
北京科技大学 自动化系
1
第二章 人工神经网络的基本模型 人工神经元的基本模型 几种典型的激活函数
人工神经网络的学习算法概述
人工神经网络的基本拓扑结构
2006-5Βιβλιοθήκη Baidu9 北京科技大学 自动化系 2
2006-5-9 北京科技大学 自动化系
0
θ
net
-γ
15
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
其他形式的作用函数:不同的作用函数，可构成不同的神经 元模型。
非对称型Sigmoid函数:简称S型作用函数，是可微的，用下式表示： 如图(a)和(b) 1 1 f ( x) f ( x) 或 0 + x + x
2006-5-9
北京科技大学 自动化系
18
第二章 人工神经网络的基本模型
高斯函数: 是可微的，分一维和高维，用下式表示：如图(a)和(b)
f (net ) e

( net )2 2
2
一维
f (X ) e
( xi i )T ( xi i ) 2 j 2
二维
2006-5-9
o c o net
2006-5-9
北京科技大学 自动化系
13
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
2、非线性斜面函数(Ramp Function) γ if net≥θ f（net）= k*net if |net|<θ -γ if net≤ -θ γ>0为一常数，被称为饱和值， 为该神经元的最大输出。
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
生物神经元结构 （1）细胞体: 细胞核、细胞质和细胞膜。（2）树突： 胞体短而多分枝的突起。相当于神经元的输入端。 （3）轴突：胞体上最长枝的突起，也称神经纤维。 端部有很多神经末稍传出神经冲动。（4）突触：神 经元间的连接接口，每个神经元约有1万～10万个突 触。神经元通过其轴突的神经末稍，经突触与另一 神经元的树突联接，实现信息的传递。由于突触的 信息传递特性是可变的，形成了神经元间联接的柔 性，称为结构的可塑性。（5）细胞膜电位：神经细 胞在受到电的、化学的、机械的刺激后，能 产生兴奋与抑制。
wkj定义为
( xj wkj ) 如果神经元k竞争成功 wkj 如果神经元k竞争失败 0
2006-5-9 北京科技大学 自动化系 34
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
有教师学习（称为监督学习）
神经网络 的参数可以综 合训练向量和 反馈回的误差 信号进行适当 调整。
e x e x f ( x) + e x e
x
，
0
图 2-2-3
2006-5-9
（c）
1
北京科技大学 自动化系
（d）
2
17
第二章 人工神经网络的基本模型
对称型阶跃函数
图（e），用下式表示： + 1 f ( x) 1
,
x0
, x0 用阶跃作用函数的神经元，称阈值逻辑单元。
-θ -γ
2006-5-9 北京科技大学 自动化系 14
o γ
θ
net
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
阈值函数（Threshold Function）阶跃函数
f（net）= β if net>θ
β
o
-γ if net≤θ βγθ均为非负实数，θ为阈值。 二值形式： 1 if net>θ f（net）= 0 if net≤θ 双极形式： 1 if net>θ f（net）= -1 if net≤θ
2006-5-9 北京科技大学 自动化系 32
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
竞争学习 对于竞争学习规则，有三个基本元素： 1.一个神经元集合，这些神经元除了一些随机分布的突 触权值之外是完全相同的，并且由于突触权值的不同而对 一个给定的输入模式集合由不同的响应。 2.在每个神经元的强度上给定一个极限。 3.一个机制，它允许神经元为响应一个给定输入子集的 权利而竞争，从而使得每次只有一个输出神经元或者每组 只有一个神经元是激活的（即，‚开‛）.竞争获胜神经 元被叫做胜者通吃（winner-takes-all）神经元。
北京科技大学 自动化系
19
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
• 神经元演示 非线性作用函数（激发函数）
2006-5-9
北京科技大学 自动化系
20
非线性作用函数1
非对称型Sigmoid函数
1
2006-5-9 北京科技大学 自动化系
2006-5-9 北京科技大学 自动化系 10
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
M-P模型在人工神经网络中的地位 首先M-P模型是所有人工神经元中第一个被建立 起来的，它在多个方面都显示出生物神经元所具有 的基本特性。 其次，目前其它形式的人工神经元已有很多， 但大多数都是在M-P模型的基础上经过不同的修正， 改进变换而发展起来。因此M-P人工神经元是整个人 工神经网的基础。
2006-5-9
北京科技大学 自动化系
33
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
竞争学习 获胜神经元k的输出信号yk被置为1；竞争失败的所有神经元 的输出信号被置为0。我们有:
yk 1 如果vk vj对于所有j , j k 0 否则

按照标准的竞争学习规则，作用于突触权值wkj的改变量
29
非线性作用函数6
B样条函数（1次）
2006-5-9
北京科技大学 自动化系
30
非线性作用函数
2006-5-9
北京科技大学 自动化系
31
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
学习过程就是调整权值的过程。
几种常见类型学习算法： 1、竞争学习 2、有监督学习 3、无监督学习 4、Hebb和Delta学习 5、有、无监督混合学习 6、随即自适应学习模拟退火 7、模糊学习 等等
2006-5-9
北京科技大学 自动化系
11
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
对M-P人工神经元进行改进的主要方式有如下几个方面:
神经元的内部改造：对人工神经元取不同的非线性函 数； 对输入和输出做不同的限制：离散的（某些离散点） 和连续的（整个实数域）。 神经网络的结构上的改造：人工神经元之间的联接形 式不同。 算法的改进：在人工神经网络权值和阈值取求的方法 上 不同。 其它形式的改造。
2006-5-9 北京科技大学 自动化系 6
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
基本MP模型
神经元i的输入yj 输出yi 描述:


i
f ( xi )
（a）
yi f ( wij y j j ), i j
j 1
n
设 xi wij y j j
j 1
n
f (x)
则 yi f ( xi ) 每一神经元的输出，或‘0’或‘1’， 0 x ‘0’表示’抑制’，‘1’表示‘兴奋’： (b) 作用函数 1 xi 0 yi f ( xi ) 图2.1 MP神经元模型 0 xi 0
1
2006-5-9 北京科技大学 自动化系 7
2006-5-9 北京科技大学 自动化系 3
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
生物神经元结构
2006-5-9
北京科技大学 自动化系
4
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
生物神经元功能
（1）兴奋与抑制：当传入神经元冲动，经整和使细胞 膜电位升高，超过动作电位的阈值时，为兴奋状 态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电 位降低，低于阈值时，为抑制状态，不产生神经 冲动。 （2）学习与遗忘：由于神经元结构的可塑性，突触的 传递作用可增强与减弱，因此，神经元具有学习 与遗忘的功能。
25
非线性作用函数5
高斯RBF(一维)
2006-5-9
北京科技大学 自动化系
26
非线性作用函数5
高斯RBF（二维）
2006-5-9
北京科技大学 自动化系
27
非线性作用函数5
高斯RBF（二维）
2006-5-9
北京科技大学 自动化系
28
非线性作用函数6
B样条函数（０次）
2006-5-9
北京科技大学 自动化系
2006-5-9 北京科技大学 自动化系 12
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
激活函数——执行对该神经元所获得的网络输入的变 换，也常称为激励函数、活化函数：o=f(net)
线性函数（Liner Function） f(net)=k*net+c
1 e 1 e
图 2-2-3
2006-5-9
（a）
1
北京科技大学 自动化系
（b）
2
16
第二章 人工神经网络的基本模型
对称型 Sigmoid 函数 是可微的，用下式表示：如图(a)和(b) x ex 或 f ( x ) 1 e 1 ， 0 x f (x) x 1+ e 1+ e 或
j 1
n
出yi =0，即神经元处于‚抑制状态‛
wij 在基本MP模型中取整数。
2006-5-9 北京科技大学 自动化系 8
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
MP模型的另一种形式
y1 w1 y2 w2 neti=WY
令 w j 0 j y j 0 1 ，则MP 神经元模型可以表示为：
2
21
非线性作用函数2
对称型Sigmoid函数
1
2006-5-9 北京科技大学 自动化系
2
22
非线性作用函数3
非对称型阶跃函数
2006-5-9
北京科技大学 自动化系
23
非线性作用函数4
对称型阶跃函数
2006-5-9
北京科技大学 自动化系
24
非线性作用函数
2006-5-9
北京科技大学 自动化系
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
M-P模型从哪些方面刻画了自然神经元？ 前面已介绍过生物（自然）神经元具有如下特点： 两态工作：即工作于兴奋或抑制两种状态； 阈值作用：即超过某一阈值则神经元兴奋； 多输入单输出特性； 空间、时间叠加性； 可塑性联接：即突触部分的联接强度可以调节。 虽然M-P模型无法实现生物神经元的空间、时 间的交叉叠加性，但其它生物神经元功能都具备。