人工神经网络的基本模型

2006-5-9
A
11
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
对M-P人工神经元进行改进的主要方式有如下几个方面:
神经元的内部改造：对人工神经元取不同的非线性函 数； 对输入和输出做不同的限制：离散的（某些离散点） 和连续的（整个实数域）。 神经网络的结构上的改造：人工神经元之间的联接形 式不同。 算法的改进：在人工神经网络权值和阈值取求的方法 上 不同。 其它形式的改造。
γ
2006-5-9
-θ
A
θ
net
-γ
14
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
阈值函数（Threshold Function）阶跃函数
β f（net）=
-γ
if net>θ if net≤θ
βγθ均为非负实数，θ为阈值。
o
β
二值形式： 1
传递作用可增强与减弱，因此，神经元具有学习
与遗忘的功能。
2006-5-9
A
5
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
人工神经元的六个基本特征：
1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用，也可以是起抑制作用； 5）一个神经元接受的信号的累积效果决定该神经元 的状态； 6) 每个神经元可以有一个“阈值”。 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应具有生物神经元的六个基本特性。
神经元的树突联接，实现信息的传递。由于突触的
信息传递特性是可变的，形成了神经元间联接的柔 性，称为结构的可塑性。（5）细胞膜电位：神经细 胞在受到电的、化学的、机械的刺激后，能
产生兴奋与抑制。
2006-5-9
A
3
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型 生物神经元结构
2006-5-9
y1 w1
令 wj0 j y j0 1 ，则MP
神经元模型可以表示为：
n
yi f(wijyj), ij j0
y2 w2
… yn wn
人工神经元模拟生物神经元的一阶特性。
– 输入：Y=（ y0， y1，y2，…，yn） – 联接权：W=（ w0， w1，w2，…，wn）T – 网络输入： netj=∑wjiyi – 向量形式： netj=WY
0
‘0’表示’抑制’，‘1’表示‘兴奋’：
x
1 yi f (xi)0
xi 0 xi 0
(b) 作用函数
图2.1 MP神经元模型
2006-5-9
A
7
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
f(x)：作用（激发）函数——是一种阶跃函数。
n
从神经元的结构示意图上可见：当输入yj的加权和 w ij y j 大于 j1
A
38
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
学习任务
模式联想
存储阶段 回忆阶段
输入向量
输出向量
x
模式联想
y
模式联想输入输出关系图
2006-5-9
A
39
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
学习任务
特征抽取
分类的 1
模式识别
输入模式x 的非监督 特征向量y 监督网 2
2006-5-9
A
36
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
无教师学习（称为无监督学习）
无教师学习模式中 没有老师来监视学习过 程的。即神经网络没有 任何带标号的例子可以 学习参考。这学习模式 又分2类：
加强学习/神经动 态规划
2006-5-9
A
37
第二章 人工神经网络的基本模型
f（net）= 0
if net>θ if net≤θ
0
θ
net
双极形式：
1 if net>θ
-γ
f（net）=
-1 if net≤θ
2006-5-9
A
15
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
其他形式的作用函数:不同的作用函数，可构成不同的神经
2006-5-9
A
19
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
• 神经元演示 非线性作用函数（激发函数）
2006-5-9
A
20
非线性作用函数1
非对称型Sigmoid函数
1
2
2006-5-9
A
21
非线性作用函数2
对称型Sigmoid函数
2006-5-9
A
32
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
竞争学习
对于竞争学习规则，有三个基本元素： 1.一个神经元集合，这些神经元除了一些随机分布的突 触权值之外是完全相同的，并且由于突触权值的不同而对 一个给定的输入模式集合由不同的响应。 2.在每个神经元的强度上给定一个极限。 3.一个机制，它允许神经元为响应一个给定输入子集的 权利而竞争，从而使得每次只有一个输出神经元或者每组 只有一个神经元是激活的（即，“开”）.竞争获胜神经 元被叫做胜者通吃（winner-takes-all）神经元。
A
4
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
生物神经元功能
（1）兴奋与抑制：当传入神经元冲动，经整和使细胞
膜电位升高，超过动作电位的阈值时，为兴奋状
态，产生神经冲动，由轴突经神经末稍传出。
当传入神经元的冲动，经整和，使细胞膜电
位降低，低于阈值时，为抑制状态，不产生神经
冲动。
（2）学习与遗忘：由于神经元结构的可塑性，突触的
2006-5-9
A
33
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
竞争学习
获胜神经元k的输出信号yk被置为1；竞争失败的所有神经元 的输出信号被置为0。我们有:
yk 01如 否果 v则 k>vj对于所 j,j有 k
按照标准的竞争学习规则，作用于突触权值wkj的改变量
wkj定义为
1
2006-5-9
A
2
22
非线性作用函数3
非对称型阶跃函数
2006-5-9
A
23
非线性作用函数4
对称型阶跃函数
2006-5-9
A
24
非线性作用函数
2006-5-9
A
25
非线性作用函数5
高斯RBF(一维)
2006-5-9
A
26
非线性作用函数5
高斯RBF（二维）
2006-5-9
A
27
非线性作用函数5
的交叉叠加性，但其它生物神经元功能都具备。
2006-5-9
A
10
第二章 人工神经网络的基本模型
2.1 人工神经元的基本模型
M-P模型在人工神经网络中的地位 首先M-P模型是所有人工神经元中第一个被建立
起来的，它在多个方面都显示出生物神经元所具有 的基本特性。
其次，目前其它形式的人工神经元已有很多，但 大多数都是在M-P模型的基础上经过不同的修正， 改进变换而发展起来。因此M-P人工神经元是整个 人工神经网的基础。
2006-5-9
A
13
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
2、非线性斜面函数(Ramp Function)
γ
if net≥θ
f（net）= k*net if |net|<θ
-γ
if net≤ -θ
o
γ>0为一常数，被称为饱和值，
为该神经元的最大输出。
2.1 人工神经元的基本模型
生物神经元结构
（1）细胞体: 细胞核、细胞质和细胞膜。（2）树突：
胞体短而多分枝的突起。相当于神经元的输入端。 （3）轴突：胞体上最长枝的突起，也称神经纤维。 端部有很多神经末稍传出神经冲动。（4）突触：神 经元间的连接接口，每个神经元约有1万～10万个突
触。神经元通过其轴突的神经末稍，经突触与另一
2006-5-9
A
12
第二章 人工神经网络的基本模型
2.2 几种典型的激活函数(Activation Function)
激活函数——执行对该神经元所获得的网络输入的变 换，也常称为激励函数、活化函数：o=f(net)
线性函数（Liner Function）
f(net)=k*net+c
o
c net
o
A
35
第二章 人工神经网络的基本模型
2.3 人工神经网络的学习算法概述
有教师学习（称为监督学习）
误差信号可以定义为：神经网络实际输出与预 期响应之差。这种调节可以逐步而又不断反复地进 行，其最终目的就是要让神经网络模拟老师——学 习样本；从统计的角度来看，这种模拟是最优的。
如果我们能给定一个设计好的算法来使成本 费用最小，而且有足够的输入/输出的数据集，那 么有指导的学习系统往往可以较好地完成诸如模 式分类，函数逼近之类的任务。
(xjw kj) 如 果 神 经 元 k竞 争 成 功
w kj 0
如 果 神 经 元 k竞 争 失 败
2006-5-9