人工神经网络

X T[WX] Y
w11 w12 w1i w1n
w21
w22 w2i w2n

W1
W2

(a)
(b)

W wj1
wj2 wji
wjn


W j

若网络输出层各点的净输入也用






向量表示:
wm1 wm2 wmi wmn Wm
s1

s2

w11 w12 w1i w1n x1
w21
w22 w2i w2n


x2

...
...
S WX

s j
wj1 wj2wji wjn x j
其一，网络的组成结构形式，也就是人工神经网络的连接方式； 其二，网络的学习和运行规则，即网络中连接权值的调整规则。
虽然，ANN力图模拟生物神经网络的结构与功能，但两者不论在 神经元的数量和网络结构的复杂程度，还是在网络智能性方面都相差甚远， 因而ANN对生物神经网络的模仿在现阶段仍然处于低水平上。
(1) 单层前馈网络 输入层（图中实心黑点）只起到分配输入信号及传递
例如，要判定由眼看到的两图形是否一样，实际上约需400ms，按神 经元处理的速度，如果采用串行工作模式，就需要几百串行步才能完成，这 短的时间实际上是不可能办到的。因此只能把人脑看成由众多神经元所组成 的超高密度的并行处理系统。
（2）具有可塑性和自组织性 虽然神经元之间的突触连接，基本部分是先天就有的，但是，大脑
才被激活，未超过阈值时，神经元不会发生冲动。 ４）神经元的输入与输出间有固定的时滞。 ５）忽略时间的整合和不应期。 ６）神经元本身是非时变的，即其突触延时和突触强度均为常
数。
人工神经元是生物神经元的一阶近似。因为它没有考虑 生物原形的诸多因素，如未考虑延时特性，输入后立即输出， 等等。但它考虑了生物神经元三个最重要的功能： （１）加权——可对每个输入信号进行不同程度的加权； （２）求和——确定全部输入信号的组合效果； （３）转移——通过转移函数ƒ(·)，确定其输出。
一起，而计算机将存贮地址与存贮内容彼此分开。两者合二为一的优点就是 有大量相关知识参与信息过程，这对于提高网络的信息处理速度和智能是至 关重要。
（4）具有冗余性和容错性 信息在大脑的神经网络中是分散在很多神经元里存贮的，而且每个
神经元实际上存贮多种不同信息的部分内容。 在分布存贮的内容中，有许多是完成同一功能的，这就是神经网络
第三篇 人工神经网络
第一章 概论
1.1 神经网络的生物学基础 1.2 人工神经网络 1.3 人工神经网络发展概况 1.4 神经网络在各领域的应用
1.1 神经网络的生物学基础
神经元学说起源于19世纪末，于1889年Caial所创立，他 指出神经系统是由相对独立的神经细胞构成的。神经细胞也称 神经元，具有信息处理功能，是人体神经系统的基本单元，大 约有103～105个左右。
经元之间的横向抑制或兴奋机制，这就可以限制每层内同时 动作的神经元数。
人工神经元是对生物神经元的一种简化描述。人工神经 元用模型图近似表达生物神经元的结构，用数学语言来表达生 物神经元的信息处理过程。
1、人工神经元的结构模型
人们所提出的神经元模型有多种，其中最基本的人工神经元模型由美国人
x ,x ,……,x Mc Culloch和Pitts最先提出来，称为MP模型，如图。 12
2、生物神经元产生信息传输的过程
由前介绍,生物神经元中的细胞体相当一个处理器，树突 为输入端，轴突为输出端，突触为输入输出接口。
该处理器对各树突收到的来自其他神经元的输入信号进 行组合，并在一定条件下触发，产生一个输出信号，输出信号 又传向其他神经元的树突和细胞体。这样，信息通过神经元在 网络中一个个的传下去，直到最复杂的部分是处于大脑最外层 的大脑皮层。
视觉、触觉、听觉等，映射到大脑继而进行信息加工：记忆和回想
2．对信息归纳整理的功能。 这一功能常常是与学习和记忆同步进行的，它使得人们将多次的感
觉形成概念性的意识，也可将多次重复性的经验形成理论。这种将感性认识 上升到理性认识的能力，是人脑的特有功能，也是人类智能的一种集中体现。
3．可以接受多种类型的信息 通过接受多种类型的信息、语言、文字或图形均可唤起人的记忆、
同一事物可由不同类型的信息而触发。
4．具有多种思维的能力 包括形象思维、抽象思维和灵感思维。
4、人脑神经信息处理的特征
（1）具有并行分布式处理 人脑中单个神经元的信息处理速度实际上是很慢的，每次大约1ms，
比通常的电子门电路速度0.001ms要慢几个数量级。但是，人脑对某一复杂 过程的处理和反应都很快，一般只需要几百毫秒。
m sm f(·) ym
(a)
X T[WX] Y
(b)
a）单层前馈网络结构图 b）网络符号图
1 s1 f(·) y1
w x1 1 j1
· ·
·
xi xn
w i · · ji w·
n · jn ·
·
j sj f(·) yj
· · ·
m sm f(·) ym
网络中任何一层神经元的连结权，
可用下面的权矩阵W 表示：
每个神经元与大约103～105个其他神经元相连接，按不同 形式的结合方式构成一个极其庞大而又复杂的网络，即生物神 经网络。
通过神经元及其联接的可塑性，使人类大脑具有学习、 记忆、认识和决策等智能。
生物神经网络中各神经元之间连接的强弱，根据外部的 激励信号作适应性变化；每个神经元又随着所接受的多个激励 信号，将其综合而呈现出兴奋与抑制状态。
...





...

sm
wm1 wm2wmiwmn xn
若引入输入与输出特性矩阵T：
f () 0 0
T

0
f
()

0


0
0

f (．)
mn
y1

f () 0 0 f ()
表示抑制型突触。用向量表示：
W=[wj1, wj2,……,wjn ]
Θ j 叫做阈值，一般接固定的偏置信号＋1。阈值的作用相当于设定一个门
坎，当全部输入信号加权求和超过阈值时，该神经元有输出，否则无输出。 因此，阈值应该是一个负数。
MP模型基于以下几点假定：
１）每一个神经元是一个多输入单输出的信息单元。 ２）突触分兴奋性和抑制性两种类型。 ３）神经元输出有阈值特性：当输入总和越过阈值时，神经元
1、生物神 经元的结构
1．细胞体:由细胞核、细胞质和细胞膜三部分构成，细胞体是神经元的主体， 它是接受与处理信息的部件。 2．树突：在细胞体周围向外伸出的许多突起的神经纤维。它是细胞体的信 息输入端。
3．轴突：也称神经纤维，它是由细胞体向外延伸最长的突起纤维体，是细 胞体的信息输出端。
4．突触：是一个神经元的神经末梢与另一个神经元树突或细胞体的连接， 这种连接相当于神经元之间信息传递的输入与输出接口。
pq m
(a)
(b)
a）多层前馈网络结构图 b）网络符号图
第一层输出： Y1 T1(W1X )
第二层输出： Y 2 T2 (W2Y1) T2[W2T1(W1 X )] T1T2W1W2 X 第三层输出： Y3 T3 (W3Y2 ) T1T2T3W1W2W3 X TWX
（3）层内互连的前馈网络 通过层内神经元之间的相Fra Baidu bibliotek连接，可以实现同一层神
第一章 概论
1.1 神经网络的生物学基础 1.2 人工神经网络 1.3 人工神经网络发展概况 1.4 神经网络在各领域的应用
1.2 人工神经网络
在生物学研究的基础上，提出了模拟大脑生物过程的基 本特性，提出人工神经网络（ANN）的模型。
ANN只是对生物神经网络的某种抽象、简化和模拟，不 是人脑神经系统的功能真实描述。
具有冗余性，它可以使得大脑的单个神经元可能损坏或死亡不致于丢失记忆 的信息。
大脑将信息分散贮存在许多神经元及它们的突触连接之中，如果部 分神经元有损伤，通过自组织功能使神经系统的总体功能继续有效，这种就 称为容错性。 。
由于网络具有高连接度，意味着一定的误差及干涉不会使网络的性 能恶化，即网络具有鲁棒性。
n 分别代表来
x1 wj1
自其他神经元突触的输出，作为该神
j1in2
x2 wj2 wji
xi wjn
j
∑ j sj
f(·)
经元的输入；用向量表示：
yjX=[x1,x2…xn ]T
wj1, wj2,……,wjn 分别表示其它
1i2n
xn
神经元与该神经元的突触连接强度，
即权值。正值表示兴奋型突触，负值
皮层的大部分突触连接是后天由环境的激励逐渐形成的。这种随环境刺激不 同能形成和改变神经元之间突触联接的现象称为可塑性。
若由环境的刺激，形成和调整神经元之间的突触连接，这样逐渐构 成神经网络的现象称为自组织性。
（3）具有信息处理与存贮合二为一性 人脑皮层中记忆和处理是有机结合的，即信息处理与信息贮存合为
通过这三个功能的模拟，基本反映了生物神经 元的主要特性。
2、人工神经元的基本数学处理
x1 wj1 x2 wj2
wji xi wjn xn
j
∑ j
sj
f(·)
神经元又称为结点，结点j 的净输入sj 定
义为： n
s j w ji xi j W j X j
yj
i1
如 果 视 x0=1,wj0=θ j, 即 令 X 及 Wj 包 括 x0,wj0,则扩展后的输入向量及连接权向量
3、转移函数 人工神经元输入与输出的对应关系是以转移函数ƒ(·)来
表示的。转移函数又称为激活函数,其作用是模拟生物神经
元所具有的非线性转移特性。人工神经元不同模型的主要
区别在于采用了不同的转移函数，从而使神经元具有不同
的信息处理特性。
常用的转移函数有以下几种形式。
y
y
y
y
1.0
0 (a)
a) 阈值型函数
1.0
s
-1.0
(b)
b) 符号函数
1.0
s
s
0 sc
(c)
c) 分段线性函数
1.0
0.5
0
s
(d)
d) 非线性函数
4、人工神经网络的连接类型
人脑具有记忆、联想、推理和判断等高智能的功能，其原因就在 于众多的神经元按一定方式连结成网络集体工作，并按一定规则调整各单 元间的突触连结强度。
对于模拟生物神经网络的人工神经网的主要功能，取决于两个方 面：
当神经末梢没有受到外界刺激时，细胞处于安静状态 ；
若神经细胞受到外界一定强度信号的刺激时，细胞膜电 位从静息电位向正偏移，此时神经元的状态称为兴奋状态。如 果膜电位从静息电位向负偏移，此时神经元的状态为抑制状态， 神经细胞都处于这三个状态之一。
3、人脑神经信息处理的特点
1．对信息可以进行学习和记忆 当外界的信号以光、热、声、力等形式作用于感觉器官，即可形成
0 0
Y


y
j





f () 0

ym

0
0 f ()

s1


s
j



T
(S)

T
(WX
)

sm

即： Y＝T［WX］ 式中: W—网络权值矩阵；
X—网络输入向量； Y—网络输出向量。
为：
j j
n
s j w ji xi W j X
i0
净输入通过转移函数ƒ(·)后，便是人工神经元的输出yj：
n
y j f (s j ) f ( wji xi ) f (W j X ) i0
式中ƒ(·)是单调上升函数，而且必须是有界函数。因为细胞传递的信 号随输入的增加而加强，但不可能无限制地增加，必有一个最大值。
信息的作用，故不算一层。输出层（图中空心园圈）用来处 理信息，并向外界输出结果，由于只有一个输出层，且信号 是向前单向传递的，故称为单层前馈网络。圆圈表示神经元， 又称结点。
1 s1 f(·) y1
w 1
x1
j1
· ·
·
xi xn
w i · · ji w·
n · jn ·
·
j sj f(·) yj
· · ·
(2)多层前馈网络
生理学家研究发现，人的大脑皮层有3～6层神经细胞，也
就是说具有层次结构。仿照生物神经网络，ANN也按层排列。
多层网络由单层网络级联而成，即网络中下一层各神经元接受
前一层各神经元的输出。
111
W2 W3
1 W1
x1
i xi
kl j
y1
X
Y1
Y2
Y3
yj
W1
W1
W1
xn
n
p
q
m
n
ym