神经网络基本原理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7
• 树突是指由细胞体向外延伸的除轴突以外的其他所 有分支。不同的神经元其树突的数量也不同，长度 较短，但数量很多，它是神经元的输入端，用于接 受从其他神经元的突触传来的信号。
• 细胞体是神经元的主体，胞体和树突表面是接受的 其他神经元传来的信号的主要部位。
8
神经元中的细胞体相当于一个初等处理器，它对 来自其他各个神经元的信号进行总体求和，并产生一个 神经输出信号。由于细胞膜将细胞体内外分开，因此， 在细胞体的内外具有不同的电位，通常是内部电位比外 部电位低。细胞膜内外的电位之差被称为膜电位。在无 信号输入时的膜电位称为静止膜电位。当一个神经元的 所有输入总效应达到某个阈值电位时，该细胞变为活性 细胞（激活），其膜电位将自发地急剧升高产生一个电 脉冲。这个电脉冲又会从细胞体出发沿轴突到达神经末 梢，并经与其他神经元连接的突触，将这一电脉冲传给 相应的神经元。
信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信 号。这种在突触接口处进行的“数/模”转换，是通过神经介质 以量子化学方式实现的如下过程：电脉冲→神经化学物质→膜电 位
（4）神经纤维传导速率 神经冲动沿神经纤维传导的速度在1m/s～150m/s之间。其
速度差异与纤维的粗细、髓鞘(包绕在神经元的轴突外部的物质，起绝缘作 用 )的有无有关。一般来说，有髓鞘的纤维，其传导速度在100m ／s以上，无髓鞘的纤维，其传导速度可低至每秒数米。
3
ຫໍສະໝຸດ Baidu
人脑的基本组成是脑神经细胞，大量脑 神经细胞相互联接组成人的大脑神经网络， 完成各种大脑功能。而人工神经网络则是由 大量的人工神经细胞（神经元）经广泛互连 形成的人工网络，以此模拟人类神经系统的 结构和功能。
了解人脑神经网络的组成和原理，有助 于对人工神经网络的理解。
4
人工神经网络概述
人体神经结构与特征
从人脑神经元的特性和功能可以知道，神经元是一 个多输入单输出的信息处理单元， 其模型如下图所示：
x1
ω1
x2 ω2
θ
y
ωn
xn
神经元模型
17
人工神经元及人工神经网络
x1
ω1
ω2
x2
θ
y
ωn
xn
神经元模型
18
人工神经元及人工神经网络
M-P模型 M-P模型属于一种阈值元件模型，它
是由美国心理学家Mc Culloch和数学家Pitts 提出的最早（1943）神经元模型之一。M-P 模型是大多数神经网络模型的基础。
x1 x2 … xn
w11 w1m w2m …wn1
输入层
o1
… 输出层
o2
V
om
33
多层网络结构 通常把三层和三层以上的神经网络结构称为多层神经网络
结构。所有神经元按功能分为若干层。一般有输入层、隐层（中 间层）和输出层。
11
• 人脑神经系统的结构与特征
（1）记忆和存储功能 人脑神经系统的记忆和处理功能是有机地结合
在一起的。神经元既有存储功能，又有处理功能， 它在进行回忆时不仅不需要先找到存储地址再调出 所存内容，而且还可以由一部分内容恢复全部内容。 尤其是当一部分神经元受到损坏（例如脑部受伤等） 时，它只会丢失损坏最严重部分的那些信息，而不 会丢失全部存储信息。
9
• 生物神经元的功能与特征
根据神经生理学的研究，生物神经元具有如下重要功能与特性。 （1）时空整合功能 神经元对不同时间通过同一突触传入的神经冲动，具有时间整合 功能。对于同一时间通过不同突触传入的神经冲动，具有空间整 合功能。两种功能相互结合，使生物神经元对由突触传入的神经 冲动具有时空整合的功能。
2
由于神经网络是多学科交叉的产物，各个相 关的学科领域对神经网络都有各自的看法，因此， 关于神经网络的定义，在科学界存在许多不同的 见解。目前使用得较广泛的是T.Koholen（芬兰赫尔 辛基技术大学 ）的定义，即"神经网络是由具有适应性 的简单单元组成的广泛并行互连的网络，它的组 织能够模拟生物神经系统对真实世界物体所作出 的交互反应。"
28
人工神经网络的分类 目前，已有的人工神经网络模型至少有几十种，其分类 方法也有多种。例如: 1)按网络拓扑结构可分为层次型结构和互连型结构 2)按信息流向可分为前馈型网络与有反馈型网络； 3) 按网络的学习方法可分为有教师的学习网络和无教 师的学习网络； 4) 按网络的性能可分为连续型网络与离散型网络，或 分为确定性网络与随机型网络；
12
• 人脑神经系统的结构与特征
（2）高度并行性 人脑大约有1011～1012个神经元，每个神经元
又有103～105个突触，即每个神经元都可以和其他 103～105个神经元相连，这就提供了非常巨大的存 储容量和并行度。例如，人可以非常迅速地识别出 一幅十分复杂的图像。
13
（3）分布式功能 人们通过对脑损坏病人所做的神经心理学研究，
19
x1
ω1
x2 ω2
θ
ωn
xn
y
神经元模型
在如图所示的模型中，x1，x2，…，xn表示某一神经元的n个输入； ωi表示第i个输入的连接强度，称为连接权值；θ为神经元的阈值；y为神 经元的输出。可以看出，人工神经元是一个具有多输入，单输出的非线
性器件。 神经元模型的输入是
∑ ωi* xi 输出是
(i=1,2,……,n)
（1）阈值型（Threshold） 这种模型的神经元没有内部状态，作用函数f是一个阶跃函
数，它表示激活值σ和其输出f(σ ）之间的关系，如图5-3所示。
f(σ) 1
0
f
(
)
1 0
0 0
σ 图 5-3 阈值型神经元的输入／输出特性
21
阈值型神经元是一种最简单的人工神经元。这种二值型神经 元，其输出状态取值1或0，分别代表神经元的兴奋和抑制状态。 任一时刻，神经元的状态由功能函数f 来决定。
（2）兴奋与抑制状态 神经元具有兴奋和抑制两种常规的工作状态。当传入冲动的时空 整合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入 兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使 细胞膜电位低于动作电位阈值时，细胞进入抑制状态，无神经冲 动输出。
10
（3）脉冲与电位转换 突触界面具有脉冲/电位信号转化功能。沿神经纤维传递的
基于对人类生物系统的这一认识，人们也试图通过 对人工神经元的广泛互连来模拟生物神经系统的结构和 功能。
27
人工神经网络 人工神经元之间通过互连形成的网络称为人工
神经网络。在人工神经网络中，神经元之间互连的 方式称为连接模式或连接模型。它不仅决定了神经 元网络的互连结构，同时也决定了神经网络的信号 处理方式。
当激活值σ＞0时，即神经元输入的加权总和超过给定的阈值 时，该神经元被激活，进入兴奋状态，其状态f(σ)为1；
否则，当σ＜0时，即神经元输入的加权总和不超过给定的阈 值时，该神经元不被激活，其状态f(σ)为0。
22
（2）分段线性强饱和型（Linear Saturation）
这种模型又称为伪线性，其输入／输出之间在一定范围内 满足线性关系，一直延续到输出为最大值1为止。但当达到最大 值后，输出就不再增大。如图5-4所示。
29
• 神经元的模型确定之后，一个神经 网络的特性及能力主要取决于网络 的拓扑结构及学习方法
30
人工神经网络的互连结构及其学习机理
人工神经网络的拓扑结构
建立人工神经网络的一个重要步骤是构造人工神 经网络的拓扑结构，即确定人工神经元之间的互连结构。 根据神经元之间连接的拓扑结构，可将神经网络的互连 结构分为层次型网络和互连型网络两大类。层次型网络 结构又可根据层数的多少分为单层、两层及多层网络结 构。
14
（4）容错功能 容错性是指根据不完全的、有错误的信息仍能
做出正确、完整结论的能力。大脑的容错性是非常 强的。例如，我们往往能够仅由某个人的一双眼睛、 一个背影、一个动作或一句话的音调，就能辨认出 来这个人是谁。
15
（5）联想功能 人脑不仅具有很强的容错功能，还有联想功能。
善于将不同领域的知识结合起来灵活运用，善于概括、 类比和推理。例如，一个人能很快认出多年不见、面貌 变化较大的老朋友。
（6）自组织和自学习功能 人脑能够通过内部自组织、自学习能力不断适应
外界环境，从而可以有效地处理各种模拟的、模糊的或 随机的问题。
16
人工神经元及人工神经网络
人工神经元的结构
如同生物学上的基本神经元，人工的神经网络也有 基本的神经元。人工神经元是对生物神经元的抽象与模 拟。所谓抽象是从数学角度而言的，所谓模拟是从其结 构和功能角度而言的。
(
)
1
1 e
σ 图 5-5 S型神经元的输入／输出特性
24
（4）子阈累积型（Subthreshold Summation） 这种类型的作用函数也是一个非线性函数，当产生的激活值
超过T值时，该神经元被激活产生一个反响。在线性范围内，系 统的反响是线性的，如图5－6所示。
f(σ)
1
0
T
σ
图5-6 子阈累积型神经元的输入／输出特性
25
从生理学角度看，阶跃函数（阈值型）最符 合人脑神经元的特点，事实上，人脑神经元正是 通过电位的高低两种状态来反映该神经元的兴奋 与抑制。然而，由于阶跃函数不可微，因此，实 际上更多使用的是与之相仿的Sigmoid函数。
26
人工神经网络 人工神经网络是对人类神经系统的一种模拟。尽管
人类神经系统规模宏大、结构复杂、功能神奇，但其最 基本的处理单元却只有神经元。人工神经系统的功能实 际上是通过大量神经元的广泛互连，以规模宏伟的并行 运算来实现的。
神经网络
1
人工神经网络（ ANN，Artificial Neural Network） 也简称为神经网络（NN），是由大量的简单处理单元 经广泛并行互连形成的一种网络系统。它是对人脑系统 的简化、抽象和模拟，具有人脑功能的许多基本特征。
目前，人工神经网络已成为许多高科技领域的一个 热门话题。在人工智能领域，它已实际应用于决策支持、 模式识别、专家系统、机器学习等许多方面。
•虽然神经元的形态各不相同，但是都由细胞体和突起两大 部分组成，而突起又分树突和轴突。
5
• 轴突是由细胞体向外延伸出的所有纤维中最长的一条 分枝，用来向外传递神经元产生的输出信号。每个神 经元只发出一条轴突，短的仅几个微米，其最大长度 可达1m以上。
6
• 突触，在轴突的末端形成了许多很细的分枝，这些分 枝叫神经末梢。每一条神经末梢可以与其他神经元形 成功能性接触，该接触部位称为突触。每个神经元大 约有103～105个突触，换句话说，每个神经元大约与 103～105个其它神经元有连接，正是因为这些突触才 使得全部大脑神经元形成一个复杂的网络结构。 所谓功能性接触，突触的信息传递特性可变，因 此细胞之间的连接强度可变，这是一种柔性连接，也 称为神经元结构的可塑性，这正是神经元之间传递信 息的奥秘之一。
没有发现大脑中的哪一部分可以决定其余所有各部 分的活动，也没有发现在大脑中存在有用于驱动和 管理整个智能处理过程的任何中央控制部分。人类 大脑的各个部分是协同工作、相互影响的，并没有 哪一部分神经元能对智能活动的整个过程负有特别 重要的责任。
可见，在大脑中，不仅知识的存储是分散的， 而且其控制和决策也是分散的。因此，大脑是一种 分布式系统。
y=f(σ)=f(∑ ωi* xi – θ) 其中f 称之为神经元功能函数（作用函数，转移函数，传递函数，激 活函数）。
➢ 注：可以令X0=-1，w0=θ，这样将阈值作为权值来看待。
20
常用的人工神经元模型 功能函数f是表示神经元输入与输出之间关系的函数，根据
功能函数的不同，可以得到不同的神经元模型。常用的神经元模 型有以下几种。
f(σ) 1
0
σ 图 5-4 分段线性饱和型神经元的输入／输出特性
23
（3）S型（Sigmoid） 这是一种连续的神经元模型，其输出函数也是一个有最大输
出值的非线性函数，其输出值是在某个范围内连续取值的，输入 输出特性常用S型函数表示。它反映的是神经元的饱和特性，如 图5-5所示。
f(σ) 1
0
f
31
人工神经网络的互连结构及其学习机理
简单单级网
x1 x2 … xn
w11 w1m
w2m … wn1
wnm 输入层
o1
o2
… on
输出层
32
单层网络结构有时也称两层网络结构 单层或两层神经网络结构是早期神经网络模型的互连模式，这种 互连模式是最简单的层次结构。1）不允许属于同一层次间的神 经元互连。2）允许同一层次间的神经元互连，则称为带侧抑制 的连接（或横向反馈）。此外，在有些双层神经网络中，还允许 不同层之间有反馈连接。
• 树突是指由细胞体向外延伸的除轴突以外的其他所 有分支。不同的神经元其树突的数量也不同，长度 较短，但数量很多，它是神经元的输入端，用于接 受从其他神经元的突触传来的信号。
• 细胞体是神经元的主体，胞体和树突表面是接受的 其他神经元传来的信号的主要部位。
8
神经元中的细胞体相当于一个初等处理器，它对 来自其他各个神经元的信号进行总体求和，并产生一个 神经输出信号。由于细胞膜将细胞体内外分开，因此， 在细胞体的内外具有不同的电位，通常是内部电位比外 部电位低。细胞膜内外的电位之差被称为膜电位。在无 信号输入时的膜电位称为静止膜电位。当一个神经元的 所有输入总效应达到某个阈值电位时，该细胞变为活性 细胞（激活），其膜电位将自发地急剧升高产生一个电 脉冲。这个电脉冲又会从细胞体出发沿轴突到达神经末 梢，并经与其他神经元连接的突触，将这一电脉冲传给 相应的神经元。
信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信 号。这种在突触接口处进行的“数/模”转换，是通过神经介质 以量子化学方式实现的如下过程：电脉冲→神经化学物质→膜电 位
（4）神经纤维传导速率 神经冲动沿神经纤维传导的速度在1m/s～150m/s之间。其
速度差异与纤维的粗细、髓鞘(包绕在神经元的轴突外部的物质，起绝缘作 用 )的有无有关。一般来说，有髓鞘的纤维，其传导速度在100m ／s以上，无髓鞘的纤维，其传导速度可低至每秒数米。
3
ຫໍສະໝຸດ Baidu
人脑的基本组成是脑神经细胞，大量脑 神经细胞相互联接组成人的大脑神经网络， 完成各种大脑功能。而人工神经网络则是由 大量的人工神经细胞（神经元）经广泛互连 形成的人工网络，以此模拟人类神经系统的 结构和功能。
了解人脑神经网络的组成和原理，有助 于对人工神经网络的理解。
4
人工神经网络概述
人体神经结构与特征
从人脑神经元的特性和功能可以知道，神经元是一 个多输入单输出的信息处理单元， 其模型如下图所示：
x1
ω1
x2 ω2
θ
y
ωn
xn
神经元模型
17
人工神经元及人工神经网络
x1
ω1
ω2
x2
θ
y
ωn
xn
神经元模型
18
人工神经元及人工神经网络
M-P模型 M-P模型属于一种阈值元件模型，它
是由美国心理学家Mc Culloch和数学家Pitts 提出的最早（1943）神经元模型之一。M-P 模型是大多数神经网络模型的基础。
x1 x2 … xn
w11 w1m w2m …wn1
输入层
o1
… 输出层
o2
V
om
33
多层网络结构 通常把三层和三层以上的神经网络结构称为多层神经网络
结构。所有神经元按功能分为若干层。一般有输入层、隐层（中 间层）和输出层。
11
• 人脑神经系统的结构与特征
（1）记忆和存储功能 人脑神经系统的记忆和处理功能是有机地结合
在一起的。神经元既有存储功能，又有处理功能， 它在进行回忆时不仅不需要先找到存储地址再调出 所存内容，而且还可以由一部分内容恢复全部内容。 尤其是当一部分神经元受到损坏（例如脑部受伤等） 时，它只会丢失损坏最严重部分的那些信息，而不 会丢失全部存储信息。
9
• 生物神经元的功能与特征
根据神经生理学的研究，生物神经元具有如下重要功能与特性。 （1）时空整合功能 神经元对不同时间通过同一突触传入的神经冲动，具有时间整合 功能。对于同一时间通过不同突触传入的神经冲动，具有空间整 合功能。两种功能相互结合，使生物神经元对由突触传入的神经 冲动具有时空整合的功能。
2
由于神经网络是多学科交叉的产物，各个相 关的学科领域对神经网络都有各自的看法，因此， 关于神经网络的定义，在科学界存在许多不同的 见解。目前使用得较广泛的是T.Koholen（芬兰赫尔 辛基技术大学 ）的定义，即"神经网络是由具有适应性 的简单单元组成的广泛并行互连的网络，它的组 织能够模拟生物神经系统对真实世界物体所作出 的交互反应。"
28
人工神经网络的分类 目前，已有的人工神经网络模型至少有几十种，其分类 方法也有多种。例如: 1)按网络拓扑结构可分为层次型结构和互连型结构 2)按信息流向可分为前馈型网络与有反馈型网络； 3) 按网络的学习方法可分为有教师的学习网络和无教 师的学习网络； 4) 按网络的性能可分为连续型网络与离散型网络，或 分为确定性网络与随机型网络；
12
• 人脑神经系统的结构与特征
（2）高度并行性 人脑大约有1011～1012个神经元，每个神经元
又有103～105个突触，即每个神经元都可以和其他 103～105个神经元相连，这就提供了非常巨大的存 储容量和并行度。例如，人可以非常迅速地识别出 一幅十分复杂的图像。
13
（3）分布式功能 人们通过对脑损坏病人所做的神经心理学研究，
19
x1
ω1
x2 ω2
θ
ωn
xn
y
神经元模型
在如图所示的模型中，x1，x2，…，xn表示某一神经元的n个输入； ωi表示第i个输入的连接强度，称为连接权值；θ为神经元的阈值；y为神 经元的输出。可以看出，人工神经元是一个具有多输入，单输出的非线
性器件。 神经元模型的输入是
∑ ωi* xi 输出是
(i=1,2,……,n)
（1）阈值型（Threshold） 这种模型的神经元没有内部状态，作用函数f是一个阶跃函
数，它表示激活值σ和其输出f(σ ）之间的关系，如图5-3所示。
f(σ) 1
0
f
(
)
1 0
0 0
σ 图 5-3 阈值型神经元的输入／输出特性
21
阈值型神经元是一种最简单的人工神经元。这种二值型神经 元，其输出状态取值1或0，分别代表神经元的兴奋和抑制状态。 任一时刻，神经元的状态由功能函数f 来决定。
（2）兴奋与抑制状态 神经元具有兴奋和抑制两种常规的工作状态。当传入冲动的时空 整合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入 兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使 细胞膜电位低于动作电位阈值时，细胞进入抑制状态，无神经冲 动输出。
10
（3）脉冲与电位转换 突触界面具有脉冲/电位信号转化功能。沿神经纤维传递的
基于对人类生物系统的这一认识，人们也试图通过 对人工神经元的广泛互连来模拟生物神经系统的结构和 功能。
27
人工神经网络 人工神经元之间通过互连形成的网络称为人工
神经网络。在人工神经网络中，神经元之间互连的 方式称为连接模式或连接模型。它不仅决定了神经 元网络的互连结构，同时也决定了神经网络的信号 处理方式。
当激活值σ＞0时，即神经元输入的加权总和超过给定的阈值 时，该神经元被激活，进入兴奋状态，其状态f(σ)为1；
否则，当σ＜0时，即神经元输入的加权总和不超过给定的阈 值时，该神经元不被激活，其状态f(σ)为0。
22
（2）分段线性强饱和型（Linear Saturation）
这种模型又称为伪线性，其输入／输出之间在一定范围内 满足线性关系，一直延续到输出为最大值1为止。但当达到最大 值后，输出就不再增大。如图5-4所示。
29
• 神经元的模型确定之后，一个神经 网络的特性及能力主要取决于网络 的拓扑结构及学习方法
30
人工神经网络的互连结构及其学习机理
人工神经网络的拓扑结构
建立人工神经网络的一个重要步骤是构造人工神 经网络的拓扑结构，即确定人工神经元之间的互连结构。 根据神经元之间连接的拓扑结构，可将神经网络的互连 结构分为层次型网络和互连型网络两大类。层次型网络 结构又可根据层数的多少分为单层、两层及多层网络结 构。
14
（4）容错功能 容错性是指根据不完全的、有错误的信息仍能
做出正确、完整结论的能力。大脑的容错性是非常 强的。例如，我们往往能够仅由某个人的一双眼睛、 一个背影、一个动作或一句话的音调，就能辨认出 来这个人是谁。
15
（5）联想功能 人脑不仅具有很强的容错功能，还有联想功能。
善于将不同领域的知识结合起来灵活运用，善于概括、 类比和推理。例如，一个人能很快认出多年不见、面貌 变化较大的老朋友。
（6）自组织和自学习功能 人脑能够通过内部自组织、自学习能力不断适应
外界环境，从而可以有效地处理各种模拟的、模糊的或 随机的问题。
16
人工神经元及人工神经网络
人工神经元的结构
如同生物学上的基本神经元，人工的神经网络也有 基本的神经元。人工神经元是对生物神经元的抽象与模 拟。所谓抽象是从数学角度而言的，所谓模拟是从其结 构和功能角度而言的。
(
)
1
1 e
σ 图 5-5 S型神经元的输入／输出特性
24
（4）子阈累积型（Subthreshold Summation） 这种类型的作用函数也是一个非线性函数，当产生的激活值
超过T值时，该神经元被激活产生一个反响。在线性范围内，系 统的反响是线性的，如图5－6所示。
f(σ)
1
0
T
σ
图5-6 子阈累积型神经元的输入／输出特性
25
从生理学角度看，阶跃函数（阈值型）最符 合人脑神经元的特点，事实上，人脑神经元正是 通过电位的高低两种状态来反映该神经元的兴奋 与抑制。然而，由于阶跃函数不可微，因此，实 际上更多使用的是与之相仿的Sigmoid函数。
26
人工神经网络 人工神经网络是对人类神经系统的一种模拟。尽管
人类神经系统规模宏大、结构复杂、功能神奇，但其最 基本的处理单元却只有神经元。人工神经系统的功能实 际上是通过大量神经元的广泛互连，以规模宏伟的并行 运算来实现的。
神经网络
1
人工神经网络（ ANN，Artificial Neural Network） 也简称为神经网络（NN），是由大量的简单处理单元 经广泛并行互连形成的一种网络系统。它是对人脑系统 的简化、抽象和模拟，具有人脑功能的许多基本特征。
目前，人工神经网络已成为许多高科技领域的一个 热门话题。在人工智能领域，它已实际应用于决策支持、 模式识别、专家系统、机器学习等许多方面。
•虽然神经元的形态各不相同，但是都由细胞体和突起两大 部分组成，而突起又分树突和轴突。
5
• 轴突是由细胞体向外延伸出的所有纤维中最长的一条 分枝，用来向外传递神经元产生的输出信号。每个神 经元只发出一条轴突，短的仅几个微米，其最大长度 可达1m以上。
6
• 突触，在轴突的末端形成了许多很细的分枝，这些分 枝叫神经末梢。每一条神经末梢可以与其他神经元形 成功能性接触，该接触部位称为突触。每个神经元大 约有103～105个突触，换句话说，每个神经元大约与 103～105个其它神经元有连接，正是因为这些突触才 使得全部大脑神经元形成一个复杂的网络结构。 所谓功能性接触，突触的信息传递特性可变，因 此细胞之间的连接强度可变，这是一种柔性连接，也 称为神经元结构的可塑性，这正是神经元之间传递信 息的奥秘之一。
没有发现大脑中的哪一部分可以决定其余所有各部 分的活动，也没有发现在大脑中存在有用于驱动和 管理整个智能处理过程的任何中央控制部分。人类 大脑的各个部分是协同工作、相互影响的，并没有 哪一部分神经元能对智能活动的整个过程负有特别 重要的责任。
可见，在大脑中，不仅知识的存储是分散的， 而且其控制和决策也是分散的。因此，大脑是一种 分布式系统。
y=f(σ)=f(∑ ωi* xi – θ) 其中f 称之为神经元功能函数（作用函数，转移函数，传递函数，激 活函数）。
➢ 注：可以令X0=-1，w0=θ，这样将阈值作为权值来看待。
20
常用的人工神经元模型 功能函数f是表示神经元输入与输出之间关系的函数，根据
功能函数的不同，可以得到不同的神经元模型。常用的神经元模 型有以下几种。
f(σ) 1
0
σ 图 5-4 分段线性饱和型神经元的输入／输出特性
23
（3）S型（Sigmoid） 这是一种连续的神经元模型，其输出函数也是一个有最大输
出值的非线性函数，其输出值是在某个范围内连续取值的，输入 输出特性常用S型函数表示。它反映的是神经元的饱和特性，如 图5-5所示。
f(σ) 1
0
f
31
人工神经网络的互连结构及其学习机理
简单单级网
x1 x2 … xn
w11 w1m
w2m … wn1
wnm 输入层
o1
o2
… on
输出层
32
单层网络结构有时也称两层网络结构 单层或两层神经网络结构是早期神经网络模型的互连模式，这种 互连模式是最简单的层次结构。1）不允许属于同一层次间的神 经元互连。2）允许同一层次间的神经元互连，则称为带侧抑制 的连接（或横向反馈）。此外，在有些双层神经网络中，还允许 不同层之间有反馈连接。