第二章神经网络的基本原理

一条神经末梢与其它神经元通过突触相连并传
递信号。
7
基本原理
✓ 细胞体相当于一个信息处理器，对来自 其它神经元的信号求和，并产生神经脉 冲输出信号。
观看动画神经元刺激与反应的过程
✓ 由于细胞膜将细胞体内外分开，因此细 胞体内外具有不同的电位，通常是内部 电位比外部低，内外电位之差称为膜电 位。
观看动画动作电位的形成
大家好
1
第二章 神经网络的基本原理
2
基本原理
本章主要从电生理学的角度介绍生物 神经元的基本工作原理，以及它们之间 的相互作用由此概述大脑的基本构造和 它的信息处理特征并在上述的基础上研 究生物神经元的数学模型及其学习法则。
3
基本原理
第一节 大脑的基本组成单元 —— 神经元
4
基本原理
脑神经系统无论从构造和功能上来讲， 都称得上是一个非常复杂的巨系统。
正常大脑的神经细胞(神经元)的数目 约在100亿到1000亿个左右。
5
基本原理
图2.1 神经元的构造
6
基本原理
细胞体是神经元的主体，它包括细胞核、细胞 质和细胞膜三部分。
树状突起主要起感受器作用，接受来自其它神 经元的信号。
轴突用来输出细胞体产生的电脉冲信号。
轴突的末端形成许多分枝，称作神经末梢，每
当膜电位超过阈值 时i ，神经元处于兴 奋状态并发出电脉冲。 由形式神经元构成的神经网络如图2.8所 示。
24
人工神经网络模型
图2.8 形式神经元构成的神经网络
25
人工神经网络模型
在上述模型是离散的。但是，神经元也可以有 模拟量输入输出和时间上是连续的模型，它的 数学模型为
dudit(t)ui(t)jn1wjixj(t)u0 (2.4)
14
图2.4 突触中的信号传递
15
基本原理
大脑神经系统是由庞大的神经网 络构成的有序阶层型系统。
整个大脑神经系统可分为中枢神 经系统和末梢神经系统两大类。
16
中枢神经的构造
17
基本原理
大脑信息处理的特征有：
1.神经元是一种非线性元件，神经元之间的相互作 用主要为兴奋性和抑制性两种。神经元的动作速 度较慢，约几个毫秒。
源自文库
yi f[ui(t)]
(2.5)
式为中膜x电，j 位y为变i 神化经的元时在间t常时数刻，的平u 为均0 静输止入膜和电输位出。， 为u 平i 均膜电位，
函数f通常为S型的单调递增函数，其数学形式为
1 f (u) 1eu
26
人工神经网络模型
图2.10(a) 串行连接
在串行连接中， ➢当w>0为兴奋性连接时，若神经元1处于兴 奋状态，则神经元2也处于兴奋状态； ➢当w<0为抑制性连接时，若神经元1处于兴 奋状态，反而会使神经元2容易处于抑制状态。
27
人工神经网络模型
图2.10(b) 相互结合型连接
相互结合型状态中，
➢ 若w21和w12均为正，则某一个神经元处于兴奋状态时，另 一个神经元也倾向于兴奋状态，这称为神经元之间的协调作 用。
作函用数函，数其输或出阈为值函0或数1。，在分M别P代模表型神中经，f元( u的i )抑是制二和值
兴奋状态。
f(u i){ 1 0
ui> 0 ui 0
(2 .3 )
图2.7 阈值函数
23
人工神经网络模型
在式(2.1)中， 当 w ji 时0 为兴奋性突触结合； 当 时为w抑ji 制0性突触结合； 当 w ji 时0 为无结合。
• 当膜内外K+浓度差（K+外流动力）与电位差（K+外流阻力）
达平衡时，即形成静息电位。因此，细胞的静息电位主要由
K+外流所产生，反映K+的平衡电位。
10
基本原理
膜电位保持在一个稳定的负电位(即静止膜电 位)上，数值上与钾离子平衡电位Vk相近，约 －60mV左右。
膜电位是神经生理学中最重要的状态参数之一。
8
基本原理
漏电流支路
图2.2 细胞膜等效电路 9
基本原理
• 细胞膜内外离子分布很不相同。在正离子方面，细胞内K+浓 度高，约为膜外的20-40倍，而细胞外Na+浓度约高于膜内 的20倍。负离子方面，细胞外Cl-浓度较细胞内高，而细胞内 大分子有机物（A-）较细胞外多。
• 因此细胞膜内外两侧存在离子分布的不平衡，即存在离子浓 度差和电位差，在电化学梯度的作用下，离子就有扩散到膜 另一侧的可能性。细胞在静息状态下，膜对Na+的通透性小， 而膜对K+有较大的通透性，于是K+浓度差推动K+从膜内向 膜外扩散，正电荷随钾离子外流，而带负电荷的蛋白质不能 外流而留在膜内，于是膜外积累正电荷，膜内积累负电荷， 这种电位差随着K+的外流逐渐增大，并对K+外流产生阻碍 作用。
2.3.1 形式神经元模型
形式神经元模型是生物神经元在功能 上和结构上的一种数学模型。最早是 在1943年由McCulloch-Pitts提出 的，所以也称为 MP模型。 通常MP模型是一个多输入单输出的 非线性元件。
20
人工神经网络模型 图2.6 MP模型
21
人工神经网络模型
设x1，x2,…,xn 为神经元i的n个输入， w 为j i 第i个神经元
若以细胞膜外液的电位作为基准电位，则神经 元的跨膜电位分布如图2.3所示。
11
基本原理
图2.3 神经元的膜电位分布
12
基本原理
第二节 大脑的信息处理原理
13
基本原理
尽管大脑是一个高级的信息处理系统， 但作为它的基本元素的神经元的动作 却相当慢，仅达到每秒数百赫兹，可 是由于大脑神经网络具有并行的结构， 所以信息处理是在超并列时空中进行 的，整体动作可以被认为具有相对高 的速度。
与来自其它层第j个神经元之间的结合强度，称为权值；
u
i
表示神经元i的输入总和，即生物神经细胞的膜电位，也
称为激活函数； 是i 神经元的阈值， 是y i 神经元的输出，
则神经元的输出方程为
n
ui(t) wjixj i j1
yi f[ui(t)]
(2.1) (2.2)
22
人工神经网络模型
f ( u是i )输入与输出之间的非线性函数，通常称为
2.神经脉冲信号的频率只有数百赫兹，尽管单个神 经元的动作速度较慢，但众多神经元构成的大规 模并行系统，具有相对快速的信息处理能力。
3.学习能力和自组织能力。大脑通过与外界环境的 相互作用，学习周围的各种事物，把信息存储、 记忆在脑中并进行自组织。
18
第三节 大脑的人工神经网络模型
19
人工神经网络模型