第二章 神经网络的基本原理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
正常大脑的神经细胞(神经元)的数目 约在100亿到1000亿个左右。
基本原理
图2.1 神经元的构造
基本原理
细胞体是神经元的主体，它包括细胞核、细胞 质和细胞膜三部分。 树状突起主要起感受器作用，接受来自其它神 经元的信号。 轴突用来输出细胞体产生的电脉冲信号。 轴突的末端形成许多分枝，称作神经末梢，每 一条神经末梢与其它神经元通过突触相连并传 递信号。
其中以 波尔兹曼BM 的学习算法最具有代表性。
人工神经网络模型
若神经元状态更新的概率 Pi (l ) 服从波 尔兹曼分布，则有
1 Pi (l ) 1 exp(Ei / T )
(2. 10)
E 为系统对应状态的能量变化，T是绝对温度。 式中，
人工神经网络模型
4.竞争性学习和基于知识的学习
内容和特点
3.神经网络的应用开发 神经网络的信息处理方法与传统的数字计 算机和人工智能方法有本质的不同，它具有 大规模并行信息处理能、连续互相作用的动 力学、存储和操作合而为一和强大的自适应 学习能力。
这些优点使它在解决众多的应用领域问题 上有着诱人的前景。
人工神经网络模型
2.3.2 神经网络的基本结构
把大量的神经元通过一定的拓扑结构连接起来， 就形成了神经网络。 神经元之间连接的方式可分成相互结合型结构 和层状结构二大类。通常神经网络的互连结构还决定 了它的特性和能力。
人工神经网络模型
通常，神经网络内的神经元之间均是互相连接的， 构成图2.11(a)所示的互相结合型神经网络，可以认 为互相结合型的结构是一种普遍的结构形式。
j 1
n
(2.1) (2.2)
yi f [ui (t )]
人工神经网络模型
f (ui ) 是输入与输出之间的非线性函数，通常称为 作用函数或阈值函数。在MP模型中， f (ui ) 是二值 函数，其输出为0或1，分别代表神经元的抑制和 兴奋状态。
f (ui ) {
1 0
ui >0 ui 0
第二章 神经网络的基本原理
基本原理
本章主要从电生理学的角度介绍生物 神经元的基本工作原理，以及它们之间 的相互作用由此概述大脑的基本构造和 它的信息处理特征并在上述的基础上研 究生物神经元的数学模型及其学习法则。
基本原理
第一节 大脑的基本组成单元 —— 神经元
基本原理
脑神经系统无论从构造和功能上来讲， 都称得上是一个非常复杂的巨系统。
基本原理
尽管大脑是一个高级的信息处理系统， 但作为它的基本元素的神经元的动作 却相当慢，仅达到每秒数百赫兹，可 是由于大脑神经网络具有并行的结构， 所以信息处理是在超并列时空中进行 的，整体动作可以被认为具有相对高 的速度。
图2.4 突触中的信号传递
基本原理
大脑神经系统是由庞大的神经网 络构成的有序阶层型系统。
在相互结合型神经系统中， 一定存在着反馈环，在神 经元的学习过程中，也同 样存在着反馈环(误差反 馈)。因此，互相结合型神 经网络是一种非线性动力 学系统。
图2.11(a) 相互结合型神经网络
人工神经网络模型
此外，从大脑的工作机理来看，还存在着不同的功 能性模块，下位的功能模块向上位的功能模块传送 信息，因此神经网络的结构还有层次性，如图 2.11(b)所示。
图2.8
形式神经元构成的神经网络
人工神经网络模型
在上述模型是离散的。但是，神经元也可以有 模拟量输入输出和时间上是连续的模型，它的 数学模型为
n dui (t ) ui (t ) w ji x j (t ) u0 dt j 1
(2.4) (2.5)
yi f [ui (t )]
整个大脑神经系统可分为中枢神 经系统和末梢神经系统两大类。
中枢神经的构造
基本原理
大脑信息处理的特征有：
1. 神经元是一种非线性元件，神经元之间的相互作 用主要为兴奋性和抑制性两种。神经元的动作速 度较慢，约几个毫秒。 2. 神经脉冲信号的频率只有数百赫兹，尽管单个神 经元的动作速度较慢，但众多神经元构成的大规 模并行系统，具有相对快速的信息处理能力。 3. 学习能力和自组织能力。大脑通过与外界环境的 相互作用，学习周围的各种事物，把信息存储、 记忆在脑中并进行自组织。
(2.3)
图2.7 阈值函数
人工神经网络模型
在式(2.1)中， 当 wji 0 时为兴奋性突触结合； 当 wji 0 时为抑制性突触结合； 当 wji 0 时为无结合。
当膜电位超过阈值 i 时，神经元处于 兴奋状态并发出电脉冲。 由形式神经元构成的神经网络如图2.8 所示。
人工神经网络模型
内容和特点
1.神经网络的数学模型及神经计算方法
神经网络的数学模型需要抓住大脑的各种重要特 征进行构造才行。模型就是从单个神经元及其复 杂的连接中概括出来的十分有效的模型之一。 神经计算是对认知过程的一种表征，用新的概念 对信息进行加工和存储。例如Hopfield神经网络 计算并不是一种单纯的数字式计算，而是对大脑 提取信息(记忆)和获取信息(学习)过程的理解。
图2.11(b) 层次型神经网络
人工神经网络模型
1.误差传播式学习
感知机是一种最基本的神经网络模型，设神经元的输入 输出关系为
ui w ji x j i
j 1
n
yi f (ui )
则学习规源自文库为
f (ui ) {1 0
ui 0 ui 0
wji (t 1) wji (t ) ( yi di ) x j wji (t ) i x j
(2. 8)
式中 是学习率，d i是教师信号或希望输出， i是实际输出与希望输出之差， yi 和 x j 取1或0的离散值。由于权值更新与 有关，所以也称 学习规则。
人工神经网络模型
2.联想式学习
无教师的联想式学习模式的学习规则可 以用数学形式表示为
wji (t 1) wji (t ) yi x j
基本原理
细胞体相当于一个信息处理器，对来自 其它神经元的信号求和，并产生神经脉 冲输出信号。 观看动画神经元刺激与反应的过程 由于细胞膜将细胞体内外分开，因此细 胞体内外具有不同的电位，通常是内部 电位比外部低，内外电位之差称为膜电 位。 观看动画动作电位的形成
基本原理
漏电流支路
图2.2
细胞膜等效电路
基本原理
• 细胞膜内外离子分布很不相同。在正离子方面，细胞内K+浓 度高，约为膜外的20-40倍，而细胞外Na+浓度约高于膜内的 20倍。负离子方面，细胞外Cl-浓度较细胞内高，而细胞内大 分子有机物（A-）较细胞外多。 • 因此细胞膜内外两侧存在离子分布的不平衡，即存在离子浓 度差和电位差，在电化学梯度的作用下，离子就有扩散到膜 另一侧的可能性。细胞在静息状态下，膜对Na+的通透性小， 而膜对K+有较大的通透性，于是K+浓度差推动K+从膜内向膜 外扩散，正电荷随钾离子外流，而带负电荷的蛋白质不能外 流而留在膜内，于是膜外积累正电荷，膜内积累负电荷，这 种电位差随着K+的外流逐渐增大，并对K+外流产生阻碍作用。 • 当膜内外K+浓度差（K+外流动力）与电位差（K+外流阻力） 达平衡时，即形成静息电位。因此，细胞的静息电位主要由 K+外流所产生，反映K+的平衡电位。
(2.9)
与式(2.8)不同的是，即无教师信号。所以在联想 式学习中，权值变化仅是输入与输出同时兴奋的 结果。由于联想发生在输入和输出之间，所以这 种联想被称为异联想。
人工神经网络模型
3.概率式学习
概率式学习的特点式把分子热力学、统计力学和概 率论中关于系统达到稳态的基本条件――能量极小 标准，作为网络学习的重要前提。
基本原理
膜电位保持在一个稳定的负电位(即静止膜电 位)上，数值上与钾离子平衡电位Vk相近，约 －60mV左右。 膜电位是神经生理学中最重要的状态参数之一。 若以细胞膜外液的电位作为基准电位，则神经 元的跨膜电位分布如图2.3所示。
基本原理
图2.3 神经元的膜电位分布
基本原理
第二节 大脑的信息处理原理
• 竞争性学习的特点是网络的高层次单元对低层次 单元的输入模式的竞争性识别。学习时只需要输 入学习样本，而无需教师信号的监督。学习过程 中不同层次之间的神经元产生兴奋性连接，而同 一层神经元中，距离兴奋中心很近的神经元均处 于兴奋状态，而距离较远的神经元均处于抑制状 态。 • 基于知识的学习也是人工智能中的一个重要研究 领域。 • 共同点都是具有利用知识进行操作的过程。
u i 为平均膜电位， 式中 x j ，y i 为神经元在t时刻的平均输入和输出， 为膜电位变化的时间常数， u0 为静止膜电位。 函数f通常为S型的单调递增函数，其数学形式为
1 f (u ) 1 eu
人工神经网络模型
图2.10(a)
串行连接
在串行连接中， 当w>0为兴奋性连接时，若神经元1处于兴奋 状态，则神经元2也处于兴奋状态； 当w<0为抑制性连接时，若神经元1处于兴奋 状态，反而会使神经元2容易处于抑制状态。
人工神经网络模型
神经网络的学习过程:
首先设定初始值，一般由于无先验的知识，初始权 值可设定为随机值。 接着输入样本数据进行学习，参照评价标准进行评 判。 如果达到要求，就停止学习，否则按照给定的学习 法则调整权值，继续进行学习，直到取得满意的结 果为止。
2.4 神经网络研究的内容和特点
人工神经网络模型
设x1，x2,…,xn 为神经元i的n个输入， w ji 为第i个神经 元与来自其它层第j个神经元之间的结合强度，称为权值； u i 表示神经元i的输入总和，即生物神经细胞的膜电位，也 称为激活函数； i 是神经元的阈值，y i 是神经元的输出， 则神经元的输出方程为
ui (t ) w ji x j i
内容和特点
2.神经计算机: 神经计算机是神经网络的一种实现。
基于硬件实现的神经计算机是指每一种神经元及其连接 都是用物理器件来实现的，它可以是电子元器件、光学 元器件或分子元器件等，工作方式上可以是数字式的或 模拟式的。但是往往是专用的，缺乏通用性和灵活性。 基于传统计算机的实现是利用现有的各种计算机软件和 硬件来模拟各种神经网络，它有灵活性好，开发方便， 价格便宜，通用性强的优点。但是它在本质上仍然是一 种模拟，而不是真正意义上的神经计算机。
第三节 大脑的人工神经网络模型
人工神经网络模型
2.3.1 形式神经元模型
形式神经元模型是生物神经元在功能 上和结构上的一种数学模型。最早是 在1943年由McCulloch-Pitts提出的， 所以也称为 MP模型。 通常MP模型是一个多输入单输出的非 线性元件。
人工神经网络模型
图2.6
MP模型
人工神经网络模型
图2.10(b) 相互结合型连接
相互结合型状态中， 若w21和w12均为正，则某一个神经元处于兴奋状态时，另一 个神经元也倾向于兴奋状态，这称为神经元之间的协调作用。 若w21和w12均为负，则某一个神经元处于兴奋状态时，另一 个神经元倾向于抑制状态，这称为神经元之间的竞争作用， 即两个神经元之间的互相牵制作用。 协调和竞争时神经网络中并行信息处理的基本动态特性。
基本原理
图2.1 神经元的构造
基本原理
细胞体是神经元的主体，它包括细胞核、细胞 质和细胞膜三部分。 树状突起主要起感受器作用，接受来自其它神 经元的信号。 轴突用来输出细胞体产生的电脉冲信号。 轴突的末端形成许多分枝，称作神经末梢，每 一条神经末梢与其它神经元通过突触相连并传 递信号。
其中以 波尔兹曼BM 的学习算法最具有代表性。
人工神经网络模型
若神经元状态更新的概率 Pi (l ) 服从波 尔兹曼分布，则有
1 Pi (l ) 1 exp(Ei / T )
(2. 10)
E 为系统对应状态的能量变化，T是绝对温度。 式中，
人工神经网络模型
4.竞争性学习和基于知识的学习
内容和特点
3.神经网络的应用开发 神经网络的信息处理方法与传统的数字计 算机和人工智能方法有本质的不同，它具有 大规模并行信息处理能、连续互相作用的动 力学、存储和操作合而为一和强大的自适应 学习能力。
这些优点使它在解决众多的应用领域问题 上有着诱人的前景。
人工神经网络模型
2.3.2 神经网络的基本结构
把大量的神经元通过一定的拓扑结构连接起来， 就形成了神经网络。 神经元之间连接的方式可分成相互结合型结构 和层状结构二大类。通常神经网络的互连结构还决定 了它的特性和能力。
人工神经网络模型
通常，神经网络内的神经元之间均是互相连接的， 构成图2.11(a)所示的互相结合型神经网络，可以认 为互相结合型的结构是一种普遍的结构形式。
j 1
n
(2.1) (2.2)
yi f [ui (t )]
人工神经网络模型
f (ui ) 是输入与输出之间的非线性函数，通常称为 作用函数或阈值函数。在MP模型中， f (ui ) 是二值 函数，其输出为0或1，分别代表神经元的抑制和 兴奋状态。
f (ui ) {
1 0
ui >0 ui 0
第二章 神经网络的基本原理
基本原理
本章主要从电生理学的角度介绍生物 神经元的基本工作原理，以及它们之间 的相互作用由此概述大脑的基本构造和 它的信息处理特征并在上述的基础上研 究生物神经元的数学模型及其学习法则。
基本原理
第一节 大脑的基本组成单元 —— 神经元
基本原理
脑神经系统无论从构造和功能上来讲， 都称得上是一个非常复杂的巨系统。
基本原理
尽管大脑是一个高级的信息处理系统， 但作为它的基本元素的神经元的动作 却相当慢，仅达到每秒数百赫兹，可 是由于大脑神经网络具有并行的结构， 所以信息处理是在超并列时空中进行 的，整体动作可以被认为具有相对高 的速度。
图2.4 突触中的信号传递
基本原理
大脑神经系统是由庞大的神经网 络构成的有序阶层型系统。
在相互结合型神经系统中， 一定存在着反馈环，在神 经元的学习过程中，也同 样存在着反馈环(误差反 馈)。因此，互相结合型神 经网络是一种非线性动力 学系统。
图2.11(a) 相互结合型神经网络
人工神经网络模型
此外，从大脑的工作机理来看，还存在着不同的功 能性模块，下位的功能模块向上位的功能模块传送 信息，因此神经网络的结构还有层次性，如图 2.11(b)所示。
图2.8
形式神经元构成的神经网络
人工神经网络模型
在上述模型是离散的。但是，神经元也可以有 模拟量输入输出和时间上是连续的模型，它的 数学模型为
n dui (t ) ui (t ) w ji x j (t ) u0 dt j 1
(2.4) (2.5)
yi f [ui (t )]
整个大脑神经系统可分为中枢神 经系统和末梢神经系统两大类。
中枢神经的构造
基本原理
大脑信息处理的特征有：
1. 神经元是一种非线性元件，神经元之间的相互作 用主要为兴奋性和抑制性两种。神经元的动作速 度较慢，约几个毫秒。 2. 神经脉冲信号的频率只有数百赫兹，尽管单个神 经元的动作速度较慢，但众多神经元构成的大规 模并行系统，具有相对快速的信息处理能力。 3. 学习能力和自组织能力。大脑通过与外界环境的 相互作用，学习周围的各种事物，把信息存储、 记忆在脑中并进行自组织。
(2.3)
图2.7 阈值函数
人工神经网络模型
在式(2.1)中， 当 wji 0 时为兴奋性突触结合； 当 wji 0 时为抑制性突触结合； 当 wji 0 时为无结合。
当膜电位超过阈值 i 时，神经元处于 兴奋状态并发出电脉冲。 由形式神经元构成的神经网络如图2.8 所示。
人工神经网络模型
内容和特点
1.神经网络的数学模型及神经计算方法
神经网络的数学模型需要抓住大脑的各种重要特 征进行构造才行。模型就是从单个神经元及其复 杂的连接中概括出来的十分有效的模型之一。 神经计算是对认知过程的一种表征，用新的概念 对信息进行加工和存储。例如Hopfield神经网络 计算并不是一种单纯的数字式计算，而是对大脑 提取信息(记忆)和获取信息(学习)过程的理解。
图2.11(b) 层次型神经网络
人工神经网络模型
1.误差传播式学习
感知机是一种最基本的神经网络模型，设神经元的输入 输出关系为
ui w ji x j i
j 1
n
yi f (ui )
则学习规源自文库为
f (ui ) {1 0
ui 0 ui 0
wji (t 1) wji (t ) ( yi di ) x j wji (t ) i x j
(2. 8)
式中 是学习率，d i是教师信号或希望输出， i是实际输出与希望输出之差， yi 和 x j 取1或0的离散值。由于权值更新与 有关，所以也称 学习规则。
人工神经网络模型
2.联想式学习
无教师的联想式学习模式的学习规则可 以用数学形式表示为
wji (t 1) wji (t ) yi x j
基本原理
细胞体相当于一个信息处理器，对来自 其它神经元的信号求和，并产生神经脉 冲输出信号。 观看动画神经元刺激与反应的过程 由于细胞膜将细胞体内外分开，因此细 胞体内外具有不同的电位，通常是内部 电位比外部低，内外电位之差称为膜电 位。 观看动画动作电位的形成
基本原理
漏电流支路
图2.2
细胞膜等效电路
基本原理
• 细胞膜内外离子分布很不相同。在正离子方面，细胞内K+浓 度高，约为膜外的20-40倍，而细胞外Na+浓度约高于膜内的 20倍。负离子方面，细胞外Cl-浓度较细胞内高，而细胞内大 分子有机物（A-）较细胞外多。 • 因此细胞膜内外两侧存在离子分布的不平衡，即存在离子浓 度差和电位差，在电化学梯度的作用下，离子就有扩散到膜 另一侧的可能性。细胞在静息状态下，膜对Na+的通透性小， 而膜对K+有较大的通透性，于是K+浓度差推动K+从膜内向膜 外扩散，正电荷随钾离子外流，而带负电荷的蛋白质不能外 流而留在膜内，于是膜外积累正电荷，膜内积累负电荷，这 种电位差随着K+的外流逐渐增大，并对K+外流产生阻碍作用。 • 当膜内外K+浓度差（K+外流动力）与电位差（K+外流阻力） 达平衡时，即形成静息电位。因此，细胞的静息电位主要由 K+外流所产生，反映K+的平衡电位。
(2.9)
与式(2.8)不同的是，即无教师信号。所以在联想 式学习中，权值变化仅是输入与输出同时兴奋的 结果。由于联想发生在输入和输出之间，所以这 种联想被称为异联想。
人工神经网络模型
3.概率式学习
概率式学习的特点式把分子热力学、统计力学和概 率论中关于系统达到稳态的基本条件――能量极小 标准，作为网络学习的重要前提。
基本原理
膜电位保持在一个稳定的负电位(即静止膜电 位)上，数值上与钾离子平衡电位Vk相近，约 －60mV左右。 膜电位是神经生理学中最重要的状态参数之一。 若以细胞膜外液的电位作为基准电位，则神经 元的跨膜电位分布如图2.3所示。
基本原理
图2.3 神经元的膜电位分布
基本原理
第二节 大脑的信息处理原理
• 竞争性学习的特点是网络的高层次单元对低层次 单元的输入模式的竞争性识别。学习时只需要输 入学习样本，而无需教师信号的监督。学习过程 中不同层次之间的神经元产生兴奋性连接，而同 一层神经元中，距离兴奋中心很近的神经元均处 于兴奋状态，而距离较远的神经元均处于抑制状 态。 • 基于知识的学习也是人工智能中的一个重要研究 领域。 • 共同点都是具有利用知识进行操作的过程。
u i 为平均膜电位， 式中 x j ，y i 为神经元在t时刻的平均输入和输出， 为膜电位变化的时间常数， u0 为静止膜电位。 函数f通常为S型的单调递增函数，其数学形式为
1 f (u ) 1 eu
人工神经网络模型
图2.10(a)
串行连接
在串行连接中， 当w>0为兴奋性连接时，若神经元1处于兴奋 状态，则神经元2也处于兴奋状态； 当w<0为抑制性连接时，若神经元1处于兴奋 状态，反而会使神经元2容易处于抑制状态。
人工神经网络模型
神经网络的学习过程:
首先设定初始值，一般由于无先验的知识，初始权 值可设定为随机值。 接着输入样本数据进行学习，参照评价标准进行评 判。 如果达到要求，就停止学习，否则按照给定的学习 法则调整权值，继续进行学习，直到取得满意的结 果为止。
2.4 神经网络研究的内容和特点
人工神经网络模型
设x1，x2,…,xn 为神经元i的n个输入， w ji 为第i个神经 元与来自其它层第j个神经元之间的结合强度，称为权值； u i 表示神经元i的输入总和，即生物神经细胞的膜电位，也 称为激活函数； i 是神经元的阈值，y i 是神经元的输出， 则神经元的输出方程为
ui (t ) w ji x j i
内容和特点
2.神经计算机: 神经计算机是神经网络的一种实现。
基于硬件实现的神经计算机是指每一种神经元及其连接 都是用物理器件来实现的，它可以是电子元器件、光学 元器件或分子元器件等，工作方式上可以是数字式的或 模拟式的。但是往往是专用的，缺乏通用性和灵活性。 基于传统计算机的实现是利用现有的各种计算机软件和 硬件来模拟各种神经网络，它有灵活性好，开发方便， 价格便宜，通用性强的优点。但是它在本质上仍然是一 种模拟，而不是真正意义上的神经计算机。
第三节 大脑的人工神经网络模型
人工神经网络模型
2.3.1 形式神经元模型
形式神经元模型是生物神经元在功能 上和结构上的一种数学模型。最早是 在1943年由McCulloch-Pitts提出的， 所以也称为 MP模型。 通常MP模型是一个多输入单输出的非 线性元件。
人工神经网络模型
图2.6
MP模型
人工神经网络模型
图2.10(b) 相互结合型连接
相互结合型状态中， 若w21和w12均为正，则某一个神经元处于兴奋状态时，另一 个神经元也倾向于兴奋状态，这称为神经元之间的协调作用。 若w21和w12均为负，则某一个神经元处于兴奋状态时，另一 个神经元倾向于抑制状态，这称为神经元之间的竞争作用， 即两个神经元之间的互相牵制作用。 协调和竞争时神经网络中并行信息处理的基本动态特性。