第六章 人工神经元计算方法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 人工神经元计算方法 第一节 概述
1
神经网络理论的应用取得了令人瞩目的发展，特别是在人工智能、自动控 制、计算机科学、信息处理、机器人、模式识别、CAD/CAM 等方面都有重 大的应用实例。下面列出一些主要应用领域：
（1）模式识别和图像处理。语音识别、签字识别、指纹识别、人体病 理分析、目标检测与识别等。
反向传播网络通常有一个 输入层，一个输出层和至少一 个隐层，每层由一个以上的神 经元所组成。右图所示为一个 典型的三层反向传播网的拓扑 结构。底层是输入层，其神经 元接受外部输入；上层是输出 层，其神经元给出网络的输出 相应；中间层是隐层，其神经 元与上下层的神经元相互联 结。
右图所示为一个神经元，左 边是输入，右边是接受神经元 输出的神经元。该神经元拥有 一个输入加权和（Sj）一个输 出 值 ( α j), 和 一 个 相 关 的 误 差 值（δj）。这个误差在联结权 调整时有用。
10
该算法实质是求误差函数的极小值，它通过多个样本的反复训练，并 采用最快下降法使得权值沿着误差函数负梯度方向改变，并收敛于最小点。
四、 网络训练与测试 网络训练实际上是一个确定联结权的学习过程。反向传播网络用所谓
有导师的学习技术来训练，即输入和目标输出训练样本成对地提代给网络。 训练样本是一个实数矢量。目标输出是输入样本的期望响应，用来确定调 整联结权所需的网络误差。
（2）控制和优化。机械过程控制、机器人运动控制、金属探伤、故障
2
分析等。 （3）预报和智能信息管理。股票市场预测、地震预报、有价证券管理、
借贷风险分析、IC 卡管理和交通管理。 一、什么是人工神经元计算
人的大脑是众所周知的最复杂的计算“装置”，其强大的思考、记忆和 解决问题的能力激发了许多科学工作者去尝试建立人脑的计算模型。经过 近半个多世纪的努力，形成了人工神经元计算理论。
电脉冲
输 入
树 突
细胞体 形成 轴突
突
输
触
出
信息处理
传输
图 12.2 生物神经元功能模型
6
3.网络计算
神经元网络的计算分两个阶段——学习和记忆。 网络学习，即对网络进行训练，是一个根据施加在输入层与输出层的刺激 来调整网络联结权的计算过程。输出层的刺激对应于给定输入之期望响应， 必须由有经验的“教师”给出。这种学习称为有导师的学习。
2. 人工神经元网络
在人工神经元网络中，模拟生物神经元的单元一般称为神经元。一个 神经元有许多输入通道（树突），它通常用简单求和的方式对所有输入值进 行合成操作。操作结果是神经元的一个内部激发值，由传递函数作进一步 的修改。传递函数可以是阈值函数，只有当激发值达到一定水平时才输出
4
信号。传递函数也可以是合成输入的连续函数。传递函数的输出值接传送 到神经元的输出通道。常用传递函数形式如下所示。
注 1：若输出层实际输出与期望输出（教师信号）不符，则转入 2）（误 差反向传播过程） 2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从 而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权
8
值调整的过程）。 一、 网络结构
1. 模拟人脑 神经元是脑神经系统中最基本的细胞单元。每个神经元都
是一个简单的微处理单元，其接受和综合许多其它神经元通过所谓树突的 输入结构传来的信号，并将输出信号沿着轴突向外传送。这种信号传递本 质上是一个化学过程，但其信号是可以测量的。
3
电脉冲
输
树
细胞体 形成 轴突
入
突
突
输
触
出
信息处理
传输
图 12.2 生物神经元功能模型
训练样本可重复使用。一次训练迭代提供给网络一对输入-输出样本， 一个训练循环包括所有的样本。反向传播网络的训练通常需要成千上万次 训练循环。
网络训练的收敛准则一般用输出误差的均方根（RMS）值不定义。收敛
11
是指 RMS 值越来越逼近 0 的过程。常需要很长的时间。如果训练样本具有 代表性，网络一般可收敛到一个较小的 RMS 值。若存在局部极小，可用一 些技术，例如，改变学习参数或增加隐层神经元的数目，使网络避开局部 最小。给联结权一个随机摄动，也可使网络离开局部最小位置。如果新的 位置离开局部最小位置足够远，则收敛就朝新的方向进行，而不至于停滞 在原先的最小位置。
神经元计算网络的一个重要特征是其储存信息的方式。神经元计算是 分布记忆的，联结权为神经网络的记忆单元，权值体现了网络知识的当前 状态。由一对输入—期望输出样本表示的一条知识分布在网络的多个记忆 单元里，与储存在网络内的其他条知识共享这些记忆单元。 3. 容错特性
传统的计算系统只要损坏少量的记忆单元，就不能正常工作。神经元 计算系统则是能容错的。容错是一些神经元破坏损伤后或联结少许再变差 一点。神经元计算系统之所以能够容错，是因为信息不是储存在一个地方，
二、人工神经元计算的特点
神经元计算不同事传统的计算与人工智能，主要现在如下几个方面： 1. 样本学习
传统专家系统（一种模拟人类专家解决领域问题的计算机程序系统）的知 识是用规则的形式给出的。神经网络与专家系统不同，其规则是由样本学 习形成的。其中学习规则是根据样本输入及期望输出来调整网络联结权的 方法。 2. 分布联想记忆
反向传播网络是一种最容易理解的神经网络。它的学习思想相当直观， 即当网络输出有错误时，就修改联结权，使得误差减小。训练过的网络能 产生正确的输出响应。
BP 算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与 误差的反向传播两个过程组成。 1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
7
而是分布在整个系统的联接内。 4. 综合能力
神经元网络能够学习复杂连续的映射。综合复杂连续函数的能力类似 于生理系统学习协调运动的能力，如学习挥动球拍和击球。
第二节 反向传播网络（BP- Back Propagation）
反向传播神经元网络是使用最广泛的一种神经网络，成功地应用于很 多领域，其中包括文字识别、目标跟踪、图像分类、信号处理、运动控制 及故障诊断等等。反向传播网络可解决任何需要模式映射的问题，即给定 一个输入模式，网络产生一个相关的输出模式。
三、误差反向传播
误差反向传播是网络学习时联结权的修正量的计算从输出层开始，通过 网络反向传播到输入层为止。
给定网络联结权的初值（通常是随机数），在输入样本信号的前向传播 完成后开始进行比较误差校正。首先由输出层各神经元的误差。然后调整 与输出值，并与训练样本的目标输出进行比较，计算出输出层各神经元的 误差。然后调整与输出层相联的联结权，再计算隐层各神经元的误差值。 接着调整与隐层相联的联结权。上述过程到最后一层的权值调整完为止。
神经元的信号处理过程如图 6-2 所示。 神经元的输出通道可通过一个相应的权，输入到神经元的信号在求和 前进进行权操作。因此，和函数实际上是一个加权和。
5
Wj1
神经元
Wj2
. . Wjn .
求和 传递 函数
输出
联结权
图 6-2 神经元的计算模型
神经元网络由许多相互联结在一起的神经元所组成。神经元按层进行 组织，连续两层之间全部或随机联结。通常有两层与外界联系即输入与输 出层，其他层称为隐层。
神经元 i 到 j 的权记为 Wji，
9
在网络学习时得以确定。学习结束后权值是不变的，用于网络输出响应的 计算，即前向传播计算。
二、网络运算与传递函数
网络远算是网络输入信号的前向传播和网络输出响应的计算。当给网 络一个输入信号时，信号就开始前向传播。输入层每个神经元对应于输入 矢量的一个分量，输入值取这个分量的值。
习题 6-1 什么是神经网络？反向传播网至少有几层？ 6-2 为什么神经网络具有联想记忆、容错能力？与网络结构有什么关系？ 6-3 神经网络信息主要存储在什么地方？学习目的是什么？
12
13
Baidu Nhomakorabea
14
15
16
17
1
神经网络理论的应用取得了令人瞩目的发展，特别是在人工智能、自动控 制、计算机科学、信息处理、机器人、模式识别、CAD/CAM 等方面都有重 大的应用实例。下面列出一些主要应用领域：
（1）模式识别和图像处理。语音识别、签字识别、指纹识别、人体病 理分析、目标检测与识别等。
反向传播网络通常有一个 输入层，一个输出层和至少一 个隐层，每层由一个以上的神 经元所组成。右图所示为一个 典型的三层反向传播网的拓扑 结构。底层是输入层，其神经 元接受外部输入；上层是输出 层，其神经元给出网络的输出 相应；中间层是隐层，其神经 元与上下层的神经元相互联 结。
右图所示为一个神经元，左 边是输入，右边是接受神经元 输出的神经元。该神经元拥有 一个输入加权和（Sj）一个输 出 值 ( α j), 和 一 个 相 关 的 误 差 值（δj）。这个误差在联结权 调整时有用。
10
该算法实质是求误差函数的极小值，它通过多个样本的反复训练，并 采用最快下降法使得权值沿着误差函数负梯度方向改变，并收敛于最小点。
四、 网络训练与测试 网络训练实际上是一个确定联结权的学习过程。反向传播网络用所谓
有导师的学习技术来训练，即输入和目标输出训练样本成对地提代给网络。 训练样本是一个实数矢量。目标输出是输入样本的期望响应，用来确定调 整联结权所需的网络误差。
（2）控制和优化。机械过程控制、机器人运动控制、金属探伤、故障
2
分析等。 （3）预报和智能信息管理。股票市场预测、地震预报、有价证券管理、
借贷风险分析、IC 卡管理和交通管理。 一、什么是人工神经元计算
人的大脑是众所周知的最复杂的计算“装置”，其强大的思考、记忆和 解决问题的能力激发了许多科学工作者去尝试建立人脑的计算模型。经过 近半个多世纪的努力，形成了人工神经元计算理论。
电脉冲
输 入
树 突
细胞体 形成 轴突
突
输
触
出
信息处理
传输
图 12.2 生物神经元功能模型
6
3.网络计算
神经元网络的计算分两个阶段——学习和记忆。 网络学习，即对网络进行训练，是一个根据施加在输入层与输出层的刺激 来调整网络联结权的计算过程。输出层的刺激对应于给定输入之期望响应， 必须由有经验的“教师”给出。这种学习称为有导师的学习。
2. 人工神经元网络
在人工神经元网络中，模拟生物神经元的单元一般称为神经元。一个 神经元有许多输入通道（树突），它通常用简单求和的方式对所有输入值进 行合成操作。操作结果是神经元的一个内部激发值，由传递函数作进一步 的修改。传递函数可以是阈值函数，只有当激发值达到一定水平时才输出
4
信号。传递函数也可以是合成输入的连续函数。传递函数的输出值接传送 到神经元的输出通道。常用传递函数形式如下所示。
注 1：若输出层实际输出与期望输出（教师信号）不符，则转入 2）（误 差反向传播过程） 2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从 而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权
8
值调整的过程）。 一、 网络结构
1. 模拟人脑 神经元是脑神经系统中最基本的细胞单元。每个神经元都
是一个简单的微处理单元，其接受和综合许多其它神经元通过所谓树突的 输入结构传来的信号，并将输出信号沿着轴突向外传送。这种信号传递本 质上是一个化学过程，但其信号是可以测量的。
3
电脉冲
输
树
细胞体 形成 轴突
入
突
突
输
触
出
信息处理
传输
图 12.2 生物神经元功能模型
训练样本可重复使用。一次训练迭代提供给网络一对输入-输出样本， 一个训练循环包括所有的样本。反向传播网络的训练通常需要成千上万次 训练循环。
网络训练的收敛准则一般用输出误差的均方根（RMS）值不定义。收敛
11
是指 RMS 值越来越逼近 0 的过程。常需要很长的时间。如果训练样本具有 代表性，网络一般可收敛到一个较小的 RMS 值。若存在局部极小，可用一 些技术，例如，改变学习参数或增加隐层神经元的数目，使网络避开局部 最小。给联结权一个随机摄动，也可使网络离开局部最小位置。如果新的 位置离开局部最小位置足够远，则收敛就朝新的方向进行，而不至于停滞 在原先的最小位置。
神经元计算网络的一个重要特征是其储存信息的方式。神经元计算是 分布记忆的，联结权为神经网络的记忆单元，权值体现了网络知识的当前 状态。由一对输入—期望输出样本表示的一条知识分布在网络的多个记忆 单元里，与储存在网络内的其他条知识共享这些记忆单元。 3. 容错特性
传统的计算系统只要损坏少量的记忆单元，就不能正常工作。神经元 计算系统则是能容错的。容错是一些神经元破坏损伤后或联结少许再变差 一点。神经元计算系统之所以能够容错，是因为信息不是储存在一个地方，
二、人工神经元计算的特点
神经元计算不同事传统的计算与人工智能，主要现在如下几个方面： 1. 样本学习
传统专家系统（一种模拟人类专家解决领域问题的计算机程序系统）的知 识是用规则的形式给出的。神经网络与专家系统不同，其规则是由样本学 习形成的。其中学习规则是根据样本输入及期望输出来调整网络联结权的 方法。 2. 分布联想记忆
反向传播网络是一种最容易理解的神经网络。它的学习思想相当直观， 即当网络输出有错误时，就修改联结权，使得误差减小。训练过的网络能 产生正确的输出响应。
BP 算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与 误差的反向传播两个过程组成。 1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
7
而是分布在整个系统的联接内。 4. 综合能力
神经元网络能够学习复杂连续的映射。综合复杂连续函数的能力类似 于生理系统学习协调运动的能力，如学习挥动球拍和击球。
第二节 反向传播网络（BP- Back Propagation）
反向传播神经元网络是使用最广泛的一种神经网络，成功地应用于很 多领域，其中包括文字识别、目标跟踪、图像分类、信号处理、运动控制 及故障诊断等等。反向传播网络可解决任何需要模式映射的问题，即给定 一个输入模式，网络产生一个相关的输出模式。
三、误差反向传播
误差反向传播是网络学习时联结权的修正量的计算从输出层开始，通过 网络反向传播到输入层为止。
给定网络联结权的初值（通常是随机数），在输入样本信号的前向传播 完成后开始进行比较误差校正。首先由输出层各神经元的误差。然后调整 与输出值，并与训练样本的目标输出进行比较，计算出输出层各神经元的 误差。然后调整与输出层相联的联结权，再计算隐层各神经元的误差值。 接着调整与隐层相联的联结权。上述过程到最后一层的权值调整完为止。
神经元的信号处理过程如图 6-2 所示。 神经元的输出通道可通过一个相应的权，输入到神经元的信号在求和 前进进行权操作。因此，和函数实际上是一个加权和。
5
Wj1
神经元
Wj2
. . Wjn .
求和 传递 函数
输出
联结权
图 6-2 神经元的计算模型
神经元网络由许多相互联结在一起的神经元所组成。神经元按层进行 组织，连续两层之间全部或随机联结。通常有两层与外界联系即输入与输 出层，其他层称为隐层。
神经元 i 到 j 的权记为 Wji，
9
在网络学习时得以确定。学习结束后权值是不变的，用于网络输出响应的 计算，即前向传播计算。
二、网络运算与传递函数
网络远算是网络输入信号的前向传播和网络输出响应的计算。当给网 络一个输入信号时，信号就开始前向传播。输入层每个神经元对应于输入 矢量的一个分量，输入值取这个分量的值。
习题 6-1 什么是神经网络？反向传播网至少有几层？ 6-2 为什么神经网络具有联想记忆、容错能力？与网络结构有什么关系？ 6-3 神经网络信息主要存储在什么地方？学习目的是什么？
12
13
Baidu Nhomakorabea
14
15
16
17