第六章神经网络模式识别
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( x − x c )T ( x − x c ) k ( x − x c ) = exp( − ) 2 2σ
径向基函数网络结构
前馈 网络
径向基函数网络的训练
三组可调参数：
隐单元的个数，隐单元基函数中心xc与方差 σ 输出层权值 wij
前馈 网络
估计方法：
聚类的方法估计xc, σ LMS方法估计wij
输入
环境
输出
神经网络
环境
输入 神经网络
评价信息
§6.4 神经网络的基本结构及分类
神经网络的分类
神经网络的类型多种多样， 神经网络的类型多种多样，它们是从不同角度对生物神 经系统不同层次的抽象和模拟。 经系统不同层次的抽象和模拟。从功能特性和学习特性来 典型的神经网络模型主要包括感知器、线性神经网络、 分，典型的神经网络模型主要包括感知器、线性神经网络、 BP网络 径向基函数网络、 网络、 BP网络、径向基函数网络、自组织映射网络和反馈神经网 络等。从网络拓扑结构角度来看， 络等。从网络拓扑结构角度来看，神经网络可以分为以下 四种基本形式。 四种基本形式。 – 前向网络：网络中的神经元分层排列，每个神经元只与 前向网络：网络中的神经元分层排列， 前一层神经元相连，分为输入层、隐层和输出层， 前一层神经元相连，分为输入层、隐层和输出层，隐层 的层数可以是一层或多层，前向网络应用十分广泛， 的层数可以是一层或多层，前向网络应用十分广泛，感 知器、BP网络都属于这种类型 网络都属于这种类型。 知器、BP网络都属于这种类型。 – 反馈网络：从输出层到输入层有反馈，除了接收来自其 反馈网络：从输出层到输入层有反馈， 它节点的反馈输入， 它节点的反馈输入，有可能包含输出引回本身输入构成 自环反馈，反馈网络的每个节点都是一个计算单元。 自环反馈，反馈网络的每个节点都是一个计算单元。
神经网络的特点
人工神经网络吸取了生物神经网络的许多优点，有以下特点。
高度的并行性
–
人工神经网络是由许多相同的简单处理单元并联组合而成，虽然每个单元 的功能简单，但大量简单处理单元并行活动，使其对信息的处理能力与效 果惊人。
高度的非线性全局作用
–
人工神经网络每个神经元接受大量其它神经元的输入，并通过并行网络产 生输出，影响其它神经元。网络之间的这种互相制约和互相影响，实现了 从输入到输出的状态空间的非线性映射。从全局的观点来看，网络整体性 能不是网络局部性能的简单叠加，而是表现某种集体性的行为。
梯度下降(gradient decent)法
准则函数: 准则函数: sum squared error, SSE
1 J = sse = 2S
BP 算法
∑ (t
j
S
j
− aj)
2
权值修正: 权值修正: 梯度下降法
∂J ∂J ∂n j ∂ J ( k −1) ∆ w j = −η = −η = −η a ∂w j ∂n j ∂w j ∂n j
– 相互结合网络： 相互结合网络： 属于网状结构， 属于网状结构，构成网络中的各个神经元都可能相互 连接。在前向网络中， 连接。在前向网络中，信息处理是从输入层依次通过 隐层再到输出层，处理结束；而在相互结合型网络中， 隐层再到输出层，处理结束；而在相互结合型网络中， 若某一时刻从神经网络外部施加一个输入， 若某一时刻从神经网络外部施加一个输入，各个神经 元一边相互作用，一边进行信息处理， 元一边相互作用，一边进行信息处理，直到使网络所 有神经元的活性度或输出值收敛于某个平均值， 有神经元的活性度或输出值收敛于某个平均值，作为 信息处理的结束。 信息处理的结束。 – 混合型网络： 混合型网络： 混合型网络连接方式介于前向网络和相互结合型网络 之间。 之间。这种在前向网络的同一层间神经元有互相连接 的结构，称为混合型网络。这种在同一层间内的互联， 的结构，称为混合型网络。这种在同一层间内的互联， 目的是为了限制同层内神经元同时兴奋或抑制的神经 元数目，以完成特定的功能。 元数目，以完成特定的功能。
神经元
a = f (n) = n
n
Sigmoid函数
Sigmoid Function ： 特性：
值域a∈(0,1) 非线性，单调性 无限次可微 |n|较小时可近似线性 函数 |n|较大时可近似阈值 函数
神经元
1 a = f (n ) = −n 1+ e
§6.3 神经网络学习方式——监督学习 对训练样本集中的每一组输入能提供一组目 标输出。样本数据(p, t)。 网络根据目标输出与实际输出的误差信号来 调节网络参数。 教师
感知器识别算法
∆wkj = η (tk − ak ) p j
J (n ) = 1 2
前馈 网络
∑
k
e k2 ( n ) =
∆ W = η ep T
对应于线性判别函 数 对线性可分问题， 算法收敛，对线性 不可分的数据，算 法不收敛
1 T e (n )e (n ) 2
3.反向传播(BP)算法
问题：多层感知器的中间隐层不直接与外界 连接，其误差无法直接计算。 反向传播(Backpropagation)算法：从后向 前（反向）逐层“传播”输出层的误差，以 间接算出隐层误差。分两个阶段：
良好的容错性与联想记忆功能
–
人工神经网络通过自身的网络结构能够实现对信息的记忆，而所记忆的信 息是存储在神经元之间的权值中。从单个权值中看不出来所存储的信息内 容，因而是分布式的存储方式。这使的网络具有较好的容错性，并能进行 聚类分析、特征提取、缺损模式复原等模式信息处理工作。又宜于做模式 分类、模式联想等模式识别工作。
j j j j j
j j j ji i
i
ij
j
i
ij
ij
ij
4. 径向基函数网络
前馈 网络
径向基函数网络：只有一个隐层，隐层单元采用径 向基函数。隐层把原始的非线性可分的特征空间变 换到另一个空间（通常是高维空间），使之可以线 性可分。 输出为隐层的线性加权求和。采用基函数的加权和 来实现对函数的逼近。 径向基函数(radial basis function, RBF)：径向对称 的标量函数k(||x-xc||)，最常用的RBF是高斯核函数
§6.6 神经网络模式识别概述
神经网络模式识别方法是近几年的模式识别领域的一个重 要研究方向。由于神经网络的高速并行处理、分布式存储 信息等特性符合人类视觉系统的基本工作原理，且神经网 络具有很强的自学习性、自组织性、容错性、高度非线性、 联想记忆功能和逻辑推理功能等，能够实现目前基于计算 理论层次上的模式识别理论所无法完成的模式信息处理工 作。可以说，神经网络模式识别突破了传统模式识别技术 的束缚，开辟了模式识别发展的新途径。同时，神经网络 模式识别也成为神经网络最成功和最有前途的应用领域之 一。 神经网络模式识别的过程主要有两步：
t(n) 期望输出
学习 方式
环境
输入
实际输出
神经网络
a(n) p(n) 误差信号 e(n)
比较
学习方式——非监督学习与再励学习
学习 方式
非监督学习：不存在教 师，网络根据外部数据 的统计规律来调节系统 参数，以使网络输出能 反映数据的某种特性 再励学习：外部环境对 网络输出只给出评价信 息而非正确答案，网络 通过强化受奖励的动作 来改善自身的性能
前馈 网络
(单层 单层) 2. (单层)感知器
感知器(perceptron)：具有单层计算单元的 网络，通过监督学习建立模式识别能力。
前馈 网络
感知器识别算法
前馈 网络
学习的目标是通过改变权值使网络由给 定的输入得到给定的输出。 感知器目标输出的编码方法：用一个输 出单元对应一个类别，如果输入训练样 本的类别标号是i，则对应的目标输出 编码为：第i个输出节点为1，其余节点 均为0，即t具有[0, 0, …,1,0, …0]的形式 。 样本集KN={(pi,ti),…}
•
•源自文库
•
•
人工神经网络具有信息分布式存储、大规模自适应并行处理、 高度的容错性等优点，是应用于模式识别的基础，特别是其 学习能力和容错性对不确定的模式识别具有独到之处。 在神经网络分类器中，首先计算匹配度，然后将其送到第二 级输出，再反馈到分类器的第一级，用学习算法训练相应网 络权值，重复上述过程，直到达到期望目标为止。 神经网络分类器可完成以下任务： • 在输入被噪声污染的情况下，确定最能代表输入样本的类； • 分类器具有联想记忆功能，可用于残缺输入信息的恢复与 联想； • 用作矢量编码器，作为图像识别系统的A/D，起到数据压 缩作用。 神经网络分类器是一种智能化模式识别系统，它可增强系统 的学习能力、自适应能力和容错性，具有很强的发展应用前 景。
常用输出函数
阈值函数 1 (n ≥ 0) ： a = f (n) = hardlim(n) =
0 (n < 0) 1 (n ≥ 0) a = f (n) = hard lim s(n) = −1 (n < 0)
a 1 -1 -b Wp
神经元
线性输出函数
Pure line Transfer Function ： a
– 首先是学习过程，通过大量的训练样本，对网络进行训练，根据
某种学习规则不断对连接权值进行调节，直到使网络具有某种期 望的输出。这种输出既是可以将训练样本正确分类到其所属类别 中去，此时可以认为网络是学习到了输入数据或样本间的内在规 律。 – 第二步是分类过程，利用第一步学习中训练好的权值，对输入网 络的模式进行分类。
强大的自适应、 强大的自适应、自学习能力
–
人工神经网络可以通过训练和学习获得合适的网络权值，呈现出很强的自 学习能力和对环境的自适应能力。
§6.2 神经元模型
神经元：neuron
神经元经突触传递信号给其他神经元（胞体或树突） 1011个神经元/人脑 104个连接/神经元
神经元基本工作机制：
状态：兴奋与抑制 互联，激励，处理，阈值
3.反向传播(BP)算法 3.反向传播(BP)算法 反向传播(BP)
BP算法的步骤
1. 2. 3. 4. 5. 6. 7.
k
BP 算法
初始值选择 W ( 0 ) 前向计算，求出所有神经元的输出 a ( t ) 对输出层计算δ δ = ( t − a ) a (1 − a ) 从后向前计算各隐层δ δ = a (1 − a ) ∑ w δ 计算并保存各权值修正量： ∆ w = − η δ a w ( t + 1) = w ( t ) + ∆ w 修正权值： 判断是否收敛，如果收敛则结束，不收敛 则转至Step 2
神经元模型
1. R个输入pi∈R，即 个输入p R维输入矢量p 维输入矢量p 2. n: net input, n=wp+b。 wp+
R个权值wi∈R，即 权值w R维权矢量w 权矢量w 阈值b 阈值b
神经元
Neuron Model： 多输入，单输出，带偏置
3. 输出a=f(n), f: transfer 输出a function
正向过程：从输入层经隐层逐层正向计算各单元 的输出。 反向过程：由输出层误差逐层反向计算隐层各单 元的误差，并用此误差修正当前层的权值。
正向过程
正向过程:
BP 算法
a
(k ) j
= f (n
i
(k ) j
)
n
(k ) j
=w a
( k ) ( k −1) j
= ∑w a
( k ) ( k −1) ij i
CH6 神经网络模式识别
§6.1 概述
所 谓 “ 人 工 神 经 网 络 ” （ Artificial Neural Network，简称ANN），就是计算机科学工作者， 企图用计算机或专用芯片局部模拟人脑神经网络 结构，以实现智能信息处理。 人脑是宇宙中已知最复杂、最完善和最有效的信 息处理系统，是人类智能、思维和情绪等高级精 神活动的物质基础。 长期以来，人们不断地通过神经学、生物学、心 理学、认知学、数学、信息学和计算机科学等一 系列学科，对神经网络进行分析和研究，企图揭 示人脑的工作原理，了解神经系统进行信息处理 的本质，并通过对人脑结构及处理信息方式的研 究，利用大脑神经网络的一些特性，设计出具有 类似人脑某些功能的智能系统。
§6.5 前馈神经网络及其主要方法
1. 基本概念
前馈神经网络(feed forward NN)：各神经元接受 前级输入，并输出到下一级，无反馈，可用一 有向无环图表示。 图中结点为神经元（PE）：多输入单输出，输 出馈送多个其他结点。 前馈网络通常分为不同的层(layer)，第i层的输 入只与第i-1层的输出联结。 可见层：输入层(input layer)和输出层(output layer) 隐层(hidden layer) ：中间层
径向基函数网络结构
前馈 网络
径向基函数网络的训练
三组可调参数：
隐单元的个数，隐单元基函数中心xc与方差 σ 输出层权值 wij
前馈 网络
估计方法：
聚类的方法估计xc, σ LMS方法估计wij
输入
环境
输出
神经网络
环境
输入 神经网络
评价信息
§6.4 神经网络的基本结构及分类
神经网络的分类
神经网络的类型多种多样， 神经网络的类型多种多样，它们是从不同角度对生物神 经系统不同层次的抽象和模拟。 经系统不同层次的抽象和模拟。从功能特性和学习特性来 典型的神经网络模型主要包括感知器、线性神经网络、 分，典型的神经网络模型主要包括感知器、线性神经网络、 BP网络 径向基函数网络、 网络、 BP网络、径向基函数网络、自组织映射网络和反馈神经网 络等。从网络拓扑结构角度来看， 络等。从网络拓扑结构角度来看，神经网络可以分为以下 四种基本形式。 四种基本形式。 – 前向网络：网络中的神经元分层排列，每个神经元只与 前向网络：网络中的神经元分层排列， 前一层神经元相连，分为输入层、隐层和输出层， 前一层神经元相连，分为输入层、隐层和输出层，隐层 的层数可以是一层或多层，前向网络应用十分广泛， 的层数可以是一层或多层，前向网络应用十分广泛，感 知器、BP网络都属于这种类型 网络都属于这种类型。 知器、BP网络都属于这种类型。 – 反馈网络：从输出层到输入层有反馈，除了接收来自其 反馈网络：从输出层到输入层有反馈， 它节点的反馈输入， 它节点的反馈输入，有可能包含输出引回本身输入构成 自环反馈，反馈网络的每个节点都是一个计算单元。 自环反馈，反馈网络的每个节点都是一个计算单元。
神经网络的特点
人工神经网络吸取了生物神经网络的许多优点，有以下特点。
高度的并行性
–
人工神经网络是由许多相同的简单处理单元并联组合而成，虽然每个单元 的功能简单，但大量简单处理单元并行活动，使其对信息的处理能力与效 果惊人。
高度的非线性全局作用
–
人工神经网络每个神经元接受大量其它神经元的输入，并通过并行网络产 生输出，影响其它神经元。网络之间的这种互相制约和互相影响，实现了 从输入到输出的状态空间的非线性映射。从全局的观点来看，网络整体性 能不是网络局部性能的简单叠加，而是表现某种集体性的行为。
梯度下降(gradient decent)法
准则函数: 准则函数: sum squared error, SSE
1 J = sse = 2S
BP 算法
∑ (t
j
S
j
− aj)
2
权值修正: 权值修正: 梯度下降法
∂J ∂J ∂n j ∂ J ( k −1) ∆ w j = −η = −η = −η a ∂w j ∂n j ∂w j ∂n j
– 相互结合网络： 相互结合网络： 属于网状结构， 属于网状结构，构成网络中的各个神经元都可能相互 连接。在前向网络中， 连接。在前向网络中，信息处理是从输入层依次通过 隐层再到输出层，处理结束；而在相互结合型网络中， 隐层再到输出层，处理结束；而在相互结合型网络中， 若某一时刻从神经网络外部施加一个输入， 若某一时刻从神经网络外部施加一个输入，各个神经 元一边相互作用，一边进行信息处理， 元一边相互作用，一边进行信息处理，直到使网络所 有神经元的活性度或输出值收敛于某个平均值， 有神经元的活性度或输出值收敛于某个平均值，作为 信息处理的结束。 信息处理的结束。 – 混合型网络： 混合型网络： 混合型网络连接方式介于前向网络和相互结合型网络 之间。 之间。这种在前向网络的同一层间神经元有互相连接 的结构，称为混合型网络。这种在同一层间内的互联， 的结构，称为混合型网络。这种在同一层间内的互联， 目的是为了限制同层内神经元同时兴奋或抑制的神经 元数目，以完成特定的功能。 元数目，以完成特定的功能。
神经元
a = f (n) = n
n
Sigmoid函数
Sigmoid Function ： 特性：
值域a∈(0,1) 非线性，单调性 无限次可微 |n|较小时可近似线性 函数 |n|较大时可近似阈值 函数
神经元
1 a = f (n ) = −n 1+ e
§6.3 神经网络学习方式——监督学习 对训练样本集中的每一组输入能提供一组目 标输出。样本数据(p, t)。 网络根据目标输出与实际输出的误差信号来 调节网络参数。 教师
感知器识别算法
∆wkj = η (tk − ak ) p j
J (n ) = 1 2
前馈 网络
∑
k
e k2 ( n ) =
∆ W = η ep T
对应于线性判别函 数 对线性可分问题， 算法收敛，对线性 不可分的数据，算 法不收敛
1 T e (n )e (n ) 2
3.反向传播(BP)算法
问题：多层感知器的中间隐层不直接与外界 连接，其误差无法直接计算。 反向传播(Backpropagation)算法：从后向 前（反向）逐层“传播”输出层的误差，以 间接算出隐层误差。分两个阶段：
良好的容错性与联想记忆功能
–
人工神经网络通过自身的网络结构能够实现对信息的记忆，而所记忆的信 息是存储在神经元之间的权值中。从单个权值中看不出来所存储的信息内 容，因而是分布式的存储方式。这使的网络具有较好的容错性，并能进行 聚类分析、特征提取、缺损模式复原等模式信息处理工作。又宜于做模式 分类、模式联想等模式识别工作。
j j j j j
j j j ji i
i
ij
j
i
ij
ij
ij
4. 径向基函数网络
前馈 网络
径向基函数网络：只有一个隐层，隐层单元采用径 向基函数。隐层把原始的非线性可分的特征空间变 换到另一个空间（通常是高维空间），使之可以线 性可分。 输出为隐层的线性加权求和。采用基函数的加权和 来实现对函数的逼近。 径向基函数(radial basis function, RBF)：径向对称 的标量函数k(||x-xc||)，最常用的RBF是高斯核函数
§6.6 神经网络模式识别概述
神经网络模式识别方法是近几年的模式识别领域的一个重 要研究方向。由于神经网络的高速并行处理、分布式存储 信息等特性符合人类视觉系统的基本工作原理，且神经网 络具有很强的自学习性、自组织性、容错性、高度非线性、 联想记忆功能和逻辑推理功能等，能够实现目前基于计算 理论层次上的模式识别理论所无法完成的模式信息处理工 作。可以说，神经网络模式识别突破了传统模式识别技术 的束缚，开辟了模式识别发展的新途径。同时，神经网络 模式识别也成为神经网络最成功和最有前途的应用领域之 一。 神经网络模式识别的过程主要有两步：
t(n) 期望输出
学习 方式
环境
输入
实际输出
神经网络
a(n) p(n) 误差信号 e(n)
比较
学习方式——非监督学习与再励学习
学习 方式
非监督学习：不存在教 师，网络根据外部数据 的统计规律来调节系统 参数，以使网络输出能 反映数据的某种特性 再励学习：外部环境对 网络输出只给出评价信 息而非正确答案，网络 通过强化受奖励的动作 来改善自身的性能
前馈 网络
(单层 单层) 2. (单层)感知器
感知器(perceptron)：具有单层计算单元的 网络，通过监督学习建立模式识别能力。
前馈 网络
感知器识别算法
前馈 网络
学习的目标是通过改变权值使网络由给 定的输入得到给定的输出。 感知器目标输出的编码方法：用一个输 出单元对应一个类别，如果输入训练样 本的类别标号是i，则对应的目标输出 编码为：第i个输出节点为1，其余节点 均为0，即t具有[0, 0, …,1,0, …0]的形式 。 样本集KN={(pi,ti),…}
•
•源自文库
•
•
人工神经网络具有信息分布式存储、大规模自适应并行处理、 高度的容错性等优点，是应用于模式识别的基础，特别是其 学习能力和容错性对不确定的模式识别具有独到之处。 在神经网络分类器中，首先计算匹配度，然后将其送到第二 级输出，再反馈到分类器的第一级，用学习算法训练相应网 络权值，重复上述过程，直到达到期望目标为止。 神经网络分类器可完成以下任务： • 在输入被噪声污染的情况下，确定最能代表输入样本的类； • 分类器具有联想记忆功能，可用于残缺输入信息的恢复与 联想； • 用作矢量编码器，作为图像识别系统的A/D，起到数据压 缩作用。 神经网络分类器是一种智能化模式识别系统，它可增强系统 的学习能力、自适应能力和容错性，具有很强的发展应用前 景。
常用输出函数
阈值函数 1 (n ≥ 0) ： a = f (n) = hardlim(n) =
0 (n < 0) 1 (n ≥ 0) a = f (n) = hard lim s(n) = −1 (n < 0)
a 1 -1 -b Wp
神经元
线性输出函数
Pure line Transfer Function ： a
– 首先是学习过程，通过大量的训练样本，对网络进行训练，根据
某种学习规则不断对连接权值进行调节，直到使网络具有某种期 望的输出。这种输出既是可以将训练样本正确分类到其所属类别 中去，此时可以认为网络是学习到了输入数据或样本间的内在规 律。 – 第二步是分类过程，利用第一步学习中训练好的权值，对输入网 络的模式进行分类。
强大的自适应、 强大的自适应、自学习能力
–
人工神经网络可以通过训练和学习获得合适的网络权值，呈现出很强的自 学习能力和对环境的自适应能力。
§6.2 神经元模型
神经元：neuron
神经元经突触传递信号给其他神经元（胞体或树突） 1011个神经元/人脑 104个连接/神经元
神经元基本工作机制：
状态：兴奋与抑制 互联，激励，处理，阈值
3.反向传播(BP)算法 3.反向传播(BP)算法 反向传播(BP)
BP算法的步骤
1. 2. 3. 4. 5. 6. 7.
k
BP 算法
初始值选择 W ( 0 ) 前向计算，求出所有神经元的输出 a ( t ) 对输出层计算δ δ = ( t − a ) a (1 − a ) 从后向前计算各隐层δ δ = a (1 − a ) ∑ w δ 计算并保存各权值修正量： ∆ w = − η δ a w ( t + 1) = w ( t ) + ∆ w 修正权值： 判断是否收敛，如果收敛则结束，不收敛 则转至Step 2
神经元模型
1. R个输入pi∈R，即 个输入p R维输入矢量p 维输入矢量p 2. n: net input, n=wp+b。 wp+
R个权值wi∈R，即 权值w R维权矢量w 权矢量w 阈值b 阈值b
神经元
Neuron Model： 多输入，单输出，带偏置
3. 输出a=f(n), f: transfer 输出a function
正向过程：从输入层经隐层逐层正向计算各单元 的输出。 反向过程：由输出层误差逐层反向计算隐层各单 元的误差，并用此误差修正当前层的权值。
正向过程
正向过程:
BP 算法
a
(k ) j
= f (n
i
(k ) j
)
n
(k ) j
=w a
( k ) ( k −1) j
= ∑w a
( k ) ( k −1) ij i
CH6 神经网络模式识别
§6.1 概述
所 谓 “ 人 工 神 经 网 络 ” （ Artificial Neural Network，简称ANN），就是计算机科学工作者， 企图用计算机或专用芯片局部模拟人脑神经网络 结构，以实现智能信息处理。 人脑是宇宙中已知最复杂、最完善和最有效的信 息处理系统，是人类智能、思维和情绪等高级精 神活动的物质基础。 长期以来，人们不断地通过神经学、生物学、心 理学、认知学、数学、信息学和计算机科学等一 系列学科，对神经网络进行分析和研究，企图揭 示人脑的工作原理，了解神经系统进行信息处理 的本质，并通过对人脑结构及处理信息方式的研 究，利用大脑神经网络的一些特性，设计出具有 类似人脑某些功能的智能系统。
§6.5 前馈神经网络及其主要方法
1. 基本概念
前馈神经网络(feed forward NN)：各神经元接受 前级输入，并输出到下一级，无反馈，可用一 有向无环图表示。 图中结点为神经元（PE）：多输入单输出，输 出馈送多个其他结点。 前馈网络通常分为不同的层(layer)，第i层的输 入只与第i-1层的输出联结。 可见层：输入层(input layer)和输出层(output layer) 隐层(hidden layer) ：中间层