6 模式识别与神经网络

数据聚类 统计分类 结构模式识别 神经网络
2015-7-5
16
数据聚类

目标：用某种相似性度量的方法将 原始数据组织成有意义的和有用的 各种数据集。 是一种非监督学习的方法，解决方 案是数据驱动的。

2015-7-5
17
统计分类



基于概率统计模型得到各类别的特 征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类 别已知的训练样本集。 是一种监督分类的方法，分类器是 概念驱动的。

2015-7-5
44
非线性特性的改进（一）－－对原 模型的功能函数进行修改。

利用感知器，只能得到简单类型的决策面。 这就构成了感知器的应用局限。 改进方法－－将原模型的功能函数改为非线 性判别函数。使用非线性判别函数的模式分 类器称作“∮工作机”； ∮工作机具有如下形式：d(x) = w ∮(x)+ w0 可以看到判别函数不再是原始测量x的线性函 数（d(x)= w x + w0） ，而∮ 是非线性函数。

预处理单元：去噪声，提取有用信息，并 对输入测量仪器或其它因素所造成的退化 现象进行复原
22
2015-7-5
模式识别系统组成单元

特征提取和选择：对原始数据进行变换，得到最能 反映分类本质的特征


测量空间：原始数据组成的空间 特征空间：分类识别赖以进行的空间 模式表示：维数较高的测量空间->维数较低的特征空 间

2015-7-5
41
线性可分

对于一个线性可分的U和V集合，感知器不断调整一个 判别直到完全分开为止。
2015-7-5
42
线性不可分的实例

对于线性不可分的U和V，感知器不会收敛，它将 在U和V的两个聚类分解线附近振荡。
2015-7-5
43
非线性

现实生活中大多数模式识别都曾现 非线性特性。 神经网络的非线性特性设计以满足 实际应用。
2015-7-5
24
识别过程

数据获取：架设一个摄像机，采集一 些样本图像，获取样本数据 预处理：去噪声，用一个分割操作把 鱼和鱼之间以及鱼和背景之间分开

2015-7-5
25
识别过程

特征提取和选择：对单个鱼的信息进行 特征选择，从而通过测量某些特征来减 少信息量
长度 亮度 宽度 鱼翅的数量和形状 嘴的位置，等等 …
2015-7-5
3
模式识别

模式识别作为一个研究领域，迅速 发展于20世纪60年代，它既是一个 多领域的交叉学科，又是一个与实 际问题结合非常紧密的应用学科。
2015-7-5
4
什么是模式
2015-7-5
5
模式的定义
• 广义地说，存在于时间和空间中可观察的 物体，如果我们可以区别它们是否相同或 是否相似，都可以称之为模式。



在没有先验知识的情况下，通常采用聚类分析方法，基 于“物以类聚”的观点，用数学方法分析各特征向量之 间的距离及分散情况； 如果特征向量集聚集若干个群，可按群间距离远近把它 们划分成类； 这种按各类之间的亲疏程度的划分，若事先能知道应划 分成几类，则可获得更好的分类结果。
15
2015-7-5
模式分类的主要方法
35

2015-7-5
神经网络用于分类的 优势




1：神经网络是数据驱动的自适应模型， 它们根据数据自适应的调整自己，而无需 对数据的分布以及数据的模型十分了解。 2：神经网络可以以某种特定精度逼近任 何一个函数。 3：神经网络是非线性的，这使得它们在 构造现实世界中复杂关系模型时可以十分 灵活。 4：神经网络可以估计后验概率。有关这 一点，Andrew R.webb在“多层感知器的 非线性判别分析”一文中进行了分析与说 明。
特征空间：从模式得到的对分类有用的 度量、属性或基元构成的空间。 解释空间：将c个类别表示为 其中 为所属类别的集合，称为解释空 间。

2015-7-5
13
假说的两种获得方法

监督学习、概念驱动或归纳假说：在特征空间中找 到一个与解释空间的结构相对应的假说。在给定模 式下假定一个解决方案，任何在训练集中接近目标 的假说也都必须在“未知”的样本上得到近似的结 果。
2015-7-5
34
统计模式识别的不足

参数估计法－－在参数估计法中错误的估 计了分布的形式。

非参数估计法－－数据点较为稀疏而导致 较差的核函数密度估计。
线性判别法可以避免上述问题，不再需要 对类条件的概率密度函数进行估计或是对 样本的分布十分清晰。但是假定决策面为 线性的前提下展开讨论的，非线性情况不 太好。
2015-7-5
18
结构模式识别


该方法通过考虑识别对象的各部分之间的联 系来达到识别分类的目的。 识别采用结构匹配的形式，通过计算一个匹 配程度值（matching score）来评估一个未 知的对象或未知对象某些部分与某种典型模 式的关系如何。 当成功地制定出了一组可以描述对象部分之 间关系的规则后，可以应用一种特殊的结构 模式识别方法 – 句法模式识别，来检查一个 模式基元的序列是否遵守某种规则，即句法 规则或语法。

分类决策：在特征空间中用模式识别方法把被识别 对象归为某一类别

基本做法：在样本训练集基础上确定某个判决规则， 使得按这种规则对被识别对象进行分类所造成的错误 识别率最小或引起的损失最小
23
2015-7-5
模式识别过程实例

在传送带上用光学传感器件对鱼按品种 分类 鲈鱼(Seabass) 品种 鲑鱼(Salmon)
2015-7-5
31
第二个主题
神经网络在模式识别领域中的应用

神经网络技术，因其优异的分类能 力而被广泛地应用于各种模式识别 系统中，为模式识别系统的迅猛发 展起到了极大的推动作用。
2015-7-5
32
神经网络在模式识别领域应 用的优势

以与统计模式识别相比较为例。
2015-7-5
33
统计模式识别
36
2015-7-5
神经网络发展的历史回顾



1：1943年 McCulloch和Pitts根据神经传输中的 “0”，“1”律，第一个提出神经元模型。 2：五十年代末，F.Rosenblatt设计了感知机。 3：1969年，Minsky与Papert首先提出了感知器的 功能有限，并首次提到了“线性可分”的概念。 同时也是第一个意识到神经元模型的几何意义。 4：1965年Nilsson对多层感知机进行了描述，给出 了具有隐节点的广义感知机。 5：1986年，Rumehart 和McClelland出版了著名 的PDP专著，提出了前向神经网络的概念和相应 的“BP”算法。
X的定义域取自特征集 Y的值域为类别的标号集 F是模式识别的判别方法

2015-7-5
10
模式识别的应用（举例）

生物学

自动细胞学、染色体特性研究、遗传研究 天文望远镜图像分析、自动光谱学

天文学


经济学

股票交易预测、企业行为分析
心电图分析、脑电图分析、医学图像分析
11

医学

2015-7-5
模式识别的应用（举例）

工程

产品缺陷检测、特征识别、语音识别、自 动导航系统、污染分析 航空摄像分析、雷达和声纳信号检测和分 类、自动目标识别 指纹识别、人脸识别、监视和报警系统
12

军事


安全

2015-7-5
模式识别的方法
百度文库
模式识别系统的目标：在特征空间和解 释空间之间找到一种映射关系，这种映 射也称之为假说。
2015-7-5
20
模式识别系统

模式识别系统的基本构成
分类器 设计 数据 获取 预处理 特征提取 和选择 分类 决策
2015-7-5
21
模式识别系统组成单元

数据获取：用计算机可以运算的符号来表 示所研究的对象

二维图像：文字、指纹、地图、照片等 一维波形：脑电图、心电图、季节震动波形等 物理参量和逻辑值：体温、化验数据、参量正常与 否的描述
• 模式所指的不是事物本身，而是从事物获 得的信息，因此，模式往往表现为具有时 间和空间分布的信息。
• 模式的直观特性:
– 可观察性 – 可区分性 – 相似性
2015-7-5 6
模式识别的概念

模式识别 – 直观，无所不在，“人以类聚， 物以群分”



周围物体的认知：桌子、椅子 人的识别：张三、李四 声音的辨别：汽车、火车，狗叫、人语 气味的分辨：炸带鱼、红烧肉
2015-7-5
8
与模式识别相关的学科

统计学 概率论 线性代数（矩阵计算） 形式语言
机器学习 人工智能 图像处理 计算机视觉 …
9

2015-7-5
模式识别的研究目的


目的：利用计算机对物理对象进行 分类，在错误概率最小的条件下， 使识别的结果尽量与客观物体相符 合。 Y = F(X)

人和动物的模式识别能力是极其平常的， 但对计算机来说却是非常困难的。因此模 式识别的任务就是让计算机能够像人那样 认识事物。
7
2015-7-5
模式识别简史





1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论，奠定了统计模式识别 的基础。 50年代 Noam Chemsky 提出形式语言理论——傅京荪 提出句法结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别方 法得以发展和应用。 80年代以Hopfield网、BP网为代表的神经网络模型导致 人工神经元网络复活，并在模式识别得到较广泛的应用。 90年代小样本学习理论，支持向量机也受到了很大的重 视。(Vipnik.N)
模式识别与神经网络
hujing
2015-7-5
1
主要内容：



介绍模式识别的基本概念 介绍神经网络技术在模式识别领域 的发展与应用 介绍神经网络如何应用于仿生模式 识别研究中的。 神经网络泛化能力的提高。
2015-7-5
2
第一个主题－－模式识别的
基本概念

模式和模式识别的概念 模式识别的发展简史和应用 模式识别的主要方法 模式识别的系统和实例？
37
2015-7-5
用于模式识别的神经网络分类器 原理

神经网络是一种基于距离度量的数据分类方 法，这个方法就是通过最小化输出与期望值 之间的偏差来实现。
2015-7-5
38
神经元的数学模型

最早的设计与改造方案。 神经元是神经网络的基本处理单元， 神经元的数学模型为：
2015-7-5
39
感知器原理
45


2015-7-5
实例一：径向基函数 (RBF)

“径向对称非线性基函数”的线性组合。 一般可表示为： d(x)=∑w∮(∣x–u∣/ h)+w0
RBF 的最显著优点是它的简单性，一旦非线 性的形式和中心被确定，就可以得到一个 非线性模型，而模型参数就可以很容易地 由最小平方法获得，或者通过真正合适的 优化方法获得。

感知器的输出： d(x)= w x + w0
假设对于一个c类分类问题，需要找到一个线性判 别方法。现在假设得到一个判别单元，它的输 入变量是特征，输出变量是一个线性函数，所 以称之为“线性网络”。
2015-7-5 40
线性可分的一个实例

通过感知器学习准则来解决一个判 别手写的U和V的两类分类问题。 它们书写在一个7×8的方格里，并 且图像进行了二值化处理，通过统 计黑像素点的个数得到水平方向和 垂直方向的投影。
19
2015-7-5
神经网络




神经网络是受人脑组织的生理学启发而创 立的。 由一系列互相联系的、相同的单元（神经 元）组成。相互间的联系可以在不同的神 经元之间传递增强或抑制信号。 增强或抑制是通过调整神经元相互间联系 的权重系数来（weight）实现。 神经网络可以实现监督和非监督学习条件 下的分类。


分类决策：把特征送入决策分类器
26
2015-7-5
实例
2015-7-5
27
2015-7-5
28
2015-7-5
29
2015-7-5
30
训练和测试



训练集：是一个已知样本集，在监督学 习方法中，用它来开发出模式分类器。 测试集：在设计识别和分类系统时没有 用过的独立样本集。 系统评价原则：为了更好地对模式识别 系统性能进行评价，必须使用一组独立 于训练集的测试集对系统进行测试。


依靠已知所属类别的的训练样本集，按它们特征向 量的分布来确定假说 （通常为一个判别函数），只 有在判别函数确定之后才能用它对未知的模式进行 分类； 对分类的模式要有足够的先验知识，通常需要采集 足够数量的具有典型性的样本进行训练。
2015-7-5
14
假说的两种获得方法（续）

非监督学习、数据驱动或演绎假说：在解释空间中找 到一个与特征空间的结构相对应的假说。这种方法试 图找到一种只以特征空间中的相似关系为基础的有效 假说。