模式识别导论第01章+概论
01模式识别导论
模式识别应用举例
2016/1/7
西安电子科技大学计算机学院
12
人民币防伪技术一直是模式识别应用领域之一，而欺骗这些防伪措施一直是 伪造集团的努力方向。据说（没有验证过，为相关公司人员提供）早期投币 电话是通过投币之后落入内部的声音来判断投币是何币种。这个策略是抓住 了不同币值的硬币在相同的条件下造成的声音差异来区分币种，是一种简单 的必要条件识别法。据说一个聪明的学生偶尔有一次在北京学院路的一个投 币电话上发现了这个规律，聪明的学生拿着一个录音机，播放类似的硬币掉 落的声音，居然可以欺骗电话。当这个策略公开的时候，由于伪造的代价特 别低，导致该方法的迅速失效。 故事还没有结束，后来又发明了称重法。就是内置一个尺寸测量加上称重 装置，根据硬币的大小和重量的范围，判断是不是硬币，是什么币种。这种 方法就比原来好很多，但是依然没有解决真正的造假问题。假币集团发现硬 币（一元硬币）内部是贵金属，于是他们就想法用廉价的铅替换内部的重金 属，以较低的代价获得更高的价值，据说东南某省的一个造假作坊短期内就 赚取了几百万。尺寸加重量也不能挡住造假的手段。于是，在后来的机器上 ，越来越多的传感器被装进去，包括磁性等，以获得越来越多硬币的各种物 理和化学属性，提高识别的精确性。
x . x2
宽度
28 西安电子科技大学计算机学院
2016/1/7
分类结果
2016/1/7
西安电子科技大学计算机学院
29
结果分析
二维特征的分类结果看起来好于一维特征 所以我们可以考虑加入更多的特征来进一 步提高分类效果，比如背鳍的顶角，嘴的 位置等等 问题：是否加入的特征越多，分类效果越 好？ 答：不一定
第1章模式识别概论
特征提取 与选择
分类识别
识别结果
特征提取 与选择
对分类判决的 规则进行改进
正确率测试
模式识别系统的原理框图
第19页/共65页
统计模式识别过程实例
• 在传送带上用光学传感器件对鱼按品种分类 鲈鱼(Seabass)
品种 鲑鱼(Salmon)
第20页/共65页
识别过程
• 数据获取：架设一个摄像机，采集一些样本图像，获取样本数据 • 预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开
• 对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典 型性的样本进行训练。
第34页/共65页
假说的两种获得方法（续）
• 非监督学习、数据驱动或演绎假说：在解释空间中找到一个与 特征空间的结构相对应的假说。这种方法试图找到一种只以特 征空间中的相似关系为基础的有效假说。
• 在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚” 的观点，用数学方法分析各特征向量之间的距离及分散情况；
• 如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类； • 这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则
可获得更好的分类结果。
第35页/共65页
模式分类的主要方法
• 数据聚类 • 统计分类 • 结构模式识别 • 神经网络
第36页/共65页
数据聚类
• 目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。 • 是一种非监督学习的方法，解决方案是数据驱动的。
第33页/共65页
假说的两种获得方法
• 监督学习、概念驱动或归纳假说：在特征空间中找到一个与解 释空间的结构相对应的假说。在给定模式下假定一个解决方案， 任何在训练集中接近目标的假说也都必须在“未知”的样本上 得到近似的结果。
模式识别讲义_(80pp)
第一章 绪论1．1模式和模式识别模式识别是一门很受人们重视的学科。
早在30年代就有人试图以当时的技术解决一些识别问题，在近代，随着计算机科学技术的发展和应用，模式识别才真正发展起来。
从60年代至今，在模式识别领域中已取得了不少成果。
它的迅速发展和广泛应用前景引起各方面的关注。
模式识别属于人工智能范畴，人工智能就是用机器去完成过去只有人类才能做的智能活动。
在这里，“智能”指的是人类在认识和改造自然的过程中表现出来的智力活动的能力。
例如：通过视觉、听觉、触觉等感官接受图象、文字、声音等各种自然信息去认识外界环境的能力；将感性知识加工成理性知识的能力，即经过分析、推理、判断等思维过程而形成概念、建立方法和作出决策的能力；经过教育、训练、学习不断提高认识与改造客观环境的能力‘对外界环境的变化和干扰作出适应性反应的能力等。
模式识别就是要用机器去完成人类智能中通过视觉、听觉、触觉等感官去识别外界环境的自然信息的那些工作。
虽然模式识别与人工智能关系很密切，但是发展到现在，它已经形成了独立的学科，有其自身的理论和方法。
在许多领域中，模式识别已有不少比较成功的实际应用。
模式的概念：模式这个概念的内涵是很丰富的。
“我们把凡是人类能用其感官直接或间接接受的外界信息都称为模式”。
比如：文字、图片、景物；声音、语言；心电图、脑电图、地震波等；社会经济现象、某个系统的状态等，都是模式。
模式识别：模式识别是一门研究对象描述和分类方法的科学。
如，我们要听某一门课，必须做以下识别：1)看课表—文字识别；2)找教室和座位—景物识别；3)听课—声音识别。
再比如，医生给病人看病：1)首先要了解病情；问2)再做一些必要的检验；查3)根据找到的能够诊断病情的主要特征，如体温、血压、血相等，做出分类决策，即诊断。
对于比较简单的问题，可以认为识别就是分类。
如，对于识别从“0”到“9”这十个阿拉伯数字的问题。
对于比较复杂的识别问题，就往往不能用简单的分类来解决，还需要对待识别模式的描述。
模式识别总结
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
模式识别导论1
一.模式识别的基本定义
模式(pattern) ----存在于时间，空间中可观察的事 物,具有时间或空间分布的信息。 模式识别(Pattern Recognition) ---- 用计算机实现 人对各种事物或现象的分析,描述,判断,识别。 模式识别与图象识别，图象处理的关系 模式识别是模拟人的某些功能 模拟人的视觉: 计算机+光学系统 模拟人的听觉: 计算机+声音传感器 模拟人的嗅觉和触觉: 计算机+传感器
2018/10/26
自动检测：产品质量自动检测 语声识别，机器翻译，电话号码自动查询，侦 听，机器故障判断。 军事应用
2018/10/26
§1-4 模式识别的基本问题
一.模式(样本)表示方法
1. 向量表示 : 假设一个样本有n个变量(特征) Ⅹ= (X1,X2,…,Xn)T 2. 矩阵表示: N个样本，n个变量(特征)
2018/10/26
特征抽取和选择：在模式识别中，需要进行特征的 抽取和选择。例如，一幅64x64的图象可以得到 4096个数据，这种在测量空间的原始数据通过变换 获得在特征空间最能反映分类本质的特征。这就是 特征提取和选择的过程。 分类器设计：分类器设计的主要功能是通过训练确 定判决规则，使按此类判决规则分类时，错误率最 低。把这些判决规则建成标准库。 分类决策：在特征空间中对被识别对象进行分类。
2018/10/26
4. 基元（链码）表示： 在右侧的图中八个基 元分别表0,1,2,3,4,5,6,7, 八个方向和基元线段长度。 则右侧样本可以表示为 X1=006666。 这种方法将在句法模 式识别中用到。
2018/10/26
二.模式类的紧致性
第1章模式识别绪论-西安电子科技大学.ppt
第1章 绪论
3. 模糊模式识别 模式识别的实质就是判定观察对象(元素)和模式类(集 合)之间的从属关系。 传统的集合论中, 元素和集合的关系 是非常绝对的, 要么属于, 要么不属于, 两者必居其一, 而且 二者仅居其一, 绝不模棱两可。 基于传统的集合论的判决方 式称为硬判决, 其中, 待识别的对象只能是属于多类中的某 一类。
第1章 绪论
4. 模式类是指具有相似特性的模式的集合, 模式和模式类 的关系就是元素和集合的关系。 模式的分类过程, 事实上就 是判定表征观察对象的元素和指定集合的从属关系的过程。 当元素只和某个集合具有从属关系时, 就将该对象判属于该 集合对应的类; 当元素和多个集合具有从属关系时, 既可以 任选一类进行判决, 也可以拒绝判决; 当元素和任何一个集 合都不具有从属关系时, 不作分类判决, 即拒绝判决。
对于电信号, 一般可以用信号处理的方法进行处理, 包 括统计信号处理、 自适应信号处理和谱分析等技术, 其目 的在于抑制噪声或将信号转换成更便于识别的形式。
第1章 绪论
3. 特征提取和选择 在模式识别中, 需要先建立模式类, 对于给定的模式, 识别就是将其判属于某一个模式类的过程。 模式和模式类 能进行从属关系判决的前提条件是, 模式和模式类中的元 素具有相似的性质(或称特性)。 为此, 需要对模式信息进 行特性分析。 特性分析包含两个方面: 一个是分类特性的 选择; 另一个是特性表达方法的选择。
第1章 绪论
结构模式识别把观察对象表达为一个由基元组成的句子; 将模式类表达为由有限或无限个具有相似结构特性的模式组 成的集合。 基元构成模式所遵循的规则即为文法, 或称句法。 与统计模式识别类似, 用已知类别的训练样本进行学习, 产生 该类或至少是这些样本的文法, 这个学习和训练过程称为文 法推断。 因此, 结构模式识别又称为句法模式识别。
模式识别概论ppt
三、相似与分类
1.两个样本Xi ，Xj之间的相似度量满足以 下要求： ① 应为非负值 ② 样本本身相似性度量应最大 ③ 度量应满足对称性 ④ 在满足紧致性的条件下，相似性应该 是点间距离的单调函数
距离值越小，相似性越高
距离度量 • 如果用dij表示第i个样本和第j个样本 之间的距离，那么对一切i，j和k， dij应该满足如下四个条件： ①当且仅当i=j时，dij=0 ②dij＞0 ③dij＝dji（对称性） ④dij≤dik＋dkj（三角不等式）
4. 指纹识别、脸形识别 5. 检测污染分析：大气，水源，环境监测。 6. 自动检测：产品质量自动检测 7. 语声识别、机器翻译：电话号码自动查 询，侦听，机器故障判断。 8. 军事应用
§1-4 模式识别的基本问题
一、模式(样本)表示方法 1. 向量表示 : 假设一个样本有n个变量(特征) x= (x1,x2,…,xn)T 2. 矩阵表示: N个样本，n个变量(特征)
§1-2 模式识别系统
• 信息的获取：是通过传感器，将光或声音等信 息转化为电信息。信息可以是二维的图象如文 字，图象等；可以是一维的波形如声波，心电 图，脑电图；也可以是物理量与逻辑值。 • 预处理：包括A/D,二值化，图象的平滑，变换， 增强，恢复，滤波等, 主要指图象处理。
• 特征抽取和选择：在模式识别中，需要 进行特征的抽取和选择，例如，一幅 64×64的图象可以得到4096个数据，这 种在测量空间的原始数据通过变换获得 在特征空间最能反映分类本质的特征。 这就是特征提取和选择的过程。 • 分类器设计：分类器设计的主要功能是 通过训练确定判决规则，使按此类判决 规则分类时，错误率最低。把这些判决 规则建成标准库。 • 分类决策：在特征空间中对被识别对象 进行分类。
第一章模式识别引论
模式识别和模式的概念
常见模式举例 人脸模式
常见模式举例 纹理（texture）模式
17
模式识别和模式的概念
常见模式举例 社会模式
信用：收入、消费习惯、贷款…… 保险：驾龄、出险次数、车型、驾驶习惯…… 信息服务：爱好、浏览习惯、文化程度…… 择偶：背景、爱好、性格、经济状况…… 性格：…… 文化：…… 事件：…… 政治：……
fingerprint image handwritten word human face speech signal DNA sequence
……
*S. Watanabe, Pattern Recognition: Human and Mechanical, 1985.
2
13
from their background; 3. make sound and reasonable decisions
about the categories of the patterns.
模式识别和模式的概念
什么是模式识别？
21
22
模式识别和模式的概念
什么是模式识别？ 对象：样本 sample （模式） 模式：类 class （模式类） 观察：特征 features （属性） 模式识别：将样本根据其特征归类，又称模式 分类（pattern classification）； 例：硬币分类
3
19
模式识别和模式的概念
什么是模式识别（pattern recognition）？ The recognition of patterns To see something 1 as something 2
第1章 概述
模式：模式是对感兴趣的客观事物和现象的定量或结构 的描述；模式类是具有某些共同特性的模式集合。 模式识别：模式识别是研究一些自动技术，依靠这些技 术，计算机自动地（或者人进行少量干涉）把待识模式 分导各自的模式类中去。
图1.1 模式识别的过程
Page 3
什么是特征？
Page 4
di ( x) d j ( x) 0
dk ( x) kll ( x)
图1.3 两个模式类的简单判别函数
Page 8
k
l 1
1.2.3 句法分析方法
图1.4 句法分析的识别系统框图
模式：句子表示，该句子属于一个文法所规定的语言。 “模式描述语言”：模式基元和它们的组合关系来提供 “模式文法”：确定支配基元组合成模式的规则。 “关系图”：节点表示子模式，分枝表示子模式之间的关系。
Page 5
从识别中人的作用上分为： 监督分类：有人管理的分类 。依靠已知所属类别的训 练样本集，按它们特征向量的分布来确定判别函数， 只有在判别函数确定之后才能用它来对未知的模式进 行分类判别。 非监督分类：无人管理的分类 。在没有先验知识的情 况下可用非监督分类，通常采用聚类分析方法，它基 于“物以类聚”的观点，按各类之间的亲疏程度的划 分。 从概率密度函数 （PDF）作为估计参数分为： 参数方法：模式样本的类概率密度函数的形式是已知 或可估计的。 非参数方法：假如类概率密度函数不知 。
Page 13
1.3.2 句法分析的分类方法 • 基于模式的结构信息，利用形式语言中的规则进行分类 • 典型应用：图像分析
按对象分割成子模式（子图），再将子模式（子图）分割 成更简单的模式基元，并判断基元之间的关系。 基元本身包含较少结构信息，仅需少量特征即可识别。 用字符代表不同基元，则由基元关系组成的子模式或模式 可用一有序的字符串代表。 如事先用形式语言规则从字符串中推断出能生成它的文法， 则最后通过句法分析，按给定的文法来辨识出基元字符组成 的句子，判断其是否归属于该给定文法所描述的模式类。
,第一概论
模式识别Pattern Recognition 第一章概论P.R.的概况P.R.实例§ 1 模式识别概论名词解释：模式，模式识别历史与现状应用领域基本方法与其它学科的关系1）模式和模式识别帕夫利笛斯《结构模式识别》：模式pattern：供模仿用的完美无缺的标本。
模式识别：识别出给定物体所模仿的标本。
例如：粉笔、黑板都是“模式”，见到一个东西，认出这是“粉笔”，而不是“黑板”就是“模式识别”。
人每天都要进行不计其数的模式识别，就连最低等的动物都有强的P.R.的能力（生存必要能力），若不能识别食物和敌人，就会灭亡。
研究模式识别的人有两类：（1）心理学家：研究人识别事物的过程（关心感知的数学和生理方面）（2）搞计算机的：研究计算机怎样识别模式（本课程的目的）模式识别精确的讲为：数字模式识别计算机模式识别计算机自动模式识别模式识别：使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程。
Pattern recognitionis the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)◆样本(sample, object)：一类事物的一个具体体现，对具体的个别事物进行观测所得到的某种形式的信号。
◆模式(pattern)：表示一类事物，如印刷体A与手写体A属同一模式。
◆样本是具体的事物，而模式是对同一类事物概念性的概括。
机不如人计算机的长处是：运算能力极强，而认知能力极弱。
难：（1）无法让计算机精确模拟人的智能—人类对自身的认知的认识也很模糊（2）感知数据：非结构化（像素、声波等）—过于微观，没有宏观整体概念。
第一讲 模式识别绪论
2、 模式识别的概念
Pattern 的本意是图案、式样，它代表的不是一个具体的事物，而是事 物所包含的信息特点。虽然世界上没有完全相同的两片树叶，我们仍然可 以识别出任意两片树叶是否来自同一种树木。即使两幅花纹的图片不完全 一样，我们仍然能辨别两幅图片是否是同一种花纹。所以，模式（ Pattern ） 在识别过程中所指的是从客观事物中抽象出来，用于识别的特征信息。
《模式识别》讲义 2011 版：第一讲
绪论
第一讲 绪论
一、 什么是模式识别
1、 生物的识别能力
人和其它生物都具有识别事物的能力。对于自己熟知的人物，一般人 都可以通过面部特征、发型装束等识别出是谁，无论所识别的是普通照片、 艺术图片还是卡通图画。 这种识别能力的科学基础是什么呢？ 我们为什么可以识别出照片或者 卡通画片上的人是谁呢？ 也许有人认为其原理是逻辑推理，就像下面这个例子： The male professor said to the girls who were talking aloud in the classroom : “The noise made by two women is equal to the sound that 1000 ducks quack. After a while somebody knocked at the door. One girl student reported : “Professor, 500 ducks are looking for you outside!” Question: Who was outside? Answer: A women. 我们并没有看到，也没有直接获取到门外来客的相 关信息，我们只是 通过上下文和逻辑推理，判断来客不会是 500 只鸭子，也不会是一位男性， 而是一位女性。 但是这种逻辑推理过程在我们识别照片上的人是谁时并没有明显地产 生作用，我们一般是根据照片上人像的“总体”特征来识别，甚至可以用 “感觉”来形容，识别的结果也难以用精确的逻辑条件和推理规则来论证。 那么我们是依据待识别事物上的特定标志来识别他们的吗？例如在计 算机系统中，我们需要输入用户名和密码来获得操作许可，在门禁系统中， 我们可以用钥匙或者射频 ID 卡来验证自己的进出权限。 但是这种过程也不是识别的过程，因为它保证的 仅仅是权限标志信息 或标志物的验证，并不能确保拥有该权限标志物的就是被许可者本人。也 就是说，通过这种方式可以控制操作或访问权限，但不能识别出操作或访 问者的真实身份。
模式识别——精选推荐
第一章绪论模式识别诞生于20世纪20年代，随着40年代计算机的出现，50年代人工智能的兴起，模式识别在60年代初迅速发展成为一门学科。
它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能系统的发展，扩大了计算机应用的可能性。
几十年来，模式识别研究取得了大量的成果，在很多地方得到了成功的应用。
但是，由于模式识别涉及到很多复杂的问题，现有的理论和方法对于解决这些问题还有很多不足之处。
为了使读者更好地掌握后面的各章内容，对于这些内容的有限性和局限性有全面的认识，正确地使用这些理论和方法，进而研究新的理论和方法，本章主要讨论模式识别的一些基本概念和问题，以利于对模式识别的现状和未来的发展方向有更全面的了解。
1.1 模式识别和模式的概念我们在生活中时时刻刻都在进行模式识别。
环顾四周，我们能认出周围的物体是桌子、椅子，能认出对面的人是张三、李四；听到声音，我们能分辨出是炸带鱼还是臭豆腐。
我们所具备的这些模式识别的能力看起来极为平常，谁也不会对此感到惊讶，就连狗猫也能认识它们的主人，更低等的动物也能区别食物和敌害。
因此过去的心理学家也没注意到模式识别的能力是个值得研究的问题，就像苹果落地一样习惯不惊。
只有在计算机出现以后，当人们企图用计算机来实现人或动物所具备的模式识别的能力时，它的难度才逐步为人们所认识。
本书讨论的模式识别是指计算机实现人的模式识别能力。
由于计算机的模式识别在多数方面还远不如人，因此研究人脑中的模式识别过程对提高机器的能力是有益的；反之，研究机器模式识别的能力对于理解人脑中的过程也有很大的帮助，认知心理学的很多新模型得益于此。
什么是模式呢？广义地说，存在于时间和空间中可观察的事物，如果我们可以区别它们是否相同或是否相似，都称之为模式。
但模式所指的不是事物本身，而是我们从事物获得的信息。
因此，模式往往表现为具有时间或空间分布的信息。
由于本书主要讨论的是用计算机进行模式识别，信息进入计算机之前通常要经过取样和量化，在计算机中具有时空分布的信息表现为向量即数组。
模式识别电子教材_北京航空航天大学
第一章引论1·1 概述1.1.1模式识别模式识别(Pattern Recognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。
样本（Sample)：一个具体的研究（客观）对象。
如患者，某人写的一个汉字，一幅图片等。
模式(Pattern)：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。
特征(Features)：能描述模式特性的量（测量值）。
在统计模式识别方法中，通常用一个矢量表示，称之为特征矢量，记为模式类(Class)：具有某些共同特性的模式的集合。
1.1.2 模式识别系统⑴特征提取从模式空间中选择最有利于模式分类的量作为特征，压缩模式维数，以便于处理，减少消耗。
特征提取一般以分类中使用的某种判决规则为准则。
所提取的特征使在某种准则下的分类错误最少。
为此需要考虑特征之间的统计关系，选用适当的正交变换，才能提取出最有效的特征。
⑵特征选择特征选择同样需要某种分类准则，在该准则下选择对分类贡献较大的特征，删除贡献较小的那些特征。
⑶学习和训练根据已知类别的样本确定分类判决准则矫正特征提取选择方法等⑷分类识别分类是把特征空间划分成类型空间。
把未知类别属性的样本确定为类型空间里的某一类型。
分类错误率越小越好，分类错误率的分析和计算比较困难。
影响分类错误率的因数–分类方法–分类器设计–提取的特征–样本质量等1.1.3模式识别的基本方法㈠统计模式识别理论基础：概率论，数理统计主要方法：线性、非线性分类、Bayes决策、聚类分析主要优点：1）比较成熟2）能考虑干扰噪声等影响3）识别模式基元能力强主要缺点：1）对结构复杂的模式抽取特征困难2）不能反映模式的结构特征，难以描述模式的性质3）难以从整体角度考虑识别问题㈡句法模式识别模式描述方法：符号串，树，图模式判定：是一种语言，用一个文法表示一个类，m类就有m个文法，然后判定未知模式遵循哪一个文法。
模式识别第1章课件
1.4.3模式识别软件
目前来说，有很多软件可以指导设计模式识别系统，建立一 个模式识别系统要用到的相关软件有MATLAB、opencv 、 vc6.0等等
图1-6 MATLAB仿真示意图
第一章 绪论
1.1 模式识别的基本概念 1.2 特征描述 1.3 模式识别方法 1.4 模式识别工程设计
1.1 模式识别的基本概念
模式—通过信息的采集，形成的对一个对象的描述
模式类—模式所属的类别或同一类中的模式的总体
模式识别—利用计算机（或人为少量的干预）自动 地将待识别的事物分配到各个模式类中的技术
(1) 可靠性； (2) 样本数目足够多； (3) 样本数M与模式空间维数N的关系要满足M/N>3,最好M/N>10； 在选择训练集的实验中一般选择一些具有相同特征且特征明显的数据 样本作为训练集，这类样本能让分类器更快更有效的获得此类样本的特 性；
测试集：样本是未知的（没有标定的），需要用分类器进行 识别的，一般选择在设计分类系统没有使用过的独立的样本 即可。
聚类法：用某种相似性度量的方法将数据组分成所需要的各 组数据。主要有分层聚类法和迭代聚类法。
神经网络法：利用给定的样本，在学习过程中不断修正内部 连接权重和阈值，使实际输出与期望输出在一定误差范围内 相等。 BP(误差反传播算法)网络模型是模式识别应用最广 泛的网络之一 人工智能法： 应用专家系统、智能推理技术、不确定性推理 等智能算法，所获取样本进行识别。主要解决高复杂度，无 法建立准确的模型或者信息不准确、不确切等问题。
1.1 模式识别的基本概念
模式识别系统的组成
数据采集
预处理
特征提取 和选择
分类器设 计
分类决策
图1-1 模式识别系统的基本构成
模式识别概论
解：试验样本是人，分为男、女两个类别。二维的主要特征是身高、体重，构 成二维特征空间。已知15人的性别，可以作为训练样本，根据其值确定他们在特 征空间的位置。如下图所示：
Made in CV&PRLab of Shandong University
图中，男性集中于右上方，女性集中于左下方，这就是聚类性质。 采用数理统计方法，可在两个性别之间描绘一条曲线，它是特征x1 （身高）、x2（体重）的函数，表示为d(x1,x2)=0 。 可以确定：
Made in CV&PRLab of Shandong University
模式识别过程的图形表示 ：
Made in CV&PRLab of Shandong University
1.1.3 预处理
模式空间里，针对具体的研究对象，往往需要进行 适当的预处理。预处理的功能包括： （1）清除或减少模式采集中的噪声及其它干扰，提高信 噪比 。 （2）消除或减少数据图像的模糊及几何失真，提高清晰 度。 （3）转变模式的结构，以便后续处理（如非线性模式转 为线性模式） 。
特征空间中每个坐标都是样本的重要特征
样本在特征空间中也是一个点，位置由样本的特征值确定
从模式空间到特征空间所需要的综合分析，往往包含适当的变换和选择， 这个过程称为――特征提取和特征选择
Made in CV&PRLab of Shandong University
判决规则：由某些知识和经验可以确定的分类准则。 根据适当的判决规则，把特征空间里的样本区分成不同的类
就是把某一个样本归属于多个类型中的某一个类型。
Made in CV&PRLab of Shandong University
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
盛立东
北京邮电大学信息工程学院
2011-1-15
北京邮电大学信息工程学院
参考书
模式识别 人民邮电出版社 罗耀光 盛立东 模式识别 清华大学出版社 边肇祺 模式识别及应用 科学出版社 付京荪 Syntactic Pattern Recognition and Application K.S.Fu • Pattern Recognition Principles J.T.Tom R.C.Gouzales • • • •
2011-1-15 北京邮电大学信息工程学院
五.数据的标准化
1.极差标准化，一批样本中，每个特征的最大值 与最小值之差。 极差
R i = max X ij − min X ij
Xij
Xij
极差标准化 2. 方差标准化
=
=
(X
(X
ij
− X
− X
i
)
R
S
i
ij
i
)
i
Si 为方差 标准化的方法很多，原始数据是否应该标准化，应采用 什么方法标准化，都要根据具体情况来定。
2011-1-15 北京邮电大学信息工程学院
三.相似与分类 相似与分类
1.两个样本xi ，xj之间的相似度量满足以下要求： ① 应为非负值 ② 样本本身相似性度量应最大 ③ 度量应满足对称性 ④ 在满足紧致性的条件下，相似性应该是点间距离的 单调函数 2. 用各种距离表示相似性： ① 绝对值距离 已知两个样本 xi=(xi1, xi2 , xi3,…,xin)T
2011-1-15
北京邮电大学信息工程学院
• 作业：大型上机作业题 • 考试：开卷考试
2011-1-15
北京邮电大学信息工程学院
第一章 概论 §1-1 模式识别的基本概念
一.模式识别的基本定义 模式(pattern) ------ 存在于时间，空间中可观察 的事物，具有时间或空间分布的信息。 模式识别(Pattern Recognition) ------ 用计算机实 (Pattern 现人对各种事物或现象的分析,描述,判断,识别。 模式识别与图象识别，图象处理的关系 模式识别是模拟人的某些功能 模拟人的视觉: 计算机+光学系统 模拟人的听觉: 计算机+声音传感器 2011-1-15 北京邮电大学信息工程学院 模拟人的嗅觉和触觉: 计算机+传感器
xj=(xj1, xj2 , xj3,…,xjn)T
2011-1-15 北京邮电大学信息工程学院
d ij
=
∑
n
n
| X
ik
− X
jk
|
k =1
② 欧几里德距离
d ij
=
∑ (X
k =1
n
ik
− X jk )
2
③明考夫斯基距离
d ij ( q ) =
∑ |X
k =1
ik
− X jk |
q
4. 基元（链码）表示： 在右侧的图中八个基元 分别表示0，1，2，3， 4，5，6，7，八个方向 和基元线段长度。 则右侧样本可以表示为 X1=006666
这种方法将在句法模式识 别中用到。
2011-1-15
北京邮电大学信息工程学院
二.模式类的紧致性 模式类的紧致性
1. 紧致集：同一类模式类样本的分布比较 集中，没有或临界样本很少，这样的模 式类称紧致集。
xn X1n X2n … XNn
3. 几何表示 一维表示
X1=1.5 X2=3
二维表示
X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T
三维表示
X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T
2011-1-15
北京邮电大学信息工程学院
2011-1-15
北京邮电大学信息工程学院
2. 临界点(样本)：在多类样本中，某些样本的值 有微小变化时就变成另一类样本称为临界样本 （点）。 3. 紧致集的性质 ① 要求临界点很少 ② 集合内的任意两点的连线,在线上的点属于 同 一集合 ③ 集合内的每一个点都有足够大的邻域,在邻 域内只包含同一集合的点 4. 模式识别的要求:满足紧致集，才能很好的分类； 如果不满足紧致集，就要采取变换的方法,满足 紧致集.
n
k =1
(X
ki
− X
) ∑ (X
− X
)
2
注意：在求相关系数之前，要将数据标准化
3. 分类的主观性和客观性
① 分类带有主观性：目的不同，分类不同。例如：鲸鱼， 牛，马从生物学的角度来讲都属于哺乳类，但是从产 业角度来讲鲸鱼属于水产业，牛和马属于畜牧业。 ② 分类的客观性：科学性 判断分类必须有客观标准，因此分类是追求客观性的， 但主观性也很难避免，这就是分类的复杂性。
2011-1-15 北京邮电大学信息工程学院
4. 指纹识别 脸形识别 5. 检测污染分析，大气，水源，环境监测。 6. 自动检测：产品质量自动检测 7. 语声识别，机器翻译，电话号码自动查 询，侦听，机器故障判断。 8. 军事应用
2011-1-15
北京邮电大学信息工程学院
§1-4 模式识别的基本问题
一.模式(样本)表示方法 1. 向量表示 : 假设一个样本有n个变量(特征) Ⅹ= (X1,X2,…,Xn)T 2. 矩阵表示: N个样本，n个变量(特征)
变 量 样 本 X1 X2 … XN
2011-1-15
x1 X11 X21 … XN1
x2 X12 X22 … XN2
北京邮电大学信息工程学院
… … … … …
2011-1-15 北京邮电大学信息工程学院
• 50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。 • 60年代 L.A.Zadeh提出了模糊集理论，模 糊模式识别理论得到了较广泛的应用。 • 80年代 Hopfield提出神经元网络模型理论。 近些年人工神经元网络在模式识别和人工 智能上得到较广泛的应用。 • 90年代 小样本学习理论，支持向量机也受 到了很大的重视。
例： x1 , x2 , x3的夹角如图： x2 x3 x1 x2 x1 因为x1 , x2 的夹角小，所以x1 , x2 最相似。
2011-1-15 北京邮电大学信息工程学院
⑦ 相关系数
rij =
∑ (X
n k =1
ki
− X
2 i
i
)(X
n k =1
kj
− X
kj
j
)
j
∑
Xi, Xj 为xi xj的均值
−1 i j
∑ 其中xi ，xj为特征向量， 为协方差。使用的条件是 样 本符合正态分布
2011-1-15
北京邮电大学信息工程学院
⑥ 夹角余弦
C
ij
=
∑
n
X
2
ik
X
jk n
k =1
∑
n
k =1
X
ik
∑
2
k =1
X
jk
X i , X j 为xi xj的均值 即样本间夹角小的为一类，具有相似性
2011-1-15 北京邮电大学信息工程学院
关于模式识别的国内、 三.关于模式识别的国内、国际学术组织 关于模式识别的国内
• 1973年 IEEE发起了第一次关于模式识别 的国际会议“ICPR”，成立了国际模式识 别协会---“IAPR”，每2年召开一次国际学 术会议。 • 1977年 IEEE的计算机学会成立了模式分 析与机器智能（PAMI）委员会，每2年 召开一次模式识别与图象处理学术会议。 • 国内的组织有电子学会，通信学会，自 动化协会，中文信息学会….。
二.模式识别的发展史 模式识别的发展史
• 1929年 G. Tauschek发明阅读机 ，能够阅读 0-9的数字。 • 30年代 Fisher提出统计分类理论,奠定了统 计模式识别的基础。因此，在60～70年代， 统计模式识别发展很快，但由于被识别的 模式愈来愈复杂，特征也愈多，就出现 “维数灾难”。但由于计算机运算速度的 迅猛发展，这个问题得到一定克服。统计 模式识别仍是模式识别的主要理论。
2011-1-15 北京邮电大学信息工程学院
2011-1-15 北京邮电大学信息工程学院
§1-2 模式识别系统
• 信息的获取：是通过传感器，将光或声音等信 息转化为电信息。信息可以是二维的图象如文 字，图象等；可以是一维的波形如声波，心电 图，脑电图；也可以是物理量与逻辑值。 • 预处理：包括A\D,二值化，图象的平滑，变换， 增强，恢复，滤波等, 主要指图象处理。
2011-1-15 北京邮电大学信息工程学院
• 特征抽取和选择：在模式识别中，需要 进行特征的抽取和选择，例如，一幅 64x64的图象可以得到4096个数据，这种 在测量空间的原始数据通过变换获得在 特征空间最能反映分类本质的特征。这 就是特征提取和选择的过程。 • 分类器设计：分类器设计的主要功能是 通过训练确定判决规则，使按此类判决 规则分类时，错误率最低。把这些判决 规则建成标准库。 • 分类决策：在特征空间中对被识别对象 进行分类。
2011-1-15
北京邮电大学信息工程学院
四.特征的生成 1.低层特征： ①无序尺度：有明确的数量和数值。 ②有序尺度：有先后、好坏的次序关系，如酒 分为上，中，下三个等级。 ③名义尺度：无数量、无次序关系，如有红， 黄两种颜色 2. 中层特征：经过计算，变换得到的特征 3. 高层特征：在中层特征的基础上有目的的经过运 算形成 例如：椅子的重量=体积*比重 体积与长，宽，高有关；比重与材料，纹理，颜 色有关。这里低、中、高三层特征都有了。