模式识别概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 手写体 • 印刷体 • 汉字、英文、阿拉伯数字
模式识别，第一章
27
模式识别的应用
• 生物特征识别
• 指纹识别 • 掌纹识别 • 人脸识别 • 虹膜识别
模式识别，第一章
28
模式识别的应用
• 生物医学信号识别
• 心电图、心音、多普勒生物信号、染色体、DNA序列
• 图像检索 • 军事目标跟踪与识别 • 遥感图像处理
模式识别的基本方法
• 统计方法
鲑鱼
鲈鱼
决策标准：判别边界
模式识别，第一章
35
模式识别的基本方法
• 句法方法
• 基于模式的空间结构特征的定性描述与形式语言学的方法，
广泛应用于字符识别、图像识别等领域
• 原理：
样本 基元 字符串 形式语言 文法
模式识别，第一章
13
• 为获取更好的分类效果，组合运用多个特征 • 选取光泽度（lightness）和宽度（width）作为分
类特征
鱼
xT = [x1, x2]
Lightness Width
• 特征向量：xT = [x1, x2]
模式识别，第一章
鲑鱼
14 鲈鱼
判别标准：判别边界
组合特征优于单一特征
模式识别，第一章
• 需要考虑的问题：
• 特征越多分类性能越好吗？ • 什么样的特征才是好的特征？ • 特征的相关性与冗余？
15 模式识别，第一章
16
如何获取判别边界：判别模型？ 什么样的判别边界才是最优的：模型优化？
模式识别，第一章
17
鲑鱼
鲈鱼
复杂的模型
模式识别，第一章
18
• 复杂的模型可保证对所有训练样本正确分类 • 过于复杂的模型将导致复杂的判别曲线 • 新模式推广能力差
模式识别，第一章
29
研究模式识别的意义
• 通过模式识别的研究和应用，提高和扩展计算机的应
用能力和领域，促பைடு நூலகம்人工智能的应用与发展
• 促进人们对人脑识别过程的理解和认识
模式识别，第一章
30
模式识别存在的问题
• 模式识别是一门快速发展的新兴学科，涉及到多学科、
多领域的复杂问题
• 和生物认知系统相比，现有人工模式识别系统的适应
模式识别，第一章
鲑鱼
10 鲈鱼
分类标准
模式识别，第一章
11
• 判别边界与判别代价
• 无论采用哪一种特征进行分类都有代价：误判 • 上述判别边界假设将鲑鱼误判为鲈鱼和将鲈鱼误判为鲑鱼的
代价相等（对称代价）
• 非对称代价：调整判别边界的位置
决策论
模式识别，第一章
鲑鱼
12 鲈鱼
调整判别边界，减小判别代价
认知科学
模式识别，第一章
25
模式识别的应用
• 语音识别与理解（Speech recognition）
• 语音识别 • 说话人识别 • 语种识别 • 语音情感识别 • 特定人、非特定人 • 母语、非母语 • 孤立音、连续音
模式识别，第一章
26
模式识别的应用
• 字符识别（Character Recognition）
和识别能力还远远不能令人满意
• 模式识别的许多理论和基本方法方面的问题还远没有
得到解决
• 新问题层出不穷 • 传统方法均存在一定的局限性
模式识别，第一章
31
模式识别的理论基础
• 概率论与数理统计 • 随机过程 • 线性代数 • 优化方法 • 形式语言学
模式识别，第一章
32
模式识别的基本方法
模式识别方法
模式识别，第一章
23
模式识别的产生与发展 • 随着计算机技术的发展， 60年代后模式识别迅速发展为一门相
对独立的新兴交叉学科
• 明确的问题定义、严格的数学基础、坚实的理论框架、丰富的
理论和应用成果、广阔的应用前景
模式识别，第一章
24
模式识别的相关学科
机器学习
人工智能 模式识别
计算机视觉
心理生物学
• 目标
• 用计算机实现具有感知、识别、理解、自学习和自适应能
力的灵活和智能的计算机器。
模式识别，第一章
22
模式识别的产生与发展
• 起源于20世纪40年代
• 研究初期，模式识别被看作动物所具有的自然生理现象，很
多人认为不值得研究。
• 当人们试图使计算机去具有人脑的识别能力后，模式识别的
难度和重要性才得以重视。
鲈鱼
分类标准
模式识别，第一章
8
• 单一的特征判据（长度）不足以完全正确分类 • 无论怎样确定临界值，都有无法仅凭长度就把两类鱼截
然分开
模式识别，第一章
9
• 选择光泽度（lightness）作为分类特征 • 获取足够多的样本（训练样本）进行统计（直方图） • 确定合适的光泽度临界值x*作为分类标准 • 以光泽度为分类特征，两类鱼的分离性更好！
模式识别，第一章
4
• 预处理（preprocessing）
• 去除干扰，图像增强 • 采用图像分割技术将不同的鱼分离开来，或者将鱼同背景分
开
• 特征提取（feature extraction）
• 将每条鱼的数据送入特征提取器，通过测量特定的“特征”
或“属性”来简化原始数据类
• 将特征送入分类器，以便进行分类
模式识别，第一章
5
鲑鱼
鲈鱼
模式识别，第一章
l
6
• 分类（Classification）
• 根据先验知识：鲈鱼长度一般要比鲑鱼大 • 选择长度（length）作为可能的分类特征 • 获取足够多的样本（训练样本）进行统计（直方图） • 确定合适的长度临界值 L* 作为分类标准
模式识别，第一章
7
鲑鱼
经典方法 现代方法
统计决策 方法
句法方法
神经网络 方法
模糊模式 识别
模式识别，第一章
33
模式识别的基本方法
• 统计决策法
• 基于模式的定量描述与统计规律的识别方法，是模式识别最
经典、最成熟的方法，目前广泛应用于模式识别的各个领域
• 原理：
样本 观测值 特征 概率统计 决策准则
分类
模式识别，第一章
34
模式识别，第一章
19
• 分类系统的目标是对未知的样本正确分类，而不
仅仅是对训练样本分类
• 必须在模型复杂度和推广能力之间进行折中考虑
最优模型
模式识别，第一章
鲑鱼
20 鲈鱼
优化的判别边界
模式识别，第一章
21
什么是模式识别？
• 定义
• 利用机器（计算机）模仿人脑对现实世界各种事物进行描
述、分类、判断和识别的过程。
第一章: 模式识别概述
2
一个例子
• 通过光学感知手段，将传送带上的鱼进行自动分类
鱼类
鲈鱼 鲑鱼
模式识别，第一章
3
• 问题分析
• 架设一台摄影像机，拍摄若干样品的图像 • 提取用于区分两类鱼的有效特征(feature)
• 长度 • 光泽度 • 宽度 • 鳍的数目和形状 • 嘴的位置，等等…….
• 上述参数即是我们对两类鱼进行分类的备选特征
模式识别，第一章
27
模式识别的应用
• 生物特征识别
• 指纹识别 • 掌纹识别 • 人脸识别 • 虹膜识别
模式识别，第一章
28
模式识别的应用
• 生物医学信号识别
• 心电图、心音、多普勒生物信号、染色体、DNA序列
• 图像检索 • 军事目标跟踪与识别 • 遥感图像处理
模式识别的基本方法
• 统计方法
鲑鱼
鲈鱼
决策标准：判别边界
模式识别，第一章
35
模式识别的基本方法
• 句法方法
• 基于模式的空间结构特征的定性描述与形式语言学的方法，
广泛应用于字符识别、图像识别等领域
• 原理：
样本 基元 字符串 形式语言 文法
模式识别，第一章
13
• 为获取更好的分类效果，组合运用多个特征 • 选取光泽度（lightness）和宽度（width）作为分
类特征
鱼
xT = [x1, x2]
Lightness Width
• 特征向量：xT = [x1, x2]
模式识别，第一章
鲑鱼
14 鲈鱼
判别标准：判别边界
组合特征优于单一特征
模式识别，第一章
• 需要考虑的问题：
• 特征越多分类性能越好吗？ • 什么样的特征才是好的特征？ • 特征的相关性与冗余？
15 模式识别，第一章
16
如何获取判别边界：判别模型？ 什么样的判别边界才是最优的：模型优化？
模式识别，第一章
17
鲑鱼
鲈鱼
复杂的模型
模式识别，第一章
18
• 复杂的模型可保证对所有训练样本正确分类 • 过于复杂的模型将导致复杂的判别曲线 • 新模式推广能力差
模式识别，第一章
29
研究模式识别的意义
• 通过模式识别的研究和应用，提高和扩展计算机的应
用能力和领域，促பைடு நூலகம்人工智能的应用与发展
• 促进人们对人脑识别过程的理解和认识
模式识别，第一章
30
模式识别存在的问题
• 模式识别是一门快速发展的新兴学科，涉及到多学科、
多领域的复杂问题
• 和生物认知系统相比，现有人工模式识别系统的适应
模式识别，第一章
鲑鱼
10 鲈鱼
分类标准
模式识别，第一章
11
• 判别边界与判别代价
• 无论采用哪一种特征进行分类都有代价：误判 • 上述判别边界假设将鲑鱼误判为鲈鱼和将鲈鱼误判为鲑鱼的
代价相等（对称代价）
• 非对称代价：调整判别边界的位置
决策论
模式识别，第一章
鲑鱼
12 鲈鱼
调整判别边界，减小判别代价
认知科学
模式识别，第一章
25
模式识别的应用
• 语音识别与理解（Speech recognition）
• 语音识别 • 说话人识别 • 语种识别 • 语音情感识别 • 特定人、非特定人 • 母语、非母语 • 孤立音、连续音
模式识别，第一章
26
模式识别的应用
• 字符识别（Character Recognition）
和识别能力还远远不能令人满意
• 模式识别的许多理论和基本方法方面的问题还远没有
得到解决
• 新问题层出不穷 • 传统方法均存在一定的局限性
模式识别，第一章
31
模式识别的理论基础
• 概率论与数理统计 • 随机过程 • 线性代数 • 优化方法 • 形式语言学
模式识别，第一章
32
模式识别的基本方法
模式识别方法
模式识别，第一章
23
模式识别的产生与发展 • 随着计算机技术的发展， 60年代后模式识别迅速发展为一门相
对独立的新兴交叉学科
• 明确的问题定义、严格的数学基础、坚实的理论框架、丰富的
理论和应用成果、广阔的应用前景
模式识别，第一章
24
模式识别的相关学科
机器学习
人工智能 模式识别
计算机视觉
心理生物学
• 目标
• 用计算机实现具有感知、识别、理解、自学习和自适应能
力的灵活和智能的计算机器。
模式识别，第一章
22
模式识别的产生与发展
• 起源于20世纪40年代
• 研究初期，模式识别被看作动物所具有的自然生理现象，很
多人认为不值得研究。
• 当人们试图使计算机去具有人脑的识别能力后，模式识别的
难度和重要性才得以重视。
鲈鱼
分类标准
模式识别，第一章
8
• 单一的特征判据（长度）不足以完全正确分类 • 无论怎样确定临界值，都有无法仅凭长度就把两类鱼截
然分开
模式识别，第一章
9
• 选择光泽度（lightness）作为分类特征 • 获取足够多的样本（训练样本）进行统计（直方图） • 确定合适的光泽度临界值x*作为分类标准 • 以光泽度为分类特征，两类鱼的分离性更好！
模式识别，第一章
4
• 预处理（preprocessing）
• 去除干扰，图像增强 • 采用图像分割技术将不同的鱼分离开来，或者将鱼同背景分
开
• 特征提取（feature extraction）
• 将每条鱼的数据送入特征提取器，通过测量特定的“特征”
或“属性”来简化原始数据类
• 将特征送入分类器，以便进行分类
模式识别，第一章
5
鲑鱼
鲈鱼
模式识别，第一章
l
6
• 分类（Classification）
• 根据先验知识：鲈鱼长度一般要比鲑鱼大 • 选择长度（length）作为可能的分类特征 • 获取足够多的样本（训练样本）进行统计（直方图） • 确定合适的长度临界值 L* 作为分类标准
模式识别，第一章
7
鲑鱼
经典方法 现代方法
统计决策 方法
句法方法
神经网络 方法
模糊模式 识别
模式识别，第一章
33
模式识别的基本方法
• 统计决策法
• 基于模式的定量描述与统计规律的识别方法，是模式识别最
经典、最成熟的方法，目前广泛应用于模式识别的各个领域
• 原理：
样本 观测值 特征 概率统计 决策准则
分类
模式识别，第一章
34
模式识别，第一章
19
• 分类系统的目标是对未知的样本正确分类，而不
仅仅是对训练样本分类
• 必须在模型复杂度和推广能力之间进行折中考虑
最优模型
模式识别，第一章
鲑鱼
20 鲈鱼
优化的判别边界
模式识别，第一章
21
什么是模式识别？
• 定义
• 利用机器（计算机）模仿人脑对现实世界各种事物进行描
述、分类、判断和识别的过程。
第一章: 模式识别概述
2
一个例子
• 通过光学感知手段，将传送带上的鱼进行自动分类
鱼类
鲈鱼 鲑鱼
模式识别，第一章
3
• 问题分析
• 架设一台摄影像机，拍摄若干样品的图像 • 提取用于区分两类鱼的有效特征(feature)
• 长度 • 光泽度 • 宽度 • 鳍的数目和形状 • 嘴的位置，等等…….
• 上述参数即是我们对两类鱼进行分类的备选特征