11第十一章图像识别初步

11.1.5 过度拟合（Overfit）
在上图即图 11.2 中，我们可以注 意到决策边界既可以是a、b中那样简 单的线性或二次形式，也可以像 c 中 哪样极其复杂且不规则。那么对于一 个特定的问题我们是应当选择简单的 模型还是比较复杂的模型呢？
一般说来，简单的模型具有计算不 复杂的优势，训练它们所需的样本数目 通常也更少，但他们对空间的划分往往 不够精确，导致识别精度受到一定的限 制；而复杂的模型可以更好地拟合训练 样本，产生非常适应训练数据的复杂决
recognition 对模式的统计分类方法，把模式类看成
是用某个随机向量实现的集合。又称决策理论识
别方法。
11.2.2 句法模式识别
句法模式识别又称结构方法或语言学方法。
其基本思想是把一个模式描述为较简单的子模式
的组合，子模式又可描述为更简单的子模式的组
合，最终得到一个树形的结构描述，在底层的最 简单的子模式称为模式单元。
r (i, j )
i, j S ( x, y ) T (m, n) x 1 y 1 m n
( [ S i , j ( x, y ] 2 ) ( [T ( x, y ] 2 )
x 1 y 1 x 1 y 1
m
n
m
n
为了减少图像强度绝对值的影响，可先分别计算T 和Sij的均值Tm和Sm，然后在上式中减去均值，可 得下列相关函数
第11章 图像识别初步
本章节的主要内容
1、模式识别概述
2、模式识别方法分类
3、最小距离分类器和模板匹配
11.1 模式识别概述
模式识别 (Pattern Recognition) 是指对 表征事物或现象的各种形式的 (数值的、文 字的和逻辑关系的)信息进行处理和分析,以 对事物或现象进行描述、辨认、分类和解 释的过程 ,是信息科学和人工智能的重要组 成部分。
进行。
还有很多其他形式的学习算法，通
常可分为以下几种形式：
教师指导的学习 无教师指导的学习 加强学习
11.2 模式识别方法分类
有两种基本的模式识别方法，即统计模式识
别方法和句法模式识别方法。统计模式识别是对
模式的统计分类方法，即结合统计概率论的贝叶
斯决策系统进行模式识别的技术，又称为决策理 论识别方法；而利用模式与子模式分层结构的树 状信息所完成的模式识别工作，就是句法识别模 式。
11.1.3
关键概念
模式类、特征、噪声、分类\识
别、分类器、训练样本、训练\
学习、训练集合、测试样本、
测试集合、测试、识别率、泛
化
特 征 提 取
分类器
识 别 结 果
识别的关键是分类 器的设计
识别（分类）的任务就是找到对特征空 间的一种合理的划分。分类器将特征空间分 成标记为类别的决策区域，对于唯一的分类 结果，这些区域必须覆盖整个特征空间且不 相交，而每个区域的边缘称为决策边界。从 这个意义上说分类器就是分割决策区域的决 策边界函数集合，如图11.2 给出了一些经典 的决策区域和决策边界。对特征矢量的分类 就是确定它属于那个决策区域的过程。
T
11.3.2 基于空间模板匹配的图像识别
模板匹配（Template Matching）是图像 识别方法中最具代表性的基本方法之一，它
是将从待识别的图像或者图像区域S(i,j)中提
取的若干特征量逐个进行比较，计算它们之
间规格化的相关性系数，其中相关性系数最
大的一个就表示其相似程度最高，可以将图
像归与相应的类。
R(i, j )
i, j i, j [ S ( x , y ) S m ] [T ( x, y ) T m ] x 1 y 1
m
n
( [ S
x 1 y 1
m
n
i, j
( x, y ) S
i, j m
] ) ( [T ( x, y ) Tm ] 2 )
2 x 1 y 1
一般可以采用下面测度来衡量T和Sij的相似度：
D(i, j ) [ S ( x, y ) T ( x, y )]
i, j x 1 y 1
m
n
2
M
子图S ij
n
(a) 搜索图
m
N
模板 T 模板及其搜索图
展开则有
D(i, j ) [S i , j ( x, y)] 2 2 S i , j ( x, y) T ( x, y) [T ( x, y)] 2
策边界，从而有理由期望它们在测试集
上也会有好的表现。然后，这一美好的
愿望并不总能实现。只因为……
过度复杂的决策边界常常导致所谓 “过度拟合”现象的发生
11.1.7 训练\学习方法分类
一般的训练学习过程是指在给定一般的模型 或分类器形式的情况下，利用训练样本去学习和 估计模型的未知参数，具体地说就是用某种算法 来降低分类器的参数误差。比如在第 12 章人工神 经网络中将要学习的梯度下降算法，他通过调解 分类器的参数，是训练朝着能够降低误差的方向
11.3 最小距离分类器
和模板匹配
11.3.1 基于最小距离分类器的图像识别
决策理论的基本思想：将图像进行特征提取， 用提取的特征构成一个特征向量x={x1, x2, … ，xn} ，对于W个模式分类ω1,ω2,ωw，设计W个决策函数 d1(x), d2(x), …, dw(x), 满足下列条件：
T
对于：
d i ( x) d j ( x)
j 1,2,,W ;
ji
将其归于 ωi 类。不难看出，在ωi 和 ωj之间的边界为
d ij ( x) d i ( x) d j ( x) 1 x (mi m j ) (mi m j )T (mi m j ) 0 2
m
n
Thank you！
模式识别是人类的一项基本智能， 在日常生活中，人们经常在进行“ 模式识别”。随着20世纪40年代计
算机的出现以及 50 年代人工智能的
兴起，人们当然也希望能用计算机
来代替或扩展人类的部分劳动。因
此计算机模式识别在 20世纪60 年代
迅速发展并成为一门新学科。
11.1.1 模式与模式识别
模式是由确定的和随机的成分组成的物体、过 程和事件。在一个模式识别问题中，它是我们识别 的对象。 模式识别是指对表征事物或现象进行描述、辨 认、分类和解释的过程，简单地说就是应用计算机 对一组事件或过程进行鉴别和分类。 我们所指的模式识别主要是对语音波形、地震 波、心电图、脑电图、图片、照片、文字、符号、 生物的传感器等对象进行测量的具体模式进行分类 和辨识。
11.1.2 图像识别
将模式识别的方法和技术应用于图 像领域，即当识别的对象是图像时就称 为图像识别。虽然对我们人类而言，理 解和识别所看见的东西似乎是一件再平 常不过的事情，让计算机具有类似的智 能却是一项极具挑战性的任务，然而两 者在很多环节上是相似的。
图像识别与模式识别的关系 1、模式识别包含了、波形、语音、图形、 图像等各种信息输入形式，图像识别属 于模式识别的一部分； 2、模式识别的许多方法如：决策理论、贝 叶斯分类器、神经网络分类器、支持向 量机等都可以用到图像识别中来； 3、图像识别有自己独特的方法。
11.2.3 小结
模式识别的方法的选择取决于问题的性质。如
果被识别的对象极为复杂，而且包含丰富的结构信
息，一般采用句法方法；被识别对象不很复杂或不
含明显的结构信息，一般采用统计方法。但是，这 两种方法不能截然分开，在句法方法中，基元本身 就是用统计方法抽取的。在应用中，将这两种方法 结合起来分别施加于不同的层次，常能收到较好的 效果。
x 1 y 1 x 1 y 1 x 1 y 1 m n m n m n
右边第三项表示模板的总能量，是一个和位置（i，j ）无关的常数，第一项是模板下的子图的能量，它 随搜索位置的改变缓慢变化，第二项是子图像和模 板的互相关，随（i，j）而变，T和Sij匹配时这一项 取得最大值，因此可以采用下列归一化相关函数作 为相似测度：
（1）普通模板匹配算法 模板匹配的基本概念 ：模板就是一幅已知的具有标 准尺寸和标准内容的图像。模板匹配就是在一幅图像 中按一定算法搜寻目标，将目标的特征和已知模板比 较，从而确定目标是否存在以及存在目标所在的坐标 位置。 以8位灰度图像(1 个像素由1 个字节描述)为例 ，模板T( m*n个像素)叠放在被搜索图S( M *N个像素 )上平移，模板覆盖被搜索图的那块区域叫子图Sij。i ，j 为子图左上角在被搜索图S上的坐标，如图所示 。搜索范围是MXN。通过比较模板T和Sij的相似性， 完成模板匹配过程。
( x T x 2 x T m j mT j mj ) 1 x x 2( x m j mT j mj ) 2
T T
求Dj(x)最小，等价于求
因此我们可以选择决策函数
1 T x m j m j m j最大。 2
T
1 T d j ( x) x m j m j m j 2
j 1, 2, , W
这里，mj是均值向量，它计算如下：
1 mj Nj
x
x
j
j 1, 2, ,W
D j ( x ) || x m j || ( x m j )T ( x m j ) ( x T mT j )( x m j )
T ( x T x x T m j mT x m j j mj )
11.2.1 统计模式识别
统 计 模 式 识 别 statistical approach of pattern
recognition 对模式的统计分类方法，把模式类看成
是用某个随机向量实现的集合。又称决策理论识
别方法。
11.2.1 统计模式识别