图像识别简介

l 第一种情况： 每一类可以用一个判决平面与其它所有类隔开， 在这种情况下，有M个判决函数：
Di
(x)
At
x
0
0
若
x i
其它
l 第二种情况：
每一类与其它所有各类可以由不同的判决平面
一一隔开，也就是说，各类是可分段可分的，
共有 M (M 个1判) 决面。
2
判决函数可以写成 Dij (x) Aij x D ji (x)
P(i
Baidu Nhomakorabea
|
x)
P(i , x)
p(x)
P(i ) p(x | i )
P( j ) p(x | j )
j
比较大小不需要计算p(x)：
argmax P(i | x)
i
argmax p(x | i )P(i )
i
p(x)
argmax p(x | i )P(i )
i
对数域中计算，变乘为加：
ln p(x |i)P(i) ln p(x |i) ln P(i)
判别函数中与类别i无关的项，对于类
别的决策没有影响，可以忽略。
Bayes最小错误率决策例解
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：
➢ 正常(ω1)： P(ω1)=0.9 ➢ 异常(ω2)： P(ω2)=0.1 ➢ 对某一样本观察值x，通过计算或查表得到：
一、 线性判别函数
线性判别函数的一般形式为：
Di (x)
a1 x1
a2 x2
.... aN xN
aN 1
At
x
其中，
x
(x1 ,
x2 ,....,
xN
,1) '
，
At (a1, a2 ,...., aN , an1 )
分别称为扩充了的特征矢量和权矢量。
使用线性判别函数的分类判决有下述两种情况：
x1
g1
x2
g2
ARGMAX
a(x)
.
.
.
.
.
.
xn
gc
判别函数方法
在很多分类问题中，往往必须知道待分样本 的先验知识。这里假设我们已经知道判别函数的 形式，剩下的问题是如何求判别函数的待定参量 以及进行分类判决。诚然，由分类者随心所欲地 选择判别函数的形式，是件快事。但是，类别函 数选择不合适，会导致分类误差的增加。
Jain A K, Duin R P W, Jianchang Mao. Statistical pattern recognition: a review. Pattern Analysis and Machine Intelligence, 2000. 22(1) : 4～37.
句法（或结构）模式识别
类间距离
一个特征区分两类能力的一个指标是类间距离， 即类均值间的方差归一化间距。显然，类间距离大 的特征是好特征。
对特征 x 来说，第 j类与第 k 类之间的类间距为：
Dˆ xjk
ˆ xjˆ xk
ˆ
2 xj
ˆ
2 xk
统计模式识别
基本概念
这里我们讨论数字特征的识别。其前提
是，假定我们所处理的模式每一个样本都
基于图像匹配的图像识别
1 定义 根据已知模式到另一幅图中寻找相应的模式。
2 基于相关的模板匹配
R(x, y)
J 1 K 1
t( j,k) f (x j, y k)
j0 k0
J 1 K 1
J 1 K 1
[ f (x j, y k)]2 [t( j, k)]2
j0 k0
j0 k0
3 基于误差平方和的模板匹配
特征方差
第 j类的特征 x 和特征 y 的方差估值
分别为：
ˆ 2xj 1
Nj
Nj
(xij ˆ xj )2
i1
和
ˆ 2 yj
1 Nj
Nj
( yij ˆ yj )2
i1
在理想情况下同一类别中所有对象的 特征值应该很相近。
特征相关系数
x 第 j 类特征 和特征y 的相关系数估计为
ˆ xyj
求解这一系列不等式，就可以 解得权系数A。
这显然是线性判决函数，前面所述的线性 判别函数的各种处理方法也适用于最小距 离分类器。
下图是最近邻域分类器的一个例子。
当然，判别函数的形式可以取其它很 多种形式，例如高次多项式等。
以两类分类问题为例：已知先验分布P(ωi)和观 测值的类条件分布p(x|ωi)，i=1,2 问题：对某个样本x，抉择x∈ ω1? x∈ ω2？
表示为N维特征矢量，写为： 显然，特x 征 矢(x1量, x2 ,.x...可..,以x表N )示 为N维特征
矢量空间 别的概念
及
方中法x的就一可个以点在，特这征样空统间计中模予式以识
研究。
模式分类：根据识别对象的观测值确定其类别 样本与样本空间表示：
x x1, x2, , xn T x Rn
D、特征选择：从一组特征中挑选出一些最有效的特征以达 到降低特征空间维数的过程。
例如：一幅96x64的图象
（a）Gabor滤波器编码； （b）小波变换+神经网络； （c）细节点
（分叉点、端点）
（4）分类器设计
分类器设计的主要功能是通过训练确定判 决规则，使按此类判决规则分类时，错误率最 低或风险最小。
如上所述，该样本集合可以表示为N维特 征空间 中x 的一个点集，它的分类问题表 述为将该特征空间划分为M个子空间，每 一子空间为一类，子空间中的样本点属于 相应类别。 这样，分类问题的关键就在于如何找到一 个正确子空间划分，即划分子空间的界面。
下图为二维特征空间，三类问题。
决策区域与决 策面(decision
p(x|ω1)=0.2， p(x|ω2)=0.4
如何对细胞x进行分类？
利用贝叶斯公式计算两类的后验概率：
P(1 | x)
P(1) p(x | 1)
2
P( j ) p(x | j
)
0.9
0.9 0.2
0.2 0.1 0.4
0.818
j 1
P(2 | x)
P(2 ) p(x | 2 )
对于上述三种类型的模式，必须分别使用不 同的识别和推理方法：统计模式识别，句法 模式识别和人工智能方法。
统计模式识别
✓ 基本原理是：有相似性的样本在模式空间中互相接近， 并形成“集团”，即“物以类聚”。
✓ 主要方法有：决策函数法， k近邻分类法，支持向量机， 特征分析法，主因子分析法等…
✓ 参考书籍：《统计模式识别》(Andrew R.Webb)
（3）特征提取和特征选择 A、特征分类：物理特征、结构特征、数学特征。
B、特征形成：根据被识别的对象产生出一组基本特征，它 可以是计算出来的（当识别对象是波形或数字图像时），也可以 是用仪表或传感器测量出来的（当识别对象是事物或某种过程 时），这样产生的特征叫做原始特征。
C、特征提取：原始特征的数量可能很大，通过映射（或变 换）的方法可以用低维空间表示样本，这个过程叫做特征提取。 映射后的二次特征是原始特征的线性组合（通常是线性组合）。
类别与类别空间：c个类别（类别数已知）
1,2, ,i ,c
基本概念
决策
把样本x分到哪一类最合理？解决该问 题的理论基础之一是统计决策理论
决策：是从样本空间S，到决策空间Θ 的一个映射，表示为 D: S --> Θ
假设我们要把一个样本集合 {x1, x2 ,......} 分成M类 1,2 ,.....；., M
图像处理
图像
计算机图 形学
图像识别 图像理解
描述
图像识别
运用模式识别的原理对图像对象进行分类的学问。
模式识别系统
（1）信息的获取 通过传感器，将光或声等信息转化为电信
息。
（2）预处理： A、信号增强：去除噪声，加强有用信息。 信号恢复：对退化现象进行复原。
B、归一化处理 （例如图像大小的归一化； 神经网络输入数据的归一化）
（5）分类决策
在特征空间中对被识别对象进行分类。
思考题：
水果（如苹果和桔子） 图像自动识别系统： 选择那些有效特征，可以把苹果和桔子有效地 区分开来？
3 模式识别的基本问题
（1）特征如何提取？-------特征产生 （2）最有效的特征是那些特征？-------特征选择 （3）对特定任务，如何设计分类器？
以后验概率为判决函数： gi (x) P(i | x)
决策规则：
j argmax P(i | x)
i
即选择P(ω1|x)，P(ω2|x)中最大 值对应的类作为决策结果
该决策使得在观测值x下的条件错误率P(e|x) 最小。 Bayes决策理论是最优的。
后验概率P (ωi| x)的计算
Bayes公式： 假设已知先验概率P(ωi)和观测值 的类条件概率密度函数p(x|ωi)，i=1,2。
-------分类器设计 （4）分类器设计后，如何评价分类器？分类错误
率是多少？ -------分类器评价
模式 传感器 特征产生 特征选择 分类器设计 分类器评价
设计流程
图像识别概念
典型模式识别系统
图像识别系统
人脸识别系统
图像识别
概述 模式可以定义为物体的描述。由于描述这个
词的意义比较广泛，有人把它推广到图像数 据本身，因为图像数据也是相应事物的一种 描述，只不过这样的描述不够抽象和简要而 已。
若对于所有的 则作判决：
j i, j 1,2,均...有,M：
Dij (x) 0
x i
在判决函数完全获得定义之后，分类器的设计才 算结束，可以用于分类。通常，线性判别函数中
的权系数 A是t 用训练或称学习的方法获得的。为
了讨论上的方便，先考虑两类问题。
所谓训练，就是给定一组已经 标定好类号的训练样本 ，求出判别函 数中的各参数。 若以 Y 1 表示第一类的 训练样本，以 Y 2 表示第二类的训练样 本A，Y1则 0对以所及有训AY练2 样0本，有
由于求解最佳判决函数的出发点和途径不同， 因此产生了各种不同的分类方法：
判别函数方法 贝叶斯分类器：判别函数表示为似然比，也称 为 最大似然率分类器或最小损失分类器 集群分类方法：它几乎不需要有关待分样本的 先验知识。
分类器是某种由硬件或软件组成的“机器”：
➢ 计算c个判别函数gi(x) ➢ 最大值选择
基于形式语言理论的概念为基础。模式按其结构分解为子模式 或模式基元，模式基元的连接关系以文法形式进行描述。
一个场景的示意图
场景结构的分析
模糊模式识别
✓ 模糊集理论，Zadeh，1965 ✓ 模糊集理论在模式识别中的应用
神经网络模式识别
✓ 特点：具有信息分布式存储、大规模自适应并行处理、 高度的容错性以及学习能力
region/surface)：
数学上，统计模式识别问题可以归结为：对一
组给定的样本集合，找出其最佳的分类判决函
数
Di ,i 1,2，,...并., M作判决：
若对所有的 j i, j 1,2均,..有.,M：
Di (x) D j (x)
则作判决：
x i
因为处理的是分类问题，因此最佳的意义 是分类误差最小。
J 1 K 1
D(x, y) [ f (x j, y k) t( j, k)]2
j0 k0
4、特征模板匹配
5、 特征匹配
1
mj
N
xj
x j
j 1,2,,W
Dj (x) x mj j 1,2,,W
模式可以是以矢量形式表示的数字特征；
也可以是以句法结构表示的字符串或图；
还可以是以关系结构表示的语义网络或框 架结构等。
✓ 缺点：实际应用中仍有许多因素需要凭经验确定，比如 如何选择网络节点数、初始权值和学习步长等；局部极 小点问题、过学习与欠学习问题等
特征选择
所要提取的应当是具有可区别性、可靠 性、独立性好的少量特征。
因此特征选择可以看作是一个(从最差 的开始)不断删除无用的特征和组合有关联 的特征的过程，直到特征的数目减少到易于 驾驭的程度，同时分类器的性能仍能满足要 求为止。
2
P( j ) p(x | j
)
0.2
0.4 0.9
0.1 0.4
0.1
0.182
j 1
j argmax P(i | x) 1
i
x 1
决策结果
p(x|ω1) p(x|ω2)
p(ω1|x)
1 Nj
Nj
(xij ˆ xj )(yij ˆ yj )
i1
ˆ xjˆ yj
它的取值范围为 [1,1]。
如果=0，说明这两特征之间没有相关性；接近+1 表示这两个特征相关性强；为-1表示任一特征都与 另一特征的负值成正比。
因此，如果相关系数的绝对值接近1，则说明这两 个特征可以组合在一个特征或干脆舍弃其中一个。
每类的每一个特征均值：
假设训练样本中有M个不同类别的样本。令
N
j
表示第 j 类的样
个特征分别记为
本数，
x ij 和
第
y ij
j 类中第
。
i
个样本的两
每类的每一个特征均值：
ˆ xj
1 Nj
Nj
xij
i 1
和
ˆ yj
1 Nj
Nj
yij
i1
注意：仅是两个值基于训练样本的估计值，而不是
真实的类均值。