模式识别基本知识

如果用集合论中的子集和元素来代表模式类和模式，可以用集合 论中的概念讨论相似关系。
M 中定义一个关系 R 如果对于所有 x ∈ M ， xRx 成立，则称关 系 R 是自返的
如果对于 x, y ∈ M , xRy ⇒ yRx 成立，则称关系 R 是对称的。相似 关系是满足对称和自返关系的。 如果对于 x, y, z ∈ M , xRy, yRz ⇒ xRz 成立，则称关系 R 是传递的。 同时满足自返、对称和传递关系，则称为等价关系。相等就是一 种等价关系。
怎样决策分类？ 怎样才能满足紧致性条件？ 分类的复杂性在于不存在纯客观的分类标准，因为任何分类都带 有主观性。如鲸在生物中属于哺乳类，应与牛算作一类，但从水 产的角度，鲸和鱼是一类，而牛属畜牧业。
靠哪些特征决定相似与否并进行分类？很大程度上依赖于行为 目的和方法。
3) 特征的生成 特征是决定相似性与分类的关键，当分类的目的决定后，如何找
b 有许多临界点
☉☉◆☉ ◆☉◆◆ ☉◆☉◆☉ ◆☉◆ ☉◆☉☉◆☉◆◆☉
c 临界点已经变到使分类不可能实现 2) 相似与分类
模式识别是把具体的事物归入某一类的过程。（要进行分类，首 先要有类的存在） 人的模式识别过程具有极强的学习能力，通过学习，人不仅能学 会归类（识别），而且能创造新的类别（认知），识别就是再认知。
到合适的特征成为认知与识别的核心问题。
对于一个实际的模式识别系统，只有在特征确定以后，才能对分 类器进行计算，实际中两者常常相互交叉进行。 我们先着重讨论监督学习，即已知训练集样本所属类别的条件下 的分类器设计方法。然后讨论特征提取和选择的准则和算法，再 讨论在不利用或者没有样本所属类别信息的情况下的分类方法， 即非监督模式识别方法。
紧致集的性质 ① 临界点的数量与总的点数相比很少 ② 集合中任意两个内点可以用光滑线连接，该线上的点也属于 这个集合 ③ 每个内点都有一个足够大的领域，该领域中只包含同一集合 中的点
假如每个模式类都满足紧致性假设，则解决模式识别问题就不会 碰到什么原则上的困难了。但对很多实际问题这个假设是不成立 的。
满足等价关系的集合必定可以划分为若干子集，即 M = U M i 而且 M i I M j = φ (i ≠ j)
i
目前，得到广泛应用的相似性度量是在空间中定义的某种距离。
一输入样本集合Χ，用 D 维空间中的一个点表示某个样本，两 个样本 xk 和 x j 的相似性度量δ (xk , x j ) 满足 （1） 相似性度量应为非负值，δ (xk , x j ) ≥ 0 （2） 样本本身之间相似性度量应为最大 （3） 相似性度量应满足对称性，δ (xk , x j ) = δ (x j , xk ) （4） 在模式满足紧致性条件下，相似性度量应是点间距离的单
ω = ω 表示正常 1
ω = ω 表示异常 2
如果已知正常状态的概率 p(ω1 ) ，异常状态的概率 p(ω2 ) ，显然
p(ω1 ) + p(ω2 ) = 1
如果不作细胞特征的仔细观察，只依靠先验概率 p(ω1) ，p(ω2 ) 做决
策，则合理的决策规则为
若
p(ω1 ) > p(ω2 )
则作出ω = ω 的决策 1
模式识别
参考书 1 模式识别，边肇祺，张学工等 编著，清华大学出版社，北京，2000
第一章 绪论
40 年代计算机
模式识别诞生于 20 世纪 20 年代 ⇒ 60 年代成为一门学科。
50 年代人工智能
模式识别推动人工智能系统的发展，扩大计算机应用的可能性。
1.1 模式识别概念 日常生活中的模式识别：物体、声音、气味等。 模式识别⇒用计算机实现人的模式识别能力。 →研究人脑中的模式识别过程对于提高机器的能力有益。 ←研究机器模式识别的能力对于理解人脑中的过程也有很大帮 助。 模式⇒存在于时间和空间的事物，如果可以区别它们是否相同或 者是否相似，都可称为模式。 模式是指我们从事物获得的信息，它表示为具有时间或空间分布
2 预处理 除去噪声，加强有用信息，并对测量仪或其它因素造成的退化现 象进行复原。
3 特征提取和选择
由于图像或波形所获得的数据量相当大，为了有效的实现分类识
别，就要对原始数据进行变换，得到最能反映分类本质的特征。
原始数据⇒测量空间 ⇒
可以进行分别⇒特征空间
维数高
维数低
4 分类决策
分类决策在特征空间中用统计方法把被识别对象归为某一类别。 基本做法是在样本训练集基础上确定某个判别规则，使按这种判 别规则对被识别对象进行分类所造成的错误率最小或引起的损 失最小。
实现⇒用所设计的分类器对待识别的样本进行分类决策。
基于统计方法的模式识别系统主要有 4 个部分组成：数据获取， 预处理，特征提取和选择，分类决策。
数据获取
预处理
特征提取和选择
图 1 模式识别系统的基本组成
分类器设计 分类决策
1 数据获取 计算机能处理的 3 种类型信息
⎧ (1) 二维图像，如文字、指纹、地图、照片 （⎪⎨ 2）一维波形，脑电图、机械振动波形、心电图 ⎪⎩（3）物理量和逻辑值，如体温及各种化验数据
p(ω1 )
则 x ∈ ⎩⎨⎧ωω12
（4）对上式取自然对数，则
若 h(x) = − ln(l(x))
=
−
ln
p(x
/
ω 1
)
+
np( x
/
ω 2
)
>
或
<
ln(
p(ω1 p(ω 2
) ) )
则x
∈
⎩⎨⎧ωω12
例 2.1 假设在某局部地区细胞识别中正常细胞 ω1 和异常细胞 ω2 两类的先验概率分别为
只要各个模式类是可分的，总存在这样一个空间，使变换到这个 空间的集合满足紧致性要求的。这样一个变换只能在解决识别任 务的过程中来求取，是和具体问题密切相关，没有统一解决这种 变换的有效理论和方法。
☉☉☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆
a 没有临界点
☉☉☉☉ ◆◆◆◆ ☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆
类条件概率 p(x / ωi ) i = 1,2
p(ω1 / x)
后验概率 p(ωi / x)
基于最小错误率的贝叶斯决策规则为
简写为
如果 p(ω1 / x) > p(ω2 / x) 则把x归类于正常状态ω1 如果 p(ω1 / x) < p(ω2 / x) 则把x归类于异常状态ω2
（1） 如果
p(ωi
p
(
x
/
ω 1
)dx
= p(ω2 ) p2 (e) + p(ω1 ) p1 (e)
p(x / ω1 ) p(ω1 )
p(x / ω2 ) p(ω2 )
Χ1
t
Χ2
x
决策规则实际上是对每个 x 都使 p(e / x) 取最小值，即是平均错误
率 p(e) 达到最小。
在多类决策过程中（假设为 c 类），很容易得出相应的最小错误
的信息。 模式识别的作用和目的就是在于面对某一具体的事物时将其正 确归入某一类别。如“4”有不同的写法或字体，但都属于同一 类。 把通过对具体的个别事物进行观测所得到的具有时间和空间分 布的信息称为模式。
1.2 模式识别系统
与此相适应的模式识别系统都由两个过程所组成—即设计与实 现。
设计⇒用一定数量的样本（训练集或学习集）进行分类器的设计。
p(ω1 ) = 0.9 ， p(ω2 ) = 0.1，现有一待识别的细胞，其观察值为 x, 从
类条件概率分布曲线得
p(
x
/
ω 1
)
=
0.2
，p
(
x
/
ω
2
)
=
0.4
，试对该细胞
进行分类。
解：分别计算出ω1和ω2 的后验概率
p(ω1
/ x)
=
p(x / ωi ) p(ωi )
2
∑
j =1
p(
x
/
ω
j
p(e
/
x)
=
⎧ ⎨ ⎩
p(ω 2 p(ω1
/ /
x), x),
当p(ω2 / x) > p(ω1 / x) 当p(ω1 / x) > p(ω2 / x)
令 t 为两类的分界面，则特征向量 x 为一维时，t 为 x 轴上的一
点，且
t
将
x
轴分为
2
个区域
Χ 1
∈
(−∞,
t
)
和
Χ
2
∈
(t,
∞)
，则
p(e) = ∫−t ∞ p(ω2 /x) p(x)dx + ∫t∞ p(ω1 /x) p(x)dx
第二章 贝叶斯决策理论
2.1 引言 模式识别的分类问题是根据识别对象特征的观察值将其分到某 个类别中去。统计决策理论是处理模式分类问题的基本理论之 一。贝叶斯决策理论是统计模式识别的一个基本方法，用它进行 分类时要求：
（1） 各类别总体的概率分布是已知的 （2） 要决策分类的类别数是一定的
在连续情况下，假设对要识别的物理对象 d 种特征观察量 x1, x2 Lxd ， 这些特征的所有可能的取值范围构成了 d 维特征空 间， x = (x1 ,L, xd )T 为 d 维向量。 要研究的分类问题有 c 个类别，各类别状态用ωi 表示，i = 1, 2,L, c 对应于各个类别 ωi 出现的先验概率 p(ωi ) 及条件概率密度函数 p(x / ωi ) 是已知的。
类条件概率 p(x / ωi ) i = 1,2 利用贝叶斯公式
p(ω i
/ x)
=
p(x / ωi ) p(ωi )
2
∑
j =1
p(
x
/
ω
j
)
p
(ω
j
)
p(ωi / x) 为后验概率。贝叶斯公式实质上是通过观察 x（即识别细 胞特征的测量）把状态的先验概率 p(ωi ) 转化为后验概率 p(ωi / x)
率的贝叶斯决策规则
如果
1.3 模式识别的一些基本问题
1)模式类的紧致性 为了能在某个空间中进行分类，通常假设同一类的各个模式在该
空间中组成一个紧致集。从这个紧致集中的任何一点可以均匀地 过度到同一集中的另外一点，而在过度中的所有各点都仍然属于 这个紧致集即属于同一模式类。此外当紧致集中各点在任意方向 有某些不大的移动（微小的变形）时它仍然属于这个集合。
=
∫−t ∞
p(x
/
ω 2
)
p(ω 2
)dx
+
∫t∞
p(x
/
ω 1
)
p(ω1
)dx
p(e) = p(x ∈ Χ1 ,ω2 ) + p(x ∈ Χ 2 ,ω1 )
=
p(x ∈ Χ1
/ ω2 ) p(ω2 )
+
p(x ∈ Χ2
/
ω 1
)
p(ω1
)
=
p(ω2 )∫Χ1
p(x / ω2 )dx
+
p(ω1 )∫Χ2
p(e) = ∫−∞∞ p(e, x)dx =∫−∞∞ p(e / x) p(x)dx
其中 ∫−∞∞ ()dx 表示在整个 d 维特征空间上的积分。
对两类别问题，根据贝叶斯决策规则可知，
如果 p(ω2 / x) > p(ω1 / x) 则把x归类于ω2 ，显然作出决策ω2 时，x 的 条件错误概率为 p(ω1 / x) ，反之则为 p(ω2 / x) 。 可以表示为
若
p(ω1 ) < p(ω2 )
则作出ω = ω 的决策 2
如果仅按照先验概率决策就会把所有细胞都归于某一类，没有达
到分类的目的。
p(
x
/
ω 1
)
是正常状态下细胞特征观察
x
的类条件概率密度。
p(x / ω2 ) 是异常状态下细胞特征观察 x 的类条件概率密度
已知：状态先验概率 p(ωi ) i = 1,2
2.2 几种常用的决策规则 2.2.1 基于最小错误率的贝叶斯决策 希望尽量减少分类错误，从此要求出发，利用贝叶斯公式，就能 得出使错误率最小的分类规则。 例子 癌细胞识别 设每个要识别的细胞已做过预处理，抽取出 d 个表示细胞基本特 性的特征成为一个 d 维向量 x, 识别的目的是将 x 分为正常细胞 或者异常细胞
调函数
在各种空间中，只要定义一种距离度量，就可以用这种距离度量 的非增函数作为相似性度量。
如在 D 维欧几里德空间，可以选择
δ (xk , xj ) = f (
D
∑
i =1
(
xki
−
x ji )2 )
有时用两个向量的夹角来度量相似性
δ (xk , x j ) = cos−1
Байду номын сангаас
xT k
x
j
xk x j
)
p
(ω
j
)
=
0.818
p(ω2 / x) = 1 − p(ω1 / x) = 0.182 根据贝叶斯决策规则，有
p(ω1 / x) = 0.818 > p(ω2 / x) = 0.182 所以合理的决策是把 x 归类于正常状态。
以一维情况说明按这种规则进行分类确实使错误率最小 p(e) 为平均错误率
/
x)
=
max
j =1,2
p(ω j
/
x)
则 x ∈ωi
利用贝叶斯公式，可以得到几种最小错误率的贝叶斯决策规则的
等价形式
将贝叶斯公式代入（1）有
（2） 如果
p(x
/ ωi
)
p(ωi
)
=
max
j =1,2
p(x
/ω
j
)
p(ω
j
)
则
x
∈
ω i
（3） 若
l(x) =
p(
x
/
ω 1
)
>或<
p(ω2 )
p(x /ω2 )