第四部分 模式识别

令偏导为零，得最优解 w* ，满足：
Sb w S w 0
* *
48
Fisher 线性判别
即
Sb w S w 1 * * S Sb w w
* *
Sb w* (m1 m2 )(m1 m2 )T w* (m1 m2 )R
6
基本概念
5、模式识别系统的评价 -错误率 -正确率、错误率（虚警/误判）、拒识率
7
§4.2 统计模式识别
§4.2.1统计模式识别的基本概念 1、概念和名词约定
样本sample：待研究对象的个体，包括性质已知或未 知的个体； 类别class：将所研究的样本性质离散化为有限的类别， 认为同一类的样本在该性质上是不可区分的； 已知样本known samples：类别情况已知的样本
18
如何设计分类器？
19
如何设计分类器？
非监督学习(Unsupervised Learning) 无指导情况下的学习、所面对的只有未知答 案的样本、由机器从这些样本中进行学习 （自学习）。 学习的目的在于从这些样本中发现规律，这 种规律应该是某种固有的关系，或者依据 这种规律对对象的分类有某种功用。—— 非监督学习（非监督模式识别）
14
一个简单的例子
如何计算后验概率？ – Bayes公式
风险Risk (of the decision) ―把1角识别成5角” 和“把5角识别成1角” 的风险是不同的！
15
一个简单的例子
16
如何设计分类器？
3、如何设计分类器？
17
如何设计分类器？
两种学习方法： 监督学习（supervised learning） –给出若干已知答案的样本（训练样本 training samples） –由机器从这些样本中进行学习（训练） –学习的目的在于从这些样本中总结规律， 使之能够对新的样本进行判断—— 监督学 习（监督模式识别）
1 mi Ni
xX i
xX i
x
i 1,2.
样本类内离散度矩阵 Si 总类内离散度矩阵
( x mi )(x mi )T i 1,2.
S S1 S 2
43
Sb (m1 m2 )(m1 m2 )T 样本类间离散度矩阵
Fisher 线性判别
其中，S 是对称半正定矩阵，且当 N d 时是非 奇异的；Sb 也是对称半正定矩阵。 PS：如果要考虑先验概率也可定义
24
模式识别系统的基本组成
3.特征选择与提取：为了更好地进行分类， 对特征进行必要的提取与选择； 4.分类器设计：利用已知样本设计(训练)某 种分类器； 5.分类：对未知样本，实施同样的信息获取 与预处理、特征提取与选择，用设计的分 类器进行识别。
25
模式识别系统的基本组成
无已知样本情况：非监督模式识别
Fisher 线性判别
~ 1 因 mi Ni 1 y N yYi i 1 w x w ( N xX i i
T T xX i
x) wT mi
~ ~ 则 (m1 m2 ) 2 (wT m1 wT m2 ) 2 wT (m1 m2 )(m1 m2 )T w wT Sb w
13
一个简单的例子
分类性能： – 错误率(error rate): 分类错误的概率= min{P(ω1), P(ω2)} 硬币的分类：略微复杂一些 两类：1角（ω1）和5角（ω2） 有一种观测特征x（比如重量） 分类器的设计：依据概率—— 后验概率 – 如果P(ω1|x) > P(ω2|x)，则x∈ω1； – 如果P(ω1|x) < P(ω2|x)，则x∈ω2。
这样构成了 N 个一维样本组成的一个集合，可 将其分为 Y1 ,Y2 。 若 || w || 1 ，则每个 yi 就是相应的 x i 到方向为 w 的直线上的投影。 因而要找最好的投影方向，就是要找最好的变换 向量 w* 的问题。
41
Fisher 线性判别
42
Fisher 线性判别
首先介绍几个必要的参量： （1）d 维 X 空间上 各类样本均值向量
y i 1,2.
yYi
~2 Si
~ ( y mi ) 2
yYi
~ ~ (m1 m2 ) 2 Fisher 准则函数： J F ( w) ~ 2 ~ 2 S1 S 2 应选使 J F (w) 尽可能大的 w 作为投影方向。
45
~ ~2 ~2 S S1 S 2
第四章 模式识别
§4.1绪论
1
2
3
一、基本概念
1、模式（Pattern） 存在于时间、空间中可以观察的事物；或 具有时间或空间分布的信息（存在于事物 中）。 2、模式识别 通过对事物的观察对其某种性质的认识，把 样本根据其特征归类。 —— 又称“模式分类”
4
基本概念
例如：字符识别、语音识别、医疗诊断、遥 感图像等。 3、模式识别系统的基本组成
11
统计模式识别的基本概念
12
一个简单的例子
2、一个简单的例子 硬币的分类：最简单的情况 两类：比如1角（ω1）和1分（ ω2 ） 首先考虑没有任何观测值的情况 分类器的设计：依据概率—— 先验概率(a prior probabilities) – 如果P(ω1) > P(ω2)，则x∈ω1 – 如果P(ω1) < P(ω2)，则x∈ω2
对两类的情况，可以采用下述决策规则： g ( x ) 0 则决策 x 属于 1 类； g ( x ) 0 则决策 x 属于 2 类； g ( x) 0 可将 x 任意分到某一 类，或拒绝。 决策面为 g ( x) 0 .
31
线性判别函数方法
1
2
PS：类别界限和决策区域边界不必一致。
28
§4.2.2统计模式识别方法
判别函数方法
思路：首先选定判别函数类和一定的目标 （准则），利用样本集确定出函数类中的 某些未知参数，使所选的准则最好。 一、线性判别函数方法
29
线性判别函数方法
1、线性判别函数的概念
假设模式向量 般形式为：
x 是d维的，线性判别函数的一
w1 w w 2 wd
g ( x) w1 f1 ( x) w2 f 2 ( x) wk f k ( x) wk 1
35
线性判别函数方法
其中 fi ( x)(i 1,2,, k ) 是
x
的单值实函数，
d 是 d 维向量， k . 作非线性变换 yi f i (x) ，可将 g (x) 写成
S P(1 )S1 P(2 )S 2
Sb P(1 )P(2 )(m1 m2 )(m1 m2 )T
其中，P(1 )和 P(2 )为类1和类 2 的先验概 率。
44
Fisher 线性判别
（2）在一维 Y 空间上定义:
各类样本均值
样本类内离散度 总类内离散度
~ 1 mi Ni
20
如何设计分类器？
21
特征的重要性
22
模式识别系统的基本组成
4、模式识别系统的基本组成 有已知样本情况：监督模式识别ห้องสมุดไป่ตู้
23
模式识别系统的基本组成
处理监督模式识别问题的一般步骤： 1.分析问题：看是否属于模式识别问题，把 研究的目标抽象为类别；分析问题中哪些 (可以观测的)因素可能与分类有关； 2.原始特征获取：设计实验方法，得到已知 样本，对这些样本实施观测和预处理，获取 与样本分类有关的观测向量(原始特征)；
33
线性判别函数方法
设 x1 和 x2 都在超平面 H 上，则
w x1 w0 w x2 w0
T T
wT ( x1 x2 ) 0
即
w 是 H的法向量。
34
线性判别函数方法
2、广义线性判别函数
核心思想：通过某种映射，把模式空间 X 变换 成 Y ，而使在模式空间 X 中非线性可分的模式集， 在模式空间 中线性可分。 Y 判别函数：
26
模式识别系统的基本组成
处理非监督模式识别问题的一般步骤 1.分析问题：看研究的目标是否可能抽象为 若干类别；分析问题中哪些(可以观测的)因 素可能与所关心的类别有关； 2.获取原始观测：观测未知样本，获取原始 特征；
27
模式识别系统的基本组成
3.特征提取与选择：进行必要的特征提取与 选择； 4.聚类分析：采用某种方法将未知样本分类； 5.结果解释：分析所得的类别与所关心的目 标之间的关系；如问题需要，用同样的方法 对新的未知样本进行分类。
8
统计模式识别的基本概念
未知样本unknown samples：类别情况未知的样本； 样本集sample set：若干样本的集合，分已知样本集 和未知样本集； 特征features：样本的任何可区分的（且可观测的） 方面； 特征向量feature vectors：样本的所有特征组成的n 维向量是样本在数学上的表达，因此也称作样本。
32
线性判别函数方法
1.40 1.00 0.60 1.40 1.00 0.60 0.20 0.30 0.40 0.50 0.60 （a）特征空间中的绿苹果和橘子
X 绿苹果
x2
绿橘子
X2
橘子
0.20 0.30
x1
0.70
红苹果
0.40
0.50
0.60
x1 0.70
（b）一个类似橘子的红苹果和一个可疑的浅 绿色的橘子
~2 ~ )2 Si ( y mi
yYi T
xX i
(w
T
x w mi )
T
2
T w ( x mi )(x mi ) w wT Si w xX i