模式识别-第三章-用有标签样本进行学习的统计模式识别-1

1 T ◆识别函数（对于最小欧氏距离判别） d ( X ) = X M i − M i M i i 2 T 其中 X = ( x1 , x 2 ,..., x n ) M i = (m i1 , m i 2 ,..., m in )T X ' = ( x1 , x2 ,..., xn ,1)T 设扩展特征向量（n+1维）
课后练习1
见附录
用用最小距离分类判别方法时的识别函数 最小距离分类判别方法时的识别界面 画出该识别界面将训练样本的区分结果图示 对未知类别样本的识别
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
11
线性识别函数、扩展特征向量和扩展权向量
线性识别函数、扩展特征向量和扩展权向量（续4）
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
16
§3.3 用广义线性识别函数做分类判别（边书P85～）
最小欧氏距离判别存在的问题（例）—各类离散程度不同 x2
0
x1
2011/3
i
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
3
模式和模式类
清 清 清 清 ↓
C7E5
2011/3
华 华 华 华 ↓
BBAA
大 大 大 大 ↓
B4F3
学 学 学 学 ↓
D1A7
→ 方正舒体 → 隶书 → 幼圆体 → 华文彩云体
设界面上的一点
T
P = p1, p 2,..., p n
T 1 T P • (Mi − M j ) − Mi • Mi − M j • M j = 0 2
2011/3 Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别 7
(
(
)
)
识别界面（续1）
用最小欧氏距离（Euclidean distance）分类
对未知类别的一个输入模式X，计算
Di = X − M i , i = 1,2,..., s i, j ∈ { ,2,..., s} 1 如果 D j = min {Di}
s
那么
X ∈ω j
最小欧氏距离判别的线性识别函数（边书P83～） 2 1 T ⎛ T 2 T = X − M i = X • X − 2⎜ X • M i − M i • M i ⎞ ⎟ Di 2 ⎝ ⎠
§3.2 最小欧氏距离分类判别和线性识别函数
设需要识别的模式总共有s个类： ω1,ω2,…,ωs
例：汉字 例：数字
人工观察后，确定需要抽取（测量）n个特征 物理模式 → n维特征向量：X=(x1,x2,…,xn)T 设每个类各有一个代表这个类的“标准模式”（模板）
（例如，求同类样本的均值），记作
M1, M2,…, Ms (n维向量)，可取 1 Mi= ∑ X Ni 为ωi 类中的样本数 N i X ∈ω
那么
X ∈ω j
s
注： • 最小欧氏距离判别的识别函数是线性函数 • 线性判别函数不局限于最小欧氏距离判别---线性界面不局限于中垂面（不再是最小欧氏距离判别） • 最小欧氏距离判别是线性判别的一个特例 • 线性分类器采用线性函数进行分类判别
2011/3 Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别 10
( X ) = W iT X ' di
j
的几何意义（边书P84-85）
第 i 类与第 j 类之间的界面方程
d (X
T Wi
)=
'
d i (X ) − d
T
(X ) = 0
X −W j X ' = 0 −W j ) X ' = 0
13
T (W i
T
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
W X + wn +1 = 0
T
T
在识别界面上任取一点P
w W P = − n +1 W W W W
T
P构成的识别界面（超）平面的单位法向量
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
14
线性识别函数、扩展特征向量和扩展权向量（续3）
(
)
( X ) = W i X ' i = 1, 2 ,..., s di （不局限于最小欧氏距离） T 其中 Wi = (wi1 , wi 2 ,..., win , wi ( n +1) ) X ' = ( x1 , x2 ,..., xn ,1)T
◆一般的线性识别函数
T
wi1 , wi 2 ,..., win , wi ( n +1) 可以是任意的权重系数，不局限于与第i类均值向量有关
1 T 1 T di ( X ) − d j ( X ) = X • (Mi − M j) − 2 Mi • Mi + 2 M j • M j = 0 T
T
d i (X ) > d j (X ) ⇒ X ∈ω i d i (X ) < d j (X ) ⇒ X ∈ω j 识别界面 d i ( X ) = d j ( X )
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别 1
2011/3
有监督学习的基本概念（续）（边书P227）
物 理 模 式
数 据 获 取
预 处 理
特 征 提 取
比较分类 （判决）
结果输出
识别过程
特征库
训练过程
2011/3 Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别 2
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
24
广义线性识别函数举例
高次多项式（2个特征值、2次多项式） 广义线性识别函数
2 d i ( X ) = wi1 x12 + wi 2 x1 x2 + wi 3 x2 + wi 4 x1 + wi 5 x2 + wi 6
清 华
大 学
4
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
学习（训练）、模式（样本）、模式类
→0 →1 →2 →3 →4
2011/3 Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别 5
省略与 i 无关的项，得相应的线性的识别函数：
1 T d i (X ) = X • M i − 2 M i • M i
T
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
6
识别函数（续）
求最小距离 → (i=?)时，X的线性识别函数 d i ( X ) 最大？ 考虑只有ωi, ωj两个类的问题时，即给定未知类别模式X:
T
Wi = wi1 , wi 2 ,..., win , wi ( n +1) T i = 1, 2 ,..., s 设扩展权向量（n+1维） 1 T j = 1, 2 ,..., n wi ( n +1) = − M i M i 其中 wij = mij 2 T ( X ) = W i X ' i = 1, 2 ,..., s 最小欧氏距离判别是线性识别函数 d i
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
17
用广义线性识别函数做分类判别（续1）
线性识别函数存在的问题（例）—非凸决策区（不是线性可分） x2
○○○○○○○○○○○○○○○ ○○○○○○○○○○○○○○○ ○○○○○○○○○○○○○○○ ○○○○○○○○○○○○○○○ ○○○○○○○○○ △△△△△△△ ○○○○○○○○○ ○○○○○○○○○ △△△△△△△ ○○○○○○○○○ △△△△△△△ ○○○○○○○○○ ○ ○ ○○ ○ ○ ○ ○ ○ △△△△△△△
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
20
线性识别函数存在的问题（实例续2）
2011/3
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
21
线性识别函数存在的问题（实例续2）
w W P = − n +1 W W
P
T
W W
W X W
T
d(X)的值正比于点X到 识别平面的距离Dx X
T W X + w n +1
W
原点
2011/3
−
w n +1 W
WT X + wn+1 = 0
15
Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别
( (
)
)
j
2
Mi−M
Mj