模式识别之二次和线性分类器

17
二. 判别函数和多类分类器
1. 判别函数
• 当模式有N c 2 类，这时的最小错误率的 决策规则可以表示为：
若
g
i
x


max k
g
k
x

ωi （※）
式中 gk x Pr ωk x ，k 1，2，，Nc
• gk x称为判别函数（discriminant
2
• 即使我们得到了密度函数，有时用似然比检 验的方法也很难计算，需要大量的时间和空 间。
• 因此我们有时考虑更简便易行的分类器设计 方法。用二次、线性、分段线性分类器。即 先规定分类器的数学形式，然后在适当的准 则下，来确定这些参数。
• 这一节先分析在什么条件下贝叶斯分类器变 成二次和线性分类器，然后讨论当这些条件 不满足时，如何设计“性能好”的参数分类 器。
在一定的分布和条件下（如正态、等协方 差矩阵），贝叶斯决策可以导致二次或线 性分类器。
虽然贝叶斯决策（似然比检验）在错误率 或风险上是最优的，但必须知道类条件密 度。在大多数应用场合，类条件密度函数 是从有限的样本中估计的。后面我们将讲 一些密度函数估计的方法。但密度函数的 估计本身是一件复杂工作（其难度不低于 分类）并且需要大量样本。
• 在前面的h(x)= xTAx+bTx+c中，如果两类的 协方差矩阵相等，K1= K2= K，则矩阵A=0， 这时决策规则为：
16
ω1
hx bT
x c

T
ω2
式中 b 2K 1m2 m1
c m1T K 1m1 m2T K 1m2
• 这时的决策边界就退化为线性决策边界（超 平面），相应的分类器为线性分类器。
3
一. 两类问题的二次和线性分类器
对于似然比检验的决策规则：
ω1
lx
px ω1 px ω2

T,
ω2
Prω2
T

Prω1

Prω212 Prω1 21

22 11

2 p l ω2 d x 4
• 当各类的类条件密度是高斯分布时，
10
• 例1：两维时的二次分类器的决策边界 假定两类模式都是高斯分布的，参数为：
1 0 K1 0 14
ቤተ መጻሕፍቲ ባይዱ1
K2


4 0
0
1
m1

0 0
m2

0 2
求 hx T 0 的分类边界，并画出其曲线。
11
• 解：
hx x1
x2

1 0
0 4

x1 x2


x1
x2

2
4 0
0 1
x1 x2
2

ln
1 4 1 4
x12 4x22 4x12 x2 2x2 2
x12 4x2 2 4x12 x2 2 4x2 4
13
14
22
P a tte rn C la ssifica tio n , C h a p te r 2 (P a rt 1 )
15
• 当先验概率相等时，最小错误率决策规则选 择密度函数大的。
• 由于第二类在x2方向上的方差大于类1的，这 样密度函数p(x|ω2)在x2方向上将有较广的延 伸。使得在左边R2区域内有p(x|ω2) > p(x|ω1)， 尽管这些点比较靠近类1的均值点。
c
m1T K11m1 m2T K21m2
ln
K1 K2
8
• 决策边界h(x)=T是二次曲面（超曲面）：超 椭球面、超双曲面、超抛物面、超平面等， 或它们组合的形式。
• （为了确定二次曲面的形状，首先要消掉x的各分
量相乘的项，可采用旋转坐标系的方法，把坐标轴 旋转到A（※※）的特征向量的方向。曲面的几何 形状由A的特征值决定。如果A的特征值全部是正 的，则是超椭球面；如果特征值有些正，有些负， 则是超双曲面；如果有些特征值是0，则是超抛物 面。）
pi
x

2
1
n 2
Ki
1 2
exp
1 2
x
mi
T
Ki1 x
mi


• mi和Ki为均值向量和协方差矩阵。
5
• 这时似然比为
ω1
lx
K2 K1
exp
1 2
x
m1
T
K11x m1
1 2
x m2 T
K21 x m2
2.3 二次和线性分类器
• 前面讲的统计决策理论提供了分类器设计的 基础。
• 这一小节讨论二次和线性分类器。所以叫作 二次或线性分类器是因为分类（决策）面方 程的数学形式是二次或线性的。
• 这样的分类器又叫参数分类器，因为它们由 一些参数所规定（如分布的均值和方差）。 非参数分类器以后要讲。
1
• 这一节的目的（概念）有两个：


ω2
定义 hx 2ln lx，-2倍自然对数,则: ω1
hx x m1T K11x m1 x m2 T K2 1 x m2 ln
K1 K2
T 2ln

ω2
6
• 上式是二次分类器。计算x到各类均值mi的
Mahalanobis距离，然后和阈值
9
• 当x落到决策边界的某一侧时，就把它分到 相应的类。也可以把上述二次分类器用到非 高斯分布的密度函数，但这时不能保证错误 率最小。（但所确定的边界是和二阶统计矩 （均值、方差）最相匹配的。）
• 任何具有（※※）式的分类器都叫作二次分 类器。只有A、b、c是由高斯密度函数确定 时，才叫高斯分类器。
T
ln
K1 K2

相比较，决定x属于第一或第二类。
7
• 在一维时，马氏距离 x mi 2 ，即比较
用方差标准化的一般距离。 i 2
• 展开h(x)式，有
ω1
hx
x T Ax bT
x c

T
（※※）
• 式中
ω2
A K11 K21 b 2 K21m2 K11m1
3x12 3x2 2 4x2 4
12
3 x2 2

4 3
x2

x1 2

4 3

3
x2

22
3

x12

4 3

4
9
假定T=0，h(x)=T=0化为：
x2

2 2 3

x1 2
4 2 3
，是一双曲线。