ch2_2.3.2正态分布下的Bayes判据的判别函数和决策面(线性、二次分类器)

• 这些性质可以使我们从一组判别函数推导 出另外的判别函数，以便计算上更加简单， 或者意义更清楚，便于理解。
2013-9-12
四川大学、电气信息学院、余勤
18
2. 多类的二次和线性分类器
• 当每类都是正态分布，其均值和协方差分别为 k 和 k 时， 这时的最小错误率决策规则的判别函数为：
gk x
• 上式是二次分类器。计算x到各类均值 i 的
1 Mahalanobis距离，然后和阈值 T ln 2 2ln (x ) (x )
T i 1 i i
相比较，决定 x 属于第一类或第二类。
2013-9-12
四川大学、电气信息学院、余勤

2 pl ( x ) ω2 dx Neymen Pearson决策

2013-9-12
四川大学、电气信息学院、余勤
5
• 当各类的类条件密度是多元高斯分布时，
pi
x 2
d
p( x | i ) 1
2
i
1
2
T 1 exp x i i 1 x i (2 48) 2
2.3.2 正态分布下的Bayes判据的 判别函数和决策面
(二次和线性分类器)
2013-9-12
四川大学、电气信息学院、余勤
1
• 前面讲的提供了设计各种特定形式分类器的 基础。 • 这一小节讲述二次和线性分类器。所以叫作 二次或线性分类器是因为分类（决策）面方 程的数学形式是二次或线性的。 • 这样的分类器又叫参数分类器，因为它们由 一些参数所规定（如分布的均值和方差）。
0 1 4 0 1
0 1 0 0 2 2
11
的分类边界，并画出其曲线。
四川大学、电气信息学院、余勤
• 解： h x x 1
h x x1
T
1
1
x 1 x 2
2 2 2
x1 4 x 2 4 x1 x 2 4 x 2 4
2 2 2 2
3x1 3x 2 4 x 2 4
2 2
2013-9-12
四川大学、电气信息学院、余勤
12
4 2 4 2 3 x 2 x 2 x1 3 3
2 2 4 4 2 3 x 2 x1 3 3 9
h x xT A x bT x c
2013-9-12
四川大学、电气信息学院、余勤
(2)
10
• 例1：两维时的二次分类器的决策边界 假定两类模式都是高斯分布的，参数为：
1 1 0 1 2 4 0
求 h x T 0
2013-9-12
2013-9-12
四川大学、电气信息学院、余勤
2
• 二次或线性分类器的引出：
在一定的分布和条件下（如正态、等协方差 矩阵），贝叶斯决策可以导致二次或线性分 类器。
虽然贝叶斯决策（似然比检验）在错误率或 风险上是最优的，但必须知道类条件密度。 (在大多数应用场合，类条件密度函数是从有限的样本中估
量相乘的项，可采用旋转坐标系的方法，把坐标轴 旋转到A的特征向量的方向。曲面的几何形状由A的 特征值决定。如果A的特征值全部是正的，则是超 椭球面；如果特征值有些正，有些负，则是超双曲 面；如果有些特征值是0，则是超抛物面。）
2013-9-12
四川大学、电气信息学院、余勤
9
• 当 x 落到决策边界的某一侧时，就把它分到 相应的类。也可以把上述二次分类器用到非 高斯分布的密度函数，但这时不能保证错误 率最小。（但所确定的边界是和二阶统计矩 （均值、方差）最相匹配的。） • 任何具有（2）式的分类器都叫作二次分类 器。只有A、b、c是由高斯密度函数确定时， 才叫高斯分类器。
二. 判别函数和多类分类器
1. 多类的判别函数 • 当模式有 N c 2 类，这时的最小错误率的 决策规则可以表示为：
若 g x max g x i k
k
ωi （3）
式中 g x p(ω x ) ，k 1， ， ，N 2 k k c
• g k x 称为判别函数（discriminant function）。它表示决策规则。
• 后两项对所有类是共同的，可以省略。分母中的 也可以去掉，因而有等价的判别函数：
gk x 2k x k 1 k 2lnP(ωk )，k 1， ， ，N c 2
T 1 T
• 上式是x的线性函数。
2013-9-12
四川大学、电气信息学院、余勤
20
• 例2：最小距离分类器。假定各类的先验概率相等， 2 而且各类 k 2 I，k 1， ， ，N c。即 x 的各个分量不 相关，且各类等方差。 解：这时的判别函数化为：
T
2013-9-12
1
x k ln k
2lnP (ωk ) (4)
19
四川大学、电气信息学院、余勤
• 这是二次判别函数。当所有类的先验概率相等时， 可以省略 ln P ( k )。 • 前面已经证明，当两类的协方差矩阵相等时，二 次分类器退化为线性分类器。多类时也是如此。
2013-9-12
四川大学、电气信息学院、余勤
6
定义 h x 2ln l x ，-2倍自然对数,则:
ω1
T

T

h x x 1 1
1
x 1 x 2
2
1
h( x )是关于x的二次函数。
1 x 2 ln T 2ln 2 (1) ω2
一. 两类问题的二次和线性分类器
p x ω1 , 对于似然比检验的决策规则: l x p x ω2 P (ω2 ) ω2 最小错误率 Bayes决策 ω1
P (ω ) 1 P (ω2 ) 12 22 最小风险 Bayes决策 P (ω1 ) 21 11
1
2 1 c
T 1
1 1 2 1 2 ω2
T
• 这时的决策边界 h( x ) T 就退化为线性决策边界（超平面），相 应的分类器为线性分类器。
wT 特别地：当 2 I 时，决策面方程可化为： ( x x0 ) 0 (2 96)
2013-9-12
四川大学、电气信息学院、余勤
14
h x xT Ax bT x c 中，如果两类的 • 在前面的
协方差矩阵相等 1 2 ，则矩阵 这时决策规则为:
h( x ) b
T
A 1 1 1 0 2
ω1 T
x c
b 2
7
• 在一维时，马氏距离 2 用方差标准化的一般距离。i • 展开(1)式，有
T
x i
2
，即比较
ω1
h x x A x b x c
T
ω2
T
(2)
• 式中 1 1 A 1 2
b 2 2 2 1 1
T 1 1 T

P (2 ) T 2ln P (1 )
2013-9-12
四川大学、电气信息学院、余勤
16
) • 由贝叶斯公式，gk x p x ωk P (ωk 和 g k x 等价。即把 gk x 用（3）式中时，决策规则 是一样的。 p • 当先验概率相等时， x ωk 也是一组等价的判 别函数。 • 一般地，若gk x 是任意一组判别函数，则下 面定义的 gk x 也是一组等价的判别函数：
当T=0，h(x)=T=0化为：
2 4 ，是一双曲线。 2 x 2 x1 3 3
2013-9-12
四川大学、电气信息学院、余勤
2
2
13
2 1 2
• 当先验概率相等( T 0）时，最小错误率决策规则选择类条件概 率密度函数大的。 • 由于第二类在 x2 方向上的方差大于类1的，这样密度函数 p( x | 2 ) 在 x2 方向上将有较广的延伸。使得在左边 2区域内 p( x | 2 ) p( x | 1 ) 从而有 x 2 ，尽管这些点比较靠近类1的均值点。
P (ωk )
2
d
2
k
1
2
T 1 1 exp x k k x k 2
• 由于自然对数是单调增的，所以可以定义下面等价 的判别函数：
gk x 2ln gk x d ln2 x k k

gk x agk x b ，k 1， ， ，N c 2
• a>0,b是常数。（也可以是x的函数，但不 能是k的函数。）
2013-9-12
四川大学、电气信息学院、余勤
17
2 • 同样，若 gk x f gk x ，k 1， ， ，N c f是单调增函数，它和 gk x 也是等价的。
T
2
1
x 2 ln
1 2
1 0 x1 x2 0 4 x x1 x2 2 2
4 0 x1 14 0 1 x 2 ln 1 4 2
来自百度文库
x1 4 x 2 4 x1 x 2 2x 2 2
1
1

c 1 1 2 2
2013-9-12
1
1 2 ln 2
四川大学、电气信息学院、余勤
8
• 决策边界 h( x ) T 是二次曲面（超曲面）： 超椭球面、超双曲面、超抛物面、超平面等， 或它们组合的形式。
• （为了确定二次曲面的形状，首先要消掉x的各分
• i (d d 维) 为协方差矩阵， i d维均值向量。 • 这时似然比为
lx
l x
p x ω2
p x ω1
ω1
2 1 1 T 1 T 1 exp x 1 1 x 1 x 2 2 x 2 1 2 2 ω2
gk x x x 2k x k 1 k ln 2lnP(ωk )
T 1 T 1 T
• 当 1 2 N c 时，（4）式化为：
• 上式中，由于第一项和第四项对所有的类都是相 同的，所以等价的一组判别函数为： （5）
计的。后面我们将讲一些密度函数估计的方法。但密度函数 的估计本身是一件复杂工作（其难度不低于分类）并且需要 大量样本。 )
2013-9-12
四川大学、电气信息学院、余勤
3
• 即使我们得到了密度函数，有时用似然比检 验的方法也很难计算，需要大量的时间和空 间。 • 因此我们有时考虑实际中更简便易行的分类 器设计方法。用二次、线性、分段线性分类 器。即先规定分类器的数学（函数）形式， 然后在适当的准则下，来确定这些函数中的 未知参数。 • 这一节先分析在什么条件下贝叶斯分类器变 成二次和线性分类器，第四章再讨论当这些 条件不满足时，如何设计“性能好”的参数 2013-9-12 4 分类器(LDA判别式分析法）。 四川大学、电气信息学院、余勤
w 其中： 1 2 (2 97) 满足（2－96）的x的轨迹是一个超平面
该超平面过 x0 正交于 1 和 2 的连线。当 P ( 1 ) P ( 2 )时， x0 在 连线的中点，当 P ( 1 ) P ( 2 ) 时，x0 在连线上靠近先验概率小的 2013-9-12 15 一边。 四川大学、电气信息学院、余勤