贝叶斯决策分类

山东大学 控制科学与工程学院
4
上面的规则可简写为：
利用贝叶斯公式还可得到几种最小错误率决策的等价形式：
似然比 似然比阈值
山东大学 控制科学与工程学院
5
还可利用其它几个等价形式做出决策，同学们自己试试。
山东大学 控制科学与工程学院
6
我们在前面只是给出了最小错误率贝叶斯决策规则，但尚未证明按这种规则
模式识别就是根据特征向量x 的取值，依据某个判决准则把样本 x 划分到 1,2 , ,c 中的一个。
§2.2 基于最小错误率的贝叶斯决策
在模式分类问题中，人们往往希望尽量减少分类的错误，从这样的要求出 发，利用概率论中的贝叶斯公式，就能得出使错误率最小的分类规则，称之 为基于最小错误率的贝叶斯决策。
j1
i j
由上式可以看出，取 R( j x)最小实际就是取P(j x) 最大，因此当取0－1损
失函数时，最小风险贝叶斯决策规则等价于最小错误率贝叶斯决策规则。
这说明：最小错误率贝叶斯决策规则是最小风险贝叶斯决策规则的特例。
山东大学 控制科学与工程学院
12
例：假设在某个局部地区的细胞识别中，第一类表示正常，第二类表示异常，
（若P(1) P(2 ) ，被识别细胞应属于哪一类？） 只依靠先验概率分类，不能把正常细胞和异常细胞区别开来。因为先验概
率提供的信息太少。为此，我们需对细胞做病理分析，抽取出d维观测向量。 假定只用一个特征（如细胞核光密度）进行分类，即d＝1。根据前面的假设， 类别条件概率分布应为已知，假设如图所示：
例如，在癌细胞识别中，我们已经认识到把异常判断为正常地损失更为严 重，所以希望这种误判的错误率P2 (e)很小，即使P2 (e) 0 ，0 是一个很小的常 数。在这种条件小再要求 P1 ( e)尽可能地小。
这样的决策可看成是在P2 (e) 0 的条件下，求P1(e)的条件极值问题。可用 Lagrange乘子法来解决，建立数学模型为
c
R( j x) ( j ,i )P(i x).
j1
山东大学 控制科学与工程学院
13
解：根据最小风险贝叶斯决策规则进行判断，可以求出
P(1 x) 0.818
P(2 x) 0.182
2
R(1 x) 1i P(i x) 1.092
i1 2
R(2 x) 2i P(i x) 0.818 R(1 x)
j
,i
)

0,
(i

1,
2,
, c)
当样本 x 的真实类别未知时，决策 j的条件风险是对 x为所有可能的真实类别
条件下将样本判为第j类的代价求平均，即
c
R( j x) ( j ,i )P(i x).
j1
与最小错误率贝叶斯决策规则类似，若对每一个 x 都选择最小的条件风险，
就能保证总体风险最小，因此得到最小风险贝叶斯决策规则如下：
（4）特征向量x 的类条件概率密度函数为 p(x i )假设为已知，其表 示当样本 x i 时，特征向量 x 的概率密度函数。
山东大学 控制科学与工程学院
1
（5）特征向量 x的后验概率为P(i x) ，表示在特征向量x 出现的条件下， 样本 x 来自i 类的概率，即 i 类出现的概率。
1
)
P(1
)



(1
,
2
)


(
2
,
2
)
p(x
2Baidu Nhomakorabea
)
P(2
)

x

1 2
L(x)
p(x 1) P(2 ) (1,2 ) (2,2 ) p(x 2 ) P(1) (2,1) (1,1)
x 12
山东大学 控制科学与工程学院
损失。
山东大学 控制科学与工程学院
9
在实际应用时，可以将( j ,i )简写为ji ，写成损失矩阵形式，
11 12 21 22

c1 c2
1c
2c


cc

对于给定类i 的样本，正确判断时的代价函数应该是最小的，即

(i
,i
)

min j

(
R1
p(x
2
)dx

0

1
R1
p(x
1
)dx




R1
p(x
2
)dx

0

(1 0 ) R1 p(x 2 ) p(x 1) dx
将上式分别对 x 和 求导，令 0 及 0 ，有
i1
所以，应将细胞样本判为第二类，即为异常。
山东大学 控制科学与工程学院
14
§2.3 聂曼－皮尔逊（Neyman－Pearson）决策法
在两类别决策问题中，有犯两种错误的可能性：
一种是在采取决策1 时其实际自然状态为2 ； 一种是在采取决策2 时其实际自然状态为1 。 如前面所讲，这两种错误的概率分别为P(2 ) P2 (e) 和P(1) P1(e) ，最小错误 率贝叶斯决策就是使这两种错误率之和P(e)为最小。
11
损失函数根据实际问题和经验确定。在最小风险贝叶斯决策中，若将损失函
数取为
( j ,i )

0, (i 1, (i

j) , (i,
j)
j
1,2,
,c)
则这种损失函数称为0－1损失函数。此时，决策 j 的条件风险为：
c
R( j x) ( j ,i )P(i x) P(i x) 1P( j x).
x

p(x 1) p(x 2 )
R1 p(x 2 )dx 0
山东大学 控制科学与工程学院
17
满足上面两式的最佳 值和边界面就能使 极小，此时的决策规则可以写为：
或写为
这种限定一类错误率为常数而使另一类错误率最小的决策规则就称为聂曼－ 皮尔逊决策规则。回顾以前学过的最小错误率贝叶斯决策规则
在模式分类的决策中，使错误率 P(e)达到最小是重要的。但实际上有时需要 考虑一个比错误率更为广泛的概念——风险。
以癌细胞识别为例，对细胞分类不仅要考虑到尽可能作出正确判断，还要 考虑作出错误判断时会带来什么后果。
把正常细胞判为异常
后果：会给病人带来精神负担
把异常细胞判为正常
后果：会让患者错过进一步检查的机会
p(x 1) p(x 2 )




由于 的作用主要是影响积分域，因此，根据上式求 的解析式很难，下面 介绍一种实用的计算求解方法。
根据上式， 越大，R1 越小，从而 P2 (e) 也越小，即 P2 (e) 是 的单调递减 函数。给定一个 值，可求出一个P2 (e) 值，在计算的值足够多的情况下，可 构成一个二维备查表。给定一个 0 后，可查表求得相应的 值，这种方法得 到是计算解，其精度取决于二维表的制作精度。
第二章 贝叶斯决策理论
§2.1引言
模式识别的分类问题是根据识别对象特征的观察值将其分到某个类别
中去。统计决策理论是处理模式分类问题的基本理论之一，它对模式分析 和分类器的设计有着实际的指导意义。贝叶斯（Bayes）决策理论是统计 模式识别中的一个基本方法。
基本假设
给定模式空间S，由c个互不相交的模式类集合 1 ，2 ，…，c 组成，
进行分类确实能使错误率最小。现在仅以一维情况来完成这一证明，其结果不 难推广到多维。
山东大学 控制科学与工程学院
7
最小错误率贝叶斯决策规则实际上是对每个x
都使 P(e x)取小者，这就使上式的积分值也 必然达到最小，即使平均错误率P(e) 达到最 小。得证。
山东大学 控制科学与工程学院
8
§2.2 基于最小风险的贝叶斯决策
两类的先验概率分别为：正常 P(1) ， 0异.9常 P(2 ) 。0现.1有一待识别样
本细胞，其观察值为 ，从x 类条件概率密度函数曲线
P(x上i查) 得：
P(x 1) 0.2，P(x 2 ) 0.4，并已知损失矩阵为
正常。
0 1
6 。试判断该细胞是否 0
同学们先自己做一下。
2 表示异常
山东大学 控制科学与工程学院
2
类别的状态是一个随机变量，某种状态出现的概率是否可以估计？
（如根据医院细胞病理检查的大量统计资料可对某个地区正常细胞和异常细 胞出现的比例做出估计）
对于两类问题 P(1) P(2 ) ? 如不作细胞特征的仔细观测，只依靠先验概率P(1), P(2 ) 去做决策，如何 做？
即 S 1 2
c ，i j ，i j,i, j 1,2, ,c 。几个基本假
设如下。
（1）假定类i 的先验概率P(i ) 已知；
（2）样本（或模式）x 由特征向量来表示，同样记为 x ，假设为d维，
即
x ( x1, x2 , ；, xd )
（3）特征向量 x的取值范围构成特征空间，记为 Rd；
讨论一般问题之前，先举个例子说明解决问题的过程——癌细胞的识别：
假设每个要识别的细胞已做过预处理，抽取出d个表示细胞基本特性的特征， 成立一个d维空间的向量 ，识x别的目的是要将 分类x 为正常细胞或者异常细
胞。用决策论的术语来讲是将 归类x于两种可能的自然状态之一，如果用 来
表示状态，则
1 表示正常；
山东大学 控制科学与工程学院
10
最小风险贝叶斯决策规则
如果
R(k
x)

min
i1,2, ,c
R(i
x) ，则判决 x k
。
对于两类问题，条件风险为
R(1 x) (1,1)P(1 x) (1,2 )P(2 x)
R(2 x) (2,1)P(1 x) (2,2 )P(2 x)
按最小风险贝叶斯决策规则有 根据贝叶斯公式，上式R(有1几x)种 R等(价2 形x)式 x 12
(2 ,1) (1,1) P(1
x
)



(1,
2
)


(
2
,
2
)
P(2
x)

x 12

(2
,1
)


(1
,
1
)
p(
x
下面举例说明。
山东大学 控制科学与工程学院
19
例：两类二维正态分布模式的均值向量为 m1 (1,0)T，m2 (1,0)T ，其协方差
矩阵均为单位阵 I ，即 1 2 I 。现确定0 0.04 ，求聂曼－皮尔逊判别阈
值。 解：因为
p(x
1 )
先 验 概 率
山东大学 控制科学与工程学院
3
利用贝叶斯公式，有
得到的条件概率 P(i x) 称为状态的后验概率。 贝叶斯公式实质上是通过观察 x（即被识别细胞特征的测量）把状态的先
验概率 p(x i ) 转化成状态的后验概率P(x i )，
后 验 概 率
这样基于最小错误率的贝叶斯决策规则为：如果P(1 x) P(2 x) ，则把 x 归 类于正常状态 1 ，反之若 P(1 x) P(2 x)，则把 x 归类于异常状态2 。
哪种后果严重？
最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的。设样本x 来 自i ，可能被判为 1,2 , ,c 中的一种。为表述方便，引入以下符号：
（1）决策 j ：将样本 x 的类别判为第j类；
（2）损失函数 ( j ,i )：对真实类别为第i类的样本采取决策 j所带来的
P1(e) R2 p(x 1)dx P2 (e) R1 p(x 2 )dx
边界面
山东大学 控制科学与工程学院
15
由于先验概率P(1)，P(2 )对具体问题来说往往是确定的，所以一般称 P1(e) ， P2 (e) 为两类错误率。实际中，有时要求限制其中某一类错误率不得大于某个 常数，而使另一类错误率尽可能地小。
P1(e) (P2 (e) 0 ) 其中 是Lagrange乘子，目的是求 的极小值。
山东大学 控制科学与工程学院
16
将 P1(e) 和 P2 (e) 代入上式可得
P1(e) (P2 (e) 0 )

R2
p(x
1
)dx



以及最小风险贝叶斯决策规则
可以看出它们都是以似然比为基础的，所不同的是所使用的阈值不同。
山东大学 控制科学与工程学院
18
聂曼－皮尔逊决策所使用的阈值是Lagrange乘子，它是下面两个方程的解
p(x 1) p(x 2 )
R1 p(x 2 )dx 0
R1

x
L(x)