模式识别04-贝叶斯分类器

(R) 模式识别与智能系统研究所 11
2011-12-22
最小误判概率准则

两类问题：Two-class cases: 1, 2



先验概率(A priori probabilities): P(1), P(2) 这两个先验概率可以利用已有的特征向量（或称为样本） 进行估计： P(1)N1/N, P(2) N2/N 另外已知的量是类条件概率密度函数【class-conditional probability density functions (pdfs)】：p(x|i) 称为i类关于x的似然函数(Likelihood function of i with respect to x) 对于离散情况，p(x|i)P(x|i) p(x|i) could also be estimated from the available training data. An important implicit assumption: the feature vectors can take any value in the l-dimensional feature space.
(R) 模式识别与智能系统研究所 12
2011-12-22
最小误判概率准则

基本规则(Basic rule)

P(i|x) = p(x|i)P(i)/p(x), where
p( x)

n
p ( x | i ) p ( i )
i 1

于是贝叶斯分类规则就是：

如果 P(1|x)> (<) P(2|x), 则 x 就被指定属于 1 (2)类 也可以等价地表述为： p(x|1) P(1) > (<) p(x|2) P(2) x 1 (2) p(x|1) > (<) p(x|2) x 1 (2) (for P(1) = P(2))
参数估计和非参数估计xxxppppiii????20111222r模式识别与智能系统研究所28?参数估计矩估计法参数估计和非参数估计20111222r模式识别与智能系统研究所29参数估计和非参数估计?参数估计矩估计法20111222r模式识别与智能系统研究所30参数估计和非参数估计?参数估计矩估计法20111222r模式识别与智能系统研究所31参数估计和非参数估计?参数估计矩估计法20111222r模式识别与智能系统研究所32参数估计和非参数估计?参数估计矩估计法20111222r模式识别与智能系统研究所33参数估计和非参数估计?参数估计最大似然估计20111222r模式识别与智能系统研究所34参数估计和非参数估计?参数估计最大似然估计20111222r模式识别与智能系统研究所35参数估计和非参数估计?参数估计最大似然估计20111222r模式识别与智能系统研究所36参数估计和非参数估计?参数估计最大似然估计20111222r模式识别与智能系统研究所37参数估计和非参数估计?非参数估计窗函数法?直接用已知类别样本去估计总体密度分布方法有
2011-12-22
(R) 模式识别与智能系统研究所
17
目录



复习 贝叶斯决策基本思想 最小误判概率准则 最小损失判别准则 参数估计和非参数估计 总结和作业
2011-12-22
(R) 模式识别与智能系统研究所
18
最小损失判别准则

基本思想

最小误判概率准则不一定是最佳的分类准则，因为该准则 赋予每种误差以相同的重要性(The classification error probability is not always the best criterion to be adopted for minimization, because it assigns the same importance to all errors) 实际上，有许多不能仅靠最小误判来做决策的情形 (However, there are cases in which some errors may have more

P ( i | x )
P ( x | i ) P ( i ) P( x)
例子


一批人进行癌症普查。癌症患者为1类，正常者为2类。 统计表明，人们患癌症的概率是P(1)=0.005，则 P(2)=0.995。有一个诊断此病的实验，结果有阳性和阴性 之分，用于诊断。化验结果是一维离散模式特征。资料表 明：癌症患者有阳性反应概率是0.95，即P(x=阳|1)=0.95， 从而P(x=阴|1)=0.05，而正常人阳性反应的概率是0.01， 即P(x=阳|2)=0.01，于是P(x=阴|1)=0.99。如果一个人测 试结果呈阳性，其患癌症的概率是多少？ 分析：求P(1|阳)。 已知：P(1), P(2)；P(阳|1), P(阴|1), P(阳|2), P(阴|2)。
2011-12-22
(R) 模式识别与智能系统研究所
16
P ( i | x )
P ( x | i ) P ( i ) P( x)
最小误判概率准则

p( x)

n
p ( x | i ) p ( i )
i 1
例子

已知：P(1), P(2)；P(阳|1), P(阴|1), P(阳|2), P(阴|2) 于是，P(1|阳)=P(阳|1) P(1)/P(阳) 显然，首先需要计算P(阳)，需要利用全概率公式。

k 1

则与k相关联的风险损失就是
rk

ki i 1
M
Ri
p ( x | k )dx
2011-12-22
(R) 模式识别与智能系统研究所
20
最小损失判别准则

那么，所有风险损失就是：
r


r P(
k i 1
M
k
)
(
i 1 Ri k 1
M
M
ki
p( x | k ) P( k )) dx


P(阳)= P(阳|1) P(1) + P(阳|2) P(2) =0.95*0.005 + 0.01*0.995 =0.0147 P(1|阳)=P(阳|1) P(1)/P(阳) = 0.95 *0.005/0.0147 = 0.323


于是有阳性反映的人患癌症的概率是32.3%。如果医生必 须判决其属于哪一类时，由于 P(2|阳) = 10.323 = 0.677 > P(1|阳) = 0.323 所以应当判决为正常人。只是该人值得高度怀疑。
serious implications that others) 于是，对于不同的误差赋予不同的惩罚项(penalty term)就显得十 分必要：ki 就是将属于k的样本x判给i导致的误差。 可以得到一个损失矩阵(loss matrix)：L(k, i)



2011-12-22
(R) 模式识别与智能系统研究所
2011-12-22
(R) 模式识别与智能系统研究所
4
复习
上一次作业：

准备之后动按照该算法分 成若干类（包括设定阈值等参数）。

查阅资料：一篇关于聚类的论文。 查询并整理所学过的聚类算法。
2011-12-22
(R) 模式识别与智能系统研究所
5
目录



复习 贝叶斯决策基本思想 最小误判概率准则 最小损失判别准则 参数估计和非参数估计 总结和作业
2011-12-22
(R) 模式识别与智能系统研究所
6
贝叶斯决策基本思想

General Words (前序)

本部分重点介绍贝叶斯分类器及相关技术，用于处理未知 的概率密度。 This part focuses on Bayesian classification and technique for estimating unknown probability density functions. 所设计的分类器可以按照“最可几概率”对于未知样本进 行分类。 We will design classifiers that classify an unknown pattern in the “most probable” of the classes.
2011-12-22
(R) 模式识别与智能系统研究所
13
最小误判概率准则

判别误差(The decision errors)

显然，这是不可避免的(The decision errors are unavoidable) 误差等于阴影部分面积(WHY?)。
2011-12-22
(R) 模式识别与智能系统研究所
19
最小损失判别准则

问题描述

对于一个M-类问题：

假设Rj(j=1, 2, …, M)分别是在特征空间中与类j相对应区域。 再假设一个属于类j的样本x处于Ri (ij)区域。显然如果将x 误分为除了类j之外的其他类，则就会引起误判错误。
【Assume that a feature vector x belonging to class j lies in Ri (ij), then an error is committed if we misclassify this vector in j】
2
目录



复习 贝叶斯决策基本思想 最小误判概率准则 最小损失判别准则 参数估计和非参数估计 总结和作业
2011-12-22
(R) 模式识别与智能系统研究所
3
复习
上一次重点介绍几个基本的聚类算法：



相似性阈值和最小距离准则的简单聚类法 最大最小距离算法 谱系聚类法 动态聚类法（C-均值）

我们的目标就是正确划分区域Rj，使得平均风险最小。 显然，如果每个积分部分都最小化，则总风险就可以最小。 如何保证每个积分部分最小？关键在于区域的划分。注意： 该区域与最小误判概率的区域一般不相同。 思考：ji,下面公式如何判决？
li

k 1
M
ki
p( x | k ) P( k ) l j
9
目录



复习 贝叶斯决策基本思想 最小误判概率准则 最小损失判别准则 参数估计和非参数估计 总结和作业
2011-12-22
(R) 模式识别与智能系统研究所
10
贝叶斯决策基本思想

Description of the problem (问题的描述)




给定一个M类的分类任务：1, 2, …, M。已知未知样本 x，求x属于这M类的条件概率P(i|x), i=1, 2, …, M. Given a classification task of M classes: 1, 2, …, M, and an unknown pattern, which is represented by feature vector x, we form the M conditional probabilities P(i|x), i=1, 2, …, M. 有一种说法：计算未知样本x的后验概率。 Also referred to as a posteriori probabilities, each of which represents the probability that the unknown pattern belongs to the respective class i, given that the corresponding feature vector takes the value x.
2011-12-22
(R) 模式识别与智能系统研究所
8
贝叶斯决策基本思想

Basic Steps
贝叶斯决策理论方法是统计模型决策中的一个基本方法，大 致步骤如下： 已知类条件概率密度参数表达式和先验概率 利用贝叶斯公式转换成后验概率 根据后验概率大小进行决策分类
2011-12-22
(R) 模式识别与智能系统研究所

2011-12-22
(R) 模式识别与智能系统研究所
7
贝叶斯决策基本思想

General Description(一般性描述)


所谓贝叶斯决策（Bayesian Decision Theory），就是在不 完全的信息下，对部分未知的状态用主观概率估计，然后 用贝叶斯公式对发生的概率进行修正，最后再利用期望值 和修正概率做出最优决策。 贝叶斯决策属于风险型决策，决策者虽不能控制客观因素 的变化，但却掌握其变化的可能状况及各状况的分布概率， 并利用期望值即未来可能出现的平均状况作为决策准则。
模式识别导论
——贝叶斯决策
李金屏 济南大学 信息科学与工程学院 模式识别与智能系统研究所 山东省网络环境智能计算技术重点实验室 2011年10月
目录



复习 贝叶斯决策基本思想 最小误判概率准则 最小损失判别准则 参数估计和非参数估计 总结和作业
2011-12-22
(R) 模式识别与智能系统研究所
14
最小误判概率准则

多类问题(What about the multi-class case?)

很容易推广 对于M类分类问题，1, 2, …, M，一个未知样本x的判别规
则是：
P(i|x)> P(j|x)
ji
2011-12-22
(R) 模式识别与智能系统研究所
15
最小误判概率准则