统计决策方法概述(PPT 83张)

| ) dx 1 f(X
i
长沙理工大学
基于最小错误率的贝叶斯决策

salmon” or “sea bass”判别中的类条件概 率密度函数
长沙理工大学
基于最小错误率的贝叶斯决策

类条件概率密度函数直接用来分类 是否合理？
P ( X |1 ) P ( X |2 ) :
1 2
P ( X | ) P ( X | ) :
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。 为简单起见，我们假定只用其一个特征进行 分类，即d=1 得到两类的类条件概率密度函数分布


P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
长沙理工大学
基于最小错误率的贝叶斯决策
类条件概率密度函数
概率密度函数性质
长沙理工大学
例

另一种概率:类条件概率

正常细胞特征的概率分布 异常细胞特征的概率分布 salmon的概率分布 sea bass的概率分布

分类中如何使用类条件概率？ 什么是先验概率？
长沙理工大学
条件概率

P(*|#)是条件概率的通用符号

即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率

P(*|#)与P(*)不同
长沙理工大学
几个重要概念

先验概率

P(ω1)及P(ω2) P(x|ωi)

概率密度函数

ቤተ መጻሕፍቲ ባይዱ

后验概率

P(ωi|X)
长沙理工大学
贝叶斯决策理论

先验概率，后验概率，概率密度函数



假设总共有c类物体，用ωi (i=1,2,…,c)标记 每个类别，x = [x1, x2, …, xd]T，是d维特征 空间上的某一点，则 P(ωi )是先验概率 p(x| ωi )是ωi类发生时的条件概率密度函数 P(ωi|x)表示后验概率
1 2
具有一定的合理性
没有考虑先验概率
不满足最小错误率要求
长沙理工大学
基于最小错误率的贝叶斯决策

后验概率含义

P (ω1 |X )

当观测向量为X值时, 该细胞属于正常细胞的概 率。 当观测向量为X值时, 该细胞属于异常细胞的概 率。

P (ω2 |X )

长沙理工大学
基于最小错误率的贝叶斯决策

在特征空间中讨论分类问题


假设一个待识别的物理对象用其d个属性观 察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T 这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
长沙理工大学
贝叶斯决策理论方法讨论的问题

讨论的问题

总共有c类物体 已知各类在这d维特征空间的统计分布，
长沙理工大学
例

两类细胞识别

特征-后验概率-分类

两类鱼识别

特征-后验概率-分类
特征 后验概率 分类

天气预报中的后验概率

长沙理工大学
例

细胞识别，加入更多类别? 鱼识别，加入更多种类? 存在问题


后验概率直接用来分类 后验概率不易直接得到 后验概率不易联合考虑 ……


各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)

问题: 如何对某一样本按其特征向量分类
已知d维特征空间的统计分布，如何对某一样 本分类最合理
长沙理工大学
§2.2 几种常用的决策规则



基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误 率为最小的两类别决策 最小最大决策 序贯分类方法

先验概率



P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即 P(ω1)>P(ω2)
长沙理工大学
基于最小错误率的贝叶斯决策

salmon” or “sea bass”判别中的先验概率

P(ωsalmon) P(ωsea bass)
长沙理工大学
基于最小错误率的贝叶斯决策

先验概率

根据先验概率决定
P ( ( x 1) P 2), 1 P ( ( x 1) P 2), 2

这种分类决策没有意义 表明由先验概率所提供的信息太少
长沙理工大学
基于最小错误率的贝叶斯决策

概率密度函数



模式识别
长沙理工大学
课前思考



机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
长沙理工大学
学习指南

理解本章的关键



长沙理工大学
2.2.1基于最小错误率的贝叶斯决策

分类识别中为什么会有错分类？

当某一特征向量值X只为某一类物体所特有， 即

对其作出决策是容易的，也不会出什么差错


问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
长沙理工大学
基于最小错误率的贝叶斯决策

基本思想

使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
要正确理解先验概率，类概率密度函数，后 验概率这三种概率 对这三种概率的定义，相互关系要搞得清清 楚楚 Bayes公式正是体现这三者关系的式子，要 透彻掌握。
长沙理工大学
2.1引言

统计决策理论

是模式分类问题的基本理论之一

贝叶斯决策理论

是统计决策理论中的一个基本方法
长沙理工大学
物理对象的描述
长沙理工大学
基于最小错误率的贝叶斯决策

例：癌细胞的识别



假设每个要识别的细胞已作过预处理，并抽 取出了d个特征描述量，用一个d维的特征向 量X表示， 识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。 这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
长沙理工大学
基于最小错误率的贝叶斯决策
后验概率
长沙理工大学
基于最小错误率的贝叶斯决策

“ salmon” or “sea bass”判别中的后验概 率
长沙理工大学
基于最小错误率的贝叶斯决策

类条件概率和后验概率区别

后验概率: P(ω1|x)和P(ω２|x)

同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下， 事件ω1出现的可能性大 是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 P(x|ω1)与P(x|ω2)两者没有联系