贝叶斯决策理论与统计判别方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
假设总共有c类物体，用ωi (i=1,2,…,c)标记
每个类别，x = [x1, x2, …, xd]T，是d维特征
空间上的某一点，则 P(ωi )是先验概率 p(x| ωi )是ωi类发生时的条件概率密度函数 P(ωi|x)表示后验概率
基于最小错误率的贝叶斯决策
例：癌细胞的识别
假设每个要识别的细胞已作过预处理，并抽 取出了d个特征描述量，用一个d维的特征向 量X表示，
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1)P(2),x1 P(1)P(2),x2
这种分类决策没有意义 表明由先验概率所提供的信息太少
基于最小错误率的贝叶斯决策
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
P(*|#)与P(*)不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
已知d维特征空间的统计分布，如何对某一样 本分类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某ຫໍສະໝຸດ Baidu类物体所特有， 即
“ salmon” or “sea bass”判别中的后验概 率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
后验概率: P(ω1|x)和P(ω２|x)
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
模式识别
徐蔚然 北京邮电大学信息工程学院
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
例
细胞识别，加入更多类别? 鱼识别，加入更多种类? 存在问题
后验概率直接用来分类 后验概率不易直接得到 后验概率不易联合考虑 ……
例
另一种概率:类条件概率
正常细胞特征的概率分布 异常细胞特征的概率分布 salmon的概率分布 sea bass的概率分布
分类中如何使用类条件概率？ 什么是先验概率？
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
例
两类细胞识别
特征-后验概率-分类
两类鱼识别
特征-后验概率-分类
天气预报中的后验概率
特征 后验概率 分类
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
类条件概率密度函数
概率密度函数性质
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
f(X|i)dx1
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的类条件概 率密度函数
基于最小错误率的贝叶斯决策
类条件概率密度函数直接用来分类 是否合理？
P (X | 1 ) P (X | 2 ): 1 P (X | 1 ) P (X | 2 ): 2
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 P(x|ω1)与P(x|ω2)两者没有联系
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
具有一定的合理性 没有考虑先验概率 不满足最小错误率要求
基于最小错误率的贝叶斯决策
后验概率含义
P (ω1 |X )
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策
每个类别，x = [x1, x2, …, xd]T，是d维特征
空间上的某一点，则 P(ωi )是先验概率 p(x| ωi )是ωi类发生时的条件概率密度函数 P(ωi|x)表示后验概率
基于最小错误率的贝叶斯决策
例：癌细胞的识别
假设每个要识别的细胞已作过预处理，并抽 取出了d个特征描述量，用一个d维的特征向 量X表示，
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1)P(2),x1 P(1)P(2),x2
这种分类决策没有意义 表明由先验概率所提供的信息太少
基于最小错误率的贝叶斯决策
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
P(*|#)与P(*)不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
已知d维特征空间的统计分布，如何对某一样 本分类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某ຫໍສະໝຸດ Baidu类物体所特有， 即
“ salmon” or “sea bass”判别中的后验概 率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
后验概率: P(ω1|x)和P(ω２|x)
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
模式识别
徐蔚然 北京邮电大学信息工程学院
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
例
细胞识别，加入更多类别? 鱼识别，加入更多种类? 存在问题
后验概率直接用来分类 后验概率不易直接得到 后验概率不易联合考虑 ……
例
另一种概率:类条件概率
正常细胞特征的概率分布 异常细胞特征的概率分布 salmon的概率分布 sea bass的概率分布
分类中如何使用类条件概率？ 什么是先验概率？
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
例
两类细胞识别
特征-后验概率-分类
两类鱼识别
特征-后验概率-分类
天气预报中的后验概率
特征 后验概率 分类
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
类条件概率密度函数
概率密度函数性质
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
f(X|i)dx1
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的类条件概 率密度函数
基于最小错误率的贝叶斯决策
类条件概率密度函数直接用来分类 是否合理？
P (X | 1 ) P (X | 2 ): 1 P (X | 1 ) P (X | 2 ): 2
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 P(x|ω1)与P(x|ω2)两者没有联系
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
具有一定的合理性 没有考虑先验概率 不满足最小错误率要求
基于最小错误率的贝叶斯决策
后验概率含义
P (ω1 |X )
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策