(2章)最小错误概率贝叶斯

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

最小错误概率贝叶斯 根据贝叶斯定理: ������ ������1 ������(������|������1 ) ������ ������2 ������(������|������2 ) ������ ������1 ������ = ;������ ������2 ������ = ������(������) ������(������) 判决规则等价于: 如果������ ������1 ������(������|������1 ) > ������ ������2 ������(������|������2 ), ������ ∈ ������1 如果������ ������1 ������ ������ ������1 < ������ ������2 ������(������|������2 ), ������ ∈ ������2 ������ ������1 =0.2, ������ ������2 = 0.8 ������ ������|������1 = ������ ������|������1 , ������1 = 9.63 × 10−16 ������ ������|������2 = ������ ������|������2 , ������2 = 1.16 × 10−4 ������属于男生
统计判别基本概念 例: P(������������ )的估计 在垃圾邮件识别系统中,我们常常需要知道任意一 封邮件为垃圾邮件的先验概率P(������������ ),这常常可以通 过统计一定数量的以往样本计算得到。 ������1 :接受邮件为垃圾邮件 ������2 :接受邮件为非垃圾邮件 统计10000封邮件,若经过人工辨识得到其中1000封 为垃圾邮件,剩下9000封为非垃圾邮件,则我们可 以估计: P(������1 )=1000/10000=0.1; P(������2 ) = 1 - P(������1 ) = 0.9
统计判别 Statistic Discriminant
主要内容 1. 2. 3. 4. 5. 6. 统计判别基本概念 贝叶斯判别原则(最小错误率贝叶斯准则) 正态分布模式的贝叶斯决策 Bayes最小风险判别准则 聂曼-皮尔逊判别准则 最小最大损失准则
统计判别基本概念 简单示例: 把一枚硬币记作������,把一角和五角这两类分别记作������1 和������2 ,用P(������1 )和P(������2 )分别表示两类出现的概率,当 出现新的一枚硬币时可以做决策 如果P(������1 )> P(������2 ),则������ ∈ ������1 ,反之������ ∈ ������2 。 只利用先验概率做出判断存在不合理,利用后验概率 P(������������ |������) 更合理
时,出现模式������的条件概率密度,也称似然函数。
p(������)—全概率密度。
P(������������ | ������)—后验概率,即给定输入模式������时,该模式 属于������������ 的条件概率。
P(������������ , ������)—联合概率。
统计判别基本概念 P(������������ )—类别������������ 出现的先验概率 先验概率(prior probability)是指根据以往经验和 分析得到的概率。 先验概率P(������������ )的估计举例
最小错误概率贝叶斯 新样本������ = 180,75 ������ ������1 : 女生 ������ ������|������1 = ������ ������|������1 , ������1 = 9.63 × 10−16 ������2 : 男生 , ������ ������|������2 = ������ ������|������2 , ������2 = 1.16 × 10−4 已知类别先验������ ������1 =0.2, ������ ������2 = 0.8 判别规则: 如果������(������1 |������) > ������(������2 |������), ������ ∈ ������1 如果������ ������1 ������ < ������(������2 |������), ������ ∈ ������2
时,出现模式������的条件概率密度,即似然函数。
p(������ |������2 )
p(������ |������1 )
统计判别基本概念 例如:已知一个班级女生(������1 )和男生(������2 )的身 高数据,并且假设它们都符合正态分布: ������ 为女生身高的类条件概率密度为: p(������ |������1 )~������(156,25) ������为男生身高的类条件概率密度为: p(������|������2 )~������(170,25)
0.08 0.07 0.06
p(������ |������1 )~������(156,25)
0.05 0.04 0.03
p(������|������2 )~������(170,25)
0.02
0.01
0 130
140
150
160
170
180
190
200
统计判别基本概念 p(������)—全概率密度。
最小错误概率贝叶斯 后验概率:
������ ������1 |������ ������ ������2 |������
最小错误概率贝叶斯 最小错误概率贝叶斯决策的等价形式:
(1)如果������ ������������ ������ = ������������������������=1,2 ������ ������������ ������ , ������ ∈ ������������
统计判别基本概念 后验概率常常作为决策的依据
P(������1 |������) P(������2 |������)
主要内容 1. 2. 3. 4. 5. 6. 统计判别基本概念 贝叶斯判别原则(最小错误率贝叶斯准则) 正态分布模式的贝叶斯决策 Bayes最小风险判别准则 聂曼-皮尔逊判别准则 最小最大损失准则
������ ������ =
0.07 0.06
������ ������=1
������ ������������ p(������|������������ )
0.05
0.04
������ ������ ������(������2 )p(������ |������2 )
0.03
0.02
������(������1 )p(������|������1 )
统计判别基本概念
基于统计判别的分类应用很广泛
类别: ������1 :垃圾邮件 ������2 :非垃圾邮件 邮件中的字符代码为: ������1 , ������2 , … , ������������
统计判别基本概念 分类e-mails {垃圾邮件,非垃圾邮件} 分类文章主题 {文章的主题是什么?} 分类网页 {学校网页, 个人网页, 公司网页, …} 输入的特征������是什么? 文本!
最小错误概率贝叶斯 最小错误概率的决策是使得后验概率最大的决策。 决策规则: P(������1 |������) > P(������2 |������),则������ ∈ ������1 ; P(������1 ������) < P(������2 ������), 则������ ∈ ������2 。 这就是最小错误率贝叶斯决策。 后验概率: ������ ������|������������ ������(������������ ) ������ ������|������������ ������(������������ ) ������ ������������ |������ = = ������ ������ ������ ������ ������|������������ ������(������������ )
统计判别基本概念 统计决策的概念: 根据样本的统计特性将样本划分到其最有可能(先 验概率最大或者后验概率最大)属于的类别。 如果P(������1 )> P(������2 ),则������ ∈ ������1 ,反之������ ∈ ������2 。 如果P(������1 |������) > P(������2 |������) ,则������ ∈ ������1 ,反之������ ∈ ������2 。
统计判来自百度文库基本概念 场景理解:
统计判别基本概念 场景理解:
统计判别基本概念 场景理解:
统计判别基本概念 物体识别:
统计判别基本概念 医学诊断:
统计判别基本概念 大脑活跃性分析
统计判别基本概念 P(������������ )—类别������������ 出现的先验概率
p(������|������������ )—类条件概率密度,即类别状态为������������ 类
最小错误概率贝叶斯 最小错误概率贝叶斯 问题:设样本集合 ������1 , … , ������������ 有C个类别,已知各个类 别的先验概率P(������������ )和似然函数p(������|������������ )。 当观测样本������出现时,如何将样本������划归为某一类别?
(2)如果������ ������ ������������ ������(������������ ) = ������������������������=1,2 ������ ������ ������������ ������(������������ ), ������ ∈ ������������ ������1 ������ ������|������1 > ������ ������2 (3)如果������ ������ = , ������ ∈ ������ ������ ������|������2 < ������ ������1 2 (4)如果h ������ = −������������������ ������ ������1 < ������ ������1 = −������������������ ������ ������1 + ������������������ ������ ������2 ������������ → ������ ∈ ������ ������ ������ > 2 2
最小错误概率贝叶斯 已知一个班级女生和男生的身高和体重数据都符合正 态分布,具体统计参数如下: 25 0 ������ 女生, 均值������1 : 156,48 ,协方差������1 : 0 25 25 0 ������ 男生, 均值������2 : 170,65 ,协方差������2 : 0 25 并且已知类别先验������ ������1 =0.2, ������ ������2 = 0.8,当给定一 个新的样本 180,75 ������ ,应该判别为男生还是女生?
统计判别基本概念
例:某学校男生和女生的先验概率 ������1 :女生 ������2 :男生 选取10000位同学,若2000位为女生,8000位为男 生,则: P(������1 )=2000/10000=0.2; P(������2 ) = 1 - P(������1 ) = 0.8
统计判别基本概念 p(������ |������������ )—类条件概率密度,即类别状态为������������ 类
0.01 0 130 140 150 160 170 180 190 200
贝叶斯判别原则 P(������������ |������)—后验概率,即给定输入模式������时,该模式属 于������������ 的条件概率。 例如:������为某个同学的身高 ������1 :女生 ������2 :男生 P(������1 |������ ):已知一个同学的身高,该同学是女生(������1 ) 的概率。 P(������2 |������):已知一个同学的身高,该同学是男生(������2 ) 的概率。
最小错误概率贝叶斯 Bayes决策理论是统计决策理论的基本方法 贝叶斯理论:
������ ������|������������ ������(������������ ) ������ ������|������������ ������(������������ ) ������ ������������ |������ = = ������ ������ ������ ������ ������|������������ ������(������������ )
相关文档
最新文档