贝叶斯决策理论课件(PPT 90张)

最小错误率准则
黑色：第一类
粉色：第二类
绿色：哪一类？ 统计决策理论就是 根据每一类总体的 概率分布决定未知 类别的样本属于哪 一类！
最小错误率准则

先验概率： P i
类条件概率：P x i 后验概率： P i x 贝叶斯公式
未获得观测数据之前类别的分布 观测数据在各类别种情况下的分布 X属于哪一类的概率

贝叶斯决策常用的准则：


最小错误率准则
最小风险准则
Neyman-Pearson准则
最小最大决策准则
贝叶斯决策理论

引言


贝叶斯决策常用的准则
分类器，判别函数，决策面 正态分布的判别函数 Bayesian置信网
Bayes决策准则


最小错误率准则
最小风险准则 Neyman-Pearson准则 最小最大决策准则





算出学校里面有多少穿长裤的，然后在这些人里面再算出 有多少女生？即要求的就是P(Girl|Pants)。 假设校园内总人数为U，计算的结果是 U * P(Girl) * P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)] 。容易发现这里校园内人的总数是无关的， 可以消去。于是得到 P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)] 注意，如果把上式收缩起来，分母其实就是 P(Pants) ， 分子其实就是 P(Pants, Girl) 。而这个比例很自然地就读 作：在穿长裤的人（ P(Pants) ）里面有多少（穿长裤） 的女孩（ P(Pants, Girl) ）。 上式中的 Pants 和 Boy/Girl 可以指代一切东西，所以其 一般形式就是： P(B|A) = P(A|B) * P(B) / [P(A|B) * P(B) + P(A|~B) * P(~B) ]
患病的人，白细胞的浓度服从均值2000方差1000的正 态分布；未患病的人，白细胞的浓度服从均值7000， 方差3000的正态分布；（类条件概率） 一般人群中，患病的人数比例为0.5%；（先验概率） 一个人的白细胞浓度时3100，医生应该做出怎样的判 断？（后验概率？）
最小错误率准则

数学表示：
Ω：表示类别这一随机变量 ω 1：表示患病 ω 2：表示不患病 X：表示白细胞浓度这一随机变量 x： 表示白细胞浓度值
最小错误率准则




P x i P i P Px i x
其中： P P P x x i i
i 1
c
最小错误率准则
例：医生要根据病人血液中白细胞的浓度来判断病 人是否患血液病。 两类识别问题：患病，未患病 根据医学知识和以往的经验，医生知道：


Some about Bayes(1)



假设你昨晚目击了一起夜间出租车肇事逃逸事件，你记得 看到的肇事出租车是蓝色的，而且你还知道下面2条信息， 那么你会认为肇事出租车是什么颜色的？ (1) 西安所有的出租车都是绿色或蓝色的； (2) 大量实验表明，在昏暗的灯光条件下，人眼对于蓝色 和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10 辆中有9辆是绿色的，此时你又会得出怎样的结论？
Some about Bayes(2)

一所学校里面有 60% 的男生，40% 的女生。男生总是穿 长裤，女生则一半穿长裤一半穿裙子。假设你走在校园中， 迎面走来一个穿长裤的学生（很不幸的是你高度近似，你 只看得见他（她）穿的是否长裤，而无法确定他（她）的 性别），你能够推断出他（她）是女生的概率是多大吗？


引言

贝叶斯决策理论
贝叶斯统计决策理论是处理模式分类问题的基本 理论之一，对模式分析和分类器（Classifier）的 设计起指导作用。

贝叶斯决策的两个要求

各个类别的总体概率分布 (先验概率和类条件 概率密度) 是已知的
要决策分类的类别数是一定的

பைடு நூலகம்言

在连续情况下，假设对要识别的物理对象有d种特征 观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
BayesianDecisionTheo ry
贝叶斯决策理论


引言 贝叶斯决策常用的准则 分类器，判别函数，决策面 正态分布的判别函数
引言

机器自动识别分类，能不能避免错分类，做到百 分之百正确？怎样才能减少错误？
错分类往往难以避免，因此就要考虑减小因错分 类造成的危害损失，那么有没有可能对危害大的 错误严格控制？ 什么是先验概率、类概率密度函数和后验概率？ 它们的定义和相互关系如何?贝叶斯公式正是体现 三者关系的式子。
用B表示事件“肇事车是蓝色的”，用LB表示“肇事车看起来是蓝色 的”， 则对颜色区分准确程度的概率可以表示为 P(LB|B)=0.75 P(~LB|~B)=0.75 对当肇事车看起来是蓝色的情况下，确实是蓝色的概率为 P(B|LB)∝P(LB|B)P(B)∝0.75P(B) P(~B|LB)∝P(LB|~B)P(~B)∝0.25(1-P(B)) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1， 于是有 P(B|LB)∝0.75×0.1=0.075 P(~B|LB)∝0.25(1-P(B))=0.25×0.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(~B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。
d 称向量 x 为d维特征向量。 x , x , , x x R 1 2 T d


假设要研究的分类问题有c个类别，类型空间表示 为：
, , , 1 2 i ,c
引言

评价决策有多种标准，对于同一个问题，采用不 同的标准会得到不同意义下“最优”的决策。