第2章贝叶斯决策理论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
贝叶斯公式的两个创新点：
（1）用概率表示所有形式的不确定性； 例如天气预报时，“今天下雨的概率是85%”比直接预测 “今天下雨”要更科学 ；
（2） 引入了“先验”与“后验”的概念 ；
2.1.1 预备知识（续）
先验与后验
贝叶斯公式：
后验
先验
P
w
|
D
P
D | w P PD
w
先验概率：是指根据历史资料或主观判断所确定的事件发生的 概率，该类概率没有经过实验证实，属检验前的概率。（争议点）
2.1.1 预备知识
用向量来表示模式
模式： 一些供比对用的、“标准”的样本。
123 45
0 0 11
01 02 13
x
x1 x2
x1
,
x2
T
转化成列向量
特征提取
“1”
1 0 0 35
1 33 0 34 0 35
模式“1”的图片
高维积分
已知模式（样本）：x
一维积分： 高维积分： 二重积分：
P w1 P w2
该县正常人的比例； 该县白血病患者的比例；
上述比例关系可根据往年病历 资料统计大致得到，因此可以看 作是已知的。
正常血细胞 异常血细胞
w1类
w2类
上述比例关系尽管可能是近似的， 但对决策准确程度的影响并不是直接 的，这也是贝叶斯决策的一个优点。
2.1.5 决策规则使错误率最小的理论证明
第2章 贝叶斯决策理论
Chapter 2: Bayesian decision theory
本章主要内容
2.1 基于最小错误率的贝叶斯决策 (重点) 2.2 基于最小风险的贝叶斯决策 (重点) 2.3 正态分布时的贝叶斯统计决策 (熟悉) 2.4 分类器的错误率问题 (了解)
2.1 基于最小错误率的贝叶斯决策
对 x 进行分类（决策）时的错误
Pe
Pe,
即 P w1 P w2 已知
（3）每一类的“类条件概率密度”已
知；
即 P x | w1 与 P x | w2 已知
待解决的分类问题：
w1类
w2 类
x
2.1.3 最小错误率贝叶斯决策规则
决策规则（样本只有两类时）：
如果 P w1 | x P w2 | x 如果 P w2 | x P w1 | x
前面给出了最小错误率贝叶斯决策规则，但尚未证明按这种决策规 则进行分类确实能使分类错误概率最小。下面以一维情况完成证明， 其结果不难推广到多维。
平均错误率：
P(e) P(e x) p(x)dx
（是 P(e x) 的期望）
x 的概率密度
(2-6)
决策规则（两类时）：
如果 Pw2 | x Pw1 | x 则 x w2 如果 Pw1 | x Pw2 | x 则 x w1
后验概率：进行实验后，事件发生的概率。
贝叶斯公式在推理中融入了先验，即融入了对事物既有的一些认识：
例：利用贝叶斯公
式求 x 的最大值：
pw D
pw
w MP
w
2.1.1 预备知识（续）
条件概率密度
若有两个随机变量X和Y，它们的联合概率密度为 f (x, y)， 变量X和Y各自的边缘概率密度为 fX (x) 和 fY ( y) ，则在条件 Y=y下，X的条件概率密度为
细胞的血红素浓度的分布情况。该分 布可以事先测定，因此是已知的。
正常血细胞 异常血细胞
w1类
w2类
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
为什么先验概率是已知的
例如在某个局部地区（比如一个县）细胞识别中，要根据血红素浓度的测 量值 x 判定其为正常血细胞或者是异常血细胞（例如白血病血细胞）。
则 x w1 则 x w2
待解决的分类问题：
w1类
w2 类
类条件概率密度已知
P
wi
|
x
P
x
| wi P Px
wi
先验概率已知
i 1, 2
x
x 可能属于w1
类也可能属
于w2类。
2.1.4 最小错误率贝叶斯决策规则应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
试对该细胞x进行分类。
解：利用贝叶斯公式，分别计算出 1 及 2的后验概率。
P(
1| x)=
2
p(x | 1)P(1) p(x | j )P( j
x
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
为什么类条件概率密度是已知的
“类条件概率密度”是指系统位于
某种类型条件下，模式样本的概率密
度函数。一般而言，同一类事物的某
个属性都有一定的变化范围，在这个
变化范围内的分布密度可用一种函数 形式表示。
x
例如对于细胞识别而言，假设 x
是血红素浓度，则 P x | w1 表示正常血
P xdx
推广
P xdx
若
x
x1 x2
x1,
x2
T
P x1, x2 dx1x2
2.1.1 预备知识（续）
贝叶斯公式
贝叶斯 公式
Pw
|
D
PD | w P PD
w
贝叶斯 推理
后验
Pw | D
似然 （样本信息）
先验
PD | w
Pw
贝叶斯公式的另一种形式：
P
ຫໍສະໝຸດ Baidu
wi
|
D
P
D
| wi P PD
f x, y fX|Y (x | y) f (x | y) fY y
2.1.1 预备知识（续）
分类错误率
x
分类方案一
分类方案二
分类错误率 = 被错分的样本数 / 样本总数 在分类中，希望分类错误率尽可能地小。
2.1.2 最小错误率贝叶斯决策的前提
前提：
（1）要决策分类的类别数是一定的；
（2）每一类出现的“先验概率”已知 ；
)
0.2 0.9 0.2 0.9 0.4 0.1
0.818
j 1
P(2 |x)=1- P(1 |x)=0.182
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
类条件概率密度（已知）
后验概率密度（待求）
P x | w1 P x | w2
P w1 | x P w2 | x
x
w1类
x
w2 类
根据上图决策
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
（1）用概率表示所有形式的不确定性； 例如天气预报时，“今天下雨的概率是85%”比直接预测 “今天下雨”要更科学 ；
（2） 引入了“先验”与“后验”的概念 ；
2.1.1 预备知识（续）
先验与后验
贝叶斯公式：
后验
先验
P
w
|
D
P
D | w P PD
w
先验概率：是指根据历史资料或主观判断所确定的事件发生的 概率，该类概率没有经过实验证实，属检验前的概率。（争议点）
2.1.1 预备知识
用向量来表示模式
模式： 一些供比对用的、“标准”的样本。
123 45
0 0 11
01 02 13
x
x1 x2
x1
,
x2
T
转化成列向量
特征提取
“1”
1 0 0 35
1 33 0 34 0 35
模式“1”的图片
高维积分
已知模式（样本）：x
一维积分： 高维积分： 二重积分：
P w1 P w2
该县正常人的比例； 该县白血病患者的比例；
上述比例关系可根据往年病历 资料统计大致得到，因此可以看 作是已知的。
正常血细胞 异常血细胞
w1类
w2类
上述比例关系尽管可能是近似的， 但对决策准确程度的影响并不是直接 的，这也是贝叶斯决策的一个优点。
2.1.5 决策规则使错误率最小的理论证明
第2章 贝叶斯决策理论
Chapter 2: Bayesian decision theory
本章主要内容
2.1 基于最小错误率的贝叶斯决策 (重点) 2.2 基于最小风险的贝叶斯决策 (重点) 2.3 正态分布时的贝叶斯统计决策 (熟悉) 2.4 分类器的错误率问题 (了解)
2.1 基于最小错误率的贝叶斯决策
对 x 进行分类（决策）时的错误
Pe
Pe,
即 P w1 P w2 已知
（3）每一类的“类条件概率密度”已
知；
即 P x | w1 与 P x | w2 已知
待解决的分类问题：
w1类
w2 类
x
2.1.3 最小错误率贝叶斯决策规则
决策规则（样本只有两类时）：
如果 P w1 | x P w2 | x 如果 P w2 | x P w1 | x
前面给出了最小错误率贝叶斯决策规则，但尚未证明按这种决策规 则进行分类确实能使分类错误概率最小。下面以一维情况完成证明， 其结果不难推广到多维。
平均错误率：
P(e) P(e x) p(x)dx
（是 P(e x) 的期望）
x 的概率密度
(2-6)
决策规则（两类时）：
如果 Pw2 | x Pw1 | x 则 x w2 如果 Pw1 | x Pw2 | x 则 x w1
后验概率：进行实验后，事件发生的概率。
贝叶斯公式在推理中融入了先验，即融入了对事物既有的一些认识：
例：利用贝叶斯公
式求 x 的最大值：
pw D
pw
w MP
w
2.1.1 预备知识（续）
条件概率密度
若有两个随机变量X和Y，它们的联合概率密度为 f (x, y)， 变量X和Y各自的边缘概率密度为 fX (x) 和 fY ( y) ，则在条件 Y=y下，X的条件概率密度为
细胞的血红素浓度的分布情况。该分 布可以事先测定，因此是已知的。
正常血细胞 异常血细胞
w1类
w2类
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
为什么先验概率是已知的
例如在某个局部地区（比如一个县）细胞识别中，要根据血红素浓度的测 量值 x 判定其为正常血细胞或者是异常血细胞（例如白血病血细胞）。
则 x w1 则 x w2
待解决的分类问题：
w1类
w2 类
类条件概率密度已知
P
wi
|
x
P
x
| wi P Px
wi
先验概率已知
i 1, 2
x
x 可能属于w1
类也可能属
于w2类。
2.1.4 最小错误率贝叶斯决策规则应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
试对该细胞x进行分类。
解：利用贝叶斯公式，分别计算出 1 及 2的后验概率。
P(
1| x)=
2
p(x | 1)P(1) p(x | j )P( j
x
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
为什么类条件概率密度是已知的
“类条件概率密度”是指系统位于
某种类型条件下，模式样本的概率密
度函数。一般而言，同一类事物的某
个属性都有一定的变化范围，在这个
变化范围内的分布密度可用一种函数 形式表示。
x
例如对于细胞识别而言，假设 x
是血红素浓度，则 P x | w1 表示正常血
P xdx
推广
P xdx
若
x
x1 x2
x1,
x2
T
P x1, x2 dx1x2
2.1.1 预备知识（续）
贝叶斯公式
贝叶斯 公式
Pw
|
D
PD | w P PD
w
贝叶斯 推理
后验
Pw | D
似然 （样本信息）
先验
PD | w
Pw
贝叶斯公式的另一种形式：
P
ຫໍສະໝຸດ Baidu
wi
|
D
P
D
| wi P PD
f x, y fX|Y (x | y) f (x | y) fY y
2.1.1 预备知识（续）
分类错误率
x
分类方案一
分类方案二
分类错误率 = 被错分的样本数 / 样本总数 在分类中，希望分类错误率尽可能地小。
2.1.2 最小错误率贝叶斯决策的前提
前提：
（1）要决策分类的类别数是一定的；
（2）每一类出现的“先验概率”已知 ；
)
0.2 0.9 0.2 0.9 0.4 0.1
0.818
j 1
P(2 |x)=1- P(1 |x)=0.182
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
类条件概率密度（已知）
后验概率密度（待求）
P x | w1 P x | w2
P w1 | x P w2 | x
x
w1类
x
w2 类
根据上图决策
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；