贝叶斯决策理论分析

。
2.1.6 最小错误率贝叶斯决策规则向多类的推广
决策规则（样本只有两类时）：
w1 类
w2 类
如果 P w1 | x P w2 | x 则 x w1
如果 P w2 | x P w1 | x 则 x w2
x
决策规则（样本有多类时）：
如果 P(i X )>P( j X )
对于一切 i j 成立，
x
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
为什么类条件概率密度是已知的
“类条件概率密度”是指系统位于
某种类型条件下，模式样本的概率密
度函数。一般而言，同一类事物的某
个属性都有一定的变化范围，在这个
变化范围内的分布密度可用一种函数 形式表示。
x
例如对于细胞识别而言，假设 x
是血红素浓度，则 P x | w1 表示正常血
2
P2
dx
t
px
1
P1
dx
Pe Px R1,2 Px R2,1
Px R1 2 P2 Px R2 1P1
P2
R1
px 2
dx
P1 R2
px 1 dx
P2 P2 e P1P1e
为什么决策规则使P(e)最小？书12页
决策错误率 P(e x) 在每个x值处都取小者
t
x
，因而平均错误率P(e)也必然达到最小
则 x w1 则 x w2
待解决的分类问题：
w1类
w2 类
类条件概率密度已知
P
wi
|
x
P
x
| wi P Px
wi
先验概率已知
i 1, 2
x
x 可能属于w1
类也可能属
于w2类。
2.1.4 最小错误率贝叶斯决策规则应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
正常(1)和异常(
)
0.2 0.9 0.2 0.9 0.4 0.1
0.818
j 1
P(2 |x)=1- P(1 |x)=0.182
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
类条件概率密度（已知）
后验概率密度（待求）
P x | w1 P x | w2
P w1 | x P w2 | x
x
w1类
x
w2 类
根据上图决策
第2章 贝叶斯决策理论
Chapter 2: Bayesian decision theory
本章主要内容
2.1 基于最小错误率的贝叶斯决策 (重点) 2.2 基于最小风险的贝叶斯决策 (重点) 2.3 正态分布时的贝叶斯统计决策 (熟悉) 2.4 分类器的错误率问题 (了解)
2.1 基于最小错误率的贝叶斯决策
对 x 进行分类（决策）时的错误
Pe
Pe,
xdx
Байду номын сангаас
Pe
x
px
dx
Pe
x
PP12
x,当P2 x,当P1
x x
P1 P2
x x
(2 - 6) (2 - 7)
2.1.5 决策规则确实使错误率最小的理论证明（续）
设t是两类的分界面，将（2 7）代入（2 6）得
Pe
t
P2
xpxdx
t
P1
xpxdx
t
px
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
错误率：P w2 | x 错误率：P w1 | x
基于最小错误率的贝叶斯决策只关注错误率，并不关注因误判而
带来的风险。但在实际应用中考虑风险是很重要的。
例：细胞识别
把正常血细胞误判为异常血细胞 会给人带来不必要的痛苦；但若 将异常血细胞误判为正常血细胞 ，则会使病人因失去及早治疗的 机会而遭受极大的损失。
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
2.2.4 基于最小风险的贝叶斯决策规则与决策步骤
决策规则：
R k x
min
i 1, 2,..., a
R
i
x
,则 k
决策步骤：
(1)已知P j , p x j , j 1,2,..., c及x和M
(2)计算后验概率P j x
（根据贝叶斯公式计算）
即 P w1 P w2 已知
（3）每一类的“类条件概率密度”已
知；
即 P x | w1 与 P x | w2 已知
待解决的分类问题：
w1类
w2 类
x
2.1.3 最小错误率贝叶斯决策规则
决策规则（样本只有两类时）：
如果 P w1 | x P w2 | x 如果 P w2 | x P w1 | x
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
试对该细胞x进行分类。
解：利用贝叶斯公式，分别计算出 1 及 2的后验概率。
P(
1| x)=
2
p(x | 1)P(1) p(x | j )P( j
后验概率：进行实验后，事件发生的概率。
贝叶斯公式在推理中融入了先验，即融入了对事物既有的一些认识：
例：利用贝叶斯公
式求 x 的最大值：
pw D
pw
w MP
w
2.1.1 预备知识（续）
条件概率密度
若有两个随机变量X和Y，它们的联合概率密度为 f (x, y)， 变量X和Y各自的边缘概率密度为 fX (x) 和 fY ( y) ，则在条件 Y=y下，X的条件概率密度为
造成的损失： 2, w1 造成的损失： 1, w2
i , wj 模式 x 属于wj 类，现却将之判决为 wi 类而带来的损失；
把模式 x 判决为wi 类的一次决策；
2.2.2 一般决策表与条件风险
损 失 状态
决策
ω1
α1
1, w1
α2
2, w1
ω2
1, w2 2, w2
一般决策表
前面给出了最小错误率贝叶斯决策规则，但尚未证明按这种决策规 则进行分类确实能使分类错误概率最小。下面以一维情况完成证明， 其结果不难推广到多维。
平均错误率：
P(e) P(e x) p(x)dx
（是 P(e x) 的期望）
x 的概率密度
(2-6)
决策规则（两类时）：
如果 Pw2 | x Pw1 | x 则 x w2 如果 Pw1 | x Pw2 | x 则 x w1
P w1 P w2
该县正常人的比例； 该县白血病患者的比例；
上述比例关系可根据往年病历 资料统计大致得到，因此可以看 作是已知的。
正常血细胞 异常血细胞
w1类
w2类
上述比例关系尽管可能是近似的， 但对决策准确程度的影响并不是直接 的，这也是贝叶斯决策的一个优点。
2.1.5 决策规则使错误率最小的理论证明
（将x判决为第1类的风险） （将x判决为第2类的风险）
（3）基于最小风险进行决策
R1 | x R2 | x 所以 x w2
两类决策结果正好相反，这是因为影响 决策结果的因素又多了一个“损失”。由 于两类错误决策所造成的损失相差很悬殊 ，因此“损失”在这里起了主导作用。
损 失状态（正常类）（异常类）
R1 | x R2 | x 所以 x w2
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
P(
1| x)=
2
p(x | 1)P(1) p(x | j )P( j
)
0.2 0.9 0.2 0.9 0.4 0.1
0.818
j 1
P(2 |x)=1- P(1 |x)=0.182 若贝叶斯决策 x w1
2.2.3 基于最小风险的贝叶斯决策应用实例（续）
（2）计算条件风险
模式 x 属于wj类的概率（可能性）；
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
P xdx
推广
P xdx
若
x
x1 x2
x1,
x2
T
P x1, x2 dx1x2
2.1.1 预备知识（续）
贝叶斯公式
贝叶斯 公式
Pw
|
D
PD | w P PD
w
贝叶斯 推理
后验
Pw | D
似然 （样本信息）
先验
PD | w
Pw
贝叶斯公式的另一种形式：
P
wi
|
D
P
D
| wi P PD
细胞的血红素浓度的分布情况。该分 布可以事先测定，因此是已知的。
正常血细胞 异常血细胞
w1类
w2类
2.1.4 最小错误率贝叶斯决策规则应用实例（续）
为什么先验概率是已知的
例如在某个局部地区（比如一个县）细胞识别中，要根据血红素浓度的测 量值 x 判定其为正常血细胞或者是异常血细胞（例如白血病血细胞）。
i , wj 模式 x 属于wj 类，现却将之判决为 wi 类而带来的损失；
把模式 x 判决为wi 类的一次决策；
状态空间： w1, w2,L , wn
决策空间：
2.2.2 一般决策表与条件风险（续）
c
条件风险： R i | x i , wj P wj | x j 1
（2-15）
（教材P15）
（即需要具体问题具体分析）
损 失状态
决策
ω1
α1 1, w1 α2 2, w1
ω2
1, w2 2, w2
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
2.2.5 最小错误率与最小风险贝叶斯决策的联系
例：两类样本的分类
模式 x 属于wj 类的概率（可能性）；
模式 x 属于wj 类，现却将之判决为 wi 类而带来的损失；
例：计算条件风险 已知 P w1 | x P w2 | x 0.5
R1 | x 1,1 Pw1 | x 1,2 P w2 | x 3 R2 | x 2,1 Pw1 | x 2,2 Pw2 | x 0.5
贝叶斯公式的两个创新点：
（1）用概率表示所有形式的不确定性； 例如天气预报时，“今天下雨的概率是85%”比直接预测 “今天下雨”要更科学 ；
（2） 引入了“先验”与“后验”的概念 ；
2.1.1 预备知识（续）
先验与后验
贝叶斯公式：
后验
先验
P
w
|
D
P
D | w P PD
w
先验概率：是指根据历史资料或主观判断所确定的事件发生的 概率，该类概率没有经过实验证实，属检验前的概率。（争议点）
2.1.1 预备知识
用向量来表示模式
模式： 一些供比对用的、“标准”的样本。
123 45
0 0 11
01 02 13
x
x1 x2
x1
,
x2
T
转化成列向量
特征提取
“1”
1 0 0 35
1 33 0 34 0 35
模式“1”的图片
高维积分
已知模式（样本）：x
一维积分： 高维积分： 二重积分：
正常血细胞 异常血细胞
w1类
w2类
2.2.1 为什么要引入基于风险的决策（续）
基于最小风险的贝叶斯决策
风险
“风险”的适用范围比错误率更广泛，它引入了“损失”的概念。即考虑 了因误判而带来的损失。
本来 x w1 误判为：x w2 错误率：P w2 | x 本来 x w2 误判为：x w1 错误率：P w1 | x
f x, y fX|Y (x | y) f (x | y) fY y
2.1.1 预备知识（续）
分类错误率
x
分类方案一
分类方案二
分类错误率 = 被错分的样本数 / 样本总数 在分类中，希望分类错误率尽可能地小。
2.1.2 最小错误率贝叶斯决策的前提
前提：
（1）要决策分类的类别数是一定的；
（2）每一类出现的“先验概率”已知 ；
c
(3)R i x i , j P j x
（计算条件风险）
j 1
(4)R k x
min
i 1, 2 ,..., a
R
i
x
,则 k
（决策）
2.2.4 基于最小风险的贝叶斯决策规则与决策步骤（续）
在实践中如何给出决策表：
在实践中要列出合适的决 策表很不容易，往往要根据所 研究的具体问题，分析错误决 策造成损失的严重程度，与有 关专家共同商讨来确定。