第2章 贝叶斯决策理论
合集下载
第2章 贝叶斯决策理论
P e
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论● 引言♦ 统计模式识别方法以样本特征值的统计概率为基础：（1） 先验概率()i P ω、类（条件）概率密度函数(/)i p ωx 和后验概率(/)i P ωx 。
（2） Bayes 公式体现这三者关系的公式。
♦ 本章讨论的内容在理论上有指导意义，代表了基于统计参数这一类的分类器设计方法，结合正态分布使分类器设计更加具体化。
♦ 模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。
是指对某一种设计原则讲的，这种原则称为准则。
使这些准则达到最优，如最小错误率准则，基于最小风险准则等,讨论几种常用的决策规则。
设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的方法。
● 思考？♦ 机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？♦ 错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，有没有可能对一种错分类严格控制？● 贝叶斯决策理论与方法基本概念给定一个m 模式类(,,....,)m ωωω12的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本x 属于这m 类样本中的哪一类问题。
假设一个待识别的样本用n 个属性观察值描述，称之为n 个特征，从而组成一个n 维的特征向量，而这n 维征向量所有可能的取值范围则组成了一个n 维的特征空间。
特征空间的统计分布 (1) i ω, i =1,2,…,m 的先验概率：()i P ω(2)类条件概率密度函数：(|)i p ωx （可解释为当类别i ω已知的情况下， 样本x 的概率 分布密度函数）(3)后验概率：生成m 个条件后验概率(|)i P ωx ，i =1，2，…，m 。
也就是对于一个特征 向量x ，每一个条件后验概率(|)iP ωx 都代表未知样本属于某一特定类i ω的概率。
第一节 基于最小错误率的贝叶斯判别方法 (一).两类情况两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。
第2章贝叶斯决策理论
R1 | x R2 | x 所以 x w2
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
2 贝叶斯决策理论
a Rab
R a bP(1 )
• 由上式可见，当类条件概率密度、损失函数 ij 、
类域Ri 取定后，R是P(1)的线性函数。
• 考虑P(1)的各种可能取值情况，为此在区间(0,1)中
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
先验概率提供的信息太少，要结合样本 观测信息，为此需要利用类条件概率
贝叶斯公式
p
各类样本的分布情况
贝叶斯决策的几种表达形式
应用实例
两类模式集分类问题
对一大批人进行癌症普查，患癌者以ω1类代表，正 常人以ω2类代表 设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995 现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类 可以通过对被识别对象的多次观察和测 量，构成特征向量，并将其作为某一个 判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
R(1 x ) 11P(1 x ) 12 P(2 x ) R( 2 x ) 21P(1 x ) 22 P(2 x )
R 11P(1 x ) 12 P(2 x ) p( x )d x
R1
21P(1 x ) 22 P(2 x ) p( x )d x
R a bP(1 )
• 由上式可见，当类条件概率密度、损失函数 ij 、
类域Ri 取定后，R是P(1)的线性函数。
• 考虑P(1)的各种可能取值情况，为此在区间(0,1)中
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
先验概率提供的信息太少，要结合样本 观测信息，为此需要利用类条件概率
贝叶斯公式
p
各类样本的分布情况
贝叶斯决策的几种表达形式
应用实例
两类模式集分类问题
对一大批人进行癌症普查，患癌者以ω1类代表，正 常人以ω2类代表 设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995 现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类 可以通过对被识别对象的多次观察和测 量，构成特征向量，并将其作为某一个 判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
R(1 x ) 11P(1 x ) 12 P(2 x ) R( 2 x ) 21P(1 x ) 22 P(2 x )
R 11P(1 x ) 12 P(2 x ) p( x )d x
R1
21P(1 x ) 22 P(2 x ) p( x )d x
第二章贝叶斯决策理论
利用贝叶斯公式(1)还可以得到几种最小错 误率贝叶斯决策规则的等价形式：
⑵如果 p(x|ωi) P(ωi )= mj1a,2xp(x|ωj) P(ωj)，
则
x∈ωi
⑶若
l(x) p(x | 1) P(2 )
p(x | 2 ) < P(1)
，则x∈
ω1 ω2
⑷对上式的l(x)取自然对数的负值，可写为
2
p(x | i )P(i )
i 1
2.2.1基于最小错误率的贝叶斯决策
❖ 条件概率P(ωi|x)称为状态的后验概率 ❖ 贝叶斯公式实质上是通过观察x把状态的先验
概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图 2.2所示。
图2.2 P(ω1) =2/3和P(ω2)=1/3 及图2.1下的后验 概率图
若h(x)=－ln[l(x)]=－lnp(x|ω1)+ lnp(x|ω2) <>
则 x∈ ω1
ln P(2 ) P(1 )
ω2
2.2.1基于最小错误率的贝叶斯决策
举例
❖ 假设在某个局部地区细胞识别中正常(ω1) 和异常(ω2)两类先验概率分别为正常状态： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有 一待识的细胞，其观察值为x，从类条件 概率密度分布曲线上查得p(x|ω1)=0.2， p(x|ω2)=0.4。试对该细胞x进行分类。
一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。
2.2.1基于最小错误率的贝叶斯决策
解决方法
❖ 利用对鱼观察到的光泽度提高分类器的性 能。不同的鱼产生不同的光泽度，将其表 示为概率形式的变量，设x是连续的随机变 量，其分布取决于类别状态，表示为p(x|ω)， 即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2) 之间的区别就表示为鲈鱼与鲑鱼间光泽度 的区别，如图2.1所示：
模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
第2章_贝叶斯决策理论
模式识别 – 贝叶斯分类器
2.3 贝叶斯分类器的其它版本
• 先验概率P(ωi)未知：极小化极大准则； • 约束一定错误率（风险）：Neyman-
Pearson准则；
• 某些特征缺失的决策：
• 连续出现的模式之间统计相关的决策：
模式识别 – 贝叶斯分类器
2.4 正态分布的贝叶斯分类器
• 单变量正态分布密度函数（高斯分布）：
px
1
2
exp
1 2
x
2
模式识别 – 贝叶斯分类器
多元正态分布函数
p x i
1
2 d 2
Σi
12
exp
1 2
x
μi
t
Σi1 x μi
模式识别 – 贝叶斯分类器
正态分布的判别函数
• 贝叶斯判别函数可以写成对数形式：
gi x ln px i ln Pi
• 类条件概率密度函数为正态分布时：
gi x d x,μi
模式识别 – 贝叶斯分类器
情况二：Σi Σ
• 判别函数可以写成：
gi
x
1 2
x
μi
t
Σ1
x
μi
ln
P
i
• 可以简化为：
gi
x
μit
Σ1x
1 2
μit
Σ1μi
ln
P
i
w
t i
x
wi 0
称为线性分类器
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，1维特征，先验概率相同时：
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，高维特征，先验概率相同时：
第2章 贝叶斯决策理论
j =1 c
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
第二章贝叶斯决策理论
P1(e) P2 (e)0
第2章 贝叶斯决策理论 24
2019年11月19日星期二
P1(e) P2 (e)0
p(x 1)dx p(x 1)dx 1 p(x 1)dx 1 p(x 1)dx
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。
第2章 贝叶斯决策理论 17
2019年11月19日星期二
2019年11月19日星期二
在两类问题中，若有 21 11 12 22 ，决策规则变为 (21 11)P(1 x)(12 22 )P(2 x) 1 (21 11)P(1 x)(12 22 )P(2 x) 2 P(1 x) P(2 x) 1 P(1 x) P(2 x) 2
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4, 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
P( j
x)
p( x j )P( j )
2
p( x j )P( j )
j1
第2章 贝叶斯决策理论 8
2019年11月19日星期二
对待分类模式的特征我们得到一个观察值 x ， 合理的决 策规则：
P(1 x) P(2 x) 1
第2章 贝叶斯决策理论 24
2019年11月19日星期二
P1(e) P2 (e)0
p(x 1)dx p(x 1)dx 1 p(x 1)dx 1 p(x 1)dx
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。
第2章 贝叶斯决策理论 17
2019年11月19日星期二
2019年11月19日星期二
在两类问题中，若有 21 11 12 22 ，决策规则变为 (21 11)P(1 x)(12 22 )P(2 x) 1 (21 11)P(1 x)(12 22 )P(2 x) 2 P(1 x) P(2 x) 1 P(1 x) P(2 x) 2
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4, 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
P( j
x)
p( x j )P( j )
2
p( x j )P( j )
j1
第2章 贝叶斯决策理论 8
2019年11月19日星期二
对待分类模式的特征我们得到一个观察值 x ， 合理的决 策规则：
P(1 x) P(2 x) 1
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
2第二章 贝叶斯决策理论 2013
2.8 本章小结
2
内容纲要 第一章 绪论
1.5 模式识别系统 研究目的和意义
计算机分类 识别
计算机分析
3
内容纲要 第一章 绪论
1.5 模式识别系统 研究目的和意义
一个典型的模式识别系统（监督模式识别） 一个典型的模式识别系统一般由数据获取，预处理， 特征提取选择、分类决策及分类器设计五部分组成。 分类器设计在训练过程中完成，利用样本进行训练，确 定分类器的具体参数。而分类决策在识别过程中起作用，对 待识别的样本进行分类决策。
P(i | X ) P( X | i ) P(i )
P( X |
j 1
n
j
) P( j )
先验概率 后验概率
P(i )
P( X | i )
类条件概率密度函数
P(i | X )
Bayes公式体现了先验概率、类概率密度函数、后 验概率三者之间的关系。
11
内容纲要 第二章 贝叶斯决策理论
2.1.2 Bayes公式 研究目的和意义
对于待测样品，Bayes公式可以计算出该样品分属各类 别的概率，叫做后验概率。 看X属于哪个类的可能性最大，就把X归于可能性最大的 那个类，后验概率作为识别对象归属的依据。
基本的贝叶斯决策思路！！！
12
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.2 Bayes决策的基本概念
27
内容纲要 第二章 贝叶斯决策理论
2.2 Bayes决策的基本概念 研究目的和意义
Bayes公式如下：
P(i | X ) P( X | i ) P(i )
P( X |
j 1
n
j
) P( j )
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P (2 ) P2 (e) P (1 ) P 1 ( e)
基于最小错误率的贝叶斯决策
多类情况下的贝叶斯决策规则
(1) P(i | x) max P( j | x)
j 1, ,c j 1, ,c
x i x i
(2) p( x | i ) P(i ) max p( x | j ) P( j )
基于最小错误率的贝叶斯决策
考虑贝叶斯公式
P(i | x) p( x | i ) P(i ) i 1, 2,
p( x | ) P( )
j 1 j j
c
,c
癌细胞识别问题中c=2
p( x) p( x | j ) P( j )为一因子
j 1 c
贝叶斯公式通过类条件概率密度形式的观察值，将先验 概率转化为后验概率。
R(i | x) (i , j ) P( j | x), i 1,2, , a
j 1 c
（3）取（2）中条件风险最小的决策，采取该行动。
基于最小风险的贝叶斯决策
例：在最小错误率例题基 础上，利用决策表按最小 风险贝叶斯决策进行分类。
1
1
2
0 1
2
6 0
解：前例已计算出P(1 | x) 0.818, P(2 | x) 0.182
基于最小风险的贝叶斯决策
直观上对数字信号的判断如下图
x 0.5
1 x 0
2 1
信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为
p( x | 1 ) 1 ( x 0)2 exp[ ] 2 2 2
输入为1时，幅值的概率密度为
p( x | 2 ) 1 ( x 1)2 exp[ ] 2 2 2
(1) P(i | x) P( j | x), j 1, 2, , c, 且j i x i , c, 且j i x i , c, 且j i x i x i (2) p( x | i ) P(i ) p( x | j ) P( j ), j 1, 2, p( x | i ) P( j ) (3)l ( x) , j 1, 2, p( x | j ) P(i )
P(1 ) P(2 )
1 , 正常 x 2 , 异常
此种判断方法是否合理？
利用信息太少！
基于最小错误率的贝叶斯决策
加入特征—细胞光密度
d 1 x [ x1 ]T
章前假设：各类总体概率密度为已知，即 已知类条件概率密度 p( x | 1 ), p( x | 2 ) 此时已知分类类别数、先验概率及类条件概率密度， 可重新进行决策。
基于最小风险的贝叶斯决策
定义损失函数 (i , j )
i 1, 2, , a; j 1, 2, ,c
其表示真实状态为 j ，而采取决策 i 所带来的损失。
针对特定x采取决策 i 的条件期望损失（条件风险）为
R(i | x) E[ (i , j )] (i , j ) P( j | x), i 1, 2,
j 1 c
,a
针对所有x的期望风险定义为 R R ( | x ) p ( x )dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R( k | x) min R( i | x)
i 1, , a
k
步骤：
（1）计算后验概率
（2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
基于最小风险的贝叶斯决策
解：最小风险决策的似然比形式
1 R(1 | x) R( 2 | x), x 2 11 p( x | 1 ) P(1 ) 12 p( x | 2 ) P(2 ) 21 p( x | 1 ) P(1 ) 22 p( x | 2 ) P(2 ) (21 11 ) p( x | 1 ) P(1 ) (12 22 ) p( x | 2 ) P(2 ) 1 p( x | 1 ) (12 22 ) P(2 ) , x p( x | 2 ) (21 11 ) P(1 ) 2
试对该细胞x进行分类。 解：
P(1 | x)
p( x | 1 ) P(1 )
p( x | ) P( )
j 1 j j
2
0.2 0.9 0.818 0.2 0.9 0.4 0.1
P(2 | x) 1 P(1 | x) 0.182 P(1 | x) 0.818 P(2 | x) 0.182 x 1
j 1
R(1 | x) R( 2 | x) x 2
结果与前例相反，Why?
基于最小风险的贝叶斯决策
两例结果相反的原因
最小风险决策规则在考虑错误率的同时考虑了“损失”， 而上例中将异常细胞判为正常的代价较大，占“主导”作用， 故产生相反的结果。
决策表直接影响决策结果，制定应慎重。
R(1 | x) 1 j P( j | x) 11P(1 | x) 12 P(2 | x) 6 0.182 1.092
j 1 2 2
R( 2 | x) 2 j P ( j | x) 21P (1 | x) 22 P (2 | x) 1 0.818 0.818
2.1 引言
符号规定
分类类别数：c i , 间维数：d x [ x1, x2 , d维特征空间中的特征向量：
P(i ) 先验概率： 类条件概率密度： p( x | i )
, xd ]T
2.2 几种常用决策规则
最小错误率的贝叶斯决策规则 最小风险决策规则 Neyman-Pearson决策规则 极小极大决策规则
第2章 贝叶斯决策理论
常用决策规则 分类器设计
正态分布情况下的贝叶斯决策
实验内容
2.1 引言
贝叶斯决策理论是统计模式识别的基本理论，其假设
（1）各类别总体的概率分布是已知的； （2）要决策分类的类别数是一定的。 贝叶斯决策理论研究了模式类的概率结构完全知道 的理想情况。这种情况实际中极少出现，但提供了一个 对比其它分类器的依据，即“最优”分类器。
p( x | 1 ) P(1 )
p( x | 2 ) P(2 )
x
概率密 度估计
. . .| M ) P(M ) p( x
最大值 选择器
判别结果
M进制贝叶斯分类器
2.3 分类器设计
决策面—划分决策域的边界 判别函数—用以表达决策规则的函数
x2
决策面
0
x1
2.3 分类器设计
多类情况下的4种贝叶斯决策规则
参照两类情况，也可得到平均错误率最小的分类结果
基于最小风险的贝叶斯决策
考虑风险，如
癌症诊断问题 空袭警报问题 制药企业药品合格检定问题
因此须考虑减小损失（或代价） 最小风险贝叶斯决策是一种令各种错误造成 的损失（风险）最小化的决策。
基于最小风险的贝叶斯决策
决策会带来相应的损失，以决策表来定义
i 1, , c
P ( j | x) min
j 1 j k
c
i 1, , c
P(
j 1 j i
c
j
| x) P (i | x) max P ( j | x)
j 1, , c
基于最小风险的贝叶斯决策
通信例题：
下图为一信号通过受噪声干扰的信道
0,1 信道 x 分类器
基于最小错误率的贝叶斯决策
基本思想：利用贝叶斯公式使分类错误率达到最小。 癌细胞识别问题： 选择癌细胞的d个特征
1 ,正常 x 2 ,异常
经调查统计，得先验概率P(1 ) P(2 )
P(1 ) P(2 ) 1
基于最小错误率的贝叶斯决策
仅依靠先验概率进行判断，其决策规则为
均值为真实信号，噪声在其上波动
基于最小风险的贝叶斯决策
似然比
p( x | 1 ) 1 2 x (12 22 ) P(2 ) exp 2 p( x | 2 ) 2 (21 11 ) P(1 ) 1 x 2
0 1
12 P(1) 1 1 2 x 12 P(1) 2 exp x ln , x 1 2 2 2 21 P(0) 21 P(0) 12 P(1) 1 1 2 x 12 P(1) 2 exp x ln , x 2 2 2 2 21 P(0) 21 P (0)
P(1 ) (4)h( x) ln[l ( x)] ln p( x | 1 ) ln p( x | 2 ) ln P (2 )
基于最小错误率的贝叶斯决策
例：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为 P(1 ) 0.9 正常状态： P(2 ) 0.1 异常状态： 现有一待识别的细胞，其观察值为x，类条件概率密度分别为 p( x | 1 ) 0.2, p( x | 2 ) 0.4
基于最小错误率的贝叶斯决策
类条件概率密度与后验概率图示
基于最小错误率的贝叶斯决策
两类问题最小错误率贝叶斯决策规则：
(1) P(i | x) max P( j | x)
j 1,2 j 1,2
x i x i 似然比形式 1 x 2
(2) p( x | i ) P(i ) max p( x | j ) P( j ) p ( x | 1 ) P(2 ) (3)l ( x) p ( x | 2 ) P(1 ) 1 x 2
基于最小错误率的贝叶斯决策
关于错误率最小的讨论（一维情况） 错误率是指平均错误率P(e) 令每一个x都取使P(e|x) P (e) P (e, x) dx P (e | x) p ( x) dx 最小的值，则所有x产生 P (2 | x) P (1 | x ) 的平均错误率最小。 P (1 | x )