2第二章+贝叶斯决策理论
合集下载
第2章 贝叶斯决策理论
P e
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论● 引言♦ 统计模式识别方法以样本特征值的统计概率为基础：（1） 先验概率()i P ω、类（条件）概率密度函数(/)i p ωx 和后验概率(/)i P ωx 。
（2） Bayes 公式体现这三者关系的公式。
♦ 本章讨论的内容在理论上有指导意义，代表了基于统计参数这一类的分类器设计方法，结合正态分布使分类器设计更加具体化。
♦ 模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。
是指对某一种设计原则讲的，这种原则称为准则。
使这些准则达到最优，如最小错误率准则，基于最小风险准则等,讨论几种常用的决策规则。
设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的方法。
● 思考？♦ 机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？♦ 错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，有没有可能对一种错分类严格控制？● 贝叶斯决策理论与方法基本概念给定一个m 模式类(,,....,)m ωωω12的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本x 属于这m 类样本中的哪一类问题。
假设一个待识别的样本用n 个属性观察值描述，称之为n 个特征，从而组成一个n 维的特征向量，而这n 维征向量所有可能的取值范围则组成了一个n 维的特征空间。
特征空间的统计分布 (1) i ω, i =1,2,…,m 的先验概率：()i P ω(2)类条件概率密度函数：(|)i p ωx （可解释为当类别i ω已知的情况下， 样本x 的概率 分布密度函数）(3)后验概率：生成m 个条件后验概率(|)i P ωx ，i =1，2，…，m 。
也就是对于一个特征 向量x ，每一个条件后验概率(|)iP ωx 都代表未知样本属于某一特定类i ω的概率。
第一节 基于最小错误率的贝叶斯判别方法 (一).两类情况两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。
2.贝叶斯决策理论(3学时)
前面所讲的错误率达到最小。在某些实际应用中，最小错 误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如 果把正常细胞判为癌症细胞，固然会给病人精神造成伤害， 但伤害有限；相反地，若把癌症细胞误判为正常细胞，将会 使早期的癌症患者失去治疗的最佳时机，造成验证的后果。
【基于最小风险的贝叶斯决策】
数学描述
（4）
h(x)
ln
l(x)
ln
p(x
|
1)
ln
p(x
|
2 )
ln
P(1 ) P(2 )
h(x)
ln
l(x)
ln
p(x
|
1)
ln
p(x
|
2 )
ln
P(1 ) P(2 )
x 1
x 2
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【引决言策】
把样本x分到哪一类最合理？解决该问题的理论基础之一是 统计决策理论
决策：是从样本空间S，到决策空间Θ 的一个映射，表示为 D: S --> Θ
评价决策有多种标准，对于同一个问题，采用不同的标准 会得到不同意义下“最优”的决策。
Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则
正态分布概率模型有很好的性质，有利于做数学分析。
【正态分布时的统计决策】
1. 单变量正态分布
单变量正态分布概率密度定义为
p(x)
1 2
exp
1 2
【基于最小风险的贝叶斯决策】
数学描述
（4）
h(x)
ln
l(x)
ln
p(x
|
1)
ln
p(x
|
2 )
ln
P(1 ) P(2 )
h(x)
ln
l(x)
ln
p(x
|
1)
ln
p(x
|
2 )
ln
P(1 ) P(2 )
x 1
x 2
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【引决言策】
把样本x分到哪一类最合理？解决该问题的理论基础之一是 统计决策理论
决策：是从样本空间S，到决策空间Θ 的一个映射，表示为 D: S --> Θ
评价决策有多种标准，对于同一个问题，采用不同的标准 会得到不同意义下“最优”的决策。
Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则
正态分布概率模型有很好的性质，有利于做数学分析。
【正态分布时的统计决策】
1. 单变量正态分布
单变量正态分布概率密度定义为
p(x)
1 2
exp
1 2
第2章贝叶斯决策理论
R1 | x R2 | x 所以 x w2
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
2 贝叶斯决策理论
a Rab
R a bP(1 )
• 由上式可见，当类条件概率密度、损失函数 ij 、
类域Ri 取定后，R是P(1)的线性函数。
• 考虑P(1)的各种可能取值情况，为此在区间(0,1)中
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
先验概率提供的信息太少，要结合样本 观测信息，为此需要利用类条件概率
贝叶斯公式
p
各类样本的分布情况
贝叶斯决策的几种表达形式
应用实例
两类模式集分类问题
对一大批人进行癌症普查，患癌者以ω1类代表，正 常人以ω2类代表 设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995 现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类 可以通过对被识别对象的多次观察和测 量，构成特征向量，并将其作为某一个 判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
R(1 x ) 11P(1 x ) 12 P(2 x ) R( 2 x ) 21P(1 x ) 22 P(2 x )
R 11P(1 x ) 12 P(2 x ) p( x )d x
R1
21P(1 x ) 22 P(2 x ) p( x )d x
R a bP(1 )
• 由上式可见，当类条件概率密度、损失函数 ij 、
类域Ri 取定后，R是P(1)的线性函数。
• 考虑P(1)的各种可能取值情况，为此在区间(0,1)中
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
先验概率提供的信息太少，要结合样本 观测信息，为此需要利用类条件概率
贝叶斯公式
p
各类样本的分布情况
贝叶斯决策的几种表达形式
应用实例
两类模式集分类问题
对一大批人进行癌症普查，患癌者以ω1类代表，正 常人以ω2类代表 设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995 现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类 可以通过对被识别对象的多次观察和测 量，构成特征向量，并将其作为某一个 判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
R(1 x ) 11P(1 x ) 12 P(2 x ) R( 2 x ) 21P(1 x ) 22 P(2 x )
R 11P(1 x ) 12 P(2 x ) p( x )d x
R1
21P(1 x ) 22 P(2 x ) p( x )d x
第二章贝叶斯决策理论
利用贝叶斯公式(1)还可以得到几种最小错 误率贝叶斯决策规则的等价形式：
⑵如果 p(x|ωi) P(ωi )= mj1a,2xp(x|ωj) P(ωj)，
则
x∈ωi
⑶若
l(x) p(x | 1) P(2 )
p(x | 2 ) < P(1)
，则x∈
ω1 ω2
⑷对上式的l(x)取自然对数的负值，可写为
2
p(x | i )P(i )
i 1
2.2.1基于最小错误率的贝叶斯决策
❖ 条件概率P(ωi|x)称为状态的后验概率 ❖ 贝叶斯公式实质上是通过观察x把状态的先验
概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图 2.2所示。
图2.2 P(ω1) =2/3和P(ω2)=1/3 及图2.1下的后验 概率图
若h(x)=－ln[l(x)]=－lnp(x|ω1)+ lnp(x|ω2) <>
则 x∈ ω1
ln P(2 ) P(1 )
ω2
2.2.1基于最小错误率的贝叶斯决策
举例
❖ 假设在某个局部地区细胞识别中正常(ω1) 和异常(ω2)两类先验概率分别为正常状态： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有 一待识的细胞，其观察值为x，从类条件 概率密度分布曲线上查得p(x|ω1)=0.2， p(x|ω2)=0.4。试对该细胞x进行分类。
一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。
2.2.1基于最小错误率的贝叶斯决策
解决方法
❖ 利用对鱼观察到的光泽度提高分类器的性 能。不同的鱼产生不同的光泽度，将其表 示为概率形式的变量，设x是连续的随机变 量，其分布取决于类别状态，表示为p(x|ω)， 即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2) 之间的区别就表示为鲈鱼与鲑鱼间光泽度 的区别，如图2.1所示：
模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
第2章_贝叶斯决策理论
模式识别 – 贝叶斯分类器
2.3 贝叶斯分类器的其它版本
• 先验概率P(ωi)未知：极小化极大准则； • 约束一定错误率（风险）：Neyman-
Pearson准则；
• 某些特征缺失的决策：
• 连续出现的模式之间统计相关的决策：
模式识别 – 贝叶斯分类器
2.4 正态分布的贝叶斯分类器
• 单变量正态分布密度函数（高斯分布）：
px
1
2
exp
1 2
x
2
模式识别 – 贝叶斯分类器
多元正态分布函数
p x i
1
2 d 2
Σi
12
exp
1 2
x
μi
t
Σi1 x μi
模式识别 – 贝叶斯分类器
正态分布的判别函数
• 贝叶斯判别函数可以写成对数形式：
gi x ln px i ln Pi
• 类条件概率密度函数为正态分布时：
gi x d x,μi
模式识别 – 贝叶斯分类器
情况二：Σi Σ
• 判别函数可以写成：
gi
x
1 2
x
μi
t
Σ1
x
μi
ln
P
i
• 可以简化为：
gi
x
μit
Σ1x
1 2
μit
Σ1μi
ln
P
i
w
t i
x
wi 0
称为线性分类器
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，1维特征，先验概率相同时：
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，高维特征，先验概率相同时：
第2章 贝叶斯决策理论
j =1 c
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
2第二章 贝叶斯决策理论 2013
2.8 本章小结
2
内容纲要 第一章 绪论
1.5 模式识别系统 研究目的和意义
计算机分类 识别
计算机分析
3
内容纲要 第一章 绪论
1.5 模式识别系统 研究目的和意义
一个典型的模式识别系统（监督模式识别） 一个典型的模式识别系统一般由数据获取，预处理， 特征提取选择、分类决策及分类器设计五部分组成。 分类器设计在训练过程中完成，利用样本进行训练，确 定分类器的具体参数。而分类决策在识别过程中起作用，对 待识别的样本进行分类决策。
P(i | X ) P( X | i ) P(i )
P( X |
j 1
n
j
) P( j )
先验概率 后验概率
P(i )
P( X | i )
类条件概率密度函数
P(i | X )
Bayes公式体现了先验概率、类概率密度函数、后 验概率三者之间的关系。
11
内容纲要 第二章 贝叶斯决策理论
2.1.2 Bayes公式 研究目的和意义
对于待测样品，Bayes公式可以计算出该样品分属各类 别的概率，叫做后验概率。 看X属于哪个类的可能性最大，就把X归于可能性最大的 那个类，后验概率作为识别对象归属的依据。
基本的贝叶斯决策思路！！！
12
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.2 Bayes决策的基本概念
27
内容纲要 第二章 贝叶斯决策理论
2.2 Bayes决策的基本概念 研究目的和意义
Bayes公式如下：
P(i | X ) P( X | i ) P(i )
P( X |
j 1
n
j
) P( j )
模式识别 第二章 贝叶斯决策论习题答案
2
= min p (ω1 x ) , p (ω2 x ) max p (ω1 x ) , p (ω2 x )
= p ω1 x p ω2 x
(
) (
)
所以， p ω1 x p ω2 x 能过给出误差率的下界。 d) 因为：
(
) (
)
pβ ( error ) = ∫ β p (ω1 x ) p ( ω2 x ) p ( x ) dx
α 4
∫
Hale Waihona Puke +∞p ( x ) dx <
显而易见： pα ( error ) < p ( error ) ，因此当 α < 2 时，无法得到误差率的上界。 c) 因为：
p ( error x ) ≥ p ( error x ) − p ( error x ) = p ( error x ) 1 − p ( error x )
i =1 ωi ≠ωmax
∑ P (ω x ) p ( x ) d x
i
c
= ∫ 1 − P (ωmax x ) p ( x ) dx = 1 − ∫ P (ωmax x ) p ( x ) dx
d) 续上式：
(
)
P ( error ) = 1 − ∫ P (ωmax x ) p ( x ) dx ≤ 1− ∫ 1 1 c −1 p ( x ) dx = 1 − = c c c
n t
′ ′ ′ Σ′ = ∑ ( x′ k − μ )( x k − μ )
k =1 n
= ∑ Tt ( x 0 k − μ )( x 0 k − μ ) T
t k =1
n t = Tt ∑ ( x 0 k − μ )( x 0 k − μ ) T k =1 = T t ΣT
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
11
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 如果将一个"-"样品错分为"+"类所造成的损失要比将" +"分成"-"类严重. 偏向使对"-"类样品的错分类进一步减少,可以使总的损 失最小,那么B直线就可能比A直线更适合作为分界线.
12
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
P(ωi | X )
Bayes公式体现了先验概率,类概率密度函数,后 验概率三者之间的关系.
20
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
1,先验概率 P(ωi ) 先验概率 P(ω i ) 针对M个事件出现的可能性而言, 不考虑其他任何条件.
21
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
内容纲要 第二章 贝叶斯决策理论 2.2 基于最小错误率的Bayes决策 研究目的和意义
1.两类问题
ω 若每个样品属于ω1 , 2 类中的一类,已知两类的先验概率分别为
P (ω1 )和P (ω 2 )
,两类的类条件概率密度分别为 P( X | ω1 )和 P( X | ω 2 )
Hale Waihona Puke 则任给一X,判断X的类别. 由Bayes公式可知:
2)基于最小错误风险的Bayes决策 引入了"风险"与"损失"概念,希望做到使 风险最小,减小危害大的错分类情况.
16
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
从图4-2可见,错分类有不同情况,两种错误造成 的损失不一样,不同的错误分类造成的损失会不相 同,后一种错误更可怕,因此就要考虑减小因错分 类的危害损失.
31
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 4,P(ω1 | X ) 和 P(ω ① P(ω
1
2
| X)
与
P ( X | ω1 )
和 P( X | ω ) 的区别
2
| X)
和
P (ω 2 | X )
是在同一条件X下,比较
ω1
和
ω2
出现的概率.
32
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 ① 如 P (ω1 | X ) > P (ω 2 | X ) 则可以下结论,在X条件下,事件 如图4-4所示.
05
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
例:某制药厂生产的药品检验识别 目的:说明Bayes决策所要解决的问题!!
06
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
如图4-1所示,正常药品"+",异常药品"-".识 别的目的是要依据X向量将药品划分为两类.
2 2 ∞ ∞
26
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
多维正态概率密度函数为:
P( X ) = 1 (2π ) N / 2 | S |1 / 2 1 exp[ ( X ) T S 1 ( X )] 2
X = ( x1 , x 2 ,..., x N ) 为 N
3,后验概率 后验概率是指呈现状态X时,该样品分属各类 别的概率,这个概率值可以作为识别对象归属的 依据 .
29
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
由于属于不同类的待识别对象存在着呈现相同观察值 的可能,即所观察到的某一样品的特征向量为X,而 在M类中又有不止一类可能呈现这一X值,它属于各类 的概率又是多少呢? 这种可能性可用
34
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.2 基于最小错误率的 Bayes决策
35
内容纲要 第二章 贝叶斯决策理论 2.2 基于最小错误率的Bayes决策 研究目的和意义
假定得到一个待识别量的特征X后,每个样品X有 N 个特征,即 X = ( x1 , x 2 ,..., x N ) T 通过样品库,计算先验概率 P(ω i ) 及类条件概率密度函数 P ( X | ω i ) ,得到呈现状态X时,该样品分属各类别的概率, 显然这个概率值可以作为识别对象判属的依据.
分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数. 不同准则函数的最优解对应不同的学习结果,得到 性能不同的分类器.
13
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
错分类往往难以避免,这种可能性可用 P (ω i | X ) 表 示. 如何做出合理的判决就是Bayes决策所要讨论的问题. 其中最有代表性的是: 基于错误率的Bayes决策 基于最小风险的Bayes决策
09
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
此时,任何决策都存在判错的可能性. 即所观察到的某一样品的特征向量X,在M类中又有 不止一类可能呈现这一X值,无论直线参数如何设计, 总会有错分类发生.
10
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 如果以错分类最小为原则分类,则图中A直线可能是最佳的分 界线,它使错分类的样品数量为最小.
36
内容纲要 第二章 贝叶斯决策理论 2.2 基于最小错误率的Bayes决策 研究目的和意义
从后验概率分布图4-4可见,在X值小时,药品被 判为正常是比较合理的,判断错误的可能性小.
基于最小错误概率的贝叶斯决策就是按后验概率的 大小做判决的.这个规则又可以根据类别数目,写 成不同的几种等价形式.
37
17
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.1.2 Bayes公式
18
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
对于待测样品,Bayes公式可以计算出该样品分属各类 别的概率,叫做后验概率. 看X属于哪个类的可能性最大,就把X归于可能性最大的 那个类,后验概率作为识别对象归属的依据.
P( X | ωi )
25
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
单变量正态分布概率密度函数为:
P( x) = 1 x 2 exp[ ( ) ] 2 σ 2π σ 1
为数学期望(均值)
= E ( x) = ∫ xP( x)dx
∞ ∞
σ2
为方差:
σ = E[( x ) ] = ∫ ( x ) 2 P( x)dx
1 1 1 T P( X | ω i ) = ln exp[ ( X i ) S i ( X i )] N /2 1/ 2 2 | Si | (2π ) 1 N 1 1 = ( X i ) T S i ( X i ) ln 2π ln | S i | 2 2 2
28
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
1,举例说明:什么是先验概率 P(ω i ) ? 由统计资料表明总药品数为n, 其中正常药品数为 n1 ,异常药品数为 n2 则
n1 P(ω1 ) = n
n2 P(ω 2 ) = n
先验概率!
显然在一般情况下正常药品占比例大,即 P(ω ) > P(ω )
1 2
由先验概率所提供的信息太少!!!
22
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
ω1
出现的可能性大.
两类情况下,则有
P (ω1 | X ) + P (ω 2 | X ) = 1
33
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 ② P( X | ω1 ) 与 P( X | ω ) 都是指各自条件下出现X的可能性,
2
两者之间没有联系,比较两者没有意义.
02
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.1 Bayes决策的基本概念
03
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.1.1 Bayes决策所讨论的问题
04
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
(1)当分类器的设计完成后,对待测样品进行 分类,一定能正确分类吗? (2)如果有错分类情况发生,是在何种情况下 出现的?错分类的可能性会有多大?
概率密度函数 P( X | ω1 ) 是正常药品的属性分布,概率密度函数
P( X | ω 2 )
是异常药品的属性分布.
24
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
在工程上的许多问题中,统计数据往往满足正态分 布规律. 正态分布简单,分析简单,参量少,是一种适宜 的数学模型. 如果采用正态密度函数作为类条件概率密度的函数 形式,则函数内的参数(如期望和方差)是未知的, 那么问题就变成了如何利用大量样品对这些参数进行 估计. 只要估计出这些参数,类条件概率密度函数 也就确定了.
19
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
Bayes公式如下:
P(ω i | X ) = P ( X | ω i ) P (ω i )
∑ P( X | ω
j =1
n
j