模式识别课件第二章贝叶斯决策理论new.
合集下载
模式识别-第2讲-贝叶斯决策理论1
随机变量：随机事件的数量表示； 离散随机变量：取值为离散的随机变量 ；
连续随机变量：取值为连续的随机变量 ；
9
频率和概率
频率：试验在相同的条件下重复N次，其 中M次事件A发生，则A发生的频率为： fN(A) = M / N；
概率：当N很大时，频率会趋向一个稳定 值，称为A的概率：
P A lim f N A
j 1 2
得到的条件概率P ωi | x 称为状态的后验概率。 20
似然 先验 后验(分布或密度) 全概率
类条件概率密度=似然 21
基于后验分布的判别规则
存在一个观察值x(特征) 如果P(1 | x) > P(2 | x) 如果P(1 | x) < P(2 | x) 类别状态= 1 类别状态 = 2
全概率公式
互不相容事件：如果试验时，若干个随机 事件中任何两个事件都不可能同时发生， 则称它们是互不相容的。 全概率公式：若事件只能与两两不相容的 事件A1, A2,…, AN之一同时发生，则有：
P B P Ai P B Ai
i 1
N
15
贝叶斯公式
离散形式：A, B为离散随机变量：
j 1 c
观察值 x 是随机向量，不同的观察值 x ，采取 决策i时，其条件风险的大小是不同的。所以， 究竟采取哪一种决策将随x的取值而定。 决策 看成随机向量 x 的函数，因此，它也是 一个随机变量。条件风险R(i|x)反映给定的观 察值 x ，采取决策 i时，所有类别状态下带来 风险的平均值。 34
问该细胞属于正常细胞还是异常细胞。
解：先计算后验概率： P( x 1 ) P(1 ) 0.2 0.9 P(1 x) 2 0.818 0.2 0.9 0.4 0.1 P ( x ) P ( ) j j
第2章 贝叶斯决策完整版.ppt
精选
最小风险准则
❖ 最小风险贝叶斯决策：考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险：
精选
最小风险准则
❖ 期望风险：对于x的不同观察值，采取决策αi时，
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样，决策α可以看成随机向 量x的函数，记为α(x)。可以定义期望风险Rexp为：
假言：如果鱼的长度 x 大于45cm，则该鱼为 鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某条鱼 x 38cm
结论：该鱼为鲑鱼 2
❖ 概率推理（不确定性推理）
P i x 精选
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定，a和b为常数
❖ 一旦 R1 和 R2 确定， R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ，期望风险与P(ω1) 无关！
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则： P1 x P2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1：
最小风险准则
❖ 最小风险贝叶斯决策：考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险：
精选
最小风险准则
❖ 期望风险：对于x的不同观察值，采取决策αi时，
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样，决策α可以看成随机向 量x的函数，记为α(x)。可以定义期望风险Rexp为：
假言：如果鱼的长度 x 大于45cm，则该鱼为 鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某条鱼 x 38cm
结论：该鱼为鲑鱼 2
❖ 概率推理（不确定性推理）
P i x 精选
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定，a和b为常数
❖ 一旦 R1 和 R2 确定， R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ，期望风险与P(ω1) 无关！
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则： P1 x P2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1：
模式识别第二章贝叶斯理论
13
4、分类器设计：
x1 x X 2 ... xn
g1(x) g2(x)
...
Max g(x)
x i
gn(x)
判别计算
最大值选择器
决策
特征向量
贝叶斯公式可以有几种形式的判别法则，针对具体问 题可以选取合适的形式。不管选取何种形式，其基本思想均 是要求判别归属时依概率最大作出决策，这样的结果就是分 类的错误率最小。
由上例中计算出的后验 概率：P (1 x) 0.818, P ( 2 x) 0.182 条件风险：R (1 x) 1 j P ( j x) 12 P( 2 x) 1.092
j 1 2
R ( 2 x) 21 P (1 x) 0.818 因为R (1 x) R ( 2 x) x 异常细胞,因决策1类风险大。 因12＝6较大，决策损失起决定 作用。
31
N-P决策规则 如果：
Px | 2
当
P x | 1
则：
N-P决策规则归结为找阈值
1 x 2
。
P ( x 1 ) 时, 作1 2的分界线. P( x 2 )
t
2 P ( x 2 ) dx, 为 2的函数在取 2为常数时， 可确定， 这时 2一定 1最小
1 j M
另一种形式： g i ( x ) ln P ( x i ) ln P ( i ) max ln P ( x j ) ln P ( i ) x i
1 j M
3、决策面方程： g i ( x )
g j ( x ), 即 g i ( x ) g j ( x ) 0
i , 1 i , 2
4、分类器设计：
x1 x X 2 ... xn
g1(x) g2(x)
...
Max g(x)
x i
gn(x)
判别计算
最大值选择器
决策
特征向量
贝叶斯公式可以有几种形式的判别法则，针对具体问 题可以选取合适的形式。不管选取何种形式，其基本思想均 是要求判别归属时依概率最大作出决策，这样的结果就是分 类的错误率最小。
由上例中计算出的后验 概率：P (1 x) 0.818, P ( 2 x) 0.182 条件风险：R (1 x) 1 j P ( j x) 12 P( 2 x) 1.092
j 1 2
R ( 2 x) 21 P (1 x) 0.818 因为R (1 x) R ( 2 x) x 异常细胞,因决策1类风险大。 因12＝6较大，决策损失起决定 作用。
31
N-P决策规则 如果：
Px | 2
当
P x | 1
则：
N-P决策规则归结为找阈值
1 x 2
。
P ( x 1 ) 时, 作1 2的分界线. P( x 2 )
t
2 P ( x 2 ) dx, 为 2的函数在取 2为常数时， 可确定， 这时 2一定 1最小
1 j M
另一种形式： g i ( x ) ln P ( x i ) ln P ( i ) max ln P ( x j ) ln P ( i ) x i
1 j M
3、决策面方程： g i ( x )
g j ( x ), 即 g i ( x ) g j ( x ) 0
i , 1 i , 2
《模式识别与机器学习》第2讲 贝叶斯学习基础
−1
, =
贝叶斯决策
可能错分的情况存在 × ( − 1)种，涉及到的计算很多，
所以通常采样计算平均正确率()来计算()
= 1 −
= 1 − න , = 1 + න , = 2 + ⋯ + න , =
−
通过判别函数可以得到决策面g i = g j 为
−
1
− T Σ−1 − − −
2
第二讲 贝叶斯学习基础
T −1
Σ
−
+ ln
=
1 Σ
− ln
=0
=
2 Σ
基于高斯分布的贝叶斯决策器
考虑当所有类别的协方差矩阵都相等的情况下，即
目录
• 贝叶斯公式
• 贝叶斯决策
• 分类器的相关概念
• 基于高斯分布的贝叶斯分类器
• 朴素贝叶斯分类器
• 参数估计
第二讲 贝叶斯学习基础
贝叶斯决策
• 贝叶斯决策
贝叶斯决策（Bayesian decision）是概率框架下实施决策的
基本方法，它通过综合考虑决策的后验分布和错误决策的
损失来做出决策。其中，贝叶斯公式被用于计算后验分布。
=
≠
( = |)
= 1 − ( = |)
第二讲 贝叶斯学习基础
第二讲 贝叶斯学习基础
目录
• 贝叶斯公式
• 贝叶斯决策
• 分类器的相关概念
• 基于高斯分布的贝叶斯分类器
• 朴素贝叶斯分类器
• 参数估计
第二讲 贝叶斯学习基础
分类器的相关概念
二类分类问题：要机器来判断一张图像是大熊猫还是小熊猫
, =
贝叶斯决策
可能错分的情况存在 × ( − 1)种，涉及到的计算很多，
所以通常采样计算平均正确率()来计算()
= 1 −
= 1 − න , = 1 + න , = 2 + ⋯ + න , =
−
通过判别函数可以得到决策面g i = g j 为
−
1
− T Σ−1 − − −
2
第二讲 贝叶斯学习基础
T −1
Σ
−
+ ln
=
1 Σ
− ln
=0
=
2 Σ
基于高斯分布的贝叶斯决策器
考虑当所有类别的协方差矩阵都相等的情况下，即
目录
• 贝叶斯公式
• 贝叶斯决策
• 分类器的相关概念
• 基于高斯分布的贝叶斯分类器
• 朴素贝叶斯分类器
• 参数估计
第二讲 贝叶斯学习基础
贝叶斯决策
• 贝叶斯决策
贝叶斯决策（Bayesian decision）是概率框架下实施决策的
基本方法，它通过综合考虑决策的后验分布和错误决策的
损失来做出决策。其中，贝叶斯公式被用于计算后验分布。
=
≠
( = |)
= 1 − ( = |)
第二讲 贝叶斯学习基础
第二讲 贝叶斯学习基础
目录
• 贝叶斯公式
• 贝叶斯决策
• 分类器的相关概念
• 基于高斯分布的贝叶斯分类器
• 朴素贝叶斯分类器
• 参数估计
第二讲 贝叶斯学习基础
分类器的相关概念
二类分类问题：要机器来判断一张图像是大熊猫还是小熊猫
贝叶斯决策理论教材(PPT 94页)
Rexp R x x p x dx
❖ 期望风险反映对整个空间上所有x的取值采取相应的 决策α(x)所带来的平均风险，也即条件风险在特征 空间的平均值。
最小风险准则
❖ 两分类问题的例子：
❖ 似然比公式
0-1 损失
( i
|
j
)
0 1
i j i j
❖ 当作出正确决策时（i=j）时没有损失，而对 任何错误的决策，其损失为1。此时定义的损 失函数为0-1损失函数。
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
第2章 贝叶斯决策理论
Bayesian Decision Theory
❖ 模式识别是根据对象特征值将其分类。 d个特征组成特征向量x=[x1,···,xd]T，生成d 维特征 空间，在特征空间一个 x 称为一个模式样本。
❖ Bayes决策理论是用概率统计方法研究决策问题。 ⒈ 为什么可用Bayes决策理论分类？ ⑴样本的不确定性：
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
ห้องสมุดไป่ตู้
❖ 期望风险反映对整个空间上所有x的取值采取相应的 决策α(x)所带来的平均风险，也即条件风险在特征 空间的平均值。
最小风险准则
❖ 两分类问题的例子：
❖ 似然比公式
0-1 损失
( i
|
j
)
0 1
i j i j
❖ 当作出正确决策时（i=j）时没有损失，而对 任何错误的决策，其损失为1。此时定义的损 失函数为0-1损失函数。
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
第2章 贝叶斯决策理论
Bayesian Decision Theory
❖ 模式识别是根据对象特征值将其分类。 d个特征组成特征向量x=[x1,···,xd]T，生成d 维特征 空间，在特征空间一个 x 称为一个模式样本。
❖ Bayes决策理论是用概率统计方法研究决策问题。 ⒈ 为什么可用Bayes决策理论分类？ ⑴样本的不确定性：
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
ห้องสมุดไป่ตู้
模式识别课件 第二章 贝叶斯决策论
• 2.3 最小误差率分类
• 当损失函数简化到所谓的“对称损失”或“0-1损失” 函数
i, j 1,2,c
0 ( i | j ) 1
i j i j
• 这个损失函数将0损失赋给一个正确的判决，而将一 个单位损失赋给任何一种错误判决，因此所有误判都是 等价的。与这个损失函数对应的风险就是平均误差概率。
i ;
b
左图说明，如果 引入一个0-1损失 或分类损失，那么 判别边界将由阈值 a 决定；而如果 损失函数将模式 2 判为 1 的惩罚大于 反过来情况，将得 到较大的阈值 使 b 得R1变小
2.3.1 极小极大化准则（先验概率未知情形） • 有时我们需要设计在整个先验概率范围内都能很好操作的 分类器。一种合理的设计方法就是使先验概率取任何一种
2
？
通常： (2,1 1,1 ) 0 (1,2 2,2 ) 0
结合贝叶斯公式，用先验概率与条件密度来表示 后验概率，等价规则为 如果 (2,1 1,1 ) P( x | 1 ) P(1 ) (1, 2 2,2 ) P( x | 2 ) P(2 )
p( x | i ) P(i ) p( x | j ) P( j )
j
g i ( x) P(i | x)
gi ( x) ln p( x | i ) ln P(i )
• 尽管判别函数可写成各种不同的形式，但是判决规则是相同的。 每种判决规则都是将特征空间划分c个判决区域， R1 , Rc 如果对于所有的 j i ，有 gi ( x) g j ( x) 那么x属于 Ri 。 要求我 们将x分给 i 。此区域由判决边界来分割，其判决边界即判决
注 : 假定的类条件概率密度函数图,显示了模式处于类别 i 时观察某 个特定特征值 x 的概率密度.如果 x 代表了鱼的长度,那么这两条曲线可 描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1
《模式识别》 第二章 2.1
( ) ( ) P ωi x
=
max P
j =1,2 ," ,c
ωj
x
先验概率与类条件概率密度相联系的形式 ：
( ) ( ) ( ) ( ) P
x ωi
P ωi
= max P j =1,2,",c
x ωj
P ωj
,则
x ∈ωi
19
小结
贝叶斯公式：
P(ωi | x) =
p(x | ωi )P(ωi )
=
−
ln
p(x
|
ω1 )
+
ln
p(x
|
ω2
)
< ln
>
⎛ ⎜ ⎝
P(ω1) P(ω2 )
⎞ ⎟ ⎠
x ∈ ⎧⎨⎩ωω12
15
基于最小错误率的贝叶斯决策
例：假设在某个局部地区细胞识别中正常和异常两类的先验概率 分别为
正常状态：P(ω1) = 0.9
异常状态：P(ω2 ) = 0.1
现有一待识别的细胞，其观察值为x，类条件概率密度分别
基于最小错误率的贝叶斯决策
鲈鱼/鲑鱼例子
自然状态下，先验的类别状态，ωi, i=1,2
ωi类别状态是一个随机变量, P(ωi) 表示为先验概率。 捕获鲈鱼和鲑鱼的几率相等。
P(ω1) = P(ω2) (先验) P(ω1) + P( ω2) = 1 (排除其它鱼的种类)
基于最小错分布 (先验概率和类条件 概率密度) 是已知的
要决策分类的类别数是一定的
决策
黑色：第一类
粉色：第二类
绿色：哪一类？
统计决策理论就是 根据每一类总体的 概率分布决定未知 类别的样本属于哪 一类！
模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
哈工大模式识别课件—第2章_贝叶斯决策理论
模式识别 – 贝叶斯分类器
正态分布的判别函数
• 贝叶斯判别函数可以写成对数形式：
g ix l n p xi l n P i
• 类条件概率密度函数为正态分布时：
g ix 1 2 x μ itΣ i 1 x μ i d 2 l n 2 1 2 l n Σ i l n P i
模式识别 – 贝叶斯分类器
贝叶斯分类器的错误率估计
p 2 x
p 1 x
c
Perror1pi xdx i1Ri
模式识别 – 贝叶斯分类器
例2.1
• ω对2一类大代批表人正进常行人癌。症已普知查先，验设概ω率1：类代表患癌症，
P 1 0 . 0 0 5 ,P 2 0 . 9 9 5
以一个化验结果作为特征x: {阳性，阴性}，患癌症 的人和正常人化验结果为阳性的概率分别为：
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，1维特征，先验概率不同时：
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，高维特征，先验概率不同时：
模式识别 – 贝叶斯分类器
情况三： Σ i 任意
• 判别函数可以写成：
g ix 1 2 x tΣ i 1 x μ t iΣ i 1 x 1 2 μ i tΣ i 1 μ i 1 2 ln Σ i ln P i
•将未知模式x判别为ωj类的平均风险为：
c
j x ijP i x i1
模式识别 – 贝叶斯分类器
最小平均风险判别准则
• 利用Bayes公式，构造判别函数：
gj xj x
c
jxijPxiPi i1
模式识别 – 贝叶斯分类器
贝叶斯分类器
行动（分类）
代价
决策管理-模式识别之贝叶斯决策
②变型1（消去相同的分母）
如果
P(i
| x)
max j 1,2
P
(
j
| x),
则
x i
P(i | x)
p(x | i )P(i )
c
p(x | j )P( j )
j 1
如果
p(x | i )P(i )
max j 1,2
p(x | j )P( j ),
①已知决策分类的类别数为c，各类别的状态为：
i , i 1, ..., c
②已知各类别总体的概率分布（各个类别出现 的先验概率和类条件概率密度函数）
P(i ), p(x | i ), i 1, ..., c
Bayes决策理论欲解决的问题
如果在特征空间中观察到某一个（随机） 向量 x = ( x1 , x2 ,…, xd )T
2
p( x | j )P( j
)
0.2
0.2 0.9 0.9 0.4
0.1
0.818
j1
P(2 | x) 1 P(1 | x) 0.182
属于正常细胞，注意：先验概率起主导作用
如果先验概率相等，则属于异常细胞
正确分类与错误分类
• 正确分类：将样本归属到样本本身所属的 类别
红＋黄
绿
只有当 t 取两类后验概率相等的点时，错误率才是最 小的（黄颜色区域变成零）
P(e) P(2 ) 1 p( x | 2 )dx P(1 ) 2 p( x | 1 )dx
P(2 )P2 (e) P(1 )P1 (e)
2.2.2 基于最小风险的Bayes决策
• 错误分类：将样本归属到非样本本身所属
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2.2.1基于最小错误率的贝叶斯决策
只以先验概率决策存在问题
• 假设已知出现鲈鱼的先验概率为P(ω1)和 出现鲑鱼的先验概率为P(ω2)。
• 在两类别问题中存在 • P(ω1)+ P(ω2)=1
2.2.1基于最小错误率的贝叶斯决策
只以先验概率决策存在问题
• 若P(ω1)> P(ω2)，ω=ω1； • P(ω1)< P(ω2)，ω=ω2。 • 如果P(ω1)=0.9 ， P(ω2)=0.1， • P(ω1)> P(ω2)，出现的鱼归为鲈鱼。如果仅做
一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。
2.2.1基于最小错误率的贝叶斯决策
解决方法
• 利用对鱼观察到的光泽度提高分类器的性 能。不同的鱼产生不同的光泽度，将其表 示为概率形式的变量，设x是连续的随机变 量，其分布取决于类别状态，表示为p(x|ω)， 即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2) 之间的区别就表示为鲈鱼与鲑鱼间光泽度 的区别，如图2.1所示：
第二章 贝叶斯决策理论
2.1 引言 2.2几种常用的决策规则 2.3正态分布时的统计决策 2.4关于分类器的错误率问题
2.1 引 言
模式识别的分类问题是根据识别对象特 征的观察值将其分到某个类别中去。
例：医生要根据病人血液中白细胞的浓 度来判断病人是否患血液病。
两类的识别问题。
2.1 引 言
利用贝叶斯公式(1)还可以得到几种最小错 误率贝叶斯决策规则的等价形式：
⑵如果 p(x|ωi) P(ωi )= mj1a,2xp(x|ωj) P(ωj)，
则
x∈ωi
⑶若
l(x) p(x | 1) P(2 )
p(x | 2 ) < P(1)
，则x∈
ω1 ω2
⑷对上式的l(x)取自然对数的负值，可写为
根据医学知识和以往的经验医生知道： 患病的人，白细胞的浓度服从均值2000， 方差1000的正态分布；未患病的人，白 细胞的浓度服从均值7000，方差3000的 正态分布；一般人群中，患病的人数比 例为0.5%。
一个人的白细胞浓度是3100，医生应该 做出怎样的判断？
2.1 引 言
贝叶斯决策理论
2.2 几种常用的决策规则
2.2.1基于最小错误率的贝叶斯决策
• 利用概率论中的贝叶斯公式，得出使错 误率为最小的分类规则，称之为基于最 小错误率的贝叶斯决策。
2.2.1基于最小错误率的贝叶斯决策
举例说明
• 以鱼分类为例说明解决问题的过程。 • 假设已抽取出d个表示鱼的特征，成为一个d维
空间的向量x，目的是要将x分类为鲈鱼或者鲑 鱼。 • 如果用ω表示状态，就是将x归类于两种可能的 自然状态之一，则
2
p(x | i )P(i )
i 1
2.2.1基于最小错误率的贝叶斯决策
• 条件概率P(ωi|x)称为状态的后验概率 • 贝叶斯公式实质上是通过观察x把状态的先验
概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图 2.2所示。
图2.2 P(ω1) =2/3和P(ω2)=1/3 及图2.1下的后验 概率图
贝叶斯决策理论方法的假设：
– 各类别总体的概率分布是已知的； – 要决策分类的类别数是一定的。
在连续情况下，假设要识别的对象有d种特征 量x1，x2，…，xd，这些特征的所有可能的取值 范围构成了d维特征空间，称 x = [x1，x2，…，xd]T 为d维特征向量。
2.1 引 言
假设说明
假设要研究的分类问题有c个类别ωi，i =l， 2，…，c；对应于各个类别ωi出现的先验概率 P(ωi)及类条件概率密度函数p(x/ωi)是已知的。
2.2.1基于最小错误率的贝叶斯决策
图2.1 类条件概率密度函数图 概率函数已经归一化，每条曲线下的面积为1
2.2.1基于最小错误率的贝叶斯决策
• 已知：状态先验概率P(ωi)，i=1，2。 • 类条件概率密度p(x|ωi)，i=1，2，利用贝
叶斯公式
P(i | x)
p(x | i )P(i )
根据贝叶斯决策规则(2)，有
P(ω1|x) = 0.818 > P(ω2|x) = 0.182 所以合理的决策是把 x 归类于正常状态。
2.2.1基于最小错误率的贝叶斯决策
若h(x)=－ln[l(x)]=－lnp(x|ω1)+ lnp(x|ω2) <>
则 x∈ ω1
ln P(2 ) P(1 )
ω2
2.2.1基于最小错误率的贝叶斯决策
举例
• 假设在某个局部地区细胞识别中正常(ω1) 和异常(ω2)两类先验概率分别为正常状态： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有 一待识的细胞，其观察值为x，从类条件 概率密度分布曲线上查得p(x|ω1)=0.2， p(x|ω2)=0.4。试对该细胞x进行分类。
2.2.1基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策规则为： 如果P(ω1|x)> P(ω2|x)，则把x归类于 鲈鱼ω1； 反之P(ω1|x)< P(ω2|x)，则把x归类于 鲑鱼ω2。
上面的规则可简写为：
⑴如果 P(ωi|x)=
max j1,2
P(ωj|x)，则x∈ωi
2.2.1基于最小错误率的贝叶斯决策
2.2.1基于最小错误率的贝叶斯决策
• 解：利用贝叶斯公式，分别计算出ω1及 ω2的后验概率。
P(1 | x)
2
p(x | 1)P(1) p(x | j )P( j
)
0.2 0.9 0.2 0.9 0.4
0.1
0.818
j 1
P(ω2|x)=1－ P(ω1|x)=1－0.818=0.182
如果在特征空间已观察到某一向量x， x = [x1，x2，…，xd]T
那么应该把x分到哪一类去才是最合理呢？ 这就是本章所要研究的主要问题。
2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 极小化极大决策 序贯分类方法
只以先验概率决策存在问题
• 假设已知出现鲈鱼的先验概率为P(ω1)和 出现鲑鱼的先验概率为P(ω2)。
• 在两类别问题中存在 • P(ω1)+ P(ω2)=1
2.2.1基于最小错误率的贝叶斯决策
只以先验概率决策存在问题
• 若P(ω1)> P(ω2)，ω=ω1； • P(ω1)< P(ω2)，ω=ω2。 • 如果P(ω1)=0.9 ， P(ω2)=0.1， • P(ω1)> P(ω2)，出现的鱼归为鲈鱼。如果仅做
一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。
2.2.1基于最小错误率的贝叶斯决策
解决方法
• 利用对鱼观察到的光泽度提高分类器的性 能。不同的鱼产生不同的光泽度，将其表 示为概率形式的变量，设x是连续的随机变 量，其分布取决于类别状态，表示为p(x|ω)， 即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2) 之间的区别就表示为鲈鱼与鲑鱼间光泽度 的区别，如图2.1所示：
第二章 贝叶斯决策理论
2.1 引言 2.2几种常用的决策规则 2.3正态分布时的统计决策 2.4关于分类器的错误率问题
2.1 引 言
模式识别的分类问题是根据识别对象特 征的观察值将其分到某个类别中去。
例：医生要根据病人血液中白细胞的浓 度来判断病人是否患血液病。
两类的识别问题。
2.1 引 言
利用贝叶斯公式(1)还可以得到几种最小错 误率贝叶斯决策规则的等价形式：
⑵如果 p(x|ωi) P(ωi )= mj1a,2xp(x|ωj) P(ωj)，
则
x∈ωi
⑶若
l(x) p(x | 1) P(2 )
p(x | 2 ) < P(1)
，则x∈
ω1 ω2
⑷对上式的l(x)取自然对数的负值，可写为
根据医学知识和以往的经验医生知道： 患病的人，白细胞的浓度服从均值2000， 方差1000的正态分布；未患病的人，白 细胞的浓度服从均值7000，方差3000的 正态分布；一般人群中，患病的人数比 例为0.5%。
一个人的白细胞浓度是3100，医生应该 做出怎样的判断？
2.1 引 言
贝叶斯决策理论
2.2 几种常用的决策规则
2.2.1基于最小错误率的贝叶斯决策
• 利用概率论中的贝叶斯公式，得出使错 误率为最小的分类规则，称之为基于最 小错误率的贝叶斯决策。
2.2.1基于最小错误率的贝叶斯决策
举例说明
• 以鱼分类为例说明解决问题的过程。 • 假设已抽取出d个表示鱼的特征，成为一个d维
空间的向量x，目的是要将x分类为鲈鱼或者鲑 鱼。 • 如果用ω表示状态，就是将x归类于两种可能的 自然状态之一，则
2
p(x | i )P(i )
i 1
2.2.1基于最小错误率的贝叶斯决策
• 条件概率P(ωi|x)称为状态的后验概率 • 贝叶斯公式实质上是通过观察x把状态的先验
概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图 2.2所示。
图2.2 P(ω1) =2/3和P(ω2)=1/3 及图2.1下的后验 概率图
贝叶斯决策理论方法的假设：
– 各类别总体的概率分布是已知的； – 要决策分类的类别数是一定的。
在连续情况下，假设要识别的对象有d种特征 量x1，x2，…，xd，这些特征的所有可能的取值 范围构成了d维特征空间，称 x = [x1，x2，…，xd]T 为d维特征向量。
2.1 引 言
假设说明
假设要研究的分类问题有c个类别ωi，i =l， 2，…，c；对应于各个类别ωi出现的先验概率 P(ωi)及类条件概率密度函数p(x/ωi)是已知的。
2.2.1基于最小错误率的贝叶斯决策
图2.1 类条件概率密度函数图 概率函数已经归一化，每条曲线下的面积为1
2.2.1基于最小错误率的贝叶斯决策
• 已知：状态先验概率P(ωi)，i=1，2。 • 类条件概率密度p(x|ωi)，i=1，2，利用贝
叶斯公式
P(i | x)
p(x | i )P(i )
根据贝叶斯决策规则(2)，有
P(ω1|x) = 0.818 > P(ω2|x) = 0.182 所以合理的决策是把 x 归类于正常状态。
2.2.1基于最小错误率的贝叶斯决策
若h(x)=－ln[l(x)]=－lnp(x|ω1)+ lnp(x|ω2) <>
则 x∈ ω1
ln P(2 ) P(1 )
ω2
2.2.1基于最小错误率的贝叶斯决策
举例
• 假设在某个局部地区细胞识别中正常(ω1) 和异常(ω2)两类先验概率分别为正常状态： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有 一待识的细胞，其观察值为x，从类条件 概率密度分布曲线上查得p(x|ω1)=0.2， p(x|ω2)=0.4。试对该细胞x进行分类。
2.2.1基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策规则为： 如果P(ω1|x)> P(ω2|x)，则把x归类于 鲈鱼ω1； 反之P(ω1|x)< P(ω2|x)，则把x归类于 鲑鱼ω2。
上面的规则可简写为：
⑴如果 P(ωi|x)=
max j1,2
P(ωj|x)，则x∈ωi
2.2.1基于最小错误率的贝叶斯决策
2.2.1基于最小错误率的贝叶斯决策
• 解：利用贝叶斯公式，分别计算出ω1及 ω2的后验概率。
P(1 | x)
2
p(x | 1)P(1) p(x | j )P( j
)
0.2 0.9 0.2 0.9 0.4
0.1
0.818
j 1
P(ω2|x)=1－ P(ω1|x)=1－0.818=0.182
如果在特征空间已观察到某一向量x， x = [x1，x2，…，xd]T
那么应该把x分到哪一类去才是最合理呢？ 这就是本章所要研究的主要问题。
2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 极小化极大决策 序贯分类方法