第2章 贝叶斯决策理论 - 西安电子科技大学
合集下载
第2章 贝叶斯决策理论
P (2 ) P2 (e) P (1 ) P 1 ( e)
基于最小错误率的贝叶斯决策
多类情况下的贝叶斯决策规则
(1) P(i | x) max P( j | x)
j 1, ,c j 1, ,c
x i x i
(2) p( x | i ) P(i ) max p( x | j ) P( j )
基于最小错误率的贝叶斯决策
考虑贝叶斯公式
P(i | x) p( x | i ) P(i ) i 1, 2,
p( x | ) P( )
j 1 j j
c
,c
癌细胞识别问题中c=2
p( x) p( x | j ) P( j )为一因子
j 1 c
贝叶斯公式通过类条件概率密度形式的观察值，将先验 概率转化为后验概率。
R(i | x) (i , j ) P( j | x), i 1,2, , a
j 1 c
（3）取（2）中条件风险最小的决策，采取该行动。
基于最小风险的贝叶斯决策
例：在最小错误率例题基 础上，利用决策表按最小 风险贝叶斯决策进行分类。
1
1
2
0 1
2
6 0
解：前例已计算出P(1 | x) 0.818, P(2 | x) 0.182
基于最小风险的贝叶斯决策
直观上对数字信号的判断如下图
x 0.5
1 x 0
2 1
信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为
p( x | 1 ) 1 ( x 0)2 exp[ ] 2 2 2
输入为1时，幅值的概率密度为
p( x | 2 ) 1 ( x 1)2 exp[ ] 2 2 2
第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论● 引言♦ 统计模式识别方法以样本特征值的统计概率为基础：（1） 先验概率()i P ω、类（条件）概率密度函数(/)i p ωx 和后验概率(/)i P ωx 。
（2） Bayes 公式体现这三者关系的公式。
♦ 本章讨论的内容在理论上有指导意义，代表了基于统计参数这一类的分类器设计方法，结合正态分布使分类器设计更加具体化。
♦ 模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。
是指对某一种设计原则讲的，这种原则称为准则。
使这些准则达到最优，如最小错误率准则，基于最小风险准则等,讨论几种常用的决策规则。
设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的方法。
● 思考？♦ 机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？♦ 错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，有没有可能对一种错分类严格控制？● 贝叶斯决策理论与方法基本概念给定一个m 模式类(,,....,)m ωωω12的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本x 属于这m 类样本中的哪一类问题。
假设一个待识别的样本用n 个属性观察值描述，称之为n 个特征，从而组成一个n 维的特征向量，而这n 维征向量所有可能的取值范围则组成了一个n 维的特征空间。
特征空间的统计分布 (1) i ω, i =1,2,…,m 的先验概率：()i P ω(2)类条件概率密度函数：(|)i p ωx （可解释为当类别i ω已知的情况下， 样本x 的概率 分布密度函数）(3)后验概率：生成m 个条件后验概率(|)i P ωx ，i =1，2，…，m 。
也就是对于一个特征 向量x ，每一个条件后验概率(|)iP ωx 都代表未知样本属于某一特定类i ω的概率。
第一节 基于最小错误率的贝叶斯判别方法 (一).两类情况两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。
第2章贝叶斯决策理论
R1 | x R2 | x 所以 x w2
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
第2章 贝叶斯决策理论 - 西安电子科技大学
第2章 贝叶斯决策理论
其中, L(x)称为似然比, lnL(x)称为对数似然比。
在最大后验概率判决准则中, x∈ωj的决策区域Rj为
p (x | j ) P (i ) R j x | , i 1, 2, , m, i p (x | i ) P( j )
0
由Bayes公式可知
第2章 贝叶斯决策理论
P i | X ( x , x ) P X ( x , x ) | i P(i ) P X (x , x )
x
P (i )
=
x x
p( y | )dy
i
x
p( y )dy
P(i ) p( y1 | i )2 = p( y2 )2
P(i ) p( y1 | i ) = p ( y2 )
第2章 贝叶斯决策理论
其中, y1, y2∈(x－ε, x+ε)。 当ε趋近于0时, Fra bibliotek1与y2趋近于x,
从而有
P(i | x) p( x | i ) P(i ) p( x)
第2章 贝叶斯决策理论
如果不考虑拒识, 此时,
R R
i i 1
m
d
, 那么, 正确分类包
括m种情形, 样本x来自类ωi, 特征向量x∈Ri(i=1, 2, …, m); 错
误分类包括m(m－1)种情形, 样本x来自类ωi, 但特征向量 x∈Rj(i=1, 2, …, m; j=1, 2, …, m; j≠i)。 因此, 平均正确概 率Pc为
概率达到最小。 因此, 最大后验概率判决准则又称为最小错
误概率判决准则。 这里以二分类情况为例进行分析。 此时, m=2, 任意一个 判决准则对应于特征空间Rd的一个划分: R=R1∪R2, R1∩R2= Ф。 错误分类为两种情况: ① 真实类别为ω1时, 而特征值x落
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
第2章_贝叶斯决策理论
模式识别 – 贝叶斯分类器
2.3 贝叶斯分类器的其它版本
• 先验概率P(ωi)未知：极小化极大准则； • 约束一定错误率（风险）：Neyman-
Pearson准则；
• 某些特征缺失的决策：
• 连续出现的模式之间统计相关的决策：
模式识别 – 贝叶斯分类器
2.4 正态分布的贝叶斯分类器
• 单变量正态分布密度函数（高斯分布）：
px
1
2
exp
1 2
x
2
模式识别 – 贝叶斯分类器
多元正态分布函数
p x i
1
2 d 2
Σi
12
exp
1 2
x
μi
t
Σi1 x μi
模式识别 – 贝叶斯分类器
正态分布的判别函数
• 贝叶斯判别函数可以写成对数形式：
gi x ln px i ln Pi
• 类条件概率密度函数为正态分布时：
gi x d x,μi
模式识别 – 贝叶斯分类器
情况二：Σi Σ
• 判别函数可以写成：
gi
x
1 2
x
μi
t
Σ1
x
μi
ln
P
i
• 可以简化为：
gi
x
μit
Σ1x
1 2
μit
Σ1μi
ln
P
i
w
t i
x
wi 0
称为线性分类器
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，1维特征，先验概率相同时：
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，高维特征，先验概率相同时：
第2章 贝叶斯决策理论
j =1 c
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
2第二章 贝叶斯决策理论 2013
2.8 本章小结
2
内容纲要 第一章 绪论
1.5 模式识别系统 研究目的和意义
计算机分类 识别
计算机分析
3
内容纲要 第一章 绪论
1.5 模式识别系统 研究目的和意义
一个典型的模式识别系统（监督模式识别） 一个典型的模式识别系统一般由数据获取，预处理， 特征提取选择、分类决策及分类器设计五部分组成。 分类器设计在训练过程中完成，利用样本进行训练，确 定分类器的具体参数。而分类决策在识别过程中起作用，对 待识别的样本进行分类决策。
P(i | X ) P( X | i ) P(i )
P( X |
j 1
n
j
) P( j )
先验概率 后验概率
P(i )
P( X | i )
类条件概率密度函数
P(i | X )
Bayes公式体现了先验概率、类概率密度函数、后 验概率三者之间的关系。
11
内容纲要 第二章 贝叶斯决策理论
2.1.2 Bayes公式 研究目的和意义
对于待测样品，Bayes公式可以计算出该样品分属各类 别的概率，叫做后验概率。 看X属于哪个类的可能性最大，就把X归于可能性最大的 那个类，后验概率作为识别对象归属的依据。
基本的贝叶斯决策思路！！！
12
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.2 Bayes决策的基本概念
27
内容纲要 第二章 贝叶斯决策理论
2.2 Bayes决策的基本概念 研究目的和意义
Bayes公式如下：
P(i | X ) P( X | i ) P(i )
P( X |
j 1
n
j
) P( j )
模式识别 第二章 贝叶斯决策论习题答案
2
= min p (ω1 x ) , p (ω2 x ) max p (ω1 x ) , p (ω2 x )
= p ω1 x p ω2 x
(
) (
)
所以， p ω1 x p ω2 x 能过给出误差率的下界。 d) 因为：
(
) (
)
pβ ( error ) = ∫ β p (ω1 x ) p ( ω2 x ) p ( x ) dx
α 4
∫
Hale Waihona Puke +∞p ( x ) dx <
显而易见： pα ( error ) < p ( error ) ，因此当 α < 2 时，无法得到误差率的上界。 c) 因为：
p ( error x ) ≥ p ( error x ) − p ( error x ) = p ( error x ) 1 − p ( error x )
i =1 ωi ≠ωmax
∑ P (ω x ) p ( x ) d x
i
c
= ∫ 1 − P (ωmax x ) p ( x ) dx = 1 − ∫ P (ωmax x ) p ( x ) dx
d) 续上式：
(
)
P ( error ) = 1 − ∫ P (ωmax x ) p ( x ) dx ≤ 1− ∫ 1 1 c −1 p ( x ) dx = 1 − = c c c
n t
′ ′ ′ Σ′ = ∑ ( x′ k − μ )( x k − μ )
k =1 n
= ∑ Tt ( x 0 k − μ )( x 0 k − μ ) T
t k =1
n t = Tt ∑ ( x 0 k − μ )( x 0 k − μ ) T k =1 = T t ΣT
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(1) Ri R j , i j i, j 1, 2,, m 这一条表明了分
类的确定性，一个样本只能属于某一类，不能同属两个或多
个类别。
第2章 贝叶斯决策理论
(2) 若特征向量x=(x1, x2, „, xd)落在区域Ri内, 即x∈Ri, 则将 样本x判属第i类, 记为x∈ωi; 此时, Ri称为x∈ωi的决策区域。 (3)
第2章 贝叶斯决策理论
总的产品个数n=2 253 550;
属于类ω1产品的个数 n1=901 420;
属于类ω2产品的个数 n2=1 352 130;
由此可以估计出两类产品出现的概率, 即先验概率分别
P(1 ) n1 / n 0.4
P( 2 ) n2 / n 0.6
还是取极小值, 需要根据具体问题的物理意义确定。 不同的
判别函数对应不同的模式分类方法。
第2章 贝叶斯决策理论
模式分类实际上是将特征空间划分为不同的决策区域,
相邻决策区域被决策面所分割, 这些决策面是特征空间中
的超曲面, 其决策面方程满足相邻两个决策域的判别函数 相等, 即 gi(x)=gj(x) 分类器可被看做是一个计算m类个判别函数并选取最 大(或最小)判决值对应的类别的网络或机器。 一个分类器 的网络结构如图2-1所示。
对应不同的分类方法, 这就是模式识别问题的映射描述法。
第2章 贝叶斯决策理论
2. 划分描述法 由于每个特征向量是Rd空间的一个点，且Rd→{1, 2, …, m}是一个多对一的映射，通过映射，本质上实现了对空间Rd 的一种划分，即把Rd划分成个不相重叠的区域，每一个区域 对应一个类别。设区域Ri对应第i类ωi，则以下条件成立：
(2-7)
其中， P (e) p(x | 1 )dx 1
R2
P2 (e) p(x | 2 )dx
R1
第2章 贝叶斯决策理论
考虑到
R2
p(x | 1 )dx = 1 p(x | 1 )dx R
概率达到最小。 因此, 最大后验概率判决准则又称为最小错
误概率判决准则。 这里以二分类情况为例进行分析。 此时, m=2, 任意一个 判决准则对应于特征空间Rd的一个划分: R=R1∪R2, R1∩R2= Ф。 错误分类为两种情况: ① 真实类别为ω1时, 而特征值x落
入R2; ② 真实类别为ω2时, 而特征值x落入R1。 因此, 平均错
第2章 贝叶斯决策理论
如果不考虑拒识, 此时,
R R
i i 1
m
d
, 那么, 正确分类包
括m种情形, 样本x来自类ωi, 特征向量x∈Ri(i=1, 2, …, m); 错
误分类包括m(m－1)种情形, 样本x来自类ωi, 但特征向量 x∈Rj(i=1, 2, …, m; j=1, 2, …, m; j≠i)。 因此, 平均正确概 率Pc为
第2章 贝叶斯决策理论
情形1:假设在没有看到一个具体的产品时就要确定它 到底属于哪一类。 如果唯一能够得到的信息就是先验概
率, 那么一个很自然的“合理”选择是将这一产品归入类
ω2。 可以想象, 这时可能造成40%的错误率。 如果我们仅仅需要做一次判断, 那么采用这种判决规 则还是合理的。 但是, 如果要求我们进行多次判断, 那么 重复使用这种规则就不合适了, 因为我们将一直得到相同 的结果。
i
x
p( y )dy
P(i ) p( y1 | i )2 = p( y2 )2
P(i ) p( y1 | i ) = p ( y2 )
第2章 贝叶斯决策理论
其中, y1, y2∈(x－ε, x+ε)。 当ε趋近于0时, y1与y2趋近于x,
从而有
P(i | x) p( x | i ) P(i ) p( x)
0
由Bayes公式可知
第2章 贝叶斯决策理论
P i | X ( x , x ) P X ( x , x ) | i P(i ) P X (x , x )
x
P (i )
=
x x
p( y | )dy
第2章 贝叶斯决策理论
解
计算 p(x|ω1)P(ω1)=0.2×0.9=0.18 p(x|ω2)P(ω2)=0.4×0.1=0.04<0.18
根据 Bayes 判决准则将该细胞判为第一类, 即为正常 细胞。
第2章 贝叶斯决策理论
2.2.2 错误概率
最大后验概率判决准则的一个优良性质就是使平均错误
(2-4)
类似地, 可得特征变量为多维时的结果
P(i | x) p(x | i ) P(i ) p ( x)
(2-5)
第2章 贝叶斯决策理论
根据式(2-5), 可以得到几种最大后验概率判决准则的等
价形式:
(1) 若 p(x | j ) P( j ) i{max,m} p(x | i ) P( i ) ，则x∈ωj; 1, 2 ,
误概率为
第2章 贝叶斯决策理论
P(e) P(x R2 | 1 ) P(1 ) P(x R1 | 2 ) P(2 ) P(1 ) p(x | 1 )dx P(2 ) p(x | 2 )dx
R2 R1
P(1 ) P (e) P(2 ) P2 (e) 1
Pc P(x Ri | i ) P(i ) P(i ) p(x | i )dx
i 1 i 1 Ri m m
(2-1)
第2章 贝叶斯决策理论
平均错误概率Pe为 Pe=1－Pc (2-2)
以下不再刻意区分样本(或模式)和特征向量, 也就是说,
x∈ωi意指x是样本(或模式); x∈Ri或函数g(x)意指x是特征向
j
(j=1, 2, …, m)
(2-6)
第2章 贝叶斯决策理论
, 第二类表示异常, 两类的先验概率分别为: 正 常P(ω1)=0.9, P(ω2)=0.1。 现有一个待识别样本细胞, 其观 察值为x, 从类条件概率密度函数曲线p(x|ωi)上可查得: p(x|ω1)=0.2, p(x|ω2)=0.4, 试判断该细胞是否正常。
Rm 1 R d Ri 。
i 1 m
第2章 贝叶斯决策理论
当样本落在两类或多类的交界面上时, 可以任取交界 面所在的一类进行判决, 也可以拒绝判决。 从划分意义上 看, 模式识别就是对于一个具体分类问题, 在确定了需分类
的类别数m和所用的特征维数后, 实现对Rd空间的划分, 每
一种划分对应一种识别方法。
第2章 贝叶斯决策理论
图 2-1
分类器的网络结构
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则
2.2.1 判决准则
在讨论具体的判决准则之前, 让我们先来看一个分类
问题。 假设某工厂里所有的产品都只属于事先确定的两类,
分别表示为ω1=“高质量”, ω2=“平均质量”。 假设工厂对
于产品储量有一个合理的长期记录, 总结出来的结果如下：
为d维, 即x=(x1, x2, „, xd);
第2章 贝叶斯决策理论
(3) 特征向量x的取值范围构成特征空间, 记为Rd;
(4) 特征向量x的类条件概率密度函数为p(x|ωi), 表示当 样本x∈ωi时, 特征向量x的概率密度函数; (5) 特征向量x的后验概率为P(ωi|x), 表示在特征向量x出 现的条件下, 样本x来自类ωi的概率, 即类ωi出现的概率。 模式识别就是根据特征向量x的取值, 依据某个判决准则把样 本x划分到ω1，ω2, „, ωm中的一个。
P( j | x) max P ( i | x)
i{1, 2 ,, m}
2-3
则x∈ωj。
第2章 贝叶斯决策理论
由于已知P(ωi)和p(x|ωi), 因此我们希望找到P(ωi|x)与它 们之间的关系。 这里以一维为例进行讨论。 假设特征变量为X, 那么有
P (i | x) lim P i | X ( x , x )
(2) 若 L(x)
p(x | j ) p(x | i ) P(i ) , i 1, 2, , m, i j ，则x∈ω ; j P( j )
P(i ) , i 1, 2,, m, i j P( j )
(3) 若 ln L(x) ln p(x | j ) ln p(x | i ) ln 则x∈ωj。
第2章 贝叶斯决策理论
情形2:假设可以对产品进行一些测量, 获得了它的观测 向量(或特征向量)x, 这时意味着对该产品所属类别的不确 定性减少了, 即观测向量(或特征向量)能够提供一些类别信 息。 具体地, 后验概率P(ωi|x)表示了x所代表的某个产品属
于第i类的概率, 那么现在“合理”的选择是:
第2章 贝叶斯决策理论
其中, L(x)称为似然比, lnL(x)称为对数似然比。
在最大后验概率判决准则中, x∈ωj的决策区域Rj为
p (x | j ) P (i ) R j x | , i 1, 2, , m, i p (x | i ) P( j )
量。
第2章 贝叶斯决策理论
3. 判别函数法 把分类问题对应为Rd空间上的多元函数, 通常称为判别
函数(或称判决函数)gi(x), i=1, 2, „, m。 对于任给未知
类别的样本x, 计算各类判别函数的值gi(x), i=1, 2, „, m, 将样
本x判属有极大(或极小)函数值的那一类。 到底应取极大值
第2章 贝叶斯决策理论
2.1.2
模式分类器的描述
模式分类器的描述方法有多种, 这里仅介绍以下三种描 述方法, 它们之间是统一的。 1. 映射描述法 由于我们获取的有关观察对象的数据总量是有限的, 因