模式识别 第二章贝叶斯决策理论

⋯
险
来自百度文库
λ (aa | ω j ) λ (ac +1 | ω j )
⋯
λ (aa | ωc ) λ (ac +1 | ωc )
33
c +1
风
2. 条件平均风险
假定某一随机模式样本X 假定某一随机模式样本X的后验概率 P (ω j | x) 已 已知（ 已知（确定）： 确定）：
P(ω1 ) + P(ω2 ) + ...... + P(ωc ) = 1
j =1 R
j
∴ P ( e) = 1 − P ( c )
24
例1：在细胞的化验中要区分正常（ 在细胞的化验中要区分正常（w1）和异常（ 和异常（w2）
已知：P(ω1 ) = 0.85, P(ω2 ) = 0.15 由一次化验的观测值x从类概率密度分布曲线上 查出p ( x | ω1 ) = 0.15, p( x | ω2 ) = 0.45
(−∞, t ) : R1区域 p( x | ω1 ) P(ω1 ) > p( x | ω2 ) P (ω2 ) x ∈ ω1 (t ,+∞) : R2区域 p( x | ω2 ) P(ω2 ) > p( x | ω1 ) P (ω1 ) x ∈ ω2
错误率 => 阴影区域
x ∈ ω1 而判决为 x ∈ ω2
一批细胞样本
ω1 (正常)
ω2 (异常)
P(ω1 ) = 0.7 > P(ω2 ) = 0.3 => ω = ω1
信息太少 => 病理分析
7
3、类条件概率密度： 类条件概率密度：系统位于某种类型条件 下模式样本x出现时概率密度分布函数.
p ( x | A), p ( x | B ), p ( x | ωi ), i=1，2，…，c表示
p ( x | ωi )
形式， 形式，参数已知 形式， 形式，参数未知 => 估计
8
4、后验概率： 后验概率：系统在某个具体的模式样本x条 件下位于某种类型的概率.
P ( A | x), P ( B | x)
P(ωi | x), i=1，2，…，c
由 Bayes公式计算:
p ( x | ωi ) P(ωi ) P(ωi | x) = P ( x)
j =1, 2 ,…,c
22
错误率：特征空间 => R1 , R2 , …, Rc
平均错误概率P(e)(c(c − 1)项)：
P(e) = [ p( x ∈ R2 | ω1 ) + p ( x ∈ R3 | ω1 ) + … + p( x ∈ Rc | ω1 )]P(ω1 )
+… …
+[ p ( x ∈ R1 | ωc ) + p ( x ∈ R2 | ωc ) + ⋯ + p ( x ∈ Rc −1 | ωc )]P(ωc )
斜线 R1 纹线 R2
16
x ∈ ω2 而判决为 x ∈ ω1
总错误率定义( 平均错误率）
P(e) = ∫ P(e, x)dx = ∫ P(e | x) P( x)dx
−∞ −∞ ∞ ∞
注：d维特征空间上 => ∫
∞
−∞
dx
则 P (e | x ) =
t
P (ω2 | x) 当P (ω1 | x) > P(ω2 | x) P (ω1 | x) 当P (ω2 | x) > P (ω1 | x)
第二章 贝叶斯决策理论
2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 引言 最小错误率的Bayes决策 最小风险的Bayes决策 最大似然比的Bayes决策 拒绝判决 聂蔓-皮尔逊决策 (Neyman-pearson) 最小最大决策 分类器设计 正态分布中的Bayes分类方法
4
用概率的形式表示： 用概率的形式表示：
观测样本
A 条件下 B 条件下 A 条件下 B 条件下 XA XB XA XB
类型
A 1 0 0.8 0.2 B 0 1 0.2 0.8
确定性 （理想情况） 理想情况）
随机性
错误率
5
2、先验概率： 先验概率：预先已知的或者可以估计的 模式识别系统位于某种类型的概率。 模式识别系统位于某种类型的概率。
设有C类问题情况： 类问题情况：
Bayes最小错误判决规则： 最小错误判决规则：
P (ωi | x) = max P (ω j | x) => x ∈ ωi
j =1, 2 ,…,c
21
或：
p ( x | ωi ) P(ωi ) = max { p( x | ω j ) P(ω j )} => x ∈ ωi
由全概率分式， 由全概率分式，模式样本X 模式样本X出现的全概率密度为： 出现的全概率密度为：
2
P( x) = p( x | ω1 ) P(ω1 ) + p ( x | ω2 ) P(ω2 ) = ∑ p ( x | ωi ) P(ωi )
i =1
11
由Bayes公式， 公式，在模式样本x出现的条件下的后验 概率为: ω1、ω2
27
2.3 最小风险的Bayes决策
在同一个问题中， 在同一个问题中，某种判决含有一定损失， 某种判决含有一定损失，特别是 错误错误判决含有风险， 错误错误判决含有风险，不同的错误判决含有不同 的风险。 的风险。
28
例如： 例如： 通过化验判断细胞是不是癌细胞， 通过化验判断细胞是不是癌细胞，可有两种 错误结果： 错误结果：
1
第二章 贝叶斯决策理论
或称： 或称：贝叶斯分类器， 贝叶斯分类器，随机模式的分类方法
2
2.1 引言
几个基本概念: 1、随机模式 2、先验概率 3、类条件概率密度 4、后验概率
3
1、随机模式： 随机模式： 对于客观世界中的物体和事件， 对于客观世界中的物体和事件，在基本条件 不变时， 不变时，每次观测的结果没有重复性。 每次观测的结果没有重复性。 或： 模式样本测量具有不确定性， 模式样本测量具有不确定性，但同类抽样测 验的大量模式样本的测量值常呈现出某种规 律性。 律性。 => 某种统计特性。 某种统计特性。 判决函数 => 特征空间 => 类型（ 类型（如A和B）
=> P (ωi | x)已知，或者各个类别的 P （ωi），（ p x | ωi）
10
2.2 最小错误率的Bayes决策 1.判决规则 1.判决规则 设ω1和ω2 =>两种不同的类型
已知: P （ω1）、（ P ω2）—先验概率
p( x | ω1 )、p ( x | ω2 ) — 类条件概率密度
∑ λ (a
j =1
c
i
| ω j ) P (ω j | x )
i = 1 , 2 ,......,
a
35
试判断这次化验的细胞属于哪种类型
25
解：由全概率公式
P( x) = P(ω1 ) p ( x | ω1 ) + P(ω2 ) p( x | ω2 ) = 0.85 × 0.15 + 0.15 × 0.45 = 0.195
26
计算后验概率
P (ω1 ) p ( x | ω1 ) P (ω1 | x) = = 0.654 P( x) P (ω2 ) p ( x | ω2 ) P (ω2 | x) = = 0.346 P( x) ∴ P(ω1 | x) > P(ω2 | x) ⇒ x ∈ ω （正常） 1
∞ t
∴ P(e) = ∫ P(ω2 | x) P( x)dx + ∫ P(ω1 | x) P( x)dx
−∞
R1
R2
17
又由Bayes公式
p ( x | ωi ) P (ωi ) P (ωi | x) = P( x)
P(e) = ∫ p ( x | ω2 ) P(ω2 )dx + ∫ p( x | ω1 ) P(ω1 )dx
ω j ( j = 1,2,⋅ ⋅ ⋅, c) − 类型
ai (i = 1,2,⋅ ⋅ ⋅, a) − 判决
a=c a=c+1
(拒绝判决） 拒绝判决）
λ (ai | ω j )(i = 1,2,⋅ ⋅ ⋅, a; j = 1,2,⋅ ⋅ ⋅, c) − 表示x ∈ ω j
31
而判决为 ai 的风险（ 的风险（损失） 损失） 不同类型 风险 =
R1 R2
= P(ω2 ) P2 (e) + P(ω1 ) P 1 (e)
19
P 1 (e) = ∫ p ( x | ω1 )dx
R2
P2 (e) = ∫ p( x | ω2 )dx
R1
图中t = min P（e） => 最小错误率判决规则
同理上述推导不难推广到d维特征空间。 维特征空间。
20
3、多类判决规则
× a c
不同判决
32
决策表（ 决策表（风险
）
ω1
a1 a 判 2 决 ⋮ aa λ (a ac +1 λ (a
ω2
⋯ ωj
λ (a1 | ω j )
⋯
ωc
λ (a1 | ωc )
λ(a1 | ω1) λ (a1 | ω2 )
a
| ω1 ) λ (aa | ω2 ) | ω1 )λ (ac +1 | ω2 )
＝∑∑ P( x ∈ R j | ωi P (ωi )
i =1 j =1 j ≠i
c
c
计算量大
23
平均正确分类概率： 平均正确分类概率：P（c）
P (c) = ∑ p( x ∈ R j | ω j )P (ω j )
j =1 c
c
= ∑ ∫ p ( x | ω j )P (ω j )dx
13
上述判决等价于: ( P( x) > 0)
p ( x | ω1 ) P(ω1 ) > p ( x | ω2 ) P(ω2 ) => x ∈ ω1 p ( x | ω2 ) P(ω2 ) > p ( x | ω1 ) P(ω1 ) => x ∈ ω2 p ( x | ω1 ) P(ω1 ) = p ( x | ω2 ) P(ω2 ) => x ∈ ω1或x ∈ ω2
两类型: 先验概率: C 类型:
A B
P（A）
P(ω1 ) P(ω2 ) … P(ωc ) P(ω1 ) + P(ω2 ) + … + P(ωc ) = 1
实际中， 实际中，有时可用先验概率的大小作为判决的依 据，但不是唯一因素。 但不是唯一因素。
6
ω1
P（B） 且P（A）+ P（B）=1
ω2
…
ωc
则有： 则有：P (ω | x ) + P (ω | x ) + ...... + P (ω c | x ) = 1 1 2
P(ω j | x) ≥ 0, j = 1, 2,......, c
34
对于每一种判决 a i ，随机变量 λ ( a i | ω j ) 的条件 平均风险:
R ( a i | x ) = E [ λ ( a i | ω j )] =
−∞ t t ∞
18
或 P (e) = P ( x ∈ R1 , ω2 ) + P ( x ∈ R2 , ω1 )
= P( x ∈ R1 | ω2 ) P(ω2 ) + P( x ∈ R2 | ω1 ) P(ω1 )
= P (ω 2 ) ∫ p ( x | ω 2 )dx + P (ω1 ) ∫ p ( x | ω1 )dx
p ( x | ω1 ) P(ω1 ) P(ω1 | x) = P( x)
p ( x | ω2 ) P (ω2 ) P (ω2 | x) = P( x)
12
规定： 规定：模式样本X归属于后验概率较高的那个类型。 归属于后验概率较高的那个类型。
即：P (ω1 | x) > P (ω2 | x) => x ∈ ω1 P (ω2 | x) > P (ω1 | x) => x ∈ ω2 P (ω1 | x)＝P (ω2 | x) => x ∈ ω1或x ∈ ω2
损失程度有差别
正常细胞 => 癌细胞 （正常 — 异常） 异常）
损失 小
癌细胞
失 查 和 =>正常细胞 （异常—正常） 癌变损 失大
29
判断风险 —> 判决损失
即 正确判决情况下 正确判决情况下， ，
有判决损失。 有判决损失。
30
1. 风险
假设有 C 类问题, X = [ x1 x2 ⋯ xd ]T
14
2、 错误率:
p ( x | ω1 ) P (ω1 )
p (ω2 ) P2 (e)
p( x | ω2 ) P(ω2 )
p (ω1 ) P 1 (e )
R1
错误率
t
R2
x
15
说明这个判决规则的性质， 说明这个判决规则的性质，考查其错误率。 考查其错误率。 设:在一维特征空间中 ，t —判决门限（ 判决门限（分界面） 分界面）
9
设计Bayes分类器的先决条件
（1）要求决策分类的类别数是一定的。 要求决策分类的类别数是一定的。 C类问题 =>
ω（ i i=1,2,…，c）=>类别状态给定
x = [ x1 , x2 , …, xd ]
已知
T
（2）各类别总体的概率分布已知。 各类别总体的概率分布已知。 => 假设待识别客体的特征向量