第3章Bayes决策理论.pptx

定义期望风险：R(X ) R( (X ) | X ) p( X )dX
期望风险R反映对整个特征 空间上所有的X的取值采用 相应的决策α(x)所带来的 平均风险
最小风险的Bayes决 策使平均风险最小！
4
最小风险的Bayes决策规则步骤
（1）在已知P(ωj)，P(X|ωj)，j=1,…，c及给出待识别的X的情况下，根据贝 叶斯公式计算出后验概率：
最小风险的Bayes决策
• 让错误率最小的Bayes决策是重要的 • 但，错误率最小的Bayes决策是否最佳？
– 正常细胞误判为癌细胞 – 癌细胞误判为正常细胞 不同性质的错误会引起不同程度的损失（后果） 评价决策的优劣：总损失比总错误率更恰当
最小风险的Bayes决策就是把各种 分类错误而引起的损失考虑进去 的Bayes决策法则
1
风险的表示
• 例：
– 病理切片X，要确定其中有没有癌细胞 (用ω1表示正常，ω2表示异常)
– P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小 – 若X为正常细胞，判断为ω2，损失为21 – 若X为癌细胞，判断为ω1，损失为12 – X判断为ω1，其风险 R1(X)= 12 P(ω2|X) – X判断为ω2，其风险 R2(X)= 21 P(ω1|X)
c
P( j X ) j1, ji
所有错误代 价相同！
0-1·损失函数
两种判决方式等价！ 9
3.3 Bayes分类器和判别函数
分类器设计：利用决策规则对观察向量 X 进行分类
d 维特征空间
决策规则
c 个决策域
决策面：划分决策域的边界面 决策面方程：决策面的数学解析形式 判别函数：表达决策规则的函数
决策
ω1
ω2
α1
0
6
α2
1
0
6
计算后验概率： P(ω1|X)＝0.818, P(ω2|X)＝0.182
计算条件风险：
2
R(1 | X ) 1 j P( j | X ) 1.092 j 1 2
R(2 | X ) 2 j P( j | X ) 0.818 j 1
找最小的条件风险：
R(1 | X ) R(2 | X )
p(x 2 )
P(2 )
17
例
有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给 每人打了试验针，然后进行统计，得到统计数字：
（1）这批人中，每1000人有5个癌症病人； （2）这批人中，每100个正常人有1人对试验的反应为阳性； （3）这批人中，每100个癌症病人有95人对试验的反应为阳性。
决策面方程 和判别函数 由相应的决 策规则所决 定！
10
判别函数和决策面方程
对于多类：通常定义一组判别函数 gi (x), i 1, 2..., c
c 类的情况下，i 对应的判别函数为 gi (x)
若 gi (x) g j (x), j 1,..., c, j i.
则 x 属于第 i 类
P( j | X )
p( X | j )P( j )
c
,
p( X | j )P( j )
j 1
j 1,..., c
（2）利用计算出的后验概率及决策表，计算出采取αi,i=1,…，a的条件风险
c
R(i | X ) (i , j )P( j | X ), i 1,..., a
j 1
（3）对(2)中得到的a个条件风险值R(αi|X),i=1,…，a进行比较，找出使条 件风险最小的决策αk，则αk就是最小风险贝叶斯决策
最小风险的Bayes决策为2！
7
决策规则的进一步探讨
二类问题的决策规则：
R(1 | X ) R(2 | X )
另一种决策规则：
(12 22 )P(2 | X ) (21 11)P(1 | X )
先验概率的决策规则：
(12 22 ) p( X 2 )P(2 )>(21 11) p( X 1)P(1)
R( k
|
X)
min
i 1...a
R(i
|
X
)
5
例
在例1条件的基础上，并且已知λ11=0,(λ11表示λ(1,ω1)的简 写)，λ12=6,λ21=1，λ22=0，按最小风险贝叶斯决策进行分类。
P(ω1)＝0.9, P(ω2)＝0.1 p(X|ω1)＝0.2, p(X|ω2)＝0.4
决策表
损 失 状态
13
Bayes分类器
14
gi (x) g j (x)
决策界
同一决策 规则下判 别函数形 式可以不 同，但决
策界相同！
15
gi (x) g j (x)
决策界
同一决策 规则下判 别函数形 式可以不 同，但决
策界相同！
16
二类分类器
g(x) P(1 | x) P(2 | x)
Leabharlann Baidu
g(x) log p(x 1) log P(1)
p( X 1) < (12 22 )P(2 ) p( X 2 ) (21 11)P(1)
似然比
8
最小错误决策和最小风险决策
二类问题中，若 12 22 21 11 ，则两种判决方式等价
多类问题中，若
(i
,
j
)
0, 1,
i
i j j,i, j 1, 2,
,c
则有
c
R(i | X ) (i , j )P( j X ) j 1
损失和误判概率的加权和可 以有效的表示决策风险
2
决策空间的相关符号
观察向量
x [x1,..., xd ]T , x1,..., xd 为一随机向量
状态空间
[1,...,c ]T ,1,...,c 为c个自然状态
决策空间
[1,...,a ]T ,1,...,a 为a个决策状态
损失函数
分割它们的决策面方程应满足：
gi (x) g j (x)
11
最小错误概率决策
判别函数的不同形式：
gi (x) P(i | x)
gi (x) P(x i )P(i )
gi (x) log P(x i ) log P(i )
12
最小风险决策
判别函数
gi (x) R(i | x)
判别函数不唯一，更一般地，f (gi (x))（其中 f (x) 为 单调增函数）均可作为判别函数
(i , j ) : 真实状态为 j而判断为i的损失(ij )
期望损失（条件风险）
c
R(i | X ) E[(i , j )] (i , j )P( j | X ) j 1
（A）
3
最小风险的Bayes决策规则
最小风险的Bayes决策规则：使期望损失 R(i | X ) 最 小的决策状态 i 即为最小风险的Bayes决策