最小风险的Bayes决策PPT课件(48页)

P(j |
X)
p(X|j)P(j)
c
Fra Baidu bibliotek
,
j1,...,c
p(X|j)P(j)
j1
（2）利用计算出的后验概率及决策表，计算出采取αi,i=1,…，a的条件风险
c
R (i|X ) (i,j)P (j|X ), i1 ,...,a j 1
（3）对(2)中得到的a个条件风险值R(αi|X),i=1,…，a进行比较，找出使条 件风险最小的决策αk，则αk就是最小风险贝叶斯决策
损失函数 (i ,j ) : 真 实 状 态 为 j 而 判 断 为 i 的 损 失 ( i j )
期望损失（条件风险）
c
R (i|X )E [(i,j)] (i,j)P (j|X ) j 1
（A）
3
最小风险的Bayes决策规则
最小风险的Bayes决策规则：使期望损失 R(i | X ) 最
10
判别函数和决策面方程
对于多类：通常定义一组判别函数 gi(x), i1,2...,c
c 类的情况下， i 对应的判别函数为 g i ( x )
若 g i(x ) g j(x ) , j 1 ,...,c , j i.
则 x 属于第 i 类
分割它们的决策面方程应满足：
gi(x) gj(x)
11
g(x)logpp((xx 12))logP P(( 12))
17
例
有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给 每人打了试验针，然后进行统计，得到统计数字：
（1）这批人中，每1000人有5个癌症病人；
（2）这批人中，每100个正常人有1人对试验的反应为阳性；
（3）这批人中，每100个癌症病人有95人对试验的反应为阳性。
13
Bayes分类器
14
gi(x) gj(x)
决策界
同一决策 规则下判 别函数形 式可以不 同，但决
策界相同！
15
gi(x) gj(x)
决策界
同一决策 规则下判 别函数形 式可以不 同，但决
策界相同！
16
二类分类器
g(x)g1(x)g2(x)
g (x ) P ( 1|x ) P ( 2|x )
1
风险的表示
• 例：
– 病理切片X，要确定其中有没有癌细胞 (用ω1表示正常，ω2表示异常)
– P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小 – 若X为正常细胞，判断为ω2，损失为21 – 若X为癌细胞，判断为ω1，损失为12 – X判断为ω1，其风险 R1(X)= 12 P(ω2|X) – X判断为ω2，其风险 R2(X)= 21 P(ω1|X)
损失和误判概率的加权和可 以有效的表示决策风险
2
决策空间的相关符号
观察向量
x [ x 1 ,...,x d ] T ,x 1 ,...,x d为 一 随 机 向 量
状态空间 [1 ,. . . ,c ] T ,1 ,. . . ,c为 c 个 自 然 状 态
决策空间
[1 ,. . . ,a ] T ,1 ,. . . ,a为 a 个 决 策 状 态
R( k|X)m i1i..n .aR(i|X)
5
例
在例1条件的基础上，并且已知λ11=0,(λ11表示λ(1,ω1)的简 写)，λ12=6,λ21=1，λ22=0，按最小风险贝叶斯决策进行分类。
P(ω1)＝0.9, P(ω2)＝0.1 p(X|ω1)＝0.2, p(X|ω2)＝0.4
决策表
7
决策规则的进一步探讨
二类问题的决策规则：
R(1|X)R(2|X)
另一种决策规则：
(1 2 2 2 ) P (2 |X ) (2 1 1 1 ) P (1 |X )
先验概率的决策规则：
(1 2 2 2 ) p ( X 2 ) P (2 ) > (2 1 1 1 ) p ( X 1 ) P (1 )
最小风险的Bayes决策
• 让错误率最小的Bayes决策是重要的 • 但，错误率最小的Bayes决策是否最佳？
– 正常细胞误判为癌细胞 – 癌细胞误判为正常细胞 不同性质的错误会引起不同程度的损失（后果） 评价决策的优劣：总损失比总错误率更恰当
最小风险的Bayes决策就是把各种 分类错误而引起的损失考虑进去 的Bayes决策法则
损 失 状态
决策
ω1
ω2
α1
0
6
α2
1
0
6
计算后验概率： P(ω1|X)＝0.818, P(ω2|X)＝0.182
计算条件风险：
2
R(1|X) 1jP(j|X)1.092 j1 2
R(2|X) 2jP(j|X)0.818 j1
找最小的条件风险：
R(1|X)R(2|X)
最小风险的Bayes决策为2！
假如正常人用 1 表示，癌症病人用 2 表示。以试验结果作
小的决策状态 i 即为最小风险的Bayes决策
定义期望风险：R (X ) R ((X )|X )p (X )d X
期望风险R反映对整个特征 空间上所有的X的取值采用 相应的决策α(x)所带来的 平均风险
最小风险的Bayes决 策使平均风险最小！
4
最小风险的Bayes决策规则步骤
（1）在已知P(ωj)，P(X|ωj)，j=1,…，c及给出待识别的X的情况下，根据贝 叶斯公式计算出后验概率：
0-1·损失函数
c
P(j X ) j1, ji
两种判决方式等价！ 9
3.3 Bayes分类器和判别函数
分类器设计：利用决策规则对观察向量 X 进行分类
d 维特征空间
决策规则
c 个决策域
决策面：划分决策域的边界面 决策面方程：决策面的数学解析形式 判别函数：表达决策规则的函数
决策面方程 和判别函数 由相应的决 策规则所决 定！
最小错误概率决策
判别函数的不同形式：
gi(x)P(i |x)
gi(x)P(xi)P(i)
g i(x ) lo g P (xi) lo g P (i)
12
最小风险决策
判别函数
gi(x)R(i |x)
判别函数不唯一，更一般地，f ( gi ( x)) （其中 f ( x ) 为 单调增函数）均可作为判别函数
p(X1)<(1222)P(2) p(X2) (2111)P(1)
似然比
8
最小错误决策和最小风险决策
二类问题中，若 12222111，则两种判决方式等价
多类问题中，若
所有错误代
(i,j) 1 0,,ij,i,ij 1 j,2, ,c 价相同！
则有
c
R(i | X ) (i ,j )P(j X) j 1