基于贝叶斯决策理论的分类器

• 用平均正确分类率P(c)计算只有c 项：
P (c ) P ( x R j | w j )P (w j ) p( x | w j )P (w j )dx
j 1 c c
P (e ) 1 P (c )
j 1 Ri
例1：细胞识别 已知：正常类P(w1)＝0.9; 异常类P(w2)＝0.1 待识别细胞 x, 从类条件概率密度曲线上查得 p(x|w1)＝0.2; p(x|w2)＝0.4 解：利用Bayes公式分别计算 1和w2的后验概率 w p( x | w1 ) P (w1 ) P (w1 | x ) 2 0.818 p( x | w j ) P (w j )
例2：条件同例1，利用决策表， 按最小风险Bayes决策分类。 已知：P(w1 ) 0.9, P(w2 ) 0.1 p( x | w1 ) 0.2, p( x | w2 ) 0.4 l11 0 l12 6 l21 1 l22 0 例 1 得到后验概率： (w1 | x) 0.818, P(w2 | x) 0.182 P
如果 (l21 l11 ) P (w1 | x ) (l12 l22 ) P (w2 | x )， 则决策w1；否则w2 p( x w1 ) l12 l22 P (w2 ) 如果 l ( x ) ， p( x w2 ) l21 l11 P (w1 ) 则决策w1；否则w2
i 1 c
2. Bayes分类规则：用后验概率分类
两类(c 2)情况下 如果 P (w1 x) P (w2 x )， 则x属于w1类 如果 P (w1 x ) P (w2 x )， 则x属于w2类
类条件概率密度
上图
后验概率
⑴两类情况下的 Bayes分类规则的几种等价形 式 下述四种等价规则的决 策：x w1，否则x w2 Bayes公式 ① P (w1 | x ) P (w2 | x ) 后验概率 p( x | w ) P (w ) P (w | x ) ② p( x | w1 ) P (w1 ) p( x | w2 ) P (w2 ) p( x ) p( x w1 ) P (w2 ) ③ l ( x) p( x w2 ) P (w1 ) P (w2 ) 统计学中l ( x )称为似然比, 称为似然比阈值 P (w1 ) 取 h( x) ln l ( x) P (w1 ) ④ h( x ) ln[l ( x )] ln p( x | w1 ) ln p( x | w2 ) ln P (w ) 2 ⑵多类问题的 Bayes决策： P (wi | x ) max P (w j | x ), 则x wi i , j 1,2, , c
i i i
j 1,,c
3. 最小错误率的 Bayes 决策 决策规则 P (wi | x ) max P (w j | x ), 则x wi
j 1, 2 ,,c
误差概率 P (error) min[P (wi | x )] i , j 1,2,, c
⑴为什么这样分类的结果平均错误率最小？ 在一维特征空间中，t 为两类的分界面分成两个区 域R1和R2 ， R1为(－∞, t)； R2为(t,∞)。 R1区域所有x值： 分类器判定属于w1类； R2区域所有x值： 分类器判定属于w2类。 判断错误的区域为阴影包围的面积。
R R ( a ( x) x) p ( x) dx
பைடு நூலகம்
dx是d维特征空间的体积元，积分在整个特征空间。 • 期望风险R反映对整个特征空间上所有x的取值都采 取相应的决策a(x)所带来的平均风险；而条件风险 R(ai|x)只反映观察到某一x的条件下采取决策ai 所 带来的风险。 • 如果采取每个决策行动ai使条件风险R(ai|x)最小， 则对所有的x作出决策时，其期望风险R也必然最 小。这就是最小风险Bayes决策。
P(e) P(w2 ) P2 (e) P(w1 ) P (e) 1 • 决策规则实际上对每个x都使 p(e|x)取小者，移动决策面 t 都会使错误区域增大，因此 平均错误率最小。
1 2
⑵错误率计算：
• 多类时，特征空间分割成 R1,· Rc ，P(e) 由 · · c×(c-1)项组成，计算量大。
⑵最小风险的Bayes决策规则： 如果 R(ak | x) min R(ai | x), 则对应的决策a ak
i 1, 2 ,, a
最小风险Bayes决策可按下列步骤进行 ： ①已知P(w j ), p( x | w j ), 根据待识别的x, 由Bayes公式， 计算后验概率P(w j | x)； ②利用决策表，计算出 采取ai决策的条件风险 (ai | x) R R(ai | x) l (ai | w j )P(w j | x), i 1,2, , a
§2 Bayes 决策理论 1. Bayes公式，也称Bayes法则
已知：先验概率 (wi ), 类条件概率密度函数 p( x | wi ) P p( x | wi ) P (wi ) 则 后验概率为 P (wi | x ) p( x ) 其中，全概率密度 p( x ) p( x | wi )P (wi )
i 1 c
③上式得到的a个条件风险值R(ai | x), i 1,2, , a 进行比较， 找出使条件风险最小的 决策ak 即 R(ak | x) min R(ai | x),
i 1, 2 ,, a
则 ak 就是最小风险Bayes决策。
• 如果只有两类的情况下 R(a1 | x) l11 P(w1 | x) l12 P(w2 | x) R(a2 | x) l21 P(w1 | x) l22 P(w2 | x) 这时最小风险的Bayes决策法则为： 如果R(a1|x)< R(a2|x), 则x的真实状态w1, 否则w2。 • 两类时最小风险Bayes决策规则的另两种形式：
第二章
基于贝叶斯决策理论的分类器 Classifiers Based on Bayes Decision Theory
§1 引言 §2 Bayes决策理论 最小错误率的贝叶斯决策 最小风险的贝叶斯决策 §3 Bayes分类器和判别函数 §4 正态分布的Bayes决策
§1 引言 • 模式识别是根据对象特征值将其分类。 d个特征组成特征向量x=[x1,·,xd]T，生成d 维特征 · · 空间，在特征空间一个 x 称为一个模式样本。 • Bayes决策理论是用概率统计方法研究决策问题。 ⒈ 为什么可用Bayes决策理论分类？ ⑴样本的不确定性： ①样本从总体中抽取，特征值都是随机变量，在相 同条件下重复观测取值不同，故x为随机向量。 ②特征选择的不完善引起的不确定性； ③测量中有随机噪声存在。
• 一般用决策表或损失矩阵表示上述三者关系。 决策表表示各种状态下的决策损失，如下表：
• 由于引入了“损失”的概念 (即在错判时造成的 损失)，不能只根据后验概率来决策，必须考虑 所采取的决策是否使损失最小。 • 对于给定的x，决策ai ，l可在c个l(ai,wj)中选一 个，其相应的后验概率为P(wj|x)。 此时的条件期望损失，即后验概率加权和
⑵另一方面从样本的可分性来看： • 当各类模式特征之间有明显的可分性时，可用 直线或曲线(面)设计分类器，有较好的效果。 • 当各类别之间出现混淆现象时，则分类困难。
这时需要采用统计方法，对模式样本的统计特 性进行观测，分析属于哪一类的概率最大。此 时要按照某种判据分类，如，分类错误发生的 概率最小，或在最小风险下进行分类决策等。
x0
• 判定错误区域及错误率 真实状态w2，而把模式x判定属于w1类 真实状态w1，而把模式x判定属于w2类 P(w1 | x)，当P(w2 | x) P(w1 | x) P (e | x ) P(w2 | x)，当P(w1 | x) P(w2 | x) • 平均错误率P(e) P(e) P(w2 ) R p( x w2 )dx P(w1 ) R p( x w1 )dx
求：

exp(( x 1) 2 )
①若先验概率 P(w1) = P(w2) = 1/2，计算最小错误 率情况下的阈值 x0。 ②如果损失矩阵为
0 0.5 l 计算最小风险情况下的阈值 x0。 1 0
⑶后验概率P(wi|x) 定义为某个样本 x, 属于wi 类的概率, i=1,·,c 。 · · • 如果用先验概率P(wi) 来确定待分样本x的类别, 依据显然是非常不充分的，须用类条件概率密 度p(x|wi)来修正。 • 根据样本 x 的先验概率和类条件概率密度函数 p(x|wi) 用Bayes公式重新修正 模式样本所属类的概率，称 后验概率P(wi|x)。 3.用Bayes决策理论分类时要求： ①各类总体的概率分布是已知的。 ②要决策的类别数c是一定的。
j 1
P (w2 | x ) 1－P (w1 | x ) 0.182 因此 P (w1 | x ) 0.818 P (w2 | x ) 0.182
x w1
• 这种规则先验概率起决定作用。这里没有考虑 错误分类带来的损失。
4. 最小风险的Bayes决策 ⑴把分类错误引起的“损失”加入到决策中去。 决策论中： 采取的决策称为动作，用ai表示； 每个动作带来的损失，用l表示。 归纳数学符号： T ① x是d维随机向量 x [ x1 , x2 ,，xd ] ②状态空间由c个自然状态(c类)组成 {w1 , w2 ,, wc } ③决策空间A由a个决策ai 组成, i 1,2,, c, a A {a1 , a2 , ac , aa }, 下标a c 1(拒绝决策) ④损失函数l (ai , w j ), i 1,2,, a j 1,2,, c l表示当真实状态为w j时，采取的决策为 i 的损失。 a
条件风险 R(a1 | x) l1 j P(w j | x) l12 P(w2 | x) 1.092
j 1 2
R(a2 | x) l21 P(w1 | x) 0.818 由于 R(a1 | x) R(a2 | x), 所以 x w2
• 这里决策与例1结论相反为异常细胞。因损失起 了主导作用。l不易确定，要与有关专家商定。
例3： 现有两类问题，比较两种Bayes决策。 1 1 xm 已知：单个特征变量x为正态分布 p( x) 2 s exp[ 2 ( s ) 两类方差都为s 2=1/2, 均值分别为m = 0,1
即
p( x w1 ) P( x w 2 ) 1
2
]

1
exp( x 2 )
类条件概率密度函数
⒉ 三个重要的概率和概率密度 先验概率、类条件概率密度函数、后验概率。 ⑴先验概率 P(wi) 由样本的先验知识得到先验概率，可从训练集样 本中估算出来。 例如，两类10个训练样本，属于w1为2个，属于w2 为8个，则先验概率P(w1) = 0.2，P(w2) = 0.8。 ⑵类条件概率密度函数 p(x|wi) 模式样本x在wi类条件下，出现的 概率密度分布函数。也称 p(x|wi) 为wi 关于x 的似然函数。 • 在本章中均假设已知上述概率和概率密度函数。
R(ai x) E[l (ai , w j )] l (ai , w j ) P(w j x) i 1,2,, a
j 1 c
在决策论中条件期望损失称为条件风险，即x被 判为i类时损失的均值。 • 由于x是随机向量的观察值，不同的x采取不同 决策ai ，其条件风险的大小是不同的。
• 决策a可看成随机向量x的函数，记为a(x)，它本身 也是一个随机变量。 • 定义期望风险R