02贝叶斯决策理论

类条件概率密度函数
光泽度的类条件概率密度函数反应了两种鱼之间光泽度的差异
后验概率
• 假 密定度p我(x们| ω知j),道j=先1,2验，概并率且P测(ω得j)和一类条条鱼件的概光率泽 度为x，那么如何在分类决策中利用这一信 息呢？
• 由于联合概率分布满足
p( j , x) P( j | x) p(x) p(x | j )P( j )
P( j
| x)
p(x | j ) P( j ) ,
p(x)
其中，p(
• 在这一规则下的错误率为
P(error | x) = P(1 | x) 决策为 2 P(error | x) = P(2 | x) 决策为 1 。
显然，对于给定的x，上述决策规则使得错误 率最小。
贝叶斯决策
• 如果 P(1 | x) > P(2 | x)，则决策为1 ， 否则决策为2 。
• 在这一规则下的错误率为
• 基Fra Baidu bibliotek最小错误率的贝叶斯决策规则：
等价形式
P(1 | x) P(2 | x) x 1 P(1 | x) P(2 | x) x 2
(1)P(i
|
x)
max j 1,2
P(
j
|
x)
x i
(2)
p(x
|
i
)P(i
)
max j 1,2
p(x
|
j
)P(
j
)
x i
(3)l(x) p(x | 1) P(2 ) p(x | 2 ) P(1)
– 每一类的概率分布 – 类条件概率密度
继续考虑鲈鱼和鲑鱼的例子
• 假定传送带上送过来的鱼的种类是随机的，令 ωω因表=此ω示2ω。为鱼由随的于机种我变类们量，无。且法为确鲈定鱼性时地ω预=ω测1，鱼为的鲑种鱼类时，
• 如果要分类的鱼中鲈鱼和鲑鱼的数目相等，则 我们认为下一次出现鲈鱼和鲑鱼的可能性一样。 一鲑般鱼的的，概假率定P(ω已2)知，出则现P(ω鲈1鱼)+ 的P(ω概2)率=1P.这(ω是1)和我出们现 在决策之前已知的先验知识，因此称为先验概 率分布
• 如果 p(x | 1)P(1) > p(x | 2 ) P(2) ，则决 策为1 ，否则决策为2 。
– 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息， 决策结果完全取决于先验概率
– 如果P(1) =P(2) ，两种类别等概率出现，决策 规则取决于似然度p(x | j)。
贝叶斯决策规则及等价形式
可得贝叶斯公式
P( j
| x)
p(x | j ) P( j ) .
p(x)
其中 2
p( x)
p(x | j ) P( j )
j 1
• P(ωj|x)就是类别关于光泽度的后验概率
贝叶斯公式
• 贝叶斯公式的直观理解 Posterior = (Likelihood x Prior) / Evidence
• 贝叶斯公式表明通过观测x的值可以将先验 概率转变成后验概率，也就是当观测值x给 定后样本属于各个类别的概率
• p(x|ωj)也称为似然度，也就是在其他条件都 相同的情况下，使p(x|ωj)越大的ωj越可能是 样本所在的真实类别
后验概率
贝叶斯决策规则
• 如果对于观测到的x满足 P(1 | x) P(2 | x), 则我 们自然地决策为ω1，否则决策为ω2 。
只依赖先验概率的决策
• 先验概率反映了我们在鱼真正出现之前就已经 具有的关于鲈鱼和鲑鱼的出现的可能性的知识。 它受很多因素的影响，比如一年中的时节和所 在的区域等等。
• 假定在某个鱼还没有出现的时刻我们就不得不 做出一种分类决策，这时我们拥有的信息只有 两种鱼的先验概率。为了减少分类的错误率， 合理的决策规则应该是： 如果P(ω1)>P(ω2)，则决策为ω1 ，否则决策为ω2 。
则决策为 x i 。
– 最小错误率贝叶斯决策中，可令gi(x)=P(ωi|x)。 • 最小风险贝叶斯决策中，可令gi(x)=-R(αi|x)。 • 判别函数的选择并不唯一，可以为gi(x)的任意单 调增函数f(gi(x))。
等价形式
• 因为p(x)只是一个伸缩因子，并不影响后验 概率的相对大小，因此决策规则中可以不 考虑p(x):
• 可以证明错误率是P(ω1)，P(ω2)中小的那个
加入后验信息
• 多数情况下，我们不会只依据先验信息来 做分类决策
• 假定我们利用光泽度来提高分类效果，由 于不同的鱼会有不同的光泽度，我们仍然 把它表示为一个随机变量
• 令x为一个连续值的随机变量，其分布取决 于鱼的种类，并表示为p(x|ω)，这就是条件 概率密度，也就是鱼的种类为ω 时x的概率 密度函数。
分类决策的分析
• 如果只对一条鱼做分类决策，则前面的决策规 则是合理的，如果要对连续出现的多条鱼重复 这一决策规则，就略显怪异了：尽管我们知道 会出现的鱼有两种，但我们只是重复同一决策。
• 这一决策规则的好坏取决于先验概率P(ω1)， P(ω2)的相对大小，如果P(ω1)>>P(ω2)，则这一 决策规则的错误率就比较小，如果P(ω1)=P(ω2)， 则错误率将达到50%
x 12
似然比形式
(4)h( x)
ln[l ( x)]
ln
p(x
|
1)
ln
p(x
|
2 )
ln
P(1 ) P(2 )
x 12
16
2.2最小错误率贝叶斯决策
• 令 {1， ，c} 为c个类别的有限集，特征向量x 是一个d维的随机向量，p(x|ωj)为类条件概 率密度，P(ωj)是ωj的先验概率，则利用贝叶 斯公式，可以计算后验概率
P(error | x) = min [P(1 | x), P(2 | x)]。
思考：相比于直接利用先验概率的决策，贝 叶斯决策的错误率是否减小了？
分类器，判别函数和决策面
• 特征分类器有多种表示形式，最常用的是判别函 数。给定一个判别函数集合 gi (x),i 1, , c. 如果特征x满足 gi (x) g j (x), j i
第二章 贝叶斯决策理论
• 2.1 引言 • 2.2 最小错误率贝叶斯决策 • 2.3最小风险贝叶斯决策 • 2.4正态分布下的贝叶斯决策
2.1引言
• 统计决策理论是根据每一类总体的概率分 布决定未知类别的样本属于哪一类
• 贝叶斯决策是统计决策理论的基本方法， 它的基本假定是分类决策是在概率空间中 进行的，并且以下概率分布是已知的