贝叶斯决策论

23
图7-5 一个包含d个输入c个判决函数gi(x)的一般的统计模式分类 器的体系结构。接下来的步骤是确定哪个判别函数值最大，并相 应的对输入作分类。箭头表示信息流的方向。
24
具有一般风险的情况下，让gi(x)=-R(αi|x) 在最小误差概率情况下，让gi(x)=P(wi|x) 在最小误差概率情况下，一些常用选择：
（4）式可写成：
P(error | x) minP(w1 | x), P(w2 | x)
可得到完全等价的判断规则
如果p(x | w1)P(w1) p(x | w2 )P(w2 ) 则判断为 w1；否则判断w2
15
7.2贝叶斯决策论-连续特征
推广：
允许使用多于一个特征 允许多于两种类别状态的情形 允许有其他行为而不是仅仅判断类别 通过引入一个更一般的损失函数来替代误差概率 注：损失函数：精确地阐述了每种行为所付出的代价
1
2
2
xT x 2μTi x μTi μi
ln P(wi )
36
可得等价的线性判别函数
gi (x) wiT x wi0
wi
1
2
μi
wi 0
1
2 2
μTi μi
ln
p(wi )
wi0称为第i个方向的阈值或偏置。
37
超平面此方程可写成
wT (x x0) 0
w μi μ j
其中
x0
V Vd 1 2 r d
其中Vd是一个d维单位超球体的体积
Vd
2d
d
(d 1)
2 2
(d d
/ 2)! 1! 2
d!
d为偶数 d为奇数
34
7.6正态分布的判别函数
最小误差概率分类可通过使用判决函数获得
gi (x) ln p(x | wi ) ln P(wi )
可获得：
gi (x)
12
假设已知先验概率P(wj)，也知道条件概率密度p(x|wj)， 且j=1,2。通过观察和测量，发现某个特征（一条鱼的
光泽度）为x。则联合概率密度可写成
p(wj, x)=P(wj|x)p(x)=p(x|wj)P(wj) 于是可得贝叶斯公式：
P(wj|x)=p(x|wj)P(wj)/p(x) 在两类问题下：
p(x)
2 j 1
p(x
|
w
j
)P(w
j
)
贝叶斯公式可用非正式的英语表示成
posterior likelihood prior evidence
其中，p(x|wj)称为wj关于x的似然函数。证据因子p(x)可 看成一个标量因子。
13
图7-2 在先验概率P(w1)=2/3，P(w2)=1/3及图7-1给出的类条件概率 密度的条件下的后验概率图.
38
情况2 Σi Σ
可简化为
g
i
(
x)
1 2
x
μ
i
T
1
x
μ
i
ln
P(
wi
)
将二次型展开，可得线性判别函数：
gi
(x)
w
T i
x
wi 0
wi Σ1μi
wi 0
1 2
μTi
Σ
1μ
i
ln
p(wi )
39
边界面方程为
wT (x x0) 0
w Σ1 μi μ j
x0
1 2
42
情况3 Σi 任意
去掉常量后，判别函数为二次型：
gi
(
x)
xT
Wi x
w
T i
x
wi 0
其中
Wi
1 2
Σ 1 i
wi
Σ
μ 1
i
i
wi 0
1 2
μTi
Σ
μ 1
i
i
1 2
ln
Σi
ln P(wi )
在两类问题中，对应的判定面是超二次曲面。
43
判决区域不连通的情形
图7-13在方差不相等的一维高斯分布情况下，可能产生并非 单连通的判决区域，如P(w1)=P(w2)时这里所示的情况
7
使用光泽度和宽度特征的散布图
（鲑鱼）
（鲈鱼）
8
复杂模型
9
最优折中
Center problem in pattern recognition
10
3）几个概念
如果用w表示类别状态，那么当w=w1时是鲈鱼， 当w=w2时是鲑鱼，可由概率来描述特性的随机 变量。
先验概率：P(w1)表示鲈鱼的先验概率， P(w2) 表示鲑鱼的先验概率，满足P(w1) + P(w2) =1。
与相应的决策代价之间的定量折中。 假设：决策问题可以用概率的形式来描述，
并假设所有有关的概率结构均已知。 2）鱼类分类的例子：鲈鱼，鲑鱼（续）
3
（鲑鱼）
（鲈鱼）
4
使用长度作为特征
（鲑鱼）
（鲈鱼）
5
使用光泽度作为特征
（鲑鱼）
（鲈鱼）
6
判别边界
决策理论的任务是：使总体代价函数最小。
（鲑鱼）
（鲈鱼）
gi (x) P(wi | x)
p(x | wi )P(wi )
c j 1
p(x
|
w
j
)P(w
j
)
gi (x) p(x | wi )P(wi )
gi (x) ln p(x | wi ) ln P(wi )
25
图7-6在这个二维的两类问题 的分类器中，概率密度为高斯 分布，判决边界由两个双曲线 构成，因此判决区域R2并非 是简单的连通的。椭圆轮廓线 标记出1/e乘以概率密度的峰 值。
R(1 | x) R(2 | x)则判定为w1
也表述为：如果
则判定为如w1果
P(w1
|
x)21
11
P(w2
|
x)12
22
19
利用贝叶斯规则，则等价于
如果 21 11 p(x | w1)P(w1) 12 22 p(x | w2 )P(w2 )
则判定为w1。
另一种表达方式为：如果下式成立，则判定为w1。
21
图7-3 图7-1所示的分布的似然函数比p(x|w1)/p(x|w2)。如果引入一 个0-1损失或分类损失，那么判决边界将由θa决定
22
7.4分类器、判别函数及判定面
7.4.1多类情况 常用的判别函数为gi(x), i=1,…,c的形式，如果 对于所有的j≠i，有 gi(x)> gj(x) 则此分类器将这个特征向量x判为wi 分类器可视为一个网络或机器（图7-5）。
27
7.5正态密度
f(x)的数学期望
f (x) f (x) p(x)dx
f (x) f (x)P(x) xD
28
7.5.1单变量密度函数
单变量正态密度函数
p(x)
1
2
exp
1 2
x
2
期望值： x xp(x)dx
方差： 2 x 2 x 2 p(x)dx
图7-9从一个以均值μ为中心
的云团内的二维高斯分布中取 出的样本。椭圆显示了等概率 密度的高斯分布轨迹。
33
r 2 x μT Σ1x μ
称为从x到μ的Mahalanobis距离或马氏距离。
等密度分布的边界是一些到μ 的恒定马氏距离的超椭 圆体，且这些超椭圆体的体积决定了均值附近的样本 的离散程度。 与Mahalanobis距离r对应的超椭圆体的体积为
26
7.4.2两类情况：二类分类器 判别函数
g(x) g1(x) g2 (x)
如果 g(x) 0 则判为w1，否则判为w2 。 常用的个g(x)函数如下：
g(x) P(w1 | x) P(w2 | x) g(x) ln p(x | w1) ln P(w1)
p(x | w2 ) P(w2 )
类条件概率密度：假设x是一连续随机变量，其 分布取决于类别的状态，表示成p(x|w)的形式， 也称状态条件密度。
11
图7-1假定的类条件概率密度函数图，显示了模式处于类别wi时的 观测某个特定特征值x的概率密度。如果x代表鱼的长度，那么这 两条曲线可描述两种鱼的长度区别。概率函数已归一化。因此每 条曲线下的面积为1。
1 2 (μi
μj)
2
μi μ j
2
ln
P(wi P(wj
) )
(μi
μj)
图7-10 如果两种分布的协方差矩阵相等并且与单位阵成比例，那么它们成
d维球状分布，其判决边界是一个d-1维归一化超平面，垂直于两个中心的
连线。在这些一维，二维，三维的例子中，是假设在P(w1)=P(w2)的情况下
来显示p(x|wi)和判决边界的。
P(wj
| x)
p(x | wj )P(wj ) p(x)
证据因子已知
p(x)
c j 1
p(x
|
w
j
)P(wj
)
17
如果观测到某个特定模式x并且采取行为αi，如果真 实的类别为wj，通过定义将有损失λ(αi|wj)，则相应损 失为
R(i | x)
c j
1
(
i
|
wj
)P(wj
|
x)
R(i | x) 称为条件风险
1 2
x
μi
T
i1
x
μ
i
d 2
ln 2
1 2
ln
i
ln P(wi )
下面分几种特殊情况来讨论
35
情况1 Σ σ2I
，
i 2d 和 i1 1 2 I
省略无关常数后，可得简单的判别函数
gi (x)
x μi
2 2
2
ln P(wi )
表示欧几里德范数
二次型展开可得：
gi
(
x)
可以通过选择最小化条件风险的行为来使预期的损失最 小化。 贝叶斯决策过程实际上提供了一个总风险的优化过程。
总风险为：
R R( (x) | x) p(x)dx
18
两类分类问题
λij=引λR(起α(i|的w1 j|)损x表)失示。当11前P(实w1际| x类) 别为12Pw(j时w2误| x判) 为wi所 条R件(风2 |险x)为：21P(w1 | x) 22P(w2 | x)
P(x | P(x |
w1 ) w2 )
12 22 P(w2 ) 21 11 P(w1)
称为
似然比
20
7.3最小误差率分类
如果采取行为αi，而实际类别为wj，那么在i=j的情况下 判定是正确的，如果i≠j，则产生误判。如果要避免误判，
自然要寻找一种判决规则使误判概率最小化。
对称损失函数或0-1损失函数
记为： p(x) ~ N (, 2 )
29
图7-7单变量正态分布大约有95%的区域在|x-μ|≤2σ范围内，
如图所示。此分布的峰值为
p() 1 2
30
7.5.2多元密度函数
d维多元正态密度的形式
p(x)
2
1
d 2
Σ
1
2
exp
1 2
x
μT
Σ 1 x
μ
记为 p(x) ~ N (μ, Σ)
其中 μ x xp(x)dx
大小，并且用于将概率转换为一种判决。
16
令{w1,…,wc}表示有限个c个类别集，{α1,…,αa} 表示有限的a种可能采取的行为集，风险函数 λ(αi|wj)描述类别状态为wj时采取行动αi的风险。 特征向量x表示一个d维随机变量。令p(x|wj)表 示x的状态条件概率密度函数，则后验概率可表 示成：
14
4）决策规则--最小化误差概率条件下的贝叶斯决策规则
决策规则：如果某个观测值x使得P(w1|x)比P(w2|x)大， 则判断类别是w1，反之，则判断w2。
误差概率：
P(error
|
x)
P(w1 P(w2
| |
x) x)
如果判定w2 如果判定w1
平均误差
（4）
P(error) P(error, x)dx P(error | x) p(x)dx
(μi
μ
j
)
ln P(wi ) P(wj ) μi μ j T Σ1 μi μ j
(μi μ j )
判决边界是超平面
40
图7-11随着先验概率的改 变，判决边界也随之改变； 对于差别较大的离散先验概 率而言，判决边界不会落于 这些一维，二维及三维球状 高斯分布的中心点之间
41
图7-12相等但非 对称的高斯分布 的概率密度及判 决区域。判决超 平面未必和均值 连线垂直正交
协方差
矩阵：
Σ x μx μT
x μx μT p(x)dx
31
Βιβλιοθήκη Baidu
白化变换
正态分布的性质：
服从正态分布的随机变 量的线性组合还是一个 正态分布。
直线投影
图7-8 特征空间中的 一个线性变换将一个 任意正态分布变换成 另一个正态分布。
32
多元正态密度完全由d+d(d+1)/2个参数确定。从一正态 分布中所抽取的样本点趋向于落在一个单一的云团或聚 类中。等密度点的轨迹为一超椭圆体，这些椭圆体的主 轴由Σ的本征向量给出，本征值决定这些长轴的长度。
44
二维的例子
图7-14任意高斯分布导致 一般超二次曲面的贝叶斯 判决边界。反之，给定任 意超二次曲面，就能求出 两个高斯分布，其贝叶斯 判决边界就是超二次曲面。 它们的方差由常概率密度 的围线表示
第7讲 贝叶斯决策论
文志强
计算机与通信学院
1
主要内容
引言 贝叶斯决策论-连续特征 最小误差率分类 分类器、判别函数及判定面 正态密度
资料来自：Richard O.Duda, 李宏东等译.《模式分类》,机械工业出版 社. 2003.
2
7.1引言
1）贝叶斯决策论的概念 贝叶斯决策论：利用概率的不同分类决策
( i
|
wj
)
0 1
i j i j
i, j 1,..., c
条件风险：相当于平均误差概率
R(i | x)
c j1
(
i
|
wj
)P(wj
|
x)
P(wj | x) 1 P(wi | x)
ji
为了最小化平均误差概率，需要选取i使得后验
概率P(wi|x)最大，也即基于最小误差概率，有
对任给j i，如果P(wi | x) P(wj | x)，则判决为wi