第2章 贝叶斯决策理论
合集下载
第2章 贝叶斯决策理论_正态分布
2) 观测数据白细胞浓度分别在两种情况 下的类条件分布： 下的类条件分布： P(x|ω1) ~ N(2000,1000) P(x|ω2) ~ N(7000,3000)
– P(3100|ω1) = 2.1785e-004 – P(3100|ω2) = 5.7123e-005 – P(ω1|3100)=1.9% – P(ω2|3100)=98.1%
– 观测值通常是很多种因素共同作用的结果，根据 观测值通常是很多种因素共同作用的结果，
中心极限定理，服从正态分布。 中心极限定理，服从正态分布。 – 计算、分析最为简单的模型。 计算、分析最为简单的模型。
一元正态分布
一元正态分布及其两个重要参数： 一元正态分布及其两个重要参数：
– 均值（中心） 均值（中心） – 方差（分散度） 方差（分散度）
医生的判断： 医生的判断：正常
作业
设有两类服从二维正态分布的样本如下(前两 设有两类服从二维正态分布的样本如下 前两 个一类，后两个一类)： 个一类，后两个一类 ： 1 2 2 4 x1 = x2 = x3 = x4 = 1 2 4 4 其协方差相同， 其协方差相同，可用两类样本的协方差的 均值来估计。 均值来估计。 设两类的先验概率之比为4:6。 设两类的先验概率之比为 。 求其判别边界，写出计算过程。 求其判别边界，写出计算过程。
判别边界是各种二次曲线。 判别边界是各种二次曲线。
例1：二次曲线边界
3 1/ 2 0 µ1 = ; Σ1 = 6 0 2 3 2 0 µ2 = ; Σ 2 = −2 0 2
g i ( x ) = x Wi x + w x + wi 0
[
]
判别边界仍是一条直线，但不垂直于均值的连线。 判别边界仍是一条直线，但不垂直于均值的连线。
第2章 贝叶斯决策理论
P e
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
第2章 贝叶斯决策理论
P (2 ) P2 (e) P (1 ) P 1 ( e)
基于最小错误率的贝叶斯决策
多类情况下的贝叶斯决策规则
(1) P(i | x) max P( j | x)
j 1, ,c j 1, ,c
x i x i
(2) p( x | i ) P(i ) max p( x | j ) P( j )
基于最小错误率的贝叶斯决策
考虑贝叶斯公式
P(i | x) p( x | i ) P(i ) i 1, 2,
p( x | ) P( )
j 1 j j
c
,c
癌细胞识别问题中c=2
p( x) p( x | j ) P( j )为一因子
j 1 c
贝叶斯公式通过类条件概率密度形式的观察值，将先验 概率转化为后验概率。
R(i | x) (i , j ) P( j | x), i 1,2, , a
j 1 c
（3）取（2）中条件风险最小的决策，采取该行动。
基于最小风险的贝叶斯决策
例：在最小错误率例题基 础上，利用决策表按最小 风险贝叶斯决策进行分类。
1
1
2
0 1
2
6 0
解：前例已计算出P(1 | x) 0.818, P(2 | x) 0.182
基于最小风险的贝叶斯决策
直观上对数字信号的判断如下图
x 0.5
1 x 0
2 1
信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为
p( x | 1 ) 1 ( x 0)2 exp[ ] 2 2 2
输入为1时，幅值的概率密度为
p( x | 2 ) 1 ( x 1)2 exp[ ] 2 2 2
贝叶斯决策理论课件(PPT 88页)
[计算]0.323
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
第2章贝叶斯决策理论
R1 | x R2 | x 所以 x w2
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
贝叶斯决策
超曲面。相邻的两个类别在决策面上的判别函数
值是相等的。如果ωi和ωj是相邻的，则分割它们 的决策面就应为
– di(x)=dj(x) 或 di(x)-dj(x)=0 – 对于两类问题，决策面方程：
– P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=0
§2.2 基于贝叶斯公式的几种判别规则
一、基于最小风险的贝叶斯决策
ωi所受损失。因为这是错误判决，故损失最大。
表示：在决策论中，常以决策表表示各种 情况下的决策损失。
状态
ω
ω
…ω
…ω
损失
1
2
j
m
决策
α1
…
…
α2
…
…
…
…
αi
…
…
…
…
αα
…
…
2.风险R（期望损失）：
对未知x采取判决行动α(x)所付出的代价（损耗）
➢行动αi：表示把模式x判决为ωi类的一次动作。
➢条件风险：
密度，考虑误判的损失代价。决策应是统计意义
上使由于误判而蒙受的损失最小。
–
如果在采取每一个决策或行动时，都使
其条件风险最小，则对所有的x作出决策时，其期
望风险也必然最小。（条件平均损失最小的判决
也必然使总的平均损失最小。）
–5.最小风险贝叶斯决策规则
–如果 ：
–6.判决实施步骤：
–（1）在已知P(ωj),P(x|ωj),j=1,2,…m，并给出待 识别的x的情况下，根据贝叶斯公式计算出后验概
决策表很不容易，往往要根据所研究的具体问题， 分析错误决策造成损失的严重程度来确定。
–7.错误率最小的贝叶斯决策规则与风险最小的贝 叶斯决策规则的联系 – 在采用0-1损失函数时，最小风险贝叶斯决 策就等价于最小错误率贝叶斯决策。
第二章贝叶斯决策理论
利用贝叶斯公式(1)还可以得到几种最小错 误率贝叶斯决策规则的等价形式：
⑵如果 p(x|ωi) P(ωi )= mj1a,2xp(x|ωj) P(ωj)，
则
x∈ωi
⑶若
l(x) p(x | 1) P(2 )
p(x | 2 ) < P(1)
，则x∈
ω1 ω2
⑷对上式的l(x)取自然对数的负值，可写为
2
p(x | i )P(i )
i 1
2.2.1基于最小错误率的贝叶斯决策
❖ 条件概率P(ωi|x)称为状态的后验概率 ❖ 贝叶斯公式实质上是通过观察x把状态的先验
概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图 2.2所示。
图2.2 P(ω1) =2/3和P(ω2)=1/3 及图2.1下的后验 概率图
若h(x)=－ln[l(x)]=－lnp(x|ω1)+ lnp(x|ω2) <>
则 x∈ ω1
ln P(2 ) P(1 )
ω2
2.2.1基于最小错误率的贝叶斯决策
举例
❖ 假设在某个局部地区细胞识别中正常(ω1) 和异常(ω2)两类先验概率分别为正常状态： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有 一待识的细胞，其观察值为x，从类条件 概率密度分布曲线上查得p(x|ω1)=0.2， p(x|ω2)=0.4。试对该细胞x进行分类。
一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。
2.2.1基于最小错误率的贝叶斯决策
解决方法
❖ 利用对鱼观察到的光泽度提高分类器的性 能。不同的鱼产生不同的光泽度，将其表 示为概率形式的变量，设x是连续的随机变 量，其分布取决于类别状态，表示为p(x|ω)， 即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2) 之间的区别就表示为鲈鱼与鲑鱼间光泽度 的区别，如图2.1所示：
模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
第2章_贝叶斯决策理论
模式识别 – 贝叶斯分类器
2.3 贝叶斯分类器的其它版本
• 先验概率P(ωi)未知：极小化极大准则； • 约束一定错误率（风险）：Neyman-
Pearson准则；
• 某些特征缺失的决策：
• 连续出现的模式之间统计相关的决策：
模式识别 – 贝叶斯分类器
2.4 正态分布的贝叶斯分类器
• 单变量正态分布密度函数（高斯分布）：
px
1
2
exp
1 2
x
2
模式识别 – 贝叶斯分类器
多元正态分布函数
p x i
1
2 d 2
Σi
12
exp
1 2
x
μi
t
Σi1 x μi
模式识别 – 贝叶斯分类器
正态分布的判别函数
• 贝叶斯判别函数可以写成对数形式：
gi x ln px i ln Pi
• 类条件概率密度函数为正态分布时：
gi x d x,μi
模式识别 – 贝叶斯分类器
情况二：Σi Σ
• 判别函数可以写成：
gi
x
1 2
x
μi
t
Σ1
x
μi
ln
P
i
• 可以简化为：
gi
x
μit
Σ1x
1 2
μit
Σ1μi
ln
P
i
w
t i
x
wi 0
称为线性分类器
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，1维特征，先验概率相同时：
模式识别 – 贝叶斯分类器
线性分类器
• 两类问题，高维特征，先验概率相同时：
第二章贝叶斯决策理论
第⼆章贝叶斯决策理论第⼆章贝叶斯决策理论●引⾔统计模式识别⽅法以样本特征值的统计概率为基础：（1）先验概率()i P ω、类（条件）概率密度函数(/)i p ωx 和后验概率(/)i P ωx 。
（2） Bayes 公式体现这三者关系的公式。
本章讨论的内容在理论上有指导意义，代表了基于统计参数这⼀类的分类器设计⽅法，结合正态分布使分类器设计更加具体化。
模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。
是指对某⼀种设计原则讲的，这种原则称为准则。
使这些准则达到最优，如最⼩错误率准则，基于最⼩风险准则等,讨论⼏种常⽤的决策规则。
设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的⽅法。
●思考？机器⾃动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？错分类往往难以避免，因此就要考虑减⼩因错分类造成的危害损失，有没有可能对⼀种错分类严格控制？●贝叶斯决策理论与⽅法基本概念给定⼀个m 模式类(,,....,)m ωωω12的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本x 属于这m 类样本中的哪⼀类问题。
假设⼀个待识别的样本⽤n 个属性观察值描述，称之为n 个特征，从⽽组成⼀个n 维的特征向量，⽽这n 维征向量所有可能的取值范围则组成了⼀个n 维的特征空间。
特征空间的统计分布 (1) i ω, i =1,2,…,m 的先验概率：()i P ω(2)类条件概率密度函数：(|)i p ωx （可解释为当类别i ω已知的情况下，样本x 的概率分布密度函数）(3)后验概率：⽣成m 个条件后验概率(|)i P ωx ，i =1，2，…，m 。
也就是对于⼀个特征向量x ，每⼀个条件后验概率(|)iP ωx 都代表未知样本属于某⼀特定类i ω的概率。
第⼀节基于最⼩错误率的贝叶斯判别⽅法 (⼀).两类情况两类情况是多类情况的基础，多类情况往往是⽤多个两类情况解决的。
第2章 贝叶斯决策理论
j =1 c
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
第二章贝叶斯决策理论
P1(e) P2 (e)0
第2章 贝叶斯决策理论 24
2019年11月19日星期二
P1(e) P2 (e)0
p(x 1)dx p(x 1)dx 1 p(x 1)dx 1 p(x 1)dx
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。
第2章 贝叶斯决策理论 17
2019年11月19日星期二
2019年11月19日星期二
在两类问题中，若有 21 11 12 22 ，决策规则变为 (21 11)P(1 x)(12 22 )P(2 x) 1 (21 11)P(1 x)(12 22 )P(2 x) 2 P(1 x) P(2 x) 1 P(1 x) P(2 x) 2
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4, 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
P( j
x)
p( x j )P( j )
2
p( x j )P( j )
j1
第2章 贝叶斯决策理论 8
2019年11月19日星期二
对待分类模式的特征我们得到一个观察值 x ， 合理的决 策规则：
P(1 x) P(2 x) 1
第2章 贝叶斯决策理论 24
2019年11月19日星期二
P1(e) P2 (e)0
p(x 1)dx p(x 1)dx 1 p(x 1)dx 1 p(x 1)dx
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。
第2章 贝叶斯决策理论 17
2019年11月19日星期二
2019年11月19日星期二
在两类问题中，若有 21 11 12 22 ，决策规则变为 (21 11)P(1 x)(12 22 )P(2 x) 1 (21 11)P(1 x)(12 22 )P(2 x) 2 P(1 x) P(2 x) 1 P(1 x) P(2 x) 2
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4, 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
P( j
x)
p( x j )P( j )
2
p( x j )P( j )
j1
第2章 贝叶斯决策理论 8
2019年11月19日星期二
对待分类模式的特征我们得到一个观察值 x ， 合理的决 策规则：
P(1 x) P(2 x) 1
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
线性分类器
• 两类问题，高维特征，先验概率不同时：
情况三： 任意
• 判别函数可以写成：
• 判别函数为二次判别函数，分类界面为2次 曲线（面）。
二次分类曲线
• 以一个化验结果作为特征x: {阳性，阴性}，患癌
症的人和正常人化验结果为阳性的概率分别为：
•
判别代价： λ11 = 0, λ22 = 0, λ12 = 100, λ21
= 25
• 现有一人化验结果为阳性，问此人是否患癌症 ？
2.3 贝叶斯分类器的其它版本
• 先验概率P(ωi)未知：极小化极大准则； • 约束一定错误率（风险）：Neyman-
Pearson准则； • 某些特征缺失的决策： • 连续出现的模式之间统计相关的决策：
2.4 正态分布的贝叶斯分类器
• 单变量正态分布密度函数（高斯分布）：
多元正态分布函数
正态分布的判别函数
• 贝叶斯判别函数可以写成对数形式：
• 类条件概率密度函数为正态分布时：
情况一：
• 判别函数可以写成：
• 判别准则： •则 ：
贝叶斯最小错误率准则
•Bayes判别准则： •，则
贝叶斯分类器的错误率估计
例2.1
• 症对，一ω大2批类人代进表行正癌常症人普。查已，知设先ω验1概类率代：表患癌
• 以一个化验结果作为特征x: {阳性，阴性}，患
癌症的人和正常人化验结果为阳性的概率分别为：
• 现有一人化验结果为阳性，问此人是否患癌症 ？
• 此分类器称为距离分类器，判别函数可以用 待识模式x与类别均值μi之间的距离表示：
情况二：
• 判别函数可以写成： • 可以简化为： • 称为线性分类器
线性分类器
• 两类问题，1维特征，先验概率相同时 ：
线性分类器
• 两类问题，高维特征，先验概率相同时 ：
线性分类器
• 两类问题，1维特征，先验概率不同时：
第2章 贝叶斯决策理论
2020年6月6日星期六
2.1 最小错误率准则
各种概率及其关系
• 先验概率： • 后验概率： • 类条件概率： • 贝叶斯公式：
两个类别，一维特征
两类问题的错误率
• 观察到特征x时作出判别的错误率：
• 两类问题最小错误率判别x属于ωi的错误率：
2.2 最小平均风险准则贝叶斯分 类器
•问题的提出: 有c个类别ω1, ω2 ,... , ωc, 将ωi类的样本
判别为ωj类的代价为λij。
•将未知模式x判别为ωj类的平均风险：
最小平均风险判别准则
• 利用Bayes公式，构造判别函数：
贝叶斯分类器
例2.2
• ω对2一类大代批表人正进常行人癌。症已普知查先，验设概ω率1：类代表患癌症，