模式识别2

第二章 贝叶斯决策理论
7
决策规则(decision rule)的表示
决策规则表示1
判别 函数
if g j (x ) max gi (x ) then x j
i
决策规则表示2
j argmax gi (x)
i
第二章 贝叶斯决策理论
8
决策区域与决策面

决策区域与决策面(decision region/surface ) ：
分类决策
分类器 设计
第二章 贝叶斯决策理论
3
基本概念
模式识别是从样本到类别的映射。
引言
模式分类：根据识别对象的观测值确定其类别。 样本与样本空间表示：待研究对象的个体，用特征
向量x表示，所有可能的取值范围构成特征空间。
x x1 , x2 ,

, xd
T
x Rd
类别与类别空间：类别数已知，共有c个类别，所 有类别状态构成类别空间。 , , , ,
决 策 规 则
ˆ ( x) argmin R( D( x) | x) k D
D
argmin R (i | x) argmin ij P ( j | x)
i j i
第二章 贝叶斯决策理论
35
最小风险决策的计算

最小风险 决策
根据Bayes公式计算后验概率P(ωj|x) 根据后验概率及给定的代价矩阵，算出每 个决策的条件风险R(D(x)|x) 按最小的条件风险进行决策。
最小错误率 决策
设t为两类的“分界面”，则在特征向量x是一
维时，t为x轴上的一点。形成两个决策区域: R1~(-∞，t)和R2~(t，+∞)
P ( e) P 12 P 21 P ( x R1 , 2 ) P ( x R2 , 1 ) P(2 ) P( x R1 | 2 ) P(1 ) P( x R2 | 1 ) P(2 ) p( x | 2 )dx P(1 ) p( x | 1 )dx
电子信息学院
第二章 贝叶斯决策理论
王文伟 Wang Wenwei, Dr.-Ing. Tel: 189-71562600 Email: wwwang@aliyun.com Web: http://ipl.whu.edu.cn/sites/ced/prnn/
电子信息学院
Table of Contents
j j

期望风险：条件风险对观测值x所有可能取 值的数学期望
R( D( x)) E[ R( D( x) | x)]
R( D(x) | x) p( x)dx
34
第二章 贝叶斯决策理论
基于最小风险的Bayes决策
最小风险 决策
基于最小风险的Bayes决策：决策有代价，
选择（条件）风险最小的决策。 Bayes最小风险决策规则通过保证每个观测 值x下的条件风险最小，使得它的期望风险 最小，是一致最优决策。

最小错误率 决策
Bayes最小错误率决策使得每个观 测值x下的条件错误率P(e|x)最小因 而保证了（平均）错误率P(e)最小。 Bayes决策是一致最优决策。
P(e) E ( P(e | x)) P(e | x) p(x)dx

第二章 贝叶斯决策理论
29
决策的错误率（4）


（平均）错误率是条件错误率的数学期望
第二章 贝叶斯决策理论
27
决策的错误率（2）

最小错误率 决策
条件错误率P(e|x)的计算: 以两类问题为例，当获得观测值x后，有两种决 策错误：1）E12, 判定 x属于ω1 而实际它属于ω2 ， 2）或者E21 , 判定x属于ω2而实际它属于ω1 。 条件错误率为：
j
第二章 贝叶斯决策理论
20
图解
最小错误率 决策
p(x|ω1)
p(ω1|x) p(ω2|x)
p(x|ω2)
类条件概率密度函数
后验概率
21
第二章 贝叶斯决策理论
公式简化
比较后验概率P
最小错误率 决策
(ωi| x)的大小不需要计算p(x)：
argmax P(i | x )
i
p ( x | i ) P(i ) argmax p(x ) i argmax p( x | i ) P(i )
最小错误率 决策
j argmax P(i | x)
i
2)
j argmax p(x | i ) P(i )
i
3)
j argmax(ln p(x | i ) ln P(i ))
i
似然比
4)
阈值
p(x | 1 ) P(2 ) if l (x) then x 1 p(x | 2 ) P(1 )
1 2 i c
样 本
模式识别
类 别
4
第二章 贝叶斯决策理论
分类/决策

引言
分类：把x分到哪一类最合理？理论基础之 一是统计决策理论。 决策：是从样本空间S到决策空间Θ的一个映 射，表示为 D: S --> Θ
第二章 贝叶斯决策理论
5
决策准则
引言
决策的优劣有多种标准来评价，对于同一个
问题，采用不同的标准会得到不同意义下 “最优”的决策。
Bayes决策理论体系下几种常用的规则：
最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率 为最小的准则 最小最大决策准则
第二章 贝叶斯决策理论
6
2.1 基于判别函数的分类器设计架构
判别函数 (discriminant
function)：用来 表示决策的定量依据。相应于每一类 定义一个函数，得到一组判别函数： gi(x), i = 1, 2, …, c
x1
判别 函数
分类器是某种由硬件或软件组成的“机器”，
g1
x2
. . .
g2
. . .
ARGMAX
a(x)
xn

gc
多类识别问题的Bayes最小错误率决策：gi(x) = P (ωi |x)
第二章 贝叶斯决策理论
11
一个例子：鱼的分拣
两类鱼
判别 函数
Sea bass Salmon (Pattern Classification, 2001)
第二章 贝叶斯决策理论
18
最小错误率决策最大后验概率决策
决策错误难免，选择错误可能性最小的决策。 gi (x) P(i | x) 以后验概率为判决函数： 决策规则： j argmax P(i | x)

i
即选择P(ω1|x)，P(ω2|x)中最大 值对应的类作为决策结果

该决策使得在观测值x下的条件错误率P(e|x) 及平均错误率P(e)最小。 Bayes决策理论是 最优的。
P(2 | x) 1 P(1 | x) 若决定x 1 P( e | x ) P(1 | x) 1 P(2 | x) 若决定x 2 1 max P(i | x)
i
最小错误率决策最大后验概率决策
28
第二章 贝叶斯决策理论
决策的错误率（3）
的结果（含错误和正确的结果）造成的代价 不同而提出的一种决策规则。
第二章 贝叶斯决策理论
32
代价函数/矩阵
代价函数的定义：(N类问题)做出决策D
最小风险 决策
但实际上 x ∈ωj，产生的代价定义为：
i , j ( D(x) i | j )
代价矩阵或决策表：
(x)=ωi，
第二章 贝叶斯决策理论
9
判别 函数
设t为两类的“分界面”， 则在特征向量x是一维时， t为x轴上的一点。形成两 个决策区域: R1~(-∞，t)和R2~(t，+∞)
当特征向量x是2维时， “分界面”为平面上的 曲线。形成两个平面决 策区域。
基于判别函数的分类器设计
工作包含两个步骤：
计算c个判别函数gi(x) 最大值选择
,N
i, j 1, 2,
(i , j ) N *N
第二章 贝叶斯决策理论
33
条件(期望)风险与期望风险
最小风险 决策
条件风险：获得观测值x后，决策D(x)造成的
代价对x实际所属类别的各种可能的平均， 也称为条件（期望）风险R(D(x)|x)。
R( D(x) | x) R(i | x) E ( D(x), j ) E . j (i | j ) P( j | x) ij P( j | x)
if h(x) -ln[l (x)]< ln P(1 ) then x 1 P(2 )
24
5)
对数似然比
第二章 贝叶斯决策理论
Bayes最小错误率决策例解
最小错误率 决策
正常/异常两类细胞识别问题：正常类(ω1)和异
常类(ω2) 根据已有知识和经验，两类的先验概率为：
正常(ω1)类的先验概率： P(ω1)=0.9 异常(ω2)类的先验概率： P(ω2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|ω1)=0.2， p(x|ω2)=0.4 p(x|ω1) p(x|ω2)
2.0 引言
2.1 基于判别函数的分类器设计 2.2 基于最小错误率的Bayes决策
2.3 基于最小风险的Bayes决策
2.4 限定一类错误率使另一类错误率最小的准则
2.5 正态分布的最小错误率Bayes决策 2.6 讨论
第二章 贝叶斯决策理论
2
2.0 引言
模式识别系统组成
信号空间 数据获取 预处理 特征提取 与选择 特征空间
第二章 贝叶斯决策理论
12
特征1：长度
判别 函数
第二章 贝叶斯决策理论
13
特征2：亮度
判别 函数
第二章 贝叶斯决策理论
14
二维特征：线性分类器
判别 函数
第二章 贝叶斯决策理论
15
二维特征：非线性分类器
判别 函数
第二章 贝叶斯决策理论
16
二维特征：最近邻分类器
判别 函数
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论
25
如何对细胞x进行分类？
Bayes最小错误率决策例解（2）
P(1 ) p( x | 1 )
最小错误率 决策
利用贝叶斯公式计算x属于两类的后验概率：
P(1 | x)
P( ) p(x | )
j 1 j j
2
0.9 0.2 0.818 0.9 0.2 0.1 0.4 0.4 0.1 0.182 0.2 0.9 0.4 0.1
i
第二章 贝叶斯决策理论
22
公式简化II

最小错误率 决策
在对数域中计算，变乘为加：
ln p(x | i )P(i ) ln p(x | i ) ln P(i )
判别函数中与类别i无关的项，对于 类别的决策没有影响，可以忽略。
第二章 贝叶斯决策理论
23
最小错误率决策规则的表示
1)
P(2 | x)
P(2 ) p( x | 2 )
j j
P( ) p(x | )
j 1
2
j argmax P(i | x) 1
i
x 1
第二章 贝叶斯决策理论
决策结果
26
决策的错误率
条件错误率：
（平均）错误率：
最小错误率 决策
P(e | x)
P(e) E ( P(e | x)) P(e | x) p(x)dx
R1 R2
P(2 ) P2 (e) P(1 ) P 1 ( e)
第二章 贝叶斯决策理论
30
最小错误率 决策
2.3 基于最小风险的Bayes决策
决策的风险： risk，cost
做决策要考虑决策结果可能引起的代价。
以医生根据白细胞浓度判断一个人是否患血液病 为例：
• 如果将正常(没病，ω1) 错判为异常(有病，ω2) ，还可以做 进一步检查，代价不大；false alarm • 如果将异常(ω2)错判为正常(ω1) ，错过诊治时机，代价 严重。missed detection 基于最小风险的Bayes决策正是考虑各种不同
17
2.2 Bayes最小错误率决策
以两类分类问题为例：已知
1）先验分布P(ωi) ： P(ω1)和P(ω2) 2）各类关于观测值x的类条件分布p(x|ωi)： p(x|ω1) , p(x|ω2) 问题：获得了某个样本观测值x，如何决策 它的类别，即x∈ ω1 or x∈ ω2？
p(x|ω1) pຫໍສະໝຸດ Baidux|ω2)
第二章 贝叶斯决策理论
19
后验概率P (ωi| x)的计算
的类条件概率密度函数p(x|ωi)，i=1,2。 计算后验概率：
最小错误率 决策
Bayes公式： 假设已知先验概率P(ωi)和观测值x
P(i , x) P(i | x) p( x ) P(i ) p(x | i ) P( j ) p(x | j )