第2章 统计决策方法

P(e) P(2 | x) p( x)dx P(1 | x) p( x)dx
R1 R2
2017/12/14
19
软件工程专业
p( x 1 ) P(1 )
A
p( x 2 ) P(2 )
R1
R2
H
R1

p( x 2 ) P(2 ) dx
R2
p( x 1 ) P(1 ) dx
软件工程专业
2017/12/14
学习指南
软件工程专业 • 本章要说明分类识别中为什么会有错分类， 在何种情况下会出现错分类？错分类的可 能性会有多大？怎样才能使错分类最少？ • 不同的错分类造成的危害是不同的，有的 错分类种类造成的危害更大，因此控制这 种错分类则是更重要的。为此引入了一种 “风险”与“损失”概念，希望做到使风 险最小。要着重理解“风险”与“损失” 的概念，以及在引入“风险”概念后的处 理方法。
13
判别函数的几种等价形式
(1)g(x ) P(1 x ) P(2 x ),(后验概率)
软件工程专业 (2)g(x ) P(x 1 ) P(1 ) P(x 2 )P(2 ),(类条件概率密度 ) 等价 (3)g(x ) P(x 1 ) P(2 ) ,(似然比形式) P(x 2 ) P(1 )
1
因为 P x 1 dx 1 P x 1 dx，
2 1
由上式可知，要使 最小, 对分界点x和求导， 令 0及 0，得 x P x 1 = , 0 P x 2 dx 1 P x 2
最佳即是给定条件下能使 极小,于是决策规则可定义为： 1 P( x 1 ) x P( x 2 ) 2 聂曼－皮尔逊规则归结为找合适的阈值.
j 1 j i j i M
1 P (i x) 后验概率 R ( i x)最小，就相当于P (i x)最大
2017/12/14
软件工程专业
3
聂曼-皮尔逊决策
2017/12/14
27
聂曼－皮尔逊准则
软件工程专业 • 两类错误率
X2 1
X1
2
P(x 1)
P( x 2 )
P 1 (e)
2017/12/14
错误率分析
• 对待分类模式的特征我们得到一个观察值 x ， 合 理的决策规则：
软件工程专业
• 决策错误的条件概率（随机变量x 的函数）：
2017/12/14
18
平均错误率
软件工程专业
(连续情况)
(离散情况)
如果我们把作出w1决策的所有观测值区域称为R1， 则在R1区内的每个x值，条件错误概率为p(w2|x)。 另一个区R2中的x,条件错误概率为p(w1|x) 因此平均错误率P(e)可表示成
– 类条件概率: P(x|ω1)和P(x|ω2)
• 是在不同条件下讨论的问题 • 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 • P(x|ω1)与P(x|ω2)两者没有联系
问题
• 为什么 先验概率和类条件概率密度函数可以作为 软件工程专业 已知，而后验概率需要通过计算获得？ – 计算概率都要拥有大量数据 – 估计先验概率与类条件概率密度函数时都可搜 集到大量样本 – 对某一特定事件要搜集大量样本是不太容易 – 只能借助Bayes公式来计算得到
min P 1 (e) ( P 2 (e) 0 )
P x 1 dx
2

1
P x 2 dx 0

其中：为代定常数，称为Lagrange乘子。
2017/12/14
软件工程专业 1 0 P x 2 P x 1 dx
模式识别
软件工程专业 计算机与通信工程学院 计算机与通信工程学院
第二章 统计决策方法
课前思考 • • • • • • • 机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
只根据先验知识挑选西瓜 软件工程专业 • 这种决策信息没有意义 • 如何根据敲声挑选出好的西瓜？ • 根据贝叶斯公式
2017/12/14
12
• 如果有：
软件工程专业
• 则为好瓜，反之亦然 • 分母相同，实际只需要比较分子
• 这种根据后验概率进行决策的方法称为最小错误 率贝叶斯决策
2017/12/14
2
E x
x
P ( x )dx， (方差)
P( x)
概率密度函数应满足下 列关系： P ( x) 0, ( x ) P ( x)dx 1
• 贝叶斯决策理论
– 是统计决策理论中的一个基本方法
第二章 统计决策理论
软件工程专业
1 2
3
最小错误率贝叶斯决策 最小风险贝叶斯决策 聂曼-皮尔逊判决 正态分布决策理论
4
2017/12/14
6
软件工程专业
1
最小错误率贝叶斯决策
2017/12/14
7
• 模式识别系统的基本构成 软件工程专业
信息获取 预处理 特征提取 分类决策
2017/12/14
• 理解本章的关键 软件工程专业
– 要正确理解先验概率，类概率密度函数，后验 概率这三种概率 – 对这三种概率的定义，相互关系要搞得清清楚 楚 – Bayes公式正是体现这三者关系的式子，要透彻 掌握。
2017/12/14
软件工程专业
• 统计决策理论
– 是模式分类问题的基本理论之一
决策规则 ： 若R k x 软件工程专业
i 1,2,...,M
min
R i x ,则x k
2017/12/14
最小风险 VS 最小错误率
二类问题：把 x归于ω1时风险： R(1 x) 11P(1 x) 12 P(2 x) 软件工程专业 把x归于ω2时风险： R( 2 x) 21P(1 x) 22 P(2 x)
单变量正态分布
软件工程专业 • 单变量正态分布概率密度函数定义为
P( x) 1 x 2 1 2 exp N ( , ) 2 2
其中 : E ( x )
2 2



xP ( x )dxΒιβλιοθήκη Baidu (均值或数学期望)


此时一定使1最小。
2017/12/14
小结
• 优点： 软件工程专业
– 可以设计理论上最优分类器
• 缺点：
– 必须知道类条件概率（似然）
2017/12/14
32
软件工程专业
4
正态分布决策理论
2017/12/14
33
本节和前三节的关系
软件工程专业
• 前三节: 基本概念
– 阶段性的总结
• 本节: 概念具体化
例子：挑选西瓜
软件工程专业
编号 敲声 好瓜
1
2 3 4 5 6 7 8 9
沉闷
沉闷 沉闷 沉闷 清脆 清脆 清脆 浊响 浊响
是
否 否 否 是 是 否 是 否
2017/12/14
10
贝叶斯公式
软件工程专业
• 先验
• 似然
• 后验
当敲击声音为清脆时, 该西瓜是好瓜的概率
2017/12/14
11
挑选西瓜
R i x E i j i j P j x , i 1,2,...,a.(a M )
M j 1


• 在整个特征空间中定义期望风险，期望风险
R R x xPxdx, (平均风险 )
2017/12/14
最小风险贝叶斯决策
不满足最小错误率要求
2017/12/14
问题
• 类条件概率和后验概率区别？
– 后验概率: P(ω1|x)和P(ω２|x)
• 同一条件x下，比较ω1与ω2出现的概率 • 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 • 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下， 事件ω1出现的可能性大 软件工程专业
• 分类决策：把样本分到哪一类最合理
– 样本空间到决策空间的一个映射 – 采用不同的标准会得到不同意义下的 “最优”的决策 最小错误率贝叶斯决策
样本2 样本1
样本3
类别空间
2017/12/14
8
基于最小错误率的贝叶斯决策 软件工程专业 • 基本思想
– 使错误率为最小的分类规则 – 称之为基于最小错误率的贝叶斯决策
2
p( x | w )dx
1
P2 (e)
1
p( x | w )dx
1
2
• 聂曼－皮尔逊准则是在取某类错误率为常数时，另一类错 误率尽可能小。例如：
min P 1 (e) s.t.P2 (e) 0 0
2017/12/14
软件工程专业
• Lagrange乘子法将有约束极值问题问题转化 为
2017/12/14
相关概率
• 损耗函数λii=λ(αi/ωi)表示模式样本X本来属于ωi类而判决为 软件工程专业 ωi类所受损失。 • 损耗函数λij=λ(αi/ωj)表示模式样本X本来属于ωj类错判为ωi 所受损失 • 风险R（期望损失）：对未知x采取一个判决行动α(x)所付 出的代价（损耗） • 条件风险（也叫条件期望损失）
(4)g(x ) ln
P(x 1 ) P(2 ) ln ,(取对数方法) P(x 2 ) P(1 )
P( 2 x) x 1 2
决策规则：
( 1 )P( 1 x)
(2)P(x 1)P( 1) (3) P(x 1)
1 P( 2) P(x 2) P( 1) x 2 P(x 1) P( 2) ln x 1 2 P(x 2) P( 1)
2017/12/14
小结
• 优点： 软件工程专业
– 基于后验概率决策的贝叶斯分类器具有最小错 误率
• 缺点：
─ 只是在最小错误率下的最优
癌细胞筛查：是癌细胞但是判断为正常细胞的风险应该比正 常细胞判断为癌细胞的风险大得多
决策规则
最小误差 最小风险 限定一类错误率
2017/12/14
21
软件工程专业
P(x 2)P( 2) x 1 2
(4)g(x) ln
2017/12/14
讨论
• 类条件概率密度函数直接用来分类是否合理？ 软件工程专业
P( X | 1 ) P( X | 2 ) : P( X | 1 ) P( X | 2 ) :
1
2
具有一定的合理性 但是没有考虑先验概率
– 结合一种比较典型的概率分布来进一步分析基 于最小错误贝叶斯决策分类器的种种情况
本节重点
软件工程专业 • 什么叫正态分布 • 高斯分布的表达式 • 如何将正态分布与基于最小错误率的贝叶斯决策 结合起来 • 如何简化方式表示正态分布
• 研究正态分布的原因 软件工程专业
– 数学上比较简单 N(μ, σ ²) 只有均值和方差两个参数 – 物理上的合理性
2
最小风险贝叶斯决策
2017/12/14
22
基本思想
软件工程专业 • 使错误率最小并不一定是一个普遍适用的最佳选择。
例如：癌细胞分类，两种错误的代价(损失)不同 • 两种错误:
– 癌细胞→正常细胞 – 正常细胞→癌细胞
• 宁可扩大一些总的错误率，但也要使总的损失减少。 • 引进一个与损失有关联的，更为广泛的概念——风险。 • 在作出决策时，要考虑所承担的风险。
注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策 规则都是以似然比为基础的，不同地是最小错误决策阈值为先 验概率之比，而聂曼-皮尔逊决策阈值则是Lagrange乘子。
P(软件工程专业 x 1 ) 当 时, 作1 , 2的分界线. P( x 2 ) 2 P( x 2 )dx, 为 2的函数。在取 2为常数时，可确定，
最小风险分类规则：R(1 x) R( 2 x) x 1
1 (21 11 ) P(1 x) (12 22 ) x 2
0, i j时 用0 1函数 : ( i j ) ij 1, i j时 R ( i x) ( i j ) P ( j x) ij P ( j x) P ( j x)