统计决策方法概论(共 56张PPT)

2019/2/3
12
• 如果有：
软件工程专业
• 则为好瓜，反之亦然 • 分母相同，实际只需要比较分子
• 这种根据后验概率进行决策的方法称为最小错误 率贝叶斯决策
2019/2/3
13
判别函数的几种等价形式
( 1 ) g ( x) P( ( ( 后验概率 ) 1 x) P 2 x),
沉闷
沉闷 沉闷 沉闷 清脆 清脆 清脆 浊响 浊响
是
否 否 否 是 是 否 是 否
2019/2/3
10
贝叶斯公式
软件工程专业
• 先验
• 似然
• 后验
当敲击声音为清脆时, 该西瓜是好瓜的概率
2019/2/3
11
挑选西瓜
只根据先验知识挑选西瓜 软件工程专业 • 这种决策信息没有意义 • 如何根据敲声挑选出好的西瓜？ • 根据贝叶斯公式
不满足最小错误率要求
2019/2/3
问题
• 类条件概率和后验概率区别？
– 后验概率: P(ω1|x)和P(ω２|x)
• 同一条件x下，比较ω1与ω2出现的概率 • 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 • 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下， 事件ω1出现的可能性大 软件工程专业
R 1
P ( e ) P ( | x ) p ( x ) dx P ( | x ) p ( x ) dx 2 1
R 2
2019/2/3


19
软件工程专业
源自文库
p( x 1 ) P(1 )
A
p( x 2 ) P(2 )
R1
R2
H
R1

p( x 2 ) P(2 ) dx
R2
p( x 1 ) P(1 ) dx
2019/2/3
错误率分析
• 对待分类模式的特征我们得到一个观察值 x ， 合 理的决策规则：
软件工程专业
• 决策错误的条件概率（随机变量x 的函数）：
2019/2/3
18
平均错误率 •
软件工程专业
(连续情况)
(离散情况)
如果我们把作出w1决策的所有观测值区域称为R1， 则在R1区内的每个x值，条件错误概率为p(w2|x)。 另一个区R2中的x,条件错误概率为p(w1|x) 因此平均错误率P(e)可表示成
– 样本空间到决策空间的一个映射 – 采用不同的标准会得到不同意义下的 “最优”的决策 最小错误率贝叶斯决策
2019/2/3
8
基于最小错误率的贝叶斯决策 软件工程专业 • 基本思想
– 使错误率为最小的分类规则 – 称之为基于最小错误率的贝叶斯决策
例子：挑选西瓜
软件工程专业
编号 敲声 好瓜
1
2 3 4 5 6 7 8 9
( 2 ) P ( x 1) P ( 1) P ( x 2 ) P ( 2 ) x
讨论
• 类条件概率密度函数直接用来分类是否合理？ 软件工程专业
P ( X |1 ) P ( X |2 ) :
1 2
P ( X | ) P ( X | ) :
1 2
具有一定的合理性 但是没有考虑先验概率
2019/2/3
– 类条件概率: P(x|ω1)和P(x|ω2)
• 是在不同条件下讨论的问题 • 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 • P(x|ω1)与P(x|ω2)两者没有联系
问题
• 为什么 先验概率和类条件概率密度函数可以作为 软件工程专业 已知，而后验概率需要通过计算获得？ – 计算概率都要拥有大量数据 – 估计先验概率与类条件概率密度函数时都可搜集 到大量样本 – 对某一特定事件要搜集大量样本是不太容易 – 只能借助Bayes公式来计算得到
软件工程专业 ( 2 ) g ( x) P(x P( ( x P( ( 类条件概率密度 ) 1) 1) P 2) 2),
P(x P( 1) 2) 等价 ( 3 ) g ( x) , ( 似然比形式 ) P(x P( 2) 1)
(4) g ( x) ln
2019/2/3
• 理解本章的关键 软件工程专业
– 要正确理解先验概率，类概率密度函数，后验 概率这三种概率 – 对这三种概率的定义，相互关系要搞得清清楚 楚 – Bayes公式正是体现这三者关系的式子，要透彻 掌握。
2019/2/3
软件工程专业
• 统计决策理论
– 是模式分类问题的基本理论之一
• 贝叶斯决策理论
P(x P( 1) 2) ln , ( 取对数方法 ) P(x P( 2) 1)
P ( 2 x ) x
决策规则：
(1) P ( 1 x )
1 2
2019/2/3
1 2 1 P ( 2 ) P ( x 1) (3 ) x P ( x 2) P ( 1) 2 1 P ( x 1) P ( 2 ) ( 4 ) g ( x ) ln ln x 2 P ( x 2) P ( 1)
模式识别
软件工程专业 计算机与通信工程学院 计算机与通信工程学院
第二章 统计决策方法
课前思考 • • • • • • • 机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
– 是统计决策理论中的一个基本方法
第二章 统计决策理论
软件工程专业
1 2
3
最小错误率贝叶斯决策 最小风险贝叶斯决策 聂曼-皮尔逊判决 正态分布决策理论
4
2019/2/3
6
软件工程专业
1
最小错误率贝叶斯决策
2019/2/3
7
• 模式识别系统的基本构成 软件工程专业
• 分类决策：把样本分到哪一类最合理
软件工程专业
2019/2/3
学习指南
软件工程专业 • 本章要说明分类识别中为什么会有错分类， 在何种情况下会出现错分类？错分类的可 能性会有多大？怎样才能使错分类最少？ • 不同的错分类造成的危害是不同的，有的 错分类种类造成的危害更大，因此控制这 种错分类则是更重要的。为此引入了一种 “风险”与“损失”概念，希望做到使风 险最小。要着重理解“风险”与“损失” 的概念，以及在引入“风险”概念后的处 理方法。