贝叶斯决策理论与统计判别方法
合集下载
贝叶斯判别分析课件
02
03
与决策树比较
贝叶斯判别分析提供了更稳定的预测 ，而决策树可能会因为数据的微小变 化而产生大的预测变化。
05
贝叶斯判别分析的案例分 析
案例一：信用卡欺诈检测
总结词
信用卡欺诈检测是一个经典的判别分析应用场景，通过贝叶斯判别分析可以有效地识别 出欺诈交易，减少经济损失。
详细描述
信用卡欺诈检测是金融领域中一个非常重要的问题。随着信用卡交易量的增长，欺诈行 为也日益猖獗，给银行和消费者带来了巨大的经济损失。贝叶斯判别分析可以通过对历 史交易数据的学习，建立分类模型，对新的交易进行分类，判断是否为欺诈行为。通过
市场细分
在市场营销中，贝叶斯判别分析 可以用于市场细分，通过消费者 行为和偏好等数据，将消费者划 分为不同的群体。
02
贝叶斯判别分析的基本概 念
先验概率与后验概率
先验概率
在贝叶斯理论中，先验概率是指在考 虑任何证据之前对某个事件或假设发 生的可能性所做的评估。它是基于过 去的经验和数据对未来事件的预测。
的类别。
它基于贝叶斯定理，通过将先验 概率、似然函数和决策函数相结 合，实现了对未知样本的分类。
贝叶斯判别分析在许多领域都有 广泛的应用，如金融、医疗、市
场营销等。
贝叶斯判别分析的原理
01
02
03
先验概率
在贝叶斯判别分析中，先 验概率是指在进行观测之 前，各类别的概率分布情 况。
似然函数
似然函数描述了观测数据 在给定某个类别下的概率 分布情况。
后验概率
后验概率是指在考虑了某些证据之后 ，对某个事件或假设发生的可能性所 做的评估。它是基于新的信息和证据 对先验概率的修正。
似然函数与贝叶斯定理
第二章 贝叶斯决策理论与统计判别方法
第二章贝叶斯决策理论与统计判别方法课前思考1、机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？2、错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，譬如对病理切片进行分析，有可能将正确切片误判为癌症切片，反过来也可能将癌症病人误判为正常人，这两种错误造成的损失一样吗？看来后一种错误更可怕，那么有没有可能对后一种错误严格控制？3、概率论中讲的先验概率，后验概率与概率密度函数等概念还记得吗？什么是贝叶斯公式？4、什么叫正态分布？什么叫期望值？什么叫方差？为什么说正态分布是最重要的分布之一？学习目标这一章是模式识别的重要理论基础，它用概率论的概念分析造成错分类和识别错误的根源，并说明与哪些量有关系。
在这个基础上指出了什么条件下能使错误率最小。
有时不同的错误分类造成的损失会不相同，因此如果错分类不可避免，那么有没有可能对危害大的错分类实行控制。
对于这两方面的概念要求理解透彻。
这一章会将分类与计算某种函数联系起来，并在此基础上定义了一些术语，如判别函数、决策面(分界面)，决策域等，要正确掌握其含义。
这一章会涉及设计一个分类器的最基本方法——设计准则函数，并使所设计的分类器达到准则函数的极值，即最优解，要理解这一最基本的做法。
这一章会开始涉及一些具体的计算，公式推导、证明等，应通过学习提高这方面的理解能力，并通过习题、思考题提高自己这方面的能力。
本章要点1、机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论2、如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论3、模式识别的基本计算框架——制定准则函数，实现准则函数极值化的分类器设计方法4、正态分布条件下的分类器设计5、判别函数、决策面、决策方程等术语的概念6、 Bayes决策理论的理论意义与在实践中所遇到的困难知识点§2.1 引言在前一章中已提到，模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个类别中去。
判别分析-贝叶斯判别
判归哪一类（取. q1
q2
q3
1 ,C( 3
j
|
i)
1,i 0,i
j） j
P(好人 / 做好事）
P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.9
0.82
0.5 0.9 0.5 0.2
P(坏人 / 做好事）
P坏人P做好事 / 坏人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.2
0.18
0.5 0.9 0.5 0.2
D1，D2，… ，Dk是R(p)的一个分划，判别法则为：
当样品X落入Di时，判 X Di i 1,2,3,,k
关键的问题是寻找D1，D2，… ，Dk分划，这 个分划应该使平均错判率最小。
【定义】（平均错判损失）
用 p( j / i) 表示将来自总体Gi的样品错判到总体 Gj的条件概率。
p( j / i) P( X Dj / Gi ) fi (x)dx i j
1 (x μ(i) )Σ1(x μ(i) ) 2
1 [2 ln 2
qi
(x
μ(i)
)Σ 1 (x
μ(i) )]
令 Fi (x) 2ln qi (x μ(i) )Σ1(x μ(i))
2 ln qi x' Σ1x μ(i)' Σ1x x' Σ1μ(i) μ(i)' Σ1μ(i)
令 Pi (x) 2ln qi 2μ(i)Σ1x μ Σ μ (i) 1 (i)
D1
q1C(2 /1) q1C(2 /1) f1(x)dx
D1
q2C(1/ 2) f2 (x)dx
决策分析第4章-贝叶斯决策分析方法
N
H ( X ) pi log pi
i 1
可证明，当p1 = p2= … = pn = 1/n时，H(X) = logn最大，此 时，随机变量X的不确定性最大，随着H(X)的减小，X的 不确定性减低，当X是确定量时，信息熵为0
信息量可以定义为“获得信息前后的信息熵之差” 信息熵(information entropy)的概念是信息论创始人香农
均为0.25
方案a1的收益期望值为：750/4 方案a2的收益期望值为：180/4 方案a3的收益期望值为：350/4
所以最佳方案为a1Biblioteka 17回顾：损失值和损失矩阵
损失值：指由于决策者不知道实际上将发生哪一种自然状 态，致使所做的决策不是实际最优的决策所带来的损失
损失值函数：r(a, θ)，表示自然状态θ下采用方案a带来的 机会损失
4
目录
1 贝叶斯定理回顾 2 行动函数和贝叶斯风险 3 贝叶斯决策分析方法 4 获得情报信息的途径
5 情报的价值及后验预分析
5
条件概率
6
贝叶斯定理
k=1,2,…,n
7
贝叶斯定理的例子
p(x |2 ) C142 0.38 0.74
p(x |1) C142 0.34 0.78
8
分析及结论
r (2 ) R(2, ) p( ) 50.4 * 0.1 38.8* 0.15 49.6 * 0.25 55* 0.5 50.76 显然，行动规则2的贝叶斯风险较小！ 30
小结
行动规则
情报信息
损失矩阵
得到采取某种行 动方案的概率
得到特定行动 规则和自然状 态条件下的决
策风险
得到采取某种 行动规则的贝
如果自然条件为θ2（200万桶油井）
H ( X ) pi log pi
i 1
可证明，当p1 = p2= … = pn = 1/n时，H(X) = logn最大，此 时，随机变量X的不确定性最大，随着H(X)的减小，X的 不确定性减低，当X是确定量时，信息熵为0
信息量可以定义为“获得信息前后的信息熵之差” 信息熵(information entropy)的概念是信息论创始人香农
均为0.25
方案a1的收益期望值为：750/4 方案a2的收益期望值为：180/4 方案a3的收益期望值为：350/4
所以最佳方案为a1Biblioteka 17回顾：损失值和损失矩阵
损失值：指由于决策者不知道实际上将发生哪一种自然状 态，致使所做的决策不是实际最优的决策所带来的损失
损失值函数：r(a, θ)，表示自然状态θ下采用方案a带来的 机会损失
4
目录
1 贝叶斯定理回顾 2 行动函数和贝叶斯风险 3 贝叶斯决策分析方法 4 获得情报信息的途径
5 情报的价值及后验预分析
5
条件概率
6
贝叶斯定理
k=1,2,…,n
7
贝叶斯定理的例子
p(x |2 ) C142 0.38 0.74
p(x |1) C142 0.34 0.78
8
分析及结论
r (2 ) R(2, ) p( ) 50.4 * 0.1 38.8* 0.15 49.6 * 0.25 55* 0.5 50.76 显然，行动规则2的贝叶斯风险较小！ 30
小结
行动规则
情报信息
损失矩阵
得到采取某种行 动方案的概率
得到特定行动 规则和自然状 态条件下的决
策风险
得到采取某种 行动规则的贝
如果自然条件为θ2（200万桶油井）
贝叶斯决策
超曲面。相邻的两个类别在决策面上的判别函数
值是相等的。如果ωi和ωj是相邻的，则分割它们 的决策面就应为
– di(x)=dj(x) 或 di(x)-dj(x)=0 – 对于两类问题，决策面方程：
– P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=0
§2.2 基于贝叶斯公式的几种判别规则
一、基于最小风险的贝叶斯决策
ωi所受损失。因为这是错误判决，故损失最大。
表示：在决策论中，常以决策表表示各种 情况下的决策损失。
状态
ω
ω
…ω
…ω
损失
1
2
j
m
决策
α1
…
…
α2
…
…
…
…
αi
…
…
…
…
αα
…
…
2.风险R（期望损失）：
对未知x采取判决行动α(x)所付出的代价（损耗）
➢行动αi：表示把模式x判决为ωi类的一次动作。
➢条件风险：
密度，考虑误判的损失代价。决策应是统计意义
上使由于误判而蒙受的损失最小。
–
如果在采取每一个决策或行动时，都使
其条件风险最小，则对所有的x作出决策时，其期
望风险也必然最小。（条件平均损失最小的判决
也必然使总的平均损失最小。）
–5.最小风险贝叶斯决策规则
–如果 ：
–6.判决实施步骤：
–（1）在已知P(ωj),P(x|ωj),j=1,2,…m，并给出待 识别的x的情况下，根据贝叶斯公式计算出后验概
决策表很不容易，往往要根据所研究的具体问题， 分析错误决策造成损失的严重程度来确定。
–7.错误率最小的贝叶斯决策规则与风险最小的贝 叶斯决策规则的联系 – 在采用0-1损失函数时，最小风险贝叶斯决 策就等价于最小错误率贝叶斯决策。
ecm贝叶斯判别法则
ecm贝叶斯判别法则
ECM贝叶斯判别法则是一种基于贝叶斯统计思想的判别分析方法，其主要目标是根据已分类明确的样本，构建良好的判别函数，使误判事例最少，从而对新的样品进行准确分类。
贝叶斯判别法的关键步骤是将样本空间分为k类，然后根据先验概率求出后验概率。
关键的判别规则是使得样本属于某一类别的后验概率最大。
也就是说，要确定一个样本x是否属于某一类，需要比较它来自于该类的概率P(ω_ {1}|x)与其来自于其他类的概率P(ω_ {2}|x)的大小。
此外，贝叶斯判别法还关注如何最小化错判损失。
尽管贝叶斯判别法并不是简单地使后验概率最大化，而是尽可能地减少错判损失。
这使得贝叶斯判别法在实际应用中具有较高的准确性和效率。
贝叶斯决策理论课件(PPT90页)
Some about Bayes(2)
一所学校里面有 60% 的男生，40% 的女生。男生总是穿长 裤，女生则一半穿长裤一半穿裙子。假设你走在校园中， 迎面走来一个穿长裤的学生（很不幸的是你高度近似，你 只看得见他（她）穿的是否长裤，而无法确定他（她）的 性别），你能够推断出他（她）是女生的概率是多大吗？
要决策分类的类别数是一定的
引言
在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围构 成了d维特征空间。
称向量 x x1, x2, , xd T x Rd 为d维特征向量。
假设要研究的分类问题有c个类别，类型空间表示
为：
1,2 , ,i ,c
P(B|LB)∝P(LB|B)P(B)∝0.75P(B) P(~B|LB)∝P(LB|~B)P(~B)∝0.25(1-P(B)) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于 是有 P(B|LB)∝0.75×0.1=0.075 P(~B|LB)∝0.25(1-P(B))=0.25×0.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(~B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。
Neyman-Pearson准则
问题：先验概率和损失未知
通常情况下，无法确定损失。 先验概率未知，是一个确定的值 某一种错误较另一种错误更为重要。
基本思想：
要求一类错误率控制在很小，在满足此条件的 前提下再使另一类错误率尽可能小。
用lagrange乘子法求条件极值
Neyman-Pearson准则
和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10辆
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
贝叶斯 统计
贝叶斯统计：原理、方法和应用贝叶斯统计是一种基于贝叶斯概率的统计学理论，它使用概率的方法来解决统计学问题，如参数估计、假设检验、预测和决策等。
贝叶斯统计的核心思想是利用贝叶斯定理，根据已有的数据和先验知识，更新对未知参数或模型的信念，得到后验分布。
贝叶斯统计与传统的频率统计有很大的不同，主要体现在对概率的理解、对参数的处理和对推断的方法上。
本文将介绍贝叶斯统计的基本原理、主要方法和应用领域，以及它与频率统计的比较和联系。
一、贝叶斯统计的基本原理1.1 贝叶斯概率贝叶斯统计是建立在贝叶斯概率的基础上的。
贝叶斯概率是一种主观概率，它反映了人们对某个事件或命题发生的信心程度。
贝叶斯概率不依赖于事件的重复性或客观性，而是依赖于人们的知识和经验。
因此，不同的人可以有不同的贝叶斯概率，而且同一个人在不同的情境下也可以有不同的贝叶斯概率。
例如，如果我们想要估计明天下雨的概率，我们可以根据天气预报、季节、地理位置等信息来给出一个贝叶斯概率。
这个概率并不是说明天下雨是一个随机事件，而是说我们对明天下雨有多大的信心。
如果我们有更多或更准确的信息，我们可以更新我们的贝叶斯概率。
如果我们和别人有不同的信息或判断标准，我们可以有不同的贝叶斯概率。
1.2 贝叶斯定理贝叶斯定理是贝叶斯统计中最重要的工具，它描述了在给定新数据或证据后，如何更新对某个事件或命题发生的信心程度。
贝叶斯定理可以用数学公式表示为：P(A|B)=P(B|A)P(A)P(B)其中，A和B是两个事件或命题，P(A)是A发生的先验概率，即在没有B信息之前对A发生的信心程度；P(B)是B 发生的边缘概率，即在没有考虑A之前B发生的信心程度；P(B|A)是在已知A发生后B发生的条件概率，即在考虑了A信息之后对B发生的信心程度；P(A|B)是在已知B发生后A发生的条件概率，即在考虑了B信息之后对A发生的信心程度。
这个条件概率也被称为后验概率，它是贝叶斯推断的目标。
模式识别-3-贝叶斯决策理论
(
)
确定性特征向量与随机特征向量
确定性特征向量 在获取模式的观测值时，有些事物具有确定的 因果关系，即在一定条件下，存在必然会发生 或必然不发生的确定性，这样获得的特征向量 称为确定性特征向量。 例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形。 这种现象是确定性的现象，比如上一讲的线 性模式判别就是基于这种现象进行的。
x1 x X = 2 ... xn
特征向量
g1(x) g2(x)
...
Max(g(x))
最大值选择器
x ∈ ωi
gn(x)
判别计算
决策
§3-3 正态分布决策理论
一、正态分布判别函数
1、为什么采用正态分布：
a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(µ, σ ²) 只有均值和方差两个参数。
)
2
=
∫ (x − µ )
−∞
∞
2
P ( x)
P ( x ) d x，方 差 ) (
1
概率密度函数应满足下 列关系： P ( x ) ≥ 0, ( −∞ < x < ∞ ) ∞ ∫−∞ P ( x )dx = 1
0 . 95
µ − 2σ
µ
X
µ + 2σ
3、（多变量）多维正态分布 （1）函数形式：
µ i = E ( xi ) =
∑
= E
= E = E
(x 1 − ...... (x n − µ
[(x
3.试述贝叶斯判别方法的思路
3.试述贝叶斯判别方法的思路
贝叶斯判别方法是基于贝叶斯定理的一种分类方法。
其思路是将样本分为不同的类别，使每个样本点属于概率最大的那个类别。
具体来说，该方法通过对每个类别的先验概率、每个属性在每个类别中的概率密度函数进行统计，运用贝叶斯公式计算每个样本点属于不同类别的后验概率，最终将其判别为概率最大的那个类别。
换言之，贝叶斯判别方法的思路是通过对已知样本的统计学分析，定义每个属性在每个类别中的概率分布，对未知样本的属性进行计算，求出该样本属于每个类别的概率，然后将其判别为概率最大的那个类别。
该方法具有良好的数学基础和理论支持，能够充分利用样本的信息，具有较高的分类准确率，是一种常用的分类方法之一。
统计决策与贝叶斯推断概述
对d2 ， R1, d2 0 0.95 8000 0.05 400 R2, d2 6000 0.3 0 0.7 1800
对d3， R1, d3 0 0 80001 8000
R2, d3 6000 0 01 0
max
,
d1
max4000,3000
4000
max
,
d
2
max400,1800
下面计算（3）中那些决策函数的贝叶斯风险， 先算X 的边缘分布：
2
m(1) ( j )P{X 1| j} 0.7875 j 1
2
m(2) ( j )P{X 0 | j} 0.2125 j 1
从而，
B(d1) EX [R(d1 | X )] 571.2 0.7875 1412 0.2125 749.87
1
2
0.75 0.25
动 a根1 ，据a先2 的验平分均布风险， ，因可为分这别是算无出数行据动决a策1 问，a题2 的，平所均以损R失 ,，a亦 即L，,行a E L , a1 0 0.75 6000 0.25 1500
E L , a2 8000 0.75 0 0.25 6000
对比上述结果可知，采取行动 a1 为上策，即，收藏家应该买下这幅画。
B(d2 ) 6750.202 B(d3) 1499.782 B(d4 ) 6000.29
由此可见，在贝叶斯风险准则下的最优决策函数仍 是d1(•) ，在两种不同风险准则下得出相同的最优决 策函数，其理论依据是定理6.1.1.
定理6.1.1 对给定的统计决策问题（含给定的先
验分布）和决策函数类 D ，若贝叶斯风险满足条
d D
则称 d* 为决策函数类 D 在贝叶斯（先验）风险准则 下的最优决策函数，简称贝叶斯决策函数或贝叶斯 解。
对d3， R1, d3 0 0 80001 8000
R2, d3 6000 0 01 0
max
,
d1
max4000,3000
4000
max
,
d
2
max400,1800
下面计算（3）中那些决策函数的贝叶斯风险， 先算X 的边缘分布：
2
m(1) ( j )P{X 1| j} 0.7875 j 1
2
m(2) ( j )P{X 0 | j} 0.2125 j 1
从而，
B(d1) EX [R(d1 | X )] 571.2 0.7875 1412 0.2125 749.87
1
2
0.75 0.25
动 a根1 ，据a先2 的验平分均布风险， ，因可为分这别是算无出数行据动决a策1 问，a题2 的，平所均以损R失 ,，a亦 即L，,行a E L , a1 0 0.75 6000 0.25 1500
E L , a2 8000 0.75 0 0.25 6000
对比上述结果可知，采取行动 a1 为上策，即，收藏家应该买下这幅画。
B(d2 ) 6750.202 B(d3) 1499.782 B(d4 ) 6000.29
由此可见，在贝叶斯风险准则下的最优决策函数仍 是d1(•) ，在两种不同风险准则下得出相同的最优决 策函数，其理论依据是定理6.1.1.
定理6.1.1 对给定的统计决策问题（含给定的先
验分布）和决策函数类 D ，若贝叶斯风险满足条
d D
则称 d* 为决策函数类 D 在贝叶斯（先验）风险准则 下的最优决策函数，简称贝叶斯决策函数或贝叶斯 解。
贝叶斯决策理论与统计判别方法
i j i j
(2-13)
即做出正确判决时损失为 0 ，错误判决损失为 1 ，且判决数目与类型数目相等。再令
1, i j ，代入式(2-11)，有 L(i | j ) 1 ij ，其中 ij 0, i j
R( i | j ) L( i | j ) P( j | X )
P(c | X ) 1, j 1, 2,
c
且 P( j | X ,c ， ) 0 ，
对于每一种判决 i ，可求出随机变量 L( i | i ) 的条件平均风险，也叫“条件平均损失” ：
R( i | X ) E[ L( i | j )] L( i | j ) P( j | X ) i 1,2,, a
（2-3） （2-4）
由 (2-1) ，已知待识别样本 X 后，可以通过先验概率 P(i ) 和条件概率密度函数
p( X | i ) ，得到样本 X 分属各类别的后验概率，显然这个概率值可以作为 X 类别归属的依
据。该判别依据可以有以下几种等价形式： 观察 Bayes 公式（2-1），分母与 i 无关，即与分类无关，故分类规则又可表示为
则可表示为： 1.两类情况
, c 。将其
划归到后验概率最大的那一类中， 这种分类器称为最小错误率贝叶斯分类器， 其分类决策准
若P(1 X ) P(2 X ) , 则X 1类 若P(2 X ) P(1 X ) , 则X 2类
2.多类情况
若 P( i | X ) max P( j | X ) , j 1, 2, , c 则X i 类
公式（2-6）可改写为
l12 ( X )
p( X | 1 ) P(2 ) , p( X | 2 ) P(1 )
贝叶斯决策理论与统计判决方法共129页文档
贝叶斯决策理论与统计判决方法
16、自己选择的路、跪着也要把它走 完。 17、一般情况下)不想三年以后的事， 只想现 在的事 。现在 有成就 ，以后 才能更 辉煌。
18、敢于向黑暗宣战的人，心里必须 充满光 明。 19、学习的关键--重复。
20、懦弱的人只会裹足不前，莽撞的 人只能 引为烧 身，只 有真正 勇敢的 人才能 所向披 靡。
谢谢！
Hale Waihona Puke 61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
16、自己选择的路、跪着也要把它走 完。 17、一般情况下)不想三年以后的事， 只想现 在的事 。现在 有成就 ，以后 才能更 辉煌。
18、敢于向黑暗宣战的人，心里必须 充满光 明。 19、学习的关键--重复。
20、懦弱的人只会裹足不前，莽撞的 人只能 引为烧 身，只 有真正 勇敢的 人才能 所向披 靡。
谢谢！
Hale Waihona Puke 61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
贝叶斯决策理论与统计判别方法PPT课件
• P(ωi)=P(ωj)时决策面方程
WT(X－X1)＝0
第32页/共55页
W＝μi-μj W＝μi-μj
正态分布概率模型下的最小错误率贝叶斯决策
一维特征
第33页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
二维特征
第34页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
三维特征
第35页/共55页
第14页/共55页
二维向量的协方差矩阵
第15页/共55页
多元正态分布
• 协方差矩阵 • 协方差矩阵并不只对正态分布有用 • 特性: 协方差矩阵是一个对称矩阵 • 特性: 协方差矩是正定的
第16页/共55页
多元正态分布的性质
• (1)参数μ与Σ对分布具有决定性
• 与单变量相似，记作p(X)～N(μ，Σ)
The action of a linear transformation on the feature space will convert an arbitrary normal distribution into another normal distribution.
第20页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
第46页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
• 最小距离分类器与线性分类器
• 两者都是线性分类器 • 最小距离分类器是线性分类器的一个特例 • 最小距离分类器在正态分布情况下，是按超球体分布以及先验概率相
等的前提下，才体现最小错误率的 • 只有在一定条件下，最小距离分类器同时又是最小错误率分类器 • 最小距离分类器的概念是分类器中是最常用的，因为它体现了基于最
• 前者是一个椭圆，而后者则是圆
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
类条件概率密度函数
概率密度函数性质
“ salmon” or “sea bass”判别中的后验概 率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
后验概率: P(ω1|x)和P(ω２|x)
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 P(x|ω1)与P(x|ω2)两者没有联系
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
模式识别
徐蔚然 北京邮电大学信息工程学院
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1)P(2),x1 P(1)P(2),x2
这种分类决策没有意义 表明由先验概率所提供的信息太少
基于最小错误率的贝叶斯决策
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
P(*|#)与P(*)不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
例
细胞识别，加入更多类别? 鱼识别，加入更多种类? 存在问题
后验概率直接用来分类 后验概率不易直接得到 后验概率不易联合考虑 ……
例
另一种概率:类条件概率
正常细胞特征的概率分布 异常细胞特征的概率分布 salmon的概率分布 sea bass的概率分布
分类中如何使用类条件概率？ 什么是先验概率？
f(X|i)dx1
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的类条件概 率密度函数
基于最小错误率的贝叶斯决策
类条件概率密度函数直接用来分类 是否合理？
P (X | 1 ) P (X | 2 ): 1 P (X | 1 ) P (X | 2 ): 2
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
例
两类细胞识别
特征-后验概率-分类
两类鱼识别
特征-后验概率-分类
天气预报中的后验概率
特征 后验概率 分类
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
已知d维特征空间的统计分布，如何对某一样 本类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某一类物体所特有， 即
假设总共有c类物体，用ωi (i=1,2,…,c)标记
每个类别，x = [x1, x2, …, xd]T，是d维特征
空间上的某一点，则 P(ωi )是先验概率 p(x| ωi )是ωi类发生时的条件概率密度函数 P(ωi|x)表示后验概率
基于最小错误率的贝叶斯决策
例：癌细胞的识别
假设每个要识别的细胞已作过预处理，并抽 取出了d个特征描述量，用一个d维的特征向 量X表示，
具有一定的合理性 没有考虑先验概率 不满足最小错误率要求
基于最小错误率的贝叶斯决策
后验概率含义
P (ω1 |X )
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策