2第二章+贝叶斯决策理论

分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数. 不同准则函数的最优解对应不同的学习结果,得到 性能不同的分类器.
13
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
错分类往往难以避免,这种可能性可用 P (ω i | X ) 表 示. 如何做出合理的判决就是Bayes决策所要讨论的问题. 其中最有代表性的是: 基于错误率的Bayes决策 基于最小风险的Bayes决策
2,类条件概率密度函数 P( X | ω )
i
类条件概率密度函数
P( X | ω i )
是指在已知某类别的特征空间中,出现特征值X的 概率密度, 即第 ω i 类样品它的属性X是如何分布的.
23
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
假定只用某一个特征进行分类,即d=1. 并已知这两类的类条件概率函数分布,如图4-3所示.
02
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.1 Bayes决策的基本概念
03
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.1.1 Bayes决策所讨论的问题
04
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
(1)当分类器的设计完成后,对待测样品进行 分类,一定能正确分类吗? (2)如果有错分类情况发生,是在何种情况下 出现的?错分类的可能性会有多大?
内容纲要 第二章 贝叶斯决策理论 2.2 基于最小错误率的Bayes决策 研究目的和意义
1.两类问题
ω 若每个样品属于ω1 , 2 类中的一类,已知两类的先验概率分别为
P (ω1 )和P (ω 2 )
,两类的类条件概率密度分别为 P( X | ω1 )和 P( X | ω 2 )
则任给一X,判断X的类别. 由Bayes公式可知:
P(ω j | X ) = P( X | ω j ) P(ω j ) / P( X )
由全概率公式可知:
P ( X ) = ∑ P ( X | ω j ) P (ω j )
= ( 1 , 2 ,..., N ) 为
N
维特征向量;
维均值向量; S = E[( X )( X ) T ] 为 N 维协方差矩阵; 是 S 的逆矩阵; 是 S 的行列式.
27
S 1
|S|
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
在大多数情况下,类条件概率密度函数可以采用多 维变量的正态概率密度函数类模拟,即
1,举例说明:什么是先验概率 P(ω i ) ? 由统计资料表明总药品数为n, 其中正常药品数为 n1 ,异常药品数为 n2 则
n1 P(ω1 ) = n
n2 P(ω 2 ) = n
先验概率!
显然在一般情况下正常药品占比例大Байду номын сангаас即 P(ω ) > P(ω )
1 2
由先验概率所提供的信息太少!!!
22
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
1 1 1 T P( X | ω i ) = ln exp[ ( X i ) S i ( X i )] N /2 1/ 2 2 | Si | (2π ) 1 N 1 1 = ( X i ) T S i ( X i ) ln 2π ln | S i | 2 2 2
28
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
3,后验概率 后验概率是指呈现状态X时,该样品分属各类 别的概率,这个概率值可以作为识别对象归属的 依据 .
29
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
由于属于不同类的待识别对象存在着呈现相同观察值 的可能,即所观察到的某一样品的特征向量为X,而 在M类中又有不止一类可能呈现这一X值,它属于各类 的概率又是多少呢? 这种可能性可用
17
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.1.2 Bayes公式
18
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
对于待测样品,Bayes公式可以计算出该样品分属各类 别的概率,叫做后验概率. 看X属于哪个类的可能性最大,就把X归于可能性最大的 那个类,后验概率作为识别对象归属的依据.
05
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
例:某制药厂生产的药品检验识别 目的:说明Bayes决策所要解决的问题!!
06
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
如图4-1所示,正常药品"+",异常药品"-".识 别的目的是要依据X向量将药品划分为两类.
19
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
Bayes公式如下:
P(ω i | X ) = P ( X | ω i ) P (ω i )
∑ P( X | ω
j =1
n
j
) P (ω j )
先验概率 后验概率
P (ω i )
P( X | ωi )
类条件概率密度函数
34
内容纲要 第二章 贝叶斯决策理论
研究目的和意义
2.2 基于最小错误率的 Bayes决策
35
内容纲要 第二章 贝叶斯决策理论 2.2 基于最小错误率的Bayes决策 研究目的和意义
假定得到一个待识别量的特征X后,每个样品X有 N 个特征,即 X = ( x1 , x 2 ,..., x N ) T 通过样品库,计算先验概率 P(ω i ) 及类条件概率密度函数 P ( X | ω i ) ,得到呈现状态X时,该样品分属各类别的概率, 显然这个概率值可以作为识别对象判属的依据.
11
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 如果将一个"-"样品错分为"+"类所造成的损失要比将" +"分成"-"类严重. 偏向使对"-"类样品的错分类进一步减少,可以使总的损 失最小,那么B直线就可能比A直线更适合作为分界线.
12
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
2)基于最小错误风险的Bayes决策 引入了"风险"与"损失"概念,希望做到使 风险最小,减小危害大的错分类情况.
16
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
从图4-2可见,错分类有不同情况,两种错误造成 的损失不一样,不同的错误分类造成的损失会不相 同,后一种错误更可怕,因此就要考虑减小因错分 类的危害损失.
概率密度函数 P( X | ω1 ) 是正常药品的属性分布,概率密度函数
P( X | ω 2 )
是异常药品的属性分布.
24
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
在工程上的许多问题中,统计数据往往满足正态分 布规律. 正态分布简单,分析简单,参量少,是一种适宜 的数学模型. 如果采用正态密度函数作为类条件概率密度的函数 形式,则函数内的参数(如期望和方差)是未知的, 那么问题就变成了如何利用大量样品对这些参数进行 估计. 只要估计出这些参数,类条件概率密度函数 也就确定了.
31
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 4,P(ω1 | X ) 和 P(ω ① P(ω
1
2
| X)
与
P ( X | ω1 )
和 P( X | ω ) 的区别
2
| X)
和
P (ω 2 | X )
是在同一条件X下,比较
ω1
和
ω2
出现的概率.
32
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 ① 如 P (ω1 | X ) > P (ω 2 | X ) 则可以下结论,在X条件下,事件 如图4-4所示.
09
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
此时,任何决策都存在判错的可能性. 即所观察到的某一样品的特征向量X,在M类中又有 不止一类可能呈现这一X值,无论直线参数如何设计, 总会有错分类发生.
10
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 如果以错分类最小为原则分类,则图中A直线可能是最佳的分 界线,它使错分类的样品数量为最小.
ω1
出现的可能性大.
两类情况下,则有
P (ω1 | X ) + P (ω 2 | X ) = 1
33
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 ② P( X | ω1 ) 与 P( X | ω ) 都是指各自条件下出现X的可能性,
2
两者之间没有联系,比较两者没有意义.
P( X | ωi )
25
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
单变量正态分布概率密度函数为:
P( x) = 1 x 2 exp[ ( ) ] 2 σ 2π σ 1
为数学期望(均值)
= E ( x) = ∫ xP( x)dx
∞ ∞
σ2
为方差:
σ = E[( x ) ] = ∫ ( x ) 2 P( x)dx
P(ωi | X )
Bayes公式体现了先验概率,类概率密度函数,后 验概率三者之间的关系.
20
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
1,先验概率 P(ωi ) 先验概率 P(ω i ) 针对M个事件出现的可能性而言, 不考虑其他任何条件.
21
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
内容纲要
研究目的和意义
第二章 贝叶斯决策理论
0011 0010 1010 1101 0001 0100 1011
1
01
内容纲要 第二章 贝叶斯决策理论 第二章 内容纲要 研究目的和意义 2.1 Bayes决策的基本概念 2.2 基于最小错误率的Bayes决策 2.3 基于最小风险的Bayes决策 2.4 Bayes决策比较 2.5 基于二值数据的Bayes分类实现 2.6 基于最小错误率的Bayes分类实现 2.7 基于最小风险的Bayes分类实现 2.8 本章小结 2.9 课后作业
14
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
1)基于最小错误率的Bayes决策 指出了机器自动识别出现错分类的条件; 错分类的可能性如何计算; 如何实现使错分类出现可能性最小.
15
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
36
内容纲要 第二章 贝叶斯决策理论 2.2 基于最小错误率的Bayes决策 研究目的和意义
从后验概率分布图4-4可见,在X值小时,药品被 判为正常是比较合理的,判断错误的可能性小.
基于最小错误概率的贝叶斯决策就是按后验概率的 大小做判决的.这个规则又可以根据类别数目,写 成不同的几种等价形式.
37
P (ω i | X )
表示!!
后验概率!!
30
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
P(ω i | X ) =
P( X | ω i ) P(ω i )
∑ P( X | ω ji ) P(ω j )
j =1
n
P (ω i | X )
是表示在X出现条件下,样品为 ω i 类的概率.在这里要弄清楚条件概率这个概念.
2 2 ∞ ∞
26
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
多维正态概率密度函数为:
P( X ) = 1 (2π ) N / 2 | S |1 / 2 1 exp[ ( X ) T S 1 ( X )] 2
X = ( x1 , x 2 ,..., x N ) 为 N
07
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义
对于图4-1来说,可以用一直线作为分界线,这条直 线是关于X的线性方程,称为线性分类器.
08
内容纲要 第二章 贝叶斯决策理论 2.1 Bayes决策的基本概念 研究目的和意义 问题在于出现模棱两可的情况,如图4 所示. 问题在于出现模棱两可的情况,如图4-2所示.