贝叶斯分类器讲义 PPT

样本空间的划分 定义 设 为试验E的样本空间, B1, B2 ,L , Bn 为 E 的一组事件,若
1 0 Bi Bj , i, j 1, 2,L , n;
20 B1 U B2 UL U Bn , 则称 B1, B2 ,L , Bn 为样本空间 的一个划分.
全概率公式
定义 设为试验E的样本空间, A为E的事件, B1, B2 ,L , Bn为的一个划分,且P(Bi ) 0 (i 1, 2,L , n),则
先验概率、后验概率和类(条件)概率密度：
先验概率：
根据大量样本情况的统计，在整个特征空间中，任
取一个特征向量x，它属于类ωj的概率为P(ωj),也就是说 ，在样本集中，属于类ωj的样本数量于总样本数量的比 值为P(ωj)。我们称P(ωj)为先验概率。 显然，有： P(ω1)＋ P(ω2)＋…… ＋P(ωc)＝1
概率论基本知识
确定事件：概念是确定的，发生也是确定的； 随机事件：概念是确定的，发生是不确定的； 模糊事件：概念本身就不确定。
联合概率和条件概率
联合概率：设A，B是两个随机事件，A和B同时发生 的概率称为联合概率，记为：P(AB)；
条件概率：在B事件发生的条件下，A事件发生的概率 称为条件概率，记为：P(A|B), P(A|B) = P(AB) / P(B) ；
P( A) P( A | B1)P(B1) P( A | B2 )P(B2 ) L P( A | Bn )P(Bn )
n
P(B)P( A | Bi ) i 1
说明：
全概率公式的主要用途在于它可以将一个复杂事件的概 率计算问题,分解为若干个简单事件的概率计算问题,最 后应用概率的可加性求出最终结果。
基本方法：用一组已知的对象来训练分类器 目的的区分：1. 分类错误的总量最少
2. 对不同的错误分类采用适当的加权 使分类器的整个“风险”达到最低 偏差：分类错误
分类器的性能测试
已知类别的测试集；已知对象特征PDF的测试集 PDF的获取：画出参数的直方图，并计算均值和方差，
再规划到算法面积，需要的话再做一次平滑，就可将 这个直方图作为相应的PDF设计 独立每一类的测试集 使用循环的方法
贝叶斯分类器
一、分类器的概念
分类
特征提取
特征：对象的特殊属性 特征向量：特征的描述参数 方法：列出特征表用排除方法计算不同特征的相对
概率，然后选取 良好的特征的特点：可区别性、可靠性、独立性、
数量少
分类器的设计
逻辑结构：（分类规则）相似程度 分类规则的数学基础：（阈值规则）特征空间
分类器的训练
我们任取一个样本x，当它位于ω1的决策区域时，我 们∈的判ω概1别率。x为也1∈可，ω以属1说；于：当ω当它2的x位位概于于率ωω为2的10的。决决策策区区域域时时，，我它们属判于别ωx1
随机性统计分类：
如我们任取一个样本x，当它位于ω1的决策区域时，
它属于ω1的概率为小于1，属于ω2的概率大于0，确定性 分类问题就变成了依照概率判决规则进行决策的统计判 别问题。
特征选择
特征选择可以看作是一个（从最差的开始）不断删去无 用特征并组合有关联特征的过程，直至特征的数目减少至易 于驾驭的程度，同时分类器的性能仍然满足要求为止。例如， 从一个具有M个特征的特征集中挑选出较少的N个特征时， 要使采用这N个特征的分类器的性能最好。
特征方差 类间距离 降维
二、概率论基本知识
如果没有这一先验知识，那么可以简单地将每一候
选类别赋予相同的先验概率。不过通常我们可以用样例
中属于类ωj的样例数|ωj|比上总样例数|D|来近似，即
P(j )=
|j|
|D|
由以往的数据分析得到的概率, 叫做先验概率.
后验概率： 当我们获得了某个样本的特征向量x，则在x条件
下样本属于类ωj的概率P(ωj|x)称为后验概率。
在得到信息之后再重新加以修正的概率叫做后验概率， 后验概率就是我们要做统计判别的依据。
类（条件）概率密度： P(x|ωj)是指当已知类别为ωj的条件下，看到样本x
出现的概率。
若设x = <a1,a2…am>，则P(x|ωj)= P(a1,a2…am| ωj)
后验概率的获得：
后验概率是无法直接得到的，因此需要根据推理计算 由已知的概率分布情况获得。 根据贝叶斯公式可得：
乘法定理：P(AB) = P(B)P(A|B) = P(A)P(B|A)。
概率密度函数
概率分布函数：设X为连续型随机变量，定义分布函 数；F(x) = P(X≤x)；
概率密度函数：给定X是随机变量，如果存在一个非 负函数f(x)，使得对任意实数a,b(a<b)有 P（a＜X≤b) = ∫f(x)dx, （积分下限是a,上限是b) ，则称f(x)为X的概率 密度函数。
Bayes公式，其意义是：假设导致事件A发生的“原因” 有Bi(i=1,2,…,n)个。它们互不相容。
现已知事件A确已经发生了，若要估计它是由“原 因”Bi所导致的概率，则可用Bayes公式求出.即可从结 果分析原因.
三、贝叶斯分类器
贝叶斯分类原理
确定性分类和随机性统计分类
以两类分类问题来讨论，设有两个类别ω1和ω2，理 想情况， ω1和ω2决定了特征空间中的两个决策区域。 确定性分类：
贝叶斯公式
定义 设为试验E的样本空间, A为E的事件,
B1, B2 ,L , Bn为的一个划分,且P( A) 0, P(Bi ) 0(i 1, 2,L , n),则
P(Bi | A)
P( A / Bi )P(Bi )
n
,
i 1, 2,L , n.
P(A | Bj )P(Bj )
j 1
Bayes公式的意义
P( j
x) P( Biblioteka Baidu ) p(x j )
P(x)
P( j ) p(x j )
n
P(i ) p(x i )
i 1
其中：
p(x| ωj)为类ωj所确定的决策区域中，特征向量x出现
的概率密度，称为类条件概率密度。
P(x)为全概率密度，可由全概率公式计算得到。
贝叶斯分类原理：
根据已知各类别在整个样本空间中的出现的先验概率， 以及某个类别空间中特征向量X出现的类条件概率密度，计 算在特征向量X出现的条件下，样本属于各类的概率，把样 本分类到概率大的一类中。