第二章 朴素贝叶斯算法

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

PY ck

i 1
N
, k 1,2,3,...,K
离散特征变量的条件概率的极大似然估计
P X ( j ) x ( j ) | Y ck
( j) I x i ajl, yi ck N i 1
Iy
i 1
N
i
ck
j 1,2,3,.., n; l 1,2,3,...Sj; k 1,2,3,..., K
P B P APB | A P A | B P B
P A | B
它解决了两个事件条件概率的转换问题
Company Logo
贝叶斯简介
先验概率:由以往的数据分析得到的概率 后验概率:得到"结果"的信息后重新修正的概率
简单地说,贝叶斯定理是基于假设的先验概率、给 定假设下观察到不同数据的概率,提供了一种计算 后验概率的方法 在人工智能领域,贝叶斯方法是一种非常具有代表 性的不确定性知识表示和推理方法

则第k类样本在第j个特征上的方差和标准差的极 大似然估计为
j, c
u
Company Logo

x
i 1
Nc
( j) i


2 j ,c
Nc
1 ( j) xi uj , c Nc i 1
Nc
2
基于最小错误率的贝叶斯决策
连续特征变量的条件概率的极大似然估计: 则条件概率可写为:
Company Logo
基本决策规则
基于最小错误率的Bayes决策 基于最小风险的Bayes决策 Neyman-Pearson决策 最小最大决策 序贯分类方法
Company Logo
基本的决策规则
基于最小错误率的贝叶斯决策 已知条件 设输入空间X∈Rn为n维向量集合,输出空间为类 别标记集合У={c1,c2,...,ck},输入为特征 向量x∈X,输出为类标记y∈У。训练数据集 T={(xi,yi),i=1,2,...,N},样本表示: x=(x(1),x(2),...,x(n)) 求解计算
பைடு நூலகம்
Company Logo
基于最小错误率的贝叶斯决策
x(j)表示样本的第j个特征,其 ( j ) xi 取值集合为{aj1,aj2,aj3,...,ajSj}, 极大似然估计进行参数估计: 先验概率的极大似然估计: 表示第i个样本的第j个特征的 取值;ajl是第j个特征的第l个 N 取值;I为指示函数 I yi ck
n ( j) ( j) y arg maxPY ck PX x | Y ck ck , ck У j 1
因此,我们需要学习得到先验概率分布和条件概率 分布
PY ck , k 1,2,3,...,K
P X ( j ) x ( j ) | Y ck , j 1,2,3,...,n
Company Logo
基于最小错误率的贝叶斯决策
连续特征变量的条件概率的极大似然估计: 假设特征是连续、独立于其他特征,概率密度函 数符合正态分布:
P( X ( j ) x ( j ) | Y ck ) ~ N (u j , k , 2 j ,k ) j 1,2,3,...,n; k 1,2,3,...,K
PY ck
Iy
i 1
N
i
ck , k 1,2,3,..., K
( j) I x i ajl, yi ck N i 1
N
P X ( j ) x ( j ) | Y ck
Iy
i 1
N
i
ck
j 1,2,3,.., n; l 1,2,3,...Sj; k 1,2,3,...,K
Company Logo
基于最小错误率的贝叶斯决策
朴素贝叶斯算法: 步骤: 计算连续变量的均值、标准差的极大似然估计
1 ( j) j ,c Nc xi uj , c uj , c Nc , i 1 j 1,2,3,...,n; k 1,2,3,...,K
Company Logo
基于最小错误率的贝叶斯决策
对于所有的类别,我们发现分母都是相同的,所以 我们只需要考虑分子:
y arg maxP X x | Y ck PY ck
ck , ck У
先验概率通过领域专家知识得到,即通过经验数据 (训练数据得到) P Yc k ,k 1 ,2 ,3 ,..., K 条件概率:基于条件独立性假设
P X x | Y ck PX (1) x (1) ,..., X ( n ) x ( n ) | Y ck
n j 1
PX ( j ) x ( j ) | Y ck
Company Logo
基于最小错误率的贝叶斯决策
因此,基于最小错误率的朴素贝叶斯的公式可写为:
Company Logo
贝叶斯简介
百度百科上的例子:学校里有60%男生和40%女生,女生 穿裤子的人数和穿裙子的人数相等,所有男生穿裤子,一个人 在远处看到了一个穿裤子的学生。这个学生是女生的概率是多 少? 使用贝叶斯定理,事件A是看到女生,事件B是看到一个穿 裤子的学生。我们所要计算的是P(A|B) P(A)是忽略其它因素,看到女生的概率,在这里是0.4 P(A')是忽略其它因素,看到不是女生(即看到男生)的概率, 在这里是0.6 P(B|A)是女生穿裤子的概率,在这里是0.5 P(B|A')是男生穿裤子的概率,在这里是1 P(B)是忽略其它因素,学生穿裤子的概率,P(B) = P(B|A)P(A) + P(B|A')P(A'),在这里是0.5×0.4 + 1×0.6 = 0.8 根据贝叶斯定理,我们计算出后验概率P(A|B): P(A|B)=P(B|A)*P(A)/P(B)=0.25
i 1
( j) x i
Nc

2
Nc

2

代入并计算连续变量的条件概率
P X ( j ) x ( j ) | Y ck 1 2 j ,c xi( j ) uj , c 2 exp 2 2 j , c
Company Logo
基于最小错误率的贝叶斯决策
Company Logo
贝叶斯简介
贝叶斯定理 条件概率: P(A|B)表示事件B已经发生的前提下,事件A 发生的概率,叫做事件B发生下事件A的条件 概率。其基本求解公式: P AB P A | B P B 贝叶斯公式 P(B|A)是根据A判断其属于类别B的概率,称 为后验概率。P(B)是直接判断某个样本属于B 的概率,称为先验概率。P(A|B)是在类别B中 观测到A的概率,P(A)是在数据库中观测到A 的概率 P AB P A | B PB P B | A P A P A
Company Logo
基于最小错误率的贝叶斯决策
计算先验概率和条件概率
4 5 PY 1 , PY 1 9 9 1 1 2 (1) (1) (1) PX 1 | Y 1 , PX 2 | Y 1 , P X 3 | Y 1 4 4 4 2 2 1 (1) (1) (1) X 1 | Y 1 , PX 2 | Y 1 , PX 3 | Y 1 5 5 5 1 2 1 ( 2) ( 2) ( 2) PX S | Y 1 , PX M | Y 1 , PX L | Y 1 4 4 4 2 2 1 ( 2) ( 2) ( 2) X S | Y 1 , PX M | Y 1 , PX L | Y 1 5 5 5
朴素贝叶斯
Naive Bayes
朴素贝叶斯
主要内容 贝叶斯简介 朴素贝叶斯分类 基本决策规则 基于最小错误率 基于最小风险 总结扩展(了解) 贝叶斯与分类的简单应用
Company Logo
贝叶斯简介
贝叶斯(Thomas Bayes,1701—1761)英国牧 师、业余数学家。在《论机会学说中一个问题的求 解》中给出了贝叶斯定理。 具有讽刺意味的是,当初贝叶斯发明概率统计理论 是为了证明上帝的存在,而至死这个愿望都没有实 现,不过感谢伟大的贝叶斯,因为他的无心插柳, 才有了今天的贝叶斯公式,并列于数据挖掘十大经 典算法: P B , A
朴素贝叶斯算法: 步骤: 对于给定的实例x=(x(1),x(2),...,x(n)),计算
PY ck PX ( j ) x ( j ) | Y ck , k 1,2,3,...,K
n j 1

确定x的分类
n ( j) ( j) y arg maxPY ck PX x | Y ck ck , ck У j 1
y arg maxPY ck | X x
ck , ck У
Company Logo
基于最小错误率的贝叶斯决策
转化
y arg maxPY ck | X x
ck , ck У
根据贝叶斯公式
P (Y ck , X x ) P( X x) P X x | Y ck P Y ck P X x P X x | Y ck P Y ck k P X x | Y ck PY ck P Y ck | X x
朴素贝叶斯算法: 输入:
训练数据集 T = {(xi, yi), i = 1,2,... , N} 其中xi xi(1) , xi( 2 ) , xi( 3) ,..., xi( n ) xi( j ) 是第i个样本的第j个特征,xi( j ) aj1, aj 2, aj 3,...,ajSj
Company Logo
贝叶斯简介
贝叶斯定理 P(A)是A的先验概率或边沿概率,之所以 称为先验,是因为它不考虑任何B方面的 因素 P(A|B)是已知B发生后A的条件概率,也 由于得自B的取值而被称为A的后验概率 P(B|A)是已知A发生后B的条件概率,也 由于得自B的取值而被称为B的后验概率 P(B)是B的先验概率或边沿概率,之所以称 为先验,是因为它不考虑任何A方面的因 素
ajl是第j个特征可能取第l个值 j 1,2,3,...,n; l 1,2,3,...,Sj; yi ck , k 1,2,3,...,K

输出:实例x的分类
Company Logo
基于最小错误率的贝叶斯决策
朴素贝叶斯算法: 步骤: 计算先验概率和离散变量条件概率
PX
( j)
x
( j)
| Y ck
1 2 j , c
xi( j ) uj , c 2 exp 2 2 j , c

计算上式时,我们直接代入第k类样本在第j个特 征上的方差和标准差的极大似然估计值
Company Logo
基于最小错误率的贝叶斯决策
Company Logo
基于最小错误率的贝叶斯决策
简单的示例:由下表的训练数据学习得到一个朴素 贝叶斯分类器并确定x=(2,S)的类标记y,表中 X(1),X(2)为特征,取值集合分别为A1={1,2,3}, A2={S,M,L},Y为类标记,Y∈C={1,-1}
1 X(1) X(2) Y 1 S -1 2 1 M -1 3 1 M 1 4 2 S 1 5 2 S -1 6 2 M -1 7 3 L -1 8 3 M 1 9 3 L 1
Company Logo
贝叶斯分类
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假 设的分类方法。结合样本输入输出的联合概率分布 和输出的概率分布,对于给定的输入x,利用贝叶 斯定理求解后验概率的过程。朴素贝叶斯简单,学 习与预测效率较高,比较常用。 其基本思想:对于给定的待分类项x,求解在此样 本出现的条件下各个类别出现的概率,计算出每一 个类别的P(yi|x),i=1,2,...,k,根据一定的决策 规则,决定此样本归属于哪个类别
相关文档
最新文档