朴素贝叶斯分类器的扩展

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
– 扩展朴素贝叶斯网络结构,增加表示属性间可能存 在的依赖关系的边 – 通过属性选择,在选出的具有较好属性独立关系的 属性子集上进行分类模型的学习
半朴素贝叶斯分类器
• 算法思想:在半朴素贝叶斯分类器中,属性变量 被分成多个相互条件独立的属性组,同一组中的 属性可以是部分相关也可以是完全相关 • 在给定类变量条件下各属性变量的联合概率为:
半朴素贝叶斯分类器的局限
• 随着组内变量个数的增加,算法的时间复杂度 成指数增长,而且对各个条件概率的估计将变 得很不精确。因此组内属性个数不宜太多,两 到三个为宜 • 该模型不能很好地表达属性之间都相关的情形
TAN分类器
• 基本思想:在朴素贝叶斯分类器的基础 上,在可能具有依赖关系的属性之间增 添连接弧,使表达属性之间依赖关系的 模型图构成一颗树。
P ( A1 ,..., A n | C ) P ( A S 1 | C )... P ( A Sk | C )
其中Asi是由相关属性构成的变量组,假设 Asi={Ai1, Ai2,… Ail},则
P ( A Si | C ) P ( A i 1 | C ) P ( A i 2 | A i 1 , C )... P ( A il | A i 1 ,..., A il 1 , C )
贝叶斯分类
• 根据训练集D计算类条件概率密度 P(u|ci) 和类别先验概率 P(ci) • 求类别后验概率 P(ci|u)及u的类别c如下:
P (c i | u ) P (u | c i ) P (c i ) P (u ) P (u | c i ) P (c i )

l i 1
P (u | c i ) P (c i )
c arg max { P ( u | c i ) P ( c i )}
1 i l
朴素贝叶斯分类器
• 优点:作为最早的贝叶斯分类器 ,结构简单, 效率高,抗干扰能力强,很多情况下精度高
朴wk.baidu.com贝叶斯分类器
• 假设未分类实例u=(u1, u2… un),在条件独 立假设下有:
P ( u | c j ) P ( u 1 ,..., u n | c j )
朴素贝叶斯分类器的扩展
内容安排
• 贝叶斯分类简介
• 朴素贝叶斯分类器优缺点 • 朴素贝叶斯的结构扩展
贝叶斯分类
• 优点:建立在贝叶斯网络和贝叶斯统计 学基础上 ,模型可解释、精度高 • 方法描述:Ai (i=1,2,…n) 为训练集D中 的属性变量,C为类变量,对于所给的 未分类实例u,利用贝叶斯分类方法将进 行分类的过程可以描述如下:
c arg max {
1 j l n i 1

n i 1
P (u i | c j )
P ( u i | c j ) P ( c j )}
朴素贝叶斯分类器的局限及扩展
• 缺点:以不切实际的(naï ve)属性间的条 件独立性假设为前提,在大多数情况下, 该假设的违背会显著降低分类精度。 • 扩展方式:
相关文档
最新文档