浅谈机器学习中的贝叶斯算法

浅谈机器学习中的贝叶斯分类器

王贤举

摘 要：学习是人工智能研究中非常活跃且范围甚广的一个领域。而机器学习所关注的是：计算机程序如何随着经验积累自动提高性能，让机器完成某些任务，从而使其在某些方面为人类服务。贝叶斯分类器作为机器学习中的一种，在有些方面有着其优越的一面，本文通过对机器学习中贝叶斯分类器的解析，指出了贝叶斯分类器在机器学习中的适用方面和不足之处。

关键词：机器学习 贝叶斯算法 适用

1. 引言

机器学习是计算机问世以来，兴起的一门新兴学科。所谓机器学习是指研究如何使用计算机来模拟人类学习活动的一门学科，研究计算机获得新知识和新技能，识别现有知识，不断改善性能，实现自我完善的方法，从而使计算机能更大性能的为人类服务。

机器学习所适用的范围广阔，在医疗、军事、教育等各个领域都有着广泛的应用，并发挥了积极的作用。而分类是机器学习中的基本问题之一，目前针对不同的分类技术，分类方法有很多，如决策树分类、支持向量机分类、神经网络分类等。贝叶斯分类器作为机器学习分类中的一种，近年来在许多领域也受到了很大的关注，本文对贝叶斯分类器进行总结分析和比较，提出一些针对不同应用对象挑选贝叶斯分类器的方法。

2. 贝叶斯公式与贝叶斯分类器：

2.1 贝叶斯公式：

在概率论方面的贝叶斯公式是在乘法公式和全概率公式的基础上推导出来的，它是指设n B B B ,...,,21是样本空间Ω的一个分割，即

n B B B ,...,,21互不相容，且 n i i B

1=Ω=，如果0)(>A P ，0)(>i B P ，n i ,...,2,1=，则

∑==n j j

j i i i B A P B P B A P B P A B p 1)|()()

|()()|( ，n i ,...,2,1=

这就是贝叶斯公式，)|(A B p i 称为后验概率，)|(i B A P 为先验概率，一般是已知先验概率来求后验概率，贝叶斯定理提供了“预测”的实用模型，即已知某事实，预测另一个事实发生的可能性大小。

2.2 机器学习中的贝叶斯法则：

在机器学习中，在给定训练数据D 时，确定假设空间H 中的最佳假设，我们用)(h P 来代表在没训练数据前假设h 拥有的初始概率。)(h P 为h 的先验概率，用)(D P 代表将要观察训练数据D 的先验概率，以)|(h D P 代表假设h 成立的情况下观察到数据D 的概率，以)|(D h P 为给定训练数据D 时h 成立的概率，)|(h D P 称为h 的后验概率，机器学习中的贝叶斯公式为：

)()

()|()|(D P h P h D P D h P =

学习器考虑候选假设集合H 并在其中寻找给定数据D 时可能性最大的假设，称为MAP 假设，记为MAP h ，则

)

|(max arg D h P h H h MAP ∈= )()()|(max

arg D P h P h D P H h ∈=

)

()|(max arg h P h D P H h ∈=

2.3 贝叶斯分类器

贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C ,其中C 的取值来自于类集合( c1, c2,…, cm) ,还包含一组结点X = ( X1, X2,…, Xn) ,表示用于分类的特征。对于贝叶斯网络分类器,若某一待分类的样本 D ,其分类特征值为

x = ( x1, x2,…, xn) ,

则样本D 属于类别ci 的概率

P ( C = ci|X1= x1, X2= x2,…, Xn= xn) , ( i = 1 , 2 ,…, m ) 应满足下式:

P ( C = ci|X = x ) = Max{ P ( C = c1|X = x ) , P ( C = c2|X = x ) ,…, P ( C = cm|X = x ) }

而由贝叶斯公式

)()

()|()|(x X P c C P c C x X P x X c C P i i i ==⨯=====

其中, P ( C = ci) 可由经验得到,而P ( X = x |C = ci) 和P ( X = x )的计算则较困难。应用贝叶斯网络分类器进行分类主要分成两阶段：第一阶段是贝叶斯网络分类器的学习,即从样本数据中构造分类器,包括结构学习和CPT 学习;第二阶段是贝叶斯网络分类器的推理,即计算类结点的条件概率,对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度,甚至可以是NP 完全问题,因而在实际应用中,往往需要对贝叶斯网络分类器进行简化。

3. 贝叶斯最优分类器与朴素贝叶斯分类器

3.1 贝叶斯最优分类器

“给定训练数据，对新实例的最可能分类是什么？”新实例的最可能分类可通过合并所有假设的预测得到，用后验概率来加权。如果新样例的可能分类可取某集合V 中的任一值

j υ，那么概率)|(D P j υ表示新实例的正确分类为j υ的概率，

其值为：

∑∈=

H h i i j j i D h P h P D P )|()|()|(υυ 新实例的最优分类为使)|(D P j υ最大的

j υ值，则 ∑∈∈=H h i i j v j i j D h P h P D P )

|()|(max arg )|(υυυ

按上式分类新实例的系统被称为贝叶斯最优分类器。使用相同的假设空间和相同的先验概率，使用贝叶斯最优分类器是最好的，它能使新实例被正确分类的可能性达到最大。

3.2 朴素贝叶斯分类器

朴素贝叶斯分类器是贝叶斯学习方法中实用性很高的一种，朴素贝叶斯对于数据的分类过程如下：

对每个实例x 可由属性值的合取描述，而目标函数)(x f 从某有限集合V