贝叶斯网络结构学习的发展与展望_贺炜

文章编号:100220411(2004)022*******

贝叶斯网络结构学习的发展与展望

贺　炜,潘　泉,张洪才

(西北工业大学自动控制系613信箱,陕西西安　710072)

摘　要:从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流.

关键词:概率贝叶斯网络;因果贝叶斯网络;贝叶斯网络结构学习;因果数据挖掘

中图分类号:TP18 文献标识码:A

Development and Prospect of B ayesian N et w ork Structure Learning

HE Wei,PAN Quan,ZHAN G Hong2cai

(Depart ment of Cybernetics,Northwest Polytechnical U niversity,Xiπan　710072,Chi na) Abstract:From the initial stage of probabilistic Bayesian network construction to the flourishing stage of causal Bayesian network structure learning,this paper firstly reviews Bayesian network structure learning.Then its current problems,related researches and prospects are discussed.It is worth of pointing out that the research of Bayesian network structure learning is becoming the mainstream in the field of causal data mining.

K eyw ords:probabilistic Bayesian network;causal Bayesian network;Bayesian network structure learning;

causal data mining

1　基本概念(B asic concepts)

1.1　贝叶斯网络

贝叶斯网络[1～9]又称为信念网络,是一种图型化的模型,能够图形化地表示一组变量间的联合概率分布函数.一个贝叶斯网络包括了一个结构模型和与之相关的一组条件概率分布函数.结构模型是一个有向无环图,其中的节点表示了随机变量,是对于过程、事件、状态等实体的某特性的描述,边则表示变量间的概率依赖关系.图中的每个节点都有一个给定其父节点情况下该节点的条件概率分布函数.这样,一个贝叶斯网络就用图形化的形式表示了如何将与一系列节点相关的条件概率函数组合成为一个整体的联合概率分布函数.因果贝叶斯网络是指具有因果含义的贝叶斯网络,其中每个节点的父节点被解释为该节点相对于模型中其它节点的直接原因.为了与之区别,有时也将没有因果意义的贝叶斯网络称为概率贝叶斯网络.

贝叶斯网络作为一种图形化的建模工具,具有一系列的优点:(1)贝叶斯网络将有向无环图与概率理论有机结合,不但具有了正式的概率理论基础,同时也具有更加直观的知识表示形式.一方面,它可以将人类所拥有的因果知识直接用有向图自然直观地表示出来,另一方面,也可以将统计数据以条件概率的形式融入模型.这样贝叶斯网络就能将人类的先验知识和后验的数据无缝地结合,克服框架、语义网络等模型仅能表达处理定量信息的弱点和神经网络等方法不够直观的缺点;(2)贝叶斯网络与一般知识表示方法不同的是对于问题域的建模.因此当条件或行为等发生变化时,不用对模型进行修正;(3)贝叶斯网络可以图形化表示随机变量间的联合概率,因此能够处理各种不确定性信息;(4)贝叶斯网络中没有确定的输入或输出节点,节点之间是相互影响的,任何节点观测值的获得或者对于任何节点的干涉,都会对其他节点造成影响,并可以利用贝叶斯网络推理来进行估计预测;(5)贝叶斯网络的推理是以贝叶斯概率理论为基础的,不需要外界的任何推理机制,不但具有理论依据,而且将知识表示与知

第33卷第2期2004年4月　信息与控制

Information and Control

Vol.33,No.2　

　Apr.,2004　

收稿日期:2003-03-17

　基金项目:国家自然科学基金资助项目(60172037);教育部“跨世纪优秀人才培养计划”基金资助项目(教技函[2001]1号)

识推理结合起来,形成统一的整体[11～13].

由于上述优点,贝叶斯网络很快就成为人工智能领域进行不确定性推理和建模的一个有效工具.利用贝叶斯网络对于事件或者属性间的带有不确定性的相互关系进行建模和推理在医学诊断、自然语言理解、故障诊断、启发式搜索、图像解释、目标识别以及不确定推理和预测等方面产生了很多成功的应用[14～17],这些应用大致可分为建立系统模型以辅助决策、实现特征融合以及进行分类的数据分析三大类.

1.2　贝叶斯网络结构学习

一般贝叶斯网络的构建是首先由相关领域的专家根据事物间的关系来确定出结构模型,即有向无环图,然后再利用其它方法确定每个节点的条件概率,但这样构建的网络模型无法保证其客观性和可靠性.因此,研究人员尝试引入客观的观测数据,希望通过将观测数据与专家知识相结合来共同构建贝叶斯网络,并进一步在没有专家先验知识的情况下,尝试完全从观测数据中学习得到网络结构和参数.其中网络结构的学习不但是整个学习过程的基础,并且是一个NP难题[18],因此更吸引了大量研究人员的注意.

研究人员借鉴统计学领域对多变量联合概率分布近似分解的方法[19],从多个角度对该问题进行研究,形成了基于独立性检验和基于评价与搜索的两大类算法[20].在一系列假设下,研究人员通过将先验信息与观测数据相结合,实现了多种网络结构模型的学习算法,进而提出了在没有任何先验信息情况下的相应算法.最近的研究开始减弱甚至放弃某些假设,从更一般意义下研究网络结构的学习.因果贝叶斯网络结构模型的学习有时也称为因果发现或因果挖掘.这是因为数据的处理所获得的结构模型反映了事物间因果关系的知识.从广义的角度讲,因果数据挖掘可以认为是从数据中发现有关因果性知识的过程.

2　概率贝叶斯网络构建阶段(Construction stage of probabilistic B ayesian net w ork)

统计分析常常要对多变量随机系统进行建模,以便进行密度估计等各种统计分析.用联合概率分布函数能清楚地描述多变量随机系统的统计特性,但难以获得数学解析公式表达.利用独立变量的联合概率分布能进行分解的特性,研究人员将较小相关性近似按照独立处理,从而实现联合概率的近似分解和图形表示,这就是早期的贝叶斯网络构建过程.我们称这一阶段的研究为概率贝叶斯网络构建阶段.

较早的研究是在1968年,C.K.Chow和C.N. Liu[19]给出了如何通过构建一个树状网络模型来对给定的联合概率分布P进行分解表示的算法.该算法用Kullback2Leibler交叉熵来衡量模型与联合概率P的近似程度,并对于变量间的独立性进行检验,以保证能找到最佳结构.该算法中所蕴涵的思想是后来所有相关研究的基础.G.Rebane和J udea Pearl[21]在1987年将Chow2Liu算法做了改进,将之扩展到多树结构,同时提出了利用条件独立性关系来确定边的方向的方法,开始了构建有向图的研究. Wermuth和Lauritzen[22]在1983年给出了一个通过检验变量间的独立性关系来确定节点之间是否存在边、从而构建出有向图的理论性算法,该算法所得出的网络结构不再限于树状,使得研究开始走向一般网络结构的学习.

概率贝叶斯网络逐渐形成一种常用的随机多变量系统的建模和分析工具.随后人工智能等领域也开始从构建因果系统模型的角度对贝叶斯网络进行研究.这样就进入下一阶段———因果贝叶斯网络结构学习阶段.

3　因果贝叶斯网络结构学习阶段(Learning stage of causal B ayesian net w ork)

20世纪80年代末,人工智能领域的研究人员注意到贝叶斯网络对不确定系统的建模能力后,开始利用它来构建不确定性专家系统,进行诊断、推理、估计等任务.贝叶斯网络构建的专家系统能够对于不同事物之间的因果关系进行定性和定量的描述,并根据相应的观测或干涉作出推理.这类模型一般是由领域专家根据主观的因果知识构建的.引入观测数据可以减少构建模型的主观性,并增加其可靠性.因此,如何结合先验因果知识来构建贝叶斯网络就成为一个重要的研究问题.

1991年,Cooper和Herskovits提出的K2算法[23]是结合先验信息进行贝叶斯网络结构学习的一个有实际意义的重要算法,在整个研究发展过程中占有重要地位.该算法在给定节点顺序这一先验信息的情况下,利用贝叶斯概率作为标准来评价模型与数据的符合程度,通过不断向网络中增加能提高评价指针的边的贪婪搜索方法来找出最佳网络结构.基于这一思路的方法被统称为基于评价和搜索

681信　息　与　控　制 33卷