贝叶斯网络推理算法综述_厉海涛
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 30 卷 第 5 期 2008 年 5 月
文章编号: 1001-506X( 2008) 05- 0935- 05
系统工 程与电子 技术 Systems Engineer ing and Electr onics
Vol. 30 No. 5 MayBaidu Nhomakorabea2008
贝叶斯网络推理算法综述
厉海涛, 金 光, 周经伦, 周忠宝, 李大庆
第 30 卷
计算结果向 相邻节点 传播。 消息传递算法计算简单, 复杂度正比于证据传播过程
中经历的路径长度, 但只适用于单连通网络。对多连通网 络, 由于消息可能在环路中循环传递而不能进入稳态, 无法 推理。 1. 2 条件算法
条件算法是 Pear l 于 1986 年提出[1] , 算法基本思想是 通过实例化一些条件节点, 使多连通网络结构满足单连通 特性, 然后消息传递算法进行计算, 最后对所有实例化计算 结果求数学期望, 得到后验概率。1992 年, Diez 对条件算 法进行了改进, 提出局部条件算法( local conditioning algor it hm) [3] , 当网络中有些节点通过与或门连接时, 该算法非 常有效。Shachter 等随后提出的全局条件算法( global condit ioning algo r ithm) [ 4] , 可以与联结树算法结合, 有效降低 了计算的复 杂度。由于 一般条件 算法的计 算量与 条件 节点 集的指数成正比, 对条件节点集较大的网络, 条件算法计算 效率非常低。为此 Darw iche 提出了动态条件算法( dynamic co nditio ning a lg or ithm) [ 5] , 在计算时引入了相关割集和 局部割集的概念, 使算法只有线性的复杂度; 近年来, Darw iche 又提 出递归 条件算 法( recur sive conditioning algor it hm) [6] , 该算法利用节点间的条件独立关系, 将网络分为 多个子网络, 子网络再进行独立的递归计算, 最后将计算结 果进行整合。此外, 与或门条件算法( AND/ OR cutset condit ioning algo r ithm) [7] 、条件图算法( condit ioning gr aph a-l g o rit hm ) [ 8] 也是基于条件实例化的消息传递算法。
符号概率推理算法简单通用, 降低复杂度的关键在于 寻找最优消元顺序, 这是一个 NP- 困难问题。目前的方法 主要 有最 小缺 陷 法( minimum deficiency ) [ 19] 、最 小 度法 ( m inimum degr ee) [ 20] 等。最小缺陷法的主要思想是消去一 个节点的时候, 如果它连接的两个节点之间没有边, 就添加 连接边, 计算先消去那些消去后需要添加的边的个数最少 的节点。 最小度法的 主要思想是 把有向无 环图 中度数 最小 的节点放在消元顺序队列的末尾, 然后从网络中移去该节 点, 并连接该节点的所有邻居节点, 重复上述操作, 直到网 络中的所 有节点被选 择。 1. 5 弧反向/ 节点缩减算法
收稿日期: 2007-02-07; 修回日期: 2007- 10-09。 作者简介: 厉海涛( 1983- ) , 男, 硕士研究生, 主要研究方向为试验分析与评估, Bays 信息融合技术。E-mail: lihait aopl a@ yahoo. com. cn
# 936 #
系统工 程与电子 技术
最小条件节点集求解是条件算法的关键。Suer mondt 和 Cooper 证明了寻找最小条件节点集是 NP- 困难问题, 并 提出了一种启发式算法寻找最小条件节点集[ 9] 。目前普遍 采用贪婪 算 法 、改 进 贪 婪 算 法 等 方 法 寻 找 较 小 的 条 件 节 点集。 1. 3 联结树算法
关键词: 贝叶斯网络; 精确推理; 近似推理
中图分类号: T P 399
文献标志码: A
Survey of Bayesian network inference algorithms
L I H a-i t ao, JIN Guang, ZH OU Jing- lun, ZH OU Zho ng- bao, LI Da- qing
1 精确推理算法
1. 1 消息传递算法 消息传递算法( message- passing algorithm, polytr ee a-l
gorithm) , 是 Pear l 为解决单连通网络的推理问题于 1986 年提出的[1] 。算法主要思想是给每个节点分配一个处理 机, 每个处理机利用相邻节点传递来的消息和存储于该处 理机内部的条件概率进行计算, 求得自身的后验概率, 并将
弧反向/ 节点缩减算法( ar c r ever sal/ node r eduction a-l go rithm) 是 Shachter 于 1990 年提出的一种推理算法[ 21] 。 该算法首先利用贝叶斯原理对网络进行弧反向计算, 改变 节点的条件概率表, 然后将非证据节点中无子节点的节点 删除, 重复上述操作直到网络的证据节点和询问节点为父 子关系, 最后对网络进行消元计算, 求得节点的后验概率。 Cheuk 和 Boutilier 在 1997 年对该算法进行了改进, 提出了 基于树结构的弧反向算法, 并将其应用于动态贝叶斯网络 的仿真, 取得了很好的效果[22] 。
( 国防科技大学信息系统与管理学院, 湖南 长沙 410073)
摘 要: 贝叶斯网络是一种有效的不确定性知识表达和推理工具, 概率推理是其重要研究内容之一。经过二
十年的发展, 贝叶斯网络已经有一些比较有效的精确和近似推理算法。对迄今为止的贝叶斯网络推理算法研究
进行综述, 从复杂度、适用性、精度等方面对它们进行比较分析, 指出每种算法的关键环节, 为实际应用中算法选 择和研 究提供参 考。
联结树算法( junction tr ee algor ithm, clique- tr ee algor it hm) 是 La ur it zen 和 Spieg elhalter 于 1988 年提出的[ 10] 。 该算法首先将贝叶斯网络转换为一个联结树( 联结树是一 个无向树, 每个树节点是无向图的称为团的最大全连通子 图) , 然后通过消息传递来进行计算, 消息会依次传遍联结 树的每个节点, 最终使联结树满足全局一致性。此时, 团节 点的能量函 数 就是 该 节 点包 含 的 所 有变 量 的 联 合分 布 函 数。根据消息传递方案的不同, 可将联结树算法分为 Sheno y- Shafer 算法[ 11] 和 Hug in 算法[12] 。这两种算法各有优 点, H ugin 算法由于避免 了一些冗余计 算, 速度更快, 而 Shenoy- Shafer 算法能有效解决更多推理问题。后来, Par k 和 Darw iche 综合这两种算法的优点, 对联结树算法进行了 改进, 大大提高了算法效率[ 13] 。一般联结树算法中消息要 在连接团节点的两条弧上传递两次, Jensen 等在 1998 年提 出了一种基于惰性评价的联结树推理算法( lazy pr opagat ion alg or ithm) [14] , 利用贝叶斯网络的 D- 分离原则, 减少消
息传递和边缘化过程, 很大程度上简化了计算。 联结树算法是目前计算速度最快, 应用最广的贝叶斯
网络精确推理算法, 适用于单连通和多连通网络的推理。 该算法的 计算复杂度 随联结树中 最大团节 点规 模增大 呈指 数增长。但寻找最大团节点最小的联结树是 NP- 困难问 题, 目前主要采用启发式算法寻找近似最优解。 1. 4 符号概率推理算法
径的贝叶 斯网络。 贝叶 斯网络推理 是指利用贝 叶斯网络 的结 构及其 条件
概率表, 在给定证据后计算某些节点取值的概率。概率推 理( pr obabilist ic infer ence) 和最大验后概率解释( MAP explanation) 是贝叶斯网络推理的两个基本任务。Cooper 证 明了贝叶斯网络推理是 NP- 困难问题[2] , 但是针对特定类 型的贝叶斯网络, 近年来研究人员在精确的和近似的推理 算法研究 中取得了很 大进展。下 文从关 键环节 、复 杂性、适 用性、精度等方 面对目 前贝 叶 斯网 络推 理 算法 及其 发 展状 况进行综 述。
Keywords: Bayesian netw ork; accurate inference; approximat e inference
0引言
贝叶斯网络( Bay esian netw o rk ) [ 1] 是由 Pearl 于 1986 年提出的一种不确定知识表示模型, 它以坚实的理论基础、 自然的表达方式、灵活的推理能力和方便的决策机制, 成为 人工智能、专家系 统、模 式识 别、数 据挖 掘和 软 件测 试等 领 域的研究热 点。
具有 N 个节点的贝叶斯网络可用 BN N = n V, E m , P> 表示, 其中: < V, E> 是一个具有 N 个节点的有向无环 图( dir ected acyclic g raph, DAG) , 节点 Vi I V 是部件状态、 观测值、人员操作等的抽象, 有向边( V i, Vj ) I E 表示节点 V i 与 V j 之间存在直接影响或因果关系, V i 称为 V j 的父节 点, V j 称为 Vi 的子节点。P 表示与每个节点相关的条件 概率分布( conditional probability distr ibution, CPD) , 它表 达了节点与 其父节 点 的关 联关 系。 根据 网 络的 连通 特 性, 可将贝叶斯 网络分为 单连通网络 和多连通 网络 。单连 通网 络是指任意 两个节点之 间最多有 一条有向 路径的 贝叶 斯网 络; 多连通网络是指存在两个节点之间有不止一条有向路
( I nst. of I nf or mation Sy s tem & M anagement of N ational Univ . of Def ens e T echnology , Changsha 410073 , China)
Abstract: Bayesian netw ork ( BN) is a pow erful tool to express and infer uncert ain know ledge. Probabilistic inference is an im portant aspect of its research. Bayesian netw orks have already had some relatively mature accurate and approxim at e inference algorithm s as a result of tw ent y years. development. T he present achievement on Bayesian netw ork inference algorith ms is surveied. A nd then a thorough analysis of the algorit hms. complexity, applicab ility and precision is present ed. Som e key aspects of th e algorithms are also point ed out. T he survey w ill be helpf ul on selection and research of t he inference algorithm s.
符号概率推理算法( symbolic pr obabilistic inference a-l gorithm) 是 Shacht er 于 1990 年提出基于组合优化的推理 算法[ 15] 。该算法利用链式乘积规则和条件独立性, 将联合 概率分解为一系列参数化的条件概率的乘积, 然后对公式 进行变换, 通过改变求和与乘积运算的次序, 选择求和时节 点消元顺序, 减少运算量。作为符号概率推理算法的特例, Zhang 等 提出变 量消 元算法[ 16] 、Decht er 提出 桶消 元算 法[17] 、K ask 等提出桶树消元算法[ 18] 等, 也是基于组合优化 的算法, 它们与符号概率推理算法的区别在于寻找最优消 元顺序的 方式不同。
文章编号: 1001-506X( 2008) 05- 0935- 05
系统工 程与电子 技术 Systems Engineer ing and Electr onics
Vol. 30 No. 5 MayBaidu Nhomakorabea2008
贝叶斯网络推理算法综述
厉海涛, 金 光, 周经伦, 周忠宝, 李大庆
第 30 卷
计算结果向 相邻节点 传播。 消息传递算法计算简单, 复杂度正比于证据传播过程
中经历的路径长度, 但只适用于单连通网络。对多连通网 络, 由于消息可能在环路中循环传递而不能进入稳态, 无法 推理。 1. 2 条件算法
条件算法是 Pear l 于 1986 年提出[1] , 算法基本思想是 通过实例化一些条件节点, 使多连通网络结构满足单连通 特性, 然后消息传递算法进行计算, 最后对所有实例化计算 结果求数学期望, 得到后验概率。1992 年, Diez 对条件算 法进行了改进, 提出局部条件算法( local conditioning algor it hm) [3] , 当网络中有些节点通过与或门连接时, 该算法非 常有效。Shachter 等随后提出的全局条件算法( global condit ioning algo r ithm) [ 4] , 可以与联结树算法结合, 有效降低 了计算的复 杂度。由于 一般条件 算法的计 算量与 条件 节点 集的指数成正比, 对条件节点集较大的网络, 条件算法计算 效率非常低。为此 Darw iche 提出了动态条件算法( dynamic co nditio ning a lg or ithm) [ 5] , 在计算时引入了相关割集和 局部割集的概念, 使算法只有线性的复杂度; 近年来, Darw iche 又提 出递归 条件算 法( recur sive conditioning algor it hm) [6] , 该算法利用节点间的条件独立关系, 将网络分为 多个子网络, 子网络再进行独立的递归计算, 最后将计算结 果进行整合。此外, 与或门条件算法( AND/ OR cutset condit ioning algo r ithm) [7] 、条件图算法( condit ioning gr aph a-l g o rit hm ) [ 8] 也是基于条件实例化的消息传递算法。
符号概率推理算法简单通用, 降低复杂度的关键在于 寻找最优消元顺序, 这是一个 NP- 困难问题。目前的方法 主要 有最 小缺 陷 法( minimum deficiency ) [ 19] 、最 小 度法 ( m inimum degr ee) [ 20] 等。最小缺陷法的主要思想是消去一 个节点的时候, 如果它连接的两个节点之间没有边, 就添加 连接边, 计算先消去那些消去后需要添加的边的个数最少 的节点。 最小度法的 主要思想是 把有向无 环图 中度数 最小 的节点放在消元顺序队列的末尾, 然后从网络中移去该节 点, 并连接该节点的所有邻居节点, 重复上述操作, 直到网 络中的所 有节点被选 择。 1. 5 弧反向/ 节点缩减算法
收稿日期: 2007-02-07; 修回日期: 2007- 10-09。 作者简介: 厉海涛( 1983- ) , 男, 硕士研究生, 主要研究方向为试验分析与评估, Bays 信息融合技术。E-mail: lihait aopl a@ yahoo. com. cn
# 936 #
系统工 程与电子 技术
最小条件节点集求解是条件算法的关键。Suer mondt 和 Cooper 证明了寻找最小条件节点集是 NP- 困难问题, 并 提出了一种启发式算法寻找最小条件节点集[ 9] 。目前普遍 采用贪婪 算 法 、改 进 贪 婪 算 法 等 方 法 寻 找 较 小 的 条 件 节 点集。 1. 3 联结树算法
关键词: 贝叶斯网络; 精确推理; 近似推理
中图分类号: T P 399
文献标志码: A
Survey of Bayesian network inference algorithms
L I H a-i t ao, JIN Guang, ZH OU Jing- lun, ZH OU Zho ng- bao, LI Da- qing
1 精确推理算法
1. 1 消息传递算法 消息传递算法( message- passing algorithm, polytr ee a-l
gorithm) , 是 Pear l 为解决单连通网络的推理问题于 1986 年提出的[1] 。算法主要思想是给每个节点分配一个处理 机, 每个处理机利用相邻节点传递来的消息和存储于该处 理机内部的条件概率进行计算, 求得自身的后验概率, 并将
弧反向/ 节点缩减算法( ar c r ever sal/ node r eduction a-l go rithm) 是 Shachter 于 1990 年提出的一种推理算法[ 21] 。 该算法首先利用贝叶斯原理对网络进行弧反向计算, 改变 节点的条件概率表, 然后将非证据节点中无子节点的节点 删除, 重复上述操作直到网络的证据节点和询问节点为父 子关系, 最后对网络进行消元计算, 求得节点的后验概率。 Cheuk 和 Boutilier 在 1997 年对该算法进行了改进, 提出了 基于树结构的弧反向算法, 并将其应用于动态贝叶斯网络 的仿真, 取得了很好的效果[22] 。
( 国防科技大学信息系统与管理学院, 湖南 长沙 410073)
摘 要: 贝叶斯网络是一种有效的不确定性知识表达和推理工具, 概率推理是其重要研究内容之一。经过二
十年的发展, 贝叶斯网络已经有一些比较有效的精确和近似推理算法。对迄今为止的贝叶斯网络推理算法研究
进行综述, 从复杂度、适用性、精度等方面对它们进行比较分析, 指出每种算法的关键环节, 为实际应用中算法选 择和研 究提供参 考。
联结树算法( junction tr ee algor ithm, clique- tr ee algor it hm) 是 La ur it zen 和 Spieg elhalter 于 1988 年提出的[ 10] 。 该算法首先将贝叶斯网络转换为一个联结树( 联结树是一 个无向树, 每个树节点是无向图的称为团的最大全连通子 图) , 然后通过消息传递来进行计算, 消息会依次传遍联结 树的每个节点, 最终使联结树满足全局一致性。此时, 团节 点的能量函 数 就是 该 节 点包 含 的 所 有变 量 的 联 合分 布 函 数。根据消息传递方案的不同, 可将联结树算法分为 Sheno y- Shafer 算法[ 11] 和 Hug in 算法[12] 。这两种算法各有优 点, H ugin 算法由于避免 了一些冗余计 算, 速度更快, 而 Shenoy- Shafer 算法能有效解决更多推理问题。后来, Par k 和 Darw iche 综合这两种算法的优点, 对联结树算法进行了 改进, 大大提高了算法效率[ 13] 。一般联结树算法中消息要 在连接团节点的两条弧上传递两次, Jensen 等在 1998 年提 出了一种基于惰性评价的联结树推理算法( lazy pr opagat ion alg or ithm) [14] , 利用贝叶斯网络的 D- 分离原则, 减少消
息传递和边缘化过程, 很大程度上简化了计算。 联结树算法是目前计算速度最快, 应用最广的贝叶斯
网络精确推理算法, 适用于单连通和多连通网络的推理。 该算法的 计算复杂度 随联结树中 最大团节 点规 模增大 呈指 数增长。但寻找最大团节点最小的联结树是 NP- 困难问 题, 目前主要采用启发式算法寻找近似最优解。 1. 4 符号概率推理算法
径的贝叶 斯网络。 贝叶 斯网络推理 是指利用贝 叶斯网络 的结 构及其 条件
概率表, 在给定证据后计算某些节点取值的概率。概率推 理( pr obabilist ic infer ence) 和最大验后概率解释( MAP explanation) 是贝叶斯网络推理的两个基本任务。Cooper 证 明了贝叶斯网络推理是 NP- 困难问题[2] , 但是针对特定类 型的贝叶斯网络, 近年来研究人员在精确的和近似的推理 算法研究 中取得了很 大进展。下 文从关 键环节 、复 杂性、适 用性、精度等方 面对目 前贝 叶 斯网 络推 理 算法 及其 发 展状 况进行综 述。
Keywords: Bayesian netw ork; accurate inference; approximat e inference
0引言
贝叶斯网络( Bay esian netw o rk ) [ 1] 是由 Pearl 于 1986 年提出的一种不确定知识表示模型, 它以坚实的理论基础、 自然的表达方式、灵活的推理能力和方便的决策机制, 成为 人工智能、专家系 统、模 式识 别、数 据挖 掘和 软 件测 试等 领 域的研究热 点。
具有 N 个节点的贝叶斯网络可用 BN N = n V, E m , P> 表示, 其中: < V, E> 是一个具有 N 个节点的有向无环 图( dir ected acyclic g raph, DAG) , 节点 Vi I V 是部件状态、 观测值、人员操作等的抽象, 有向边( V i, Vj ) I E 表示节点 V i 与 V j 之间存在直接影响或因果关系, V i 称为 V j 的父节 点, V j 称为 Vi 的子节点。P 表示与每个节点相关的条件 概率分布( conditional probability distr ibution, CPD) , 它表 达了节点与 其父节 点 的关 联关 系。 根据 网 络的 连通 特 性, 可将贝叶斯 网络分为 单连通网络 和多连通 网络 。单连 通网 络是指任意 两个节点之 间最多有 一条有向 路径的 贝叶 斯网 络; 多连通网络是指存在两个节点之间有不止一条有向路
( I nst. of I nf or mation Sy s tem & M anagement of N ational Univ . of Def ens e T echnology , Changsha 410073 , China)
Abstract: Bayesian netw ork ( BN) is a pow erful tool to express and infer uncert ain know ledge. Probabilistic inference is an im portant aspect of its research. Bayesian netw orks have already had some relatively mature accurate and approxim at e inference algorithm s as a result of tw ent y years. development. T he present achievement on Bayesian netw ork inference algorith ms is surveied. A nd then a thorough analysis of the algorit hms. complexity, applicab ility and precision is present ed. Som e key aspects of th e algorithms are also point ed out. T he survey w ill be helpf ul on selection and research of t he inference algorithm s.
符号概率推理算法( symbolic pr obabilistic inference a-l gorithm) 是 Shacht er 于 1990 年提出基于组合优化的推理 算法[ 15] 。该算法利用链式乘积规则和条件独立性, 将联合 概率分解为一系列参数化的条件概率的乘积, 然后对公式 进行变换, 通过改变求和与乘积运算的次序, 选择求和时节 点消元顺序, 减少运算量。作为符号概率推理算法的特例, Zhang 等 提出变 量消 元算法[ 16] 、Decht er 提出 桶消 元算 法[17] 、K ask 等提出桶树消元算法[ 18] 等, 也是基于组合优化 的算法, 它们与符号概率推理算法的区别在于寻找最优消 元顺序的 方式不同。