第七章贝叶斯网络

P(vi , v j | V ) P(vi | V )P(v j | V )
因此，给定V ，如果vi条件独立于vj ，则同样有vj条件独立于vi 。这一结 果也可用于集合，即给定V ，如果Vi和Vj是条件独立的，那么
P(Vi ,V j | V ) P(Vi | V )P(V j | V )
5
第七章
贝叶斯网络
李伟生 信科大厦19楼 Tel：62471342 liws@cqupt.edu.cn
1
第7章
贝叶斯网络
内容提要:
7.1 贝叶斯网络及其推理模式
7.2 singleton tree network
7.2 singly-connected network
2
7.1
贝叶斯网络及其推理模式
P(vi | V ,V ' ) P(vi | V ' ) 给定集合V ，如果一个随机变量vi条件独立于另一个变量vj ，则有
P(vi | v j ,V ) P(vi | V )
根据条件概率的定义，有
P(vi | v j ,V )P(v j | V ) P(vi , v j |V )
组合上两式，得到
P(V ) P(vi | U i )
i 1
n
Ui 是 vi 在 网 络 结 构中的父结点集 合
8
d分离
结论：给定证 据集ε ，ε d分 离Vi和Vj。
证据结点集ε vb1 vb2
vi
证据结点，两 条 弧 都 以 Vb1 开始
证据结点，一 条 弧 以 Vb1 开 vj vb3 始，一条弧以 Vb1结束 通过阻塞结点的条件独立
P(V ) P(v1 , v2 ,...,vn ) P(vi | v1, v2 ,...,vi 1 )
i 1
n
根结点的 概率
非根结点与它们 先导结点的条件 概率
6
贝叶斯网络
由上式可以看出，为了确定贝叶斯网络的联合概率分布，要求给
出如下先验概率：①所有根结点的概率；②所有非根结点与它们 先导结点的条件概率。对于n个离散二值随机变量，要确定它们 的联合概率分布，需要给出2n-1个条件概率值，当较大时，通过 各个条件概率来计算联合概率往往是难以处理的。因此，变量间 的条件独立性是很重要的。Pearl对贝叶斯网络中结点间的条件独 立性进行了研究，给出了d分离条件（d -separation condition）的 定义。在贝叶斯网络中，独立关系表现为结点间的 d分离。同理， 其间没有d分离的结点是相互依赖的。
如果一个结点S1N的各个子集S1，S2 ，…，SN相互独立，则可以使用一 层树结构来表示这些结点间的关系，且
Bel( S1N ) Bel( S i )
i 1 N
13
singleton tree network
在上式成立时，网络间的信息传播可由以下式子进行计算。 假设由事件传来的证据e直接作用于结点S，有似然率
Bel' (Y ) m2 Bel(Y )
15
7.3 singly-connected network
其基本思想是对每一个结点X，利用X的相邻结点传递来的消息更新X 的置信度，并将结果向其余相邻结点传播。
X X 树型贝叶斯网络：设影响结点X的证据结点集可表示为 ， X 代表网络中除去以结点X为 X 代表网络中以结点X为根的树的数据信息， 根的树的其它数据信息。则Xi的置信度可表示为
网络结构G， G是一个有向无环图(DAG)，其结点为V，图中的结点为 随机变量，结点的状态对应于随机变量的值；A是图中弧（有向边）的集 合，表示了结点之间的条件（因果）依赖关系。 网络参数P， P为贝叶斯网络的条件概率表集合， P中的每一个元素代 表结点Vi的条件概率表（CPT），由概率的链规则有

16
singly-connected network
消息传播例子：
上传的λ 消息 下传的μ 消息 e1
17
谢谢收看！
再
见
18
7.1.1 贝叶斯网络 7.1.2 d分离 7.1.3 贝叶斯网络的推理模式
wk.baidu.com
3
7.1.1 贝叶斯网络
贝叶斯网络也称为信念网、概率因果网，它是用来表示变量集合
的连续概率分布的图形模式，是人工智能、概率理论、图论、决 策理论相结合的产物。贝叶斯网络提供了一种自然地表示因果信 息的方法，用来发现数据间的潜在关系。作为一种知识表示和进 行概率推理的框架，贝叶斯网络在具有内在不确定性的推理和决 策问题中得到了广泛的应用，例如诊断和故障检测、概率专家系 统、交通管理、计算机视觉和数据挖掘等。
因果推理：从原因到结果，反映了网络中祖先结点对子孙结点的预 计支持 ； 诊断推理（或自底向上推理）是从结果到原因，它反映了网络中子 孙结点对祖先结点的回顾支持 ； 辩解：上述两种推理模式的结合 。
10
贝叶斯网络的推理模式
贝叶斯网络的推理算法可以分为两类：一类称为精确推理，即精确地 计算假设变量的后验概率；另一类称为近似推理，即在不影响推理正确 性的前提下，通过适当降低推理精度来达到提高计算效率的目的。 精确推理一般用于结构较简单的贝叶斯网络，而对于结点数量大、结 构复杂的贝叶斯网络常常采用近似推理。贝叶斯上的精确推理算法主要 有：基于分层假设的证据推理算法、基于单连通网络结构的消息传播方 法、用于多连通网络结构的联合树算法 (Join Tree algorithm)、条件割集法 (Cutset conditional methods)等。尽管贝叶斯网络以其坚实的概率理论基础 及其有效性而被认为是目前最好的不确定推理算法之一，但任意复杂结 构的贝叶斯网络推理计算是NP困难的。因此，对贝叶斯网络推理的研究 中心已转向了近似推理算法的研究。目前已提出了多种近似推理算法， 主要包含两类：一类是随机仿真法；另一类是解决网络某一方面的近似 计 算 法 ， 如 状 态 空 间 提 取 (State space abstraction) 、 弧 删 除 方 法 (Arc removal) 等。
11
贝叶斯网络的推理模式
贝叶斯网络是一种统一的概率推理结构，它为不确定知识条件下的推理提 供了一致连续的解决方法。一个贝叶斯网络包含了一组结点，这些结点代 表了一些随机变量，结点间使用弧进行连接，反映了结点间的相互关系。 在某些结点获得证据信息后，贝叶斯网络在结点间传播和融合这些信息， 每个结点被分配一个与概率定理一致的置信度，直到网络达到新的平衡。
Bel( X i ) P( X i | X , X ) P( X | X i )P( X i | X )
诊断支持分量：( X i ) P( X | X i ) ，反映了X的子孙对Xi的诊断支持
因果支持分量： ( X i ) P( X i | X ) ，反映了X的祖先对Xi的因果支持
贝叶斯网络


条件独立性能用贝叶斯网络结构方便地表示，用贝叶斯网络表示的条件 独立能大量地节约概率推理计算。 定义(贝叶斯网络) 给定随机变量集合V {v1 , v2 ,...,vn }，建立在该集合上的联合概率分布
P(V ) P(v1 , v2 ,...,vn )可以表示为一个贝叶斯网络B G, P ，其中：
Vb3 及其任一后 继都不是证据 结点，两条弧 都以Vb3开始
9
7.1.3 贝叶斯网络的推理模式
利用建立的贝叶斯网络模型解决实际问题的过程称为贝叶斯网络推理。 在一次推理中，那些值已确定的变量构成的集合成为证据D ，需要求解 的变量集合称为假设X，一个推理问题就是求解给定证据条件下假设变 量的后验概率P(X|D)。
m ；向父结点 S向其邻近结点传播以下消息：向每个子孙结点传播 传递传播 m1 Bel' (S ) ， m2 。
S的子孙结点（比如Z）、父结点（比如X）和兄弟结点（比如Y）的置信 度分别更新为 ：
Bel' (Z ) m Bel(Z )
Bel' ( X ) m2 [ Bel( X ) Bel(S )] m1
反映了证据e支持态势S的程度。
P(e | S ) P(e | S )
引入证据e后，结点S的置信度更新为： Bel' (S ) Bel(S )
其中， 为归一化因子，有 [Bel(S ) 1 Bel(S )]1
14
singleton tree network
7
7.1.2 d分离
在贝叶斯网络中，如果对于结点Vi和Vj之间的每个无向路径，在路径 上有某个结点Vb ，若它具有如下三个属性之一，就说结点Vi和Vj条件独 立于给定的结点集 。这三个属性是：
(1) vb ，且路径上的两条弧都以Vb开始。 (2) vb ，路径上的一条弧以Vb开始，另一个以Vb结束。 (3) Vb和它的任何后继都不包含于，路径上的两条弧都以Vb开始。 这样，随机变量集合V上的一个贝叶斯网络唯一确定了一个V上的概率分 布
贝叶斯推理是概率统计学中一种很重要的方法，贝叶斯网络是根
据贝叶斯推理建立的各个变量之间依赖关系的图形模型。为了进 行概率推理，需要给出一组随机变量的联合概率分布。
4
贝叶斯网络
定义(条件独立) 给定随机变量集合V、V’和随机变量vi，如果下式成立， I (vi ,V | V ' ) 则称随机变量vi条件独立于变量集V ，记作：
应用贝叶斯网络求解态势估计问题的基础在于态势可分解成由各事件组成 的层次结构。其求解过程可以分为两步：建立表示态势估计模型的贝叶斯 网络结构；建立置信度更新算法，反映事件在网络中的信息传播。
12
7.2 singleton tree network
该网络中每个结点为单元素集，每个结点表示一种特定的命题。