贝叶斯网络

2.贝叶斯网络

贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl 首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。

贝叶斯网络的有向无环图中的节点{}12,,

,n X X X 表示随机变量，它们可以

是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。

例如，假设节点E 直接影响到节点H ，即E→H ，则用从E 指向H 的箭头建立结点E 到结点H 的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示：

简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

令G = (I,E)表示一个有向无环图(DAG)，其中I 代表图形中所有的节点的集合，而E 代表有向连接线段的集合，且令X = (X i )，i ∈ I 为其有向无环图中的某一节点i 所代表的随机变量，若节点X 的联合概率可以表示成：

()()()

i pa i i I

p x p x x ∈=∏

则称X 为相对于一有向无环图G 的贝叶斯网络，其中，()pa i 表示节点i 之“因”，或称()pa i 是i 的parents （父母）。此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：

()()

()()111211,

,,

,K K K p x x p x x x p x x p x -=

下图所示，便是一个简单的贝叶斯网络：

因为a 导致b ，a 和b 导致c ，所以有:

()()()(),,,p a b c p c a b p b a p a =

2.1贝叶斯网络的3种结构形式:

给定如下图所示的一个贝叶斯网络：

（1） x 1, x 2 , …,x 7的联合分布为:

()()()()()()()()

1234567123412351364745,,,,,,,,,,p x x x x x x x p x p x p x p x x x x p x x x p x x p x x x =

（2）x 1和x 2独立（对应head-to-head ）；

（3）x 6和x 7在x 4给定的条件下独立（对应tail-to-tail ）

根据上图，第（1）点可能很容易理解，但第（2）、（3）点中所述的条件独立是啥意思呢？其实第（2）、（3）点是贝叶斯网络中3种结构形式中的其中二种。为了说清楚这个问题，需要引入D-Separation （D-分离）这个概念。

D-Separation 是一种用来判断变量是否条件独立的图形化方法。换言之，对于一个DAG(有向无环图)E ，D-Separation 方法可以快速的判断出两个节点之间是否是条件独立的。 2.1.1 head-to-head

贝叶斯网络的第一种结构形式如下图所示：

所以有：()()()(),,,p a b c p a p b p c a b =成立，化简后可得：

()()()()

()()()

,,,,c

c

p a b c p a p b p c a b p a b p a p b =⇒=∑∑

在c 未知的条件下，a 、b 被阻断(blocked)，是独立的，称之为head-to-head 条件独立，对应本节中最开始那张图中的“x 1、x 2独立”。 2.1.2 tail-to-tail

贝叶斯网络的第二种结构形式如下图所示:

在c 未知的时候，有：()()()(),,p a b c p c p a c p b c =，此时，无法得出

()()(),p a b p a p b =，即c 未知时，a 、b 不独立。

c 已知时，有()()(),,,p a b c p a b c p c =，将()()()(),,p a b c p c p a c p b c =带入式子，得()()()()()()()()(),,,p a b c p a b c p c p c p a c p b c p c p a c p b c ===，即c 已知时，a 、b 独立。

所以，在c 给定的条件下，a ，b 被阻断(blocked)，是独立的，称之为tail-to-tail 条件独立，对应本节中最开始那张图中的“x 6和x 7在x 4给定的条件下独立”。

2.1.3 head-to-tail

贝叶斯网络的第三种结构形式如下图所示：

c 未知时，有：()()()(),,p a b c p a p c a p b c =，但无法推出()()(),p a b p a p b =，即c 未知时，a 、b 不独立。

c 已知，有()()(),,,p a b c p a b c p c =，据()()()()(),pa c pa pc a pc pa c =

=

，

可化简得到：

()()()

()()()()()()()()()

,,,,p a b c p a b c p c p a p c a p b c p c p a c p b c p c p a c p b c ====

所以，在c 给定的条件下，a ，b 被阻断(blocked)，是独立的，称之为head-to-tail 条件独立。

head-to-tail 其实就是一个链式网络，如下图所示：

根据之前对head-to-tail 的讲解，我们已经知道，在x i 给定的条件下，x i+1的分布和x 1,x 2…x i-1条件独立。意味着啥呢？意味着：x i+1的分布状态只和x i 有关，和其他变量条件独立。通俗点说，当前状态只跟上一状态有关，跟上一个状态之前的状态无关。这种顺次演变的随机过程，就叫做马尔科夫链（Markov chain ）。且有：

()()10121,,,

,n n n n p X x X X X X p X x X ++===

接着，将上述结点推广到结点集，则是：对于任意的结点集A ，B ，C ，考察所有通过A 中任意结点到B 中任意结点的路径，若要求A ，B 条件独立，则需要所有的路径都被阻断(blocked)，即满足下列两个前提之一：

A 和

B 的“head -to-tail 型”和“tail -to-tail 型”路径都通过

C ； A 和B 的“head -to-head 型”路径不通过C 以及C 的子孙； 2.2 因子图

引入实例：

根据上图，在一个人呼吸困难（dyspnoea ）的情况下，求其抽烟（smoking ）的概率是多少。即：()?p smoking dyspnoea yes

=

=

，根据条件概率推导可得：