第四章 贝叶斯网与概率推理

A
4.3 复杂度分析

变量的消元成本 ()：VE算法中消元函数
F 挑出所有涉及 的函数 Z
E lim(，从 F , Z)
中
{ f1 , f 2 , f k } ，将它们相乘得到中间函
数 ，再将 从 g 中消去。假设 Z g
l
X1 ,,之外的变 Xl g 是 中所有除
g 量，则 Z 所需存储的函数值的个数为
A
F 1 (B), P(C| B), P(D| C)


2 (C ) P(C | B) 1 ( B)
B
F 2 (C), P(D| C)


P( D) 3 ( D) P( D | C ) 2 (C )
C
4.2.2 消元运算

设F ( X , X , L 是变量 ,X )
i
它们对应的节点之间添加一条边。

端正图：设 G 为一有向无环图，如果将 G中每个结点的不 同父节点结合，即在它们之间加一条边，然后去掉所有边 的方向，所得到的无向图成为G的端正图。

例：给定函数集合
F {P ( A), P (T | A), P( S ), P( L | S ), P ( B | S ), P ( R | T , L), P ( X | R ), P ( D | R, B )}
画出其结构图。
A T R L S B
X
D

结构图与消元复杂度：在结构图中计算某变量的消元成本， 即计算与变量相邻的节点的集合。

消元与结构图变换：将变量从结构图中消去做法如下：
(1)在结构图中将所有与消去变量相邻的节点两两相连； (2)从结构图中删去变量节点。

VE 算法的复杂度：给定结构图，和两个不同的消元顺序：
4.1.3 最大可能解释问题
在贝叶斯网中，证据 E 的一个解释指的是网络中全部变 e 量的一个与 释即最大可能解释(MPE)。

Ee 相一致的状态组合。而概率最大的那个解
例：在例4.1中，对证据
X y,的一个解释为 D n
A y, S y,T y, L y, B y, X y, D n
4 ( A) 3 ( A, D)
D
2 ( B, D) P( F 0 | D, E) 1 ( B, E)
E
F P(A), 4 ( A)


F P(A),P(B), P(D| A, B), 2 (B, D)


P( A | F 0) P( A) 4 ( A) P( A) 4 ( A)
记为 。
f X x (Y )
f ( X x, Y )

设
N 是 X是一个贝叶斯网 中所有变量的集合， F
中所有概率分布的集 N 的一
合。按照贝叶斯网的定义， 是 所表示的联合概率分布 N F 个分解。假设观测到了证据 P( X ) 置。

F 。在 E 的因子中，将各证据变量设 e
，此过程称为证据设 F'
3 ( A, D) P( B) P( D | A, B) 2 ( B, D)
B
1 ( B, E ) P(C ) P( E | B, C )
C
F P(A), 3 ( A, D)


P(A),P(B),P(D| A, B), F P(F 0 | D, E) , ( B , E ) 1
A, B ,C
表达式的复杂度为：28次乘法和14次加法。

) 我们注意到：与变量A相关的表达式为 P ( A 和
P( B | A ) ，与
变量B相关的表达式为 达式为 和
P(C | B) 和
P，与变量 ( B | A) C相关的表
P(C |。则表达式 B) P( D(1) | C可写为如下形式： )
置为它们的观测值，得到另一组函数，记为
设 Q是 Y 的一个子集合，从
中逐个消去所有在 中但不在 F' Y
中的变 Q 。按
量，得到另一个函数集合，记为
'' '' F 。由定理4.1知 F 是
P(Q, E e的一个分解，故将 ) 中的所有因子相乘，就得到 F '' P(Q, E e) 照条件概率的定义，可得：
F' 的
一个分解。 G( X ,, X
2
n
)
4.2.3 算法描述

Y) 定义函数上的运算：设 f ( X ,是两组变量
其中
和 X 的函数， Y
x ，并设 为 X Y 的一取值。在
X
Y：
中，将 设置为X 得到一个关于 x 的函数 f (X ,Y )
f X x (Y )
我们把
f X x (Y y) f ( X x, Y y),y Y
共有 25 种解释， MPE问题即是要找出概率最大的那个解 32 释。
4.2 变量消元算法

概率分布的分解与推理复杂度 消元运算 算法描述


4.2.1 概率分布的分解与推理复杂度

1、以下图为例：
A B C D
由图可知：C与A相互独立，D与A、B相互独立，则
P( D)
A, B ,C
B | A) P(C | B) P( D | C) P( A, B, C, D) P( A)P((1)
A:出访
X
，问病人患哪个或哪些疾病的可能性 y, D n
S:抽烟
T:肺炎
L:肺癌
B:支气管炎
X:X光
D:呼吸困难
由图中关系可知： T , L, B 是假设变量，假设的组合有八种，我们需要的
是后验概率即
最大的那个组合。这就是一个 MAP问题。 P(T , L, B | X y, D n)
1 A, X , D, S,和 B, L, T , R
2 R, L,T , D, B, S, A, X
则其消元成本分别为46和254。
A T R L S B
X
D
4.4 消元顺序
4.4.1 最大势搜索

g 设 g 是一个包含 n个节点的无向图，最大势搜索对 中所有
节点按如下规则从大到小进行编号：
(2) 复杂度为： 12次乘法和 6次加法。 C B A
P( D) P( D | C ) P(C | B) P( A) P( B | A)

2、联合分布分解的流程图
F P(A) , P(B| A), P(C| B), P(D| C)


1 ( B) P( A) P( B | A)
C, E, B, D 。上图所给出的贝叶斯网的分
F {P( A), P( B), P(C ), P( D | A, B), P( E | B, C ), P( F | D, E)}
P (A),P (B),P (C), P (D| A, B), F P (E | B, C) , P (F 0 | D, E)

概率推理的四种类型：
诊断推理 预测推理



原因关联推理
混合推理

4.1.2 最大后验假设问题

最大后验假设(MAP)：我们在所有可能的假设中，找出后 验概率最大的那个假设 h 即

h arg max P( H h | E e)
h


例4.1 如下图所示，假设病人的X光胸透结果有阴影，但却没有呼吸困 难的症状，即证据为 最大?
1 2 n
{X的一个函数，而 1, X 2 , L , X n}
F { f1 , f 2 ,, f m }
fi 是一组函数，其中每个 所涉及的变量是
的一个子集。如果 {X1 , X 2 ,, X n }
F fi
i 1
m
则称 F 是 F 的一个分解，
消元：从函数
f1 , f 2称为这个分解的因子。 ,, f m
P(Q, E e) P(Q | E e) P ( E e)
其中
P( E e) P(Q, E e)
Q
。此过程即为变量消元法，简称VE算法。

例4.4 如图所示贝叶斯网中，已知证据为 {F ，用 0} VE算法 计算
P( A | F 0) 。
A
B
C E
D F

变量消元顺序 解为
在第 步中，选择拥有最多已编号相邻节点的未编号节点，将其编 i 号为 得到一个变量的消元顺序。
。所有节点均被编号后，按编号由小到大将结点排序，就 n i 1
4.4.2 最小缺边搜索

缺边数：在结构图中消去某个变量时，需要添加的边数。 最小缺边搜索在每一步都要计算所有节点的缺边数，选择 缺边数最小的那个节点作为下一个消元节点。
X1
F中消去 ( X 1 , X 2 , , Xn) ，得到函数
G( X 2 ,, X n ) 的过程。

定理4.1 设 F是函数
F ( X1 , X 2 ,, X n )
的一个分解，设 F ' 是从
G( X 2 ,, X n ) 是从
F 中消去 X后所得的一组函数， 1
F ( X1 ,中消去 X 2 ,, X n ) 后所得的函数，那么 是 X1


Thank You！
i 1
，此表达式是
g 函数Z 的复杂性的一个度量，也是变量 的消元成本。 Xi
Z
4.3.2 复杂度的计算

考虑一个函数的集合 F { f1, f 2 , ， 的结构图是按如下方法 , fm } F 定义的无向图：
（ 1 ）从空图出发，对于 F 中的每一个变量，在图中相应地添加一 个节点。 （2）对任意两个变量 和 中，f 则在 X ，如果Leabharlann Baidu们出现在同一个因子 Y
第四章 贝叶斯网与概率推理
2014年11月6日
计算数学 学号：201320120793 李诗雪
4.1 推理问题

推理是通过计算回答查询的过程。 三大类推理问题： 后验概率问题



最大后验假设问题
最大解释可能问题

4.1.1 后验概率问题

后验概率问题指的是已知贝叶斯网中某些变量的取值，计 算另外一些变量的后验概率分布的问题。