贝叶斯网络的特性

贝叶斯网络的语义
P(x1,..., xn) = P(x1|parent(x1)) ... P(xn|parent(xn))
贝叶斯网络的语义公式计算示例：
试计算：报警器响了，但既没有盗贼闯入，也 没有发生地震，同时John和Mary都给你打电话 的概率。 解：

P(j,m,a,~b,~e) = P(j|a)P(m|a)P(a|~b,~e) P(~b) P(~e)
已知：P(~fever | cold, ~flu, ~malaria) = 0.6 P(~fever | ~cold, flu, ~malaria) = 0.2 P(~fever | ~cold, ~flu, malaria) = 0.1， 可利用“噪声或”（Noisy-OR）关系得到下表：
Cold F F F F T T T T Flu F F T T F F T T Malaria F T F T F T F T P(Fever) 0.0 0.9 0.8 0.98 0.4 0.94 0.88 0.988 P(~Fever) 1.0 0.1 0.2 0.02 = 0.2 X 0.1 0.6 0.06 = 0.6 X 0.1 0.12 = 0.6 X 0.2 0.012 = 0.6 X 0.2 X 0.1

D. 独立和条件独立
Cavity Weather
Toothache

Catch
Weather和其它3个变量相互独立 给定Cavity后，Toothache和Catch条件独立
E. 贝叶斯网络示例
Burglary
P(B) 0.001
Earthquake
B E P(A)
P(E)
0.002
Alarm

贝叶斯网络中的条件独立关系：
给定父节点，一个节点与它的非后代节点是 条件独立的 给定一个节点的父节点、子节点以及子节点 的父节点——马尔可夫覆盖(Markov blanket)， 这个节点和网络中的所有其它节点是条件独 立的

“But his delight is in the law of the LORD, and on his law he meditates day and night.” From Psalms 1:2 NIV
“Above all else, guard your heart, for it is the wellspring of life.” from Proverbs 4:23 NIV
A. 贝叶斯网络的由来
全联合概率计算复杂性十分巨大 朴素贝叶斯太过简单 现实需要一种自然、有效的方式来捕捉 和推理——不确定性知识 变量之间的独立性和条件独立性可大大 减少为了定义全联合概率分布所需的概 率数目

贝叶斯网络的构造原则：
首先，添加“根本原因”节点 然后，加入受它们直接影响的变量 依次类推，直到叶节点，即对其它变量没有 直接因果影响的节点 两节点间的有向边的取舍原则：更高精度概 率的重要性与指定额外信息的代价的折衷 “因果模型”比“诊断模型”需要更少的数 据，且这些数据也更容易得到
包含连续变量的贝叶斯网络－Hybrid BN
P(S) P(H)
Subsidy
x
Harvest
高斯分布
S
HБайду номын сангаас
P(C)
Cost
t f C
h 高斯分布 h 高斯分布 P(B) S型函数
Buys
c
离散随机变量：Subsidy, Buys;
连续随机变量：Harvest, Cost.
线性高斯分布：
P(c | h, subsidy) = N(ath + bt, t2)(c) = 1/ (t21/2) e –1/2{[c-(ath + bt)]/t]} P(c | h, ~subsidy) = N(afh + bf, f2)(c) = 1/ (f21/2) e –1/2{[c-(afh + bf)]/t]}
= 0.9×0.7×0.001×0.999×0.998 = 0.00062 = 0.062%
贝叶斯网络的特性：
作为对域的一种完备而无冗余的表示，贝叶 斯网络比全联合概率分布紧凑得多 BN的紧凑性是局部结构化(Locally structured, 也称稀疏, Sparse)系统一个非常普遍特性的 实例 BN中每个节点只与数量有限的其它节点发 生直接的相互作用 假设节点数n=30, 每节点有5个父节点，则 BN需30x25=960个数据，而全联合概率分布 需要230= 10亿个！
贝叶斯网络初步
内容提纲
何谓贝叶斯网络？ 贝叶斯网络的语义 条件分布的有效表达 贝叶斯网络中的精确推理 贝叶斯网络中的近似推理 课后习题、编程实现及研读论文

7.1 何谓贝叶斯网络？
A.
B.
C.
D.
E.
贝叶斯网络的由来 贝叶斯网络的定义 贝叶斯网络的别名 独立和条件独立 贝叶斯网络示例

B. 贝叶斯网络的定义

是一个有向无环图(DAG) 随机变量集组成网络节点，变量可离散或连续 一个连接节点对的有向边或箭头集合 每 节 点 Xi 都 有 一 个 条 件 概 率 分 布 表 ： P(Xi|Parents(Xi))，量化其父节点对该节点的影响
C. 贝叶斯网络的别名
信念网(Belief Network) 概率网络(Probability Network) 因果网络(Causal Network) 知识图(Knowledge Map) 图模型(Graphical Model)或概率图模型(PGM) 决策网络(Decision Network) 影响图(Influence Diagram)
U1
Um
【说明】：
Z1j
X
Znj
给定节点X的 父节点U1... Um，节点X与 它的非后代节 点（即Zij）是 条件独立的。
Y1
Yn
U1
Um
【说明】：
Z1j
X
Znj
Y1
Yn
给定马尔可夫 覆盖（两圆圈 之间的区域）， 节点X和网络 中所有其它节 点都是条件独 立的。
7.3 条件概率分布的有效表达
t t f f
t f t f
0.95 0.94 0.29 0.001
JohnCalls
A
P(J)
t f
0.90 0.05
MaryCalls
A
P(M)
t f
0.70 0.01
7.2 贝叶斯网络的语义
贝叶斯网络的两种含义
对联合概率分布的表示
— 构造网络 对条件依赖性语句集合的编码 — 设计推理过程