贝叶斯网络

201算概率分布
假设对于顶点xi, 其双亲节点集为Pai, 每个变量xi 的条件概率P (xi|Pai)。则顶点 集合X= {x1, x2,…,xn}的联合概率分布可如 下计算:
图1 的贝叶斯网络的简化联合概率公式如下: P (x1, x2, x3, x4, x5, x6) = P (x6|x5) P (x5|x2, x3) P (x6|x1, x2) P (x3|x1) P (x2|x1) P (x1)
2014-6-9
贝叶斯网络
24
贝叶斯网的表示方法
贝叶斯网络是表示变量间概率依赖关系的有向无环图
P(A) P(S)
亚洲旅游（A）
P(T|A)
抽烟（S）
P(L|S)
P(B|S)
肺结核（T）
肺癌（L）
支气管炎（B）
T 0 0 0 0 L 0 0 1 1 B 0 1 0 1
CPT:
D=0 0.1 0.7 0.8 0.9 ... D=1 0.9 0.3 0.2 0.1
P(j,m,a,~b,~e) = P(j|a)P(m|a)P(a|~b,~e) P(~b) P(~e)
= 0.9×0.7×0.001×0.999×0.998 = 0.00062 = 0.062%
2014-6-9 贝叶斯网络 19
贝叶斯网络的特性：
作为对域的一种完备而无冗余的表示，贝叶 斯网络比全联合概率分布紧凑得多 BN的紧凑性是局部结构化(Locally structured, 也称稀疏, Sparse)系统一个非常普遍特性的 实例 BN中每个节点只与数量有限的其它节点发 生直接的相互作用 假设节点数n=30, 每节点有5个父节点，则 BN需30x25=960个数据，而全联合概率分布 30= 10亿个！ 需要 2 2014-6-9 20 贝叶斯网络
2014-6-9 贝叶斯网络 11
贝叶斯网络的由来
• 全联合概率计算复杂性十分巨大 • 朴素贝叶斯太过简单 • 现实需要一种自然、有效的方式来捕捉 和推理——不确定性知识 • 变量之间的独立性和条件独立性可大大 减少为了定义全联合概率分布所需的概 率数目
2014-6-9 贝叶斯网络 12
贝叶斯网络定义
2014-6-9 贝叶斯网络 9
加法定理
两个不相容 ( 互斥 ) 事件之和的概率 , 等 于两个事件概率之和,即 P(A+B)＝ P(A)＋P(B)
若A、B为两任意事件，则： P(A+B)＝P(A)＋P(B)－P(AB)
2014-6-9 贝叶斯网络 10
乘法定理
设A、B为两个任意的非零事件，则其乘 积的概率等于 A( 或 B)的概率与在 A( 或 B) 出现的条件下 B( 或 A)出现的条件概率的 乘积。 P(A·B)＝P(A)·P(B|A) 或 P(A·B)＝P(B)·P(A|B)
2014-6-9 贝叶斯网络 29
全概率
例:某汽车公司下属有两个汽车制造厂,全部产品的40%由甲厂 生产,60%由乙厂生产.而甲乙二厂生产的汽车的不合格率分别 为1%,2%.求从公司生产的汽车中随机抽取一辆为不合品的概 率. 解:设A1,A2分别表示{甲厂汽车} {乙厂汽车},B表示{不合格品}
P(B)=P(A1B+A2B) =P(A1B)+P(A2B) =P(A1)P(B/A1)+P(A2)P(B/A2) =0.4×0.01+0.6×0.02 2014-6-9 贝叶斯网络 =0.016

抽象图
图1 是一个含6 个节点的贝叶斯网络, 这个图表达了分 布的一系列有条件独立属性: 在给定了父亲节点的状态后, 每个变量与它在图中的非继承节点在概率上是独立的。该 图抓住了概率分布的定性结构, 并被开发来做高效推理和 决策。
2014-6-9
贝叶斯网络
21
条件概率表
如果一个贝叶斯网络提供了足够的条件概率值, 足以计 算任何给定的联合概率, 我们称它是可计算的,即可推理的。 贝叶斯网络能表示任意概率分布的同时, 它们为 这些能用简单结构表示的分布提供了可计算优势。

2014-6-9 贝叶斯网络 15
独立和条件独立
Cavity Weather
Toothache

Catch
Weather和其它3个变量相互独立 给定Cavity后，Toothache和Catch条件独立
2014-6-9 贝叶斯网络 16
贝叶斯网络示例
Burglary
P(B) 0.001
Earthquake
2014-6-9 贝叶斯网络 23
一旦命题之间的相关性由有向弧表示, 条件概率由 弧的权值来表示, 则命题之间静态结构关系的有关知 识就表示出来了。 当获取某个新的证据事实E时, 要对每个命题的可 能取值加以综合考查, 进而对每个结点定义一个信任 度, 记作B (x)。 可规定 B (x) = P (x= xi|E) 来表示当前所具有的所有事实和证据E 条件下, 命 题x 取值为xi 的可信任程度, 然后再基于B (x) 计算的 证据和事实下各命题的可信任程度。
2014-6-9
贝叶斯网络
5
贝叶斯网络是什么
• 随着人工智能的发展，尤其是机器学习、数据挖 掘等兴起，为贝叶斯理论的发展和应用提供了更 为广阔的空间。贝叶斯理论的内涵也比以前有了 很大的变化。80年代贝叶斯网络用于专家系统的 知识表示，90年代进一步研究可学习的贝叶斯网 络，用于数据挖掘和机器学习。近年来，贝叶斯 学习理论方面的文章更是层出不穷，内容涵盖了 人工智能的大部分领域，包括因果推理、不确定 性知识表达、模式识别和聚类分析等。并且出现 了专门研究贝叶斯理论的组织和学术刊物ISBA
贝叶斯网络
2014-6-9
贝叶斯网络
1
内容提要
概述 贝叶斯概率基础 贝叶斯学习理论 简单贝叶斯学习模型 贝叶斯网络的建造
贝叶斯网络是什么
• 贝叶斯网络是用来表示变量间连接概率的 图形模式，它提供了一种自然的表示因果 信息的方法，用来发现数据间的潜在关系。 在这个网络中，用节点表示变量，有向边 表示变量间的依赖关系。 • 贝叶斯方法正在以其独特的不确定性知识 表达形式、丰富的概率表达能力、综合先 验知识的增量学习特性等成为当前数据挖 掘众多方法中最为引人注目的焦点之一。
28
全概率公式
设 A1,A2,…,An 是 两 两 互 斥 的 事 件 ， 且 P(Ai)>0， i =1,2,…,n, A1+A2+…,+An=Ω 另有一事件B = BA1+BA2+…,+BAn A1
P ( B) P ( Ai ) P ( B｜Ai )
i 1
n
A3 B
An
A2 称满足上述条件的 A1,A2,…,An为完备事件组.
贝叶斯网络是表示变量间概率依赖关系 的有向无环图，这里每个节点表示领域 变量，每条边表示变量间的概率依赖关 系，同时对每个节点都对应着一个条件 概率分布表(CPT) ，指明了该变量与父 节点之间概率依赖的数量关系。
2014-6-9 贝叶斯网络 13
贝叶斯网络的定义

是一个有向无环图(DAG) 随机变量集组成网络节点，变量可离散或连续 一个连接节点对的有向边或箭头集合 每 节 点 Xi 都 有 一 个 条 件 概 率 分 布 表 ： P(Xi|Parents(Xi))，量化其父节点对该节点的影响
2014-6-9
贝叶斯网络
26
后验概率
后验概率一般是指利用贝叶斯公式，结 合调查等方式获取了新的附加信息，对 先验概率进行修正后得到的更符合实际 的概率。
2014-6-9
贝叶斯网络
27
联合概率
联合概率也叫乘法公式，是指两个任意 事件的乘积的概率，或称之为交事件的 概率。
2014-6-9
贝叶斯网络
P(C|T,L)
P(D|T,L,B)
胸部透视（C）
呼吸困难（D） =
P(A, S, T, L, B, C, D)
条件独立性假设
2014-6-9
P(A) P(S) P(T|A) P(L|S) P(B|S) P(C|T,L) P(D|T,L,B)
贝叶斯网络
有效的表示
25
先验概率
先验概率是指根据历史的资料或主观判断所确定 的各事件发生的概率，该类概率没能经过实验证实， 属于检验前的概率，所以称之为先验概率。先验概率 一般分为两类，一是客观先验概率，是指利用过去的 历史资料计算得到的概率；二是主观先验概率，是指 在无历史资料或历史资料不全的时候，只能凭借人们 的主观经验来判断取得的概率。
• 贝叶斯网络的语义
P(x1,..., xn) = P(x1|parent(x1)) ... P(xn|parent(xn))
2014-6-9
贝叶斯网络
18
贝叶斯网络的语义公式计算示例：
• 试计算：报警器响了，但既没有盗贼闯入，也 没有发生地震，同时John和Mary都给你打电话 的概率。 • 解：
∵A1A2=φ
P(A1)=0.4, P(A2)=0.6 P(B/A1)=0.01, P(B/A2)=0.02
甲
A1
B
乙 A2
30
全概率
诸Ai是原因 B是结果 A3
由此可以形象地 把全概率公式看成为 “由原因推结果”， 每个原因对结果的发 生有一定的“作用” ，即结果发生的可能 性与各种原因的“作 用”大小有关 . 全概率 公式表达了它们之间 的关系 .
2014-6-9 贝叶斯网络 4
贝叶斯网络是什么
• 二十世纪初，意大利的菲纳特（B. de Finetti）以及英国 的杰弗莱（Jeffreys H.）都对贝叶斯学派的理论作出重要 的贡献。第二次世界大战后，瓦尔德（Wald A.）提出了 统计的决策理论，在这一理论中，贝叶斯解占有重要的地 位；信息论的发展也对贝叶斯学派做出了新的贡献。 1958年英国最悠久的统计杂志Biometrika全文重新刊登了 贝叶斯的论文，20世纪50年代，以罗宾斯（Robbins H.） 为代表，提出了经验贝叶斯方法和经典方法相结合，引起 统计界的广泛注意，这一方法很快就显示出它的优点，成 为很活跃的一个方向。
p＝P(A) 可见概率就是频率的稳定中心。任何事件 A 的概 率为不大于1的非负实数，即 0＜P(A)＜1
2014-6-9 贝叶斯网络 8
条件概率
条件概率 :我们把事件 B 已经出现的条件下， 事件A发生的概率记做为P(A|B)。并称之为在 B 出现的条件下 A 出现的条件概率，而称 P(A) 为无条件概率。 若事件A 与B中的任一个出现，并不影响另一 事件出现的概率，即当 P(A)＝P(A|B) 或 P(B) ＝P(B|A)时，则称A与B是相互独立的事件。
2014-6-9 贝叶斯网络 3
贝叶斯网络是什么
• 贝叶斯（Reverend Thomas Bayes 1702-1761） 学派奠基性的工作是贝叶斯的论文“关于几率性 问题求解的评论”。或许是他自己感觉到它的学 说还有不完善的地方，这一论文在他生前并没有 发表，而是在他死后，由他的朋友发表的。著名 的数学家拉普拉斯（Laplace P. S.）加以应用， 贝叶斯的方法和理论逐渐被人理解和重视起来。 但由于当时贝叶斯方法在理论和实际应用中还存 在很多不完善的地方，因而在十九世纪并未被普 遍接受。
B E P(A)
P(E)
0.002
Alarm
t t f f
t f t f
0.95 0.94 0.29 0.001
JohnCalls
2014-6-9
A
P(J)
t f
0.90 0.05
MaryCalls
贝叶斯网络
A
P(M)
t f
0.70 0.01
17
贝叶斯网络的语义
• 贝叶斯网络的两种含义
对联合概率分布的表示 — 构造网络 对条件依赖性语句集合的编码 — 设计推理过程
2014-6-9
贝叶斯网络
14
贝叶斯网络的别名
信念网(Belief Network) 概率网络(Probability Network) 因果网络(Causal Network) 知识图(Knowledge Map) 图模型(Graphical Model)或概率图模型(PGM) 决策网络(Decision Network) 影响图(Influence Diagram)
2014-6-9 贝叶斯网络 6
贝叶斯网络的应用领域
– 辅助智能决策 – 数据融合 – 模式识别 – 医疗诊断 – 文本理解 – 数据挖掘
2014-6-9 贝叶斯网络 7
统计概率
统计概率:若在大量重复试验中，事件A发生的频 率稳定地接近于一个固定的常数p，它表明事件A 出现的可能性大小，则称此常数p为事件A发生的 概率，记为P(A), 即