第8章 贝叶斯网络

宴会(PT)
喝醉(HO)
脑瘤(BT)
头疼(HA)
酒精味(SA) X射线(PX)
来自百度文库
2.贝叶斯概率基础
6
先验概率、后验概率和条件概率
条件概率公式
全概率公式 贝叶斯公式
2.1先验概率、后验概率和条件概率
7
先验概率：根据历史资料或主观判断所确定的 各种事件发生的概率； 后验概率：通过贝叶斯公式，结合调查等方式 获取了新的附加信息(证据)，对先验概率修正 后得到的更符合实际的概率； 条件概率：某事件发生后该事件的发生概率。
（3）如果它的所有父节点中有一个没有处理过，则不处理这个节点；否则， 继续下面的步骤；
（4）根据节点n的所有父节点的概率以及条件概率或联合条件概率计算节点 n的概率分布，并把节点n标记为已处理；
（5）重复步骤（2）-（4）共m次。此时，节点t的概率分布就是它的发生/ 不发生的概率。算法结束。
4.2贝叶斯网络的诊断算法
P( A) P( Bi ) P( A | Bi )
i 1
n
基本事件的互斥性 基本事件的完备性
Bi B j , i j, i, j 1,2,......, n
B1 B2 ...... Bn
2.3贝叶斯公式
10
由条件概率公式和全概率公式可以推得贝叶斯公式，即
贝叶斯网络-讲述内容
4
引例 贝叶斯概率基础(先验/后验概率，条件概率，全概率) 贝叶斯网络概述(组成、结构、优缺点等) 贝叶斯网络的预测、诊断和训练算法
1.引 例
5
参加晚会后，第二天早 晨呼吸中有酒精味的可 能性有多大？ 如果头疼，患脑瘤的概 率有多大？ 如果参加了晚会，并且 第二天有酒精味，那么 喝醉的概率有多大？
解： P(+HO)=0.7 P(-HO)=1- P(+HO)= 0.3 P(+SA)=
P(+SA|+HO)P(+HO)+ P(+SA|-HO)P(-HO)=0.59
4.1贝叶斯网络的预测算法
20
例3：计算已知参加晚会(+PT)的情况下，头疼(+HA)的概率。
P(HO|PT) PT=TRUE PT=FALSE TRUE 0.7 0 FALSE 0.3 1
4.2叶斯网络的诊断算法
25
例5：计算已知头疼(+HA)的情况下，患脑瘤(+BT)概率。
P(HO|PT) PT=TRUE PT=FALSE TRUE 0.7 0 FALSE 0.3 1
宴会(PT)
P(PT) P(BT) TRUE 0.2 0.001 FALSE 0.8 0.999
喝醉(HO)
P(SA|HO) HO=TRUE HO=FALSE TRUE 0.8 0.1 FALSE 0.2 0.9
P(+HA|+HO,-BT)P(+HO,-BT)+
P(+HA|-HO,+BT)P(-HO,+BT)+ P(+HA|-HO,-BT)P(-HO,-BT) =0.116 P(-HA)=1-P(+HA)=0.884
4.1贝叶斯网络的预测算法
18
例2：计算已知参加晚会(+PT)的情况下，呼吸有酒精味 (+SA)的 概率。 P(PT) P(BT)
P(HO|PT) PT=TRUE PT=FALSE TRUE 0.7 0 FALSE 0.3 1
宴会(PT)
P(PT) P(BT) TRUE 0.2 0.001 FALSE 0.8 0.999
喝醉(HO)
P(SA|HO) HO=TRUE HO=FALSE TRUE 0.8 0.1 FALSE 0.2 0.9
23
例4：计算已知X光检查呈阳性(+PX)的情况下，患脑瘤(+BT)概率。
P(HO|PT) PT=TRUE PT=FALSE TRUE 0.7 0 FALSE 0.3 1
宴会(PT)
P(PT) P(BT) TRUE 0.2 0.001 FALSE 0.8 0.999
喝醉(HO)
P(SA|HO) HO=TRUE HO=FALSE TRUE 0.8 0.1 FALSE 0.2 0.9
解： P(+HO)=0.7
P(-HO)=1- P(+HO)= 0.3
P(+HA)=
P(+HA|+HO,+BT)P(+HO,+BT)+ P(+HA|+HO,-BT)P(+HO,-BT)+ P(+HA|-HO,+BT)P(-HO,+BT)+P(+HA|-HO,-BT)P(-HO,-BT)
=0.496
P(-HA)=1-P(+HA)=0.504 2014-12-23
在统计学领域内，贝叶斯理 论在很多方面取得进展。如： 生物统计、因果关系研究、 分类、判别、神经网络、列 联表、决策分析和决策论、 试验设计、经验贝叶斯、有 穷总体抽样、广义线性模型、 现在已很难发现一个人类的研究领域 图方法和贝叶斯网络、多层 不存在某种水平的贝叶斯分析工具。 建模、图像处理、信息论等。
4.1贝叶斯网络的预测算法
17
例1：计算节点HA的概率。
解：
P( A) P( Bi ) P( A | Bi )
i 1
n
P(+HO)=P(+HO|+PT)P(+PT)+ P(+HO|PT)P(-PT)=0.14 P(-HO)=1- P(+HO)= 0.86 P(+HA)=P(+HA|+HO,+BT)P(+HO,+BT)+
脑瘤(BT)
P(PX|BT) BT=TRUE BT=FALSE TRUE 0.98 0.01 FALSE 0.02 0.99
头疼(HA)
酒精味(SA)
P(HA|HO,PT) TRUE FALSE
X射线(PX)
HO=FALSE BT=TRUE BT=FALSE 0.9 0.02 0.1 0.98
HO=TURE BT=TRUE BT=FALSE 0.99 0.7 0.01 0.3
宴会(PT)
P(PT) P(BT) TRUE 0.2 0.001 FALSE 0.8 0.999
喝醉(HO)
P(SA|HO) HO=TRUE HO=FALSE TRUE 0.8 0.1 FALSE 0.2 0.9
脑瘤(BT)
P(PX|BT) BT=TRUE BT=FALSE TRUE 0.98 0.01 FALSE 0.02 0.99
4.贝叶斯网络的几个主要议题
14
贝叶斯网络预测 宴会(PT) 贝叶斯网络诊断 贝叶斯网络预测与诊断的综合 贝叶斯网络学习/训练
喝醉(HO) 条件概 率表 头疼(HA) X射线(PX) 脑瘤(BT)
酒精味(SA)
4.1概率和条件概率数据
15
P(HO|PT) PT=TRUE PT=FALSE TRUE 0.7 0 FALSE 0.3 1
4.2贝叶斯网络的诊断算法
24
例4：计算已知X光检查呈阳性(+PX)的情况下，患脑瘤(+BT)概率。
解：
P( A | B) P( B | A) P( A) P( B)
P(+BT|+PX)=P(+PX|+BT)P(+BT)/P(+PX) P(+PX)=P(+PX|+BT)P(+BT)+P(+PX|-BT)P(-BT)=0.011 P(+BT|+PX)=0.98*0.001/0.011=0.089 P(-BT|+PX)=1- P(+BT|+PX) =0.911
头疼(HA)
酒精味(SA)
P(HA|HO,PT) TRUE FALSE
X射线(PX)
HO=FALSE BT=TRUE BT=FALSE 0.9 0.02 0.1 0.98
HO=TURE BT=TRUE BT=FALSE 0.99 0.7 0.01 0.3
4.1贝叶斯网络的预测算法
21
例3：计算已知参加晚会(+PT)的情况下，头疼(+HA)的概率。
头疼(HA)
酒精味(SA)
P(HA|HO,PT) TRUE FALSE
X射线(PX)
HO=FALSE BT=TRUE BT=FALSE 0.9 0.02 0.1 0.98
HO=TURE BT=TRUE BT=FALSE 0.99 0.7 0.01 0.3
4.1贝叶斯网络的预测算法
16
例1：计算节点HA的概率。
P ( Bi | A)
P ( Bi ) P ( A | Bi )
P( Bi ) P( A | Bi )
i 1
n
3.贝叶斯网络概述
11
贝叶斯网络的组成和结构
贝叶斯网络的优越性
贝叶斯网络的三个主要议题
3.1贝叶斯网络的组成和结构
12
贝叶斯网络，是描述随机变量(事件)之间依赖 关系的一种图形模式，是一种用来进行推理的 模型，又称信念网络、因果网络等; 贝叶斯网络由网 络结构和条件概 率表两部分组成。 注意：网络结构 是有向无环图。
3.2贝叶斯网络的优越性
13
对已有的信息要求低，可以进行信 息不完全、不确定情况下的推理； 具有良好的可理解性和逻辑性； 专家知识和试验数据的有效结合与 相辅相成，忽略次要联系而突出主 要矛盾，可以有效避免过学习； 推理结果说服力强，贝叶斯网络对 先验概率的要求大大降低。
需要的数据多，分析计算比较复杂，特别在 解决复杂问题时，这个矛盾就更为突出； 有些数据必须使用主观概率，有些人不太相 信，这也妨碍了贝叶斯决策方法的推广使用。
2.1条件概率公式
8
由P(AB)= P(BA)推知条件概率公式如下：
P( A | B) P( B | A) P( A) P( B)
条件概率的计算可以通过两个事件的发生 概率以及相反方向的条件概率得到。
2.2全概率公式
9
基本思想：为了求复杂事件的概率，往往可以把它分解 成若干个互不相容的简单事件，然后利用条件概率和乘 法公式，求出这些简单事件的概率，最后利用概率可加 性得到最终结果。
宴会(PT)
P(PT) P(BT) TRUE 0.2 0.001 FALSE 0.8 0.999
喝醉(HO)
P(SA|HO) HO=TRUE HO=FALSE TRUE 0.8 0.1 FALSE 0.2 0.9
脑瘤(BT)
P(PX|BT) BT=TRUE BT=FALSE TRUE 0.98 0.01 FALSE 0.02 0.99
P(HO|PT) PT=TRUE PT=FALSE TRUE 0.7 0 FALSE 0.3 1
宴会(PT)
TRUE FALSE
0.2 0.8
0.001 0.999
喝醉(HO)
P(SA|HO) HO=TRUE HO=FALSE TRUE 0.8 0.1 FALSE 0.2 0.9
脑瘤(BT)
P(PX|BT) BT=TRUE BT=FALSE TRUE 0.98 0.01 FALSE 0.02 0.99
管理建模
杜元伟 博士/副教授
duyuanwei@foxmail.com
贝叶斯网络
2
贝叶斯……这个生性孤僻，哲学气味重于数 学气味的学术怪杰，以其一篇遗作的思想重 大地影响了两个世纪以后的统计学术界，顶 住了统计学的半边天。 ——陈希孺 院士
2014-12-23
贝叶斯网络的应用
3
在科学和工程中的许多交叉领域里很 容易找到贝叶斯分析的众多研究者。 如：考古学、大气科学、教育、流行 病学、工程、遗传学、水文学、测量 和化验、药学、体育、质量管理、社 会科学、经济和计量经济学等。
4.1贝叶斯网络的预测算法
22
输入：给定贝叶斯网络B（包括网络结构m个节点以及某些节点间的连线、 原因节点到中间节点的条件概率或联合条件概率），给定若干个原因节点 发生与否的事实向量F（或者称为证据向量）；给定待预测的某个节点t。 输出：节点t发生的概率。 （1）把证据向量输入到贝叶斯网络B中；
（2）对于B中的每一个没处理过的节点n，如果它具有发生的事实（证据）， 则标记它为已经处理过；否则继续下面的步骤；
头疼(HA)
酒精味(SA)
P(HA|HO,PT) TRUE FALSE
X射线(PX)
HO=FALSE BT=TRUE BT=FALSE 0.9 0.02 0.1 0.98
HO=TURE BT=TRUE BT=FALSE 0.99 0.7 0.01 0.3
4.1贝叶斯网络的预测算法
19
例2：计算已知参加晚会(+PT)的情况下，呼吸有 酒精味 (+SA)的概率。
脑瘤(BT)
P(PX|BT) BT=TRUE BT=FALSE TRUE 0.98 0.01 FALSE 0.02 0.99
头疼(HA)
酒精味(SA)
P(HA|HO,PT) TRUE FALSE
X射线(PX)
HO=FALSE BT=TRUE BT=FALSE 0.9 0.02 0.1 0.98
HO=TURE BT=TRUE BT=FALSE 0.99 0.7 0.01 0.3