贝叶斯网络简介PPT课件

• 利用变量间条件独立性
.
3
为什么要用贝叶斯网络进行概率推理？
• 理论上，进行概率推理所需要的只是一个联合概率分 布。但是联合概率分布的复杂度相对于变量个数成指 数增长，所以当变量众多时不可行。
• 贝叶斯网络的提出就是要解决这个问题。它把复杂的 联合概率分布分解成一系列相对简单的模块，从而大 大降低知识获取和概率推理的复杂度，使得可以把概 率论应用于大型问题。
4、将收敛结果作为推. 断值。
9
贝叶斯网络应用
医疗诊断，
工业，
金融分析，
计算机（微软Windows,Office），
模式识别：分类，语义理解
军事（目标识别，多目标跟踪，战争身份识别
等），
生态学，
生物信息学（贝叶斯网络在基因连锁分析中应
用），
编码学，
分类聚类，
时序数据和动态模型 .
10
Baidu Nhomakorabea
.
8
贝叶斯网络进行推理的步骤
1、对所有可观察随机变量节点用观察值实 例化；对不可观察节点实例化为随机值。
2、对DAG进行遍历，对每一个不可观察节 点y，计算
其中wi表示除y以外的其它所有节点，a为 正规化因子，sj表示y的第j个子节点。
3、使用第三步计算出的各个y作为未知节点 的新值进行实例化，重复第二步，直到结 果充分收敛。
• 贝叶斯网络有一条极为重要的性质，就是我们 断言每一个节点在其直接前驱节点的值制定后 ，这个节点条件独立于其所有非直接前驱前辈
节点。
.
5
• 这个性质很类似Markov过程。其实，贝叶斯网 络可以看做是Markov链的非线性扩展。这条特 性的重要意义在于明确了贝叶斯网络可以方便计 算联合概率分布。一般情况先，多变量非独立联 合条件概率分布有如下求取公式：
贝叶斯网络简介
Introduction to Bayesian Networks
基本思路
• 贝叶斯网络是为了处理人工智能研究中 的不确定性(uncertainty)问题而发展起来 的.
• 贝叶斯网络是将概率统计应用于复杂领 域进行不确定性推理和数据分析的工具 。
• BN是一种系统地描述随即变量之间关系 的工具。建立BN的目的主要是进行概率 推理(probabilistic inference)。
= P(C)P(S|C)P(R|C)P.(W|S,R) since
7
贝叶斯网络的构造及训练
1、确定随机变量间的拓扑关系，形成DAG 。这一步通常需要领域专家完成，而想要 建立一个好的拓扑结构，通常需要不断迭 代和改进才可以。
2、训练贝叶斯网络。这一步也就是要完成 条件概率表的构造，如果每个随机变量的 值都是可以直接观察的，方法类似于朴素 贝叶斯分类。但是通常贝叶斯网络的中存 在隐藏变量节点，那么训练方法就是比较 复杂。
• 用概率论处理不确定性的主要优点是保 证推理结果的正确性。
.
2
几个重要原理
• 链规则(chain rule)
P ( X 1 , X 2 ,X . n ) . P ( . X 1 ) , P ( X 2 |X 1 ) P ( X .n | . X 1 , . X 2 ,X . n ) ..,
• 贝叶斯定理(Bayes’ theorem)
• 统计学、系统工程、信息论以及模式识别等学科中贝 叶斯网络特里的多元概率模型：朴素贝叶斯模型，隐 类模型，混合模型，隐马尔科夫模型，卡尔曼滤波器 等。
• 动态贝叶斯网络主要用于对多维离散时间序列的监控 和预测。
• 多层隐类模型，能够揭示观测变量背后的隐结构。
.
4
基本概念
• 一个贝叶斯网络定义包括一个有向无环图（ DAG）和一个条件概率表集合。DAG中每一 个节点表示一个随机变量，可以是可直接观测 变量或隐藏变量，而有向边表示随机变量间的 条件依赖；条件概率表中的每一个元素对应 DAG中唯一的节点，存储此节点对于其所有直 接前驱节点的联合条件概率。
而在贝叶斯网络中，由于存在前述性质，任意随 机变量组合的联合条件概率分布被化简成
其中Parents表示xi的直接前驱节点的联合，概率 值可以从相应条件概率表中查到。
.
6
例子
P(C, S,R,W) = P(C)P(S|C)P(R|S,C)P(W|S,R,C) chain rule
= P(C)P(S|C)P(R|C)P(W|S,R,C) since