贝叶斯网络与朴素贝叶斯

0.2
0.65
0.1
0.05
C
0.25
0.1
0.60
0.05
D
0.05
0.1
0.15
0.7
2020/10/8
知识管理与数据分析实验室
12
二、贝叶斯网络 定义
• 数学定义：
– 贝叶斯网络B(D,P)，D表示一个有向无环图,
P P X 1 |1 ,...,P X n |n 是条件概率分布的集
贝叶斯法则最初是一种用于概率论基础理论 的归纳推理方法，但随后被一些统计学学者 发展为一种系统的统计推断方法，运用到统 计决策、统计推断、统计估算等诸多领域。
2020/10/8
知识管理与数据分析实验室
4
一、贝叶斯法则 贝叶斯公式
• 贝叶斯公式
– 定义一 假定某个过程有若干可能的前提条件
X1, ,Xn ，则 P X i 表示人们事先对前提条
• 随后，逐步成为处理不确定性信息技术的 主流，并在文本分类、字母识别、经济预 测、医疗诊断、工业控制等领域得到了广 泛的应用。目前，贝叶斯网络是不确定知 识表达和推理领域最有效的理论模型之一。
2020/10/8
知识管理与数据分析实验室
10
二、贝叶斯网络 定义
• 符号B(D,G)表示一个贝叶斯网络， 包括两个部分：
• 贝叶斯网络适用于表达和分析不确定性和 概率性事件，应用于有条件地依赖多种控 制因素的决策过程，可以从不完全、不精 确或不确定的知识或信息中做出推理。
2020/10/8
知识管理与数据分析实验室
9
二、贝叶斯网络 引言
• 贝叶斯网络由Judea Pearl于1988年提出， 最初主要用于处理人工智能中的不确定信 息。
2020/10/8
知识管理与数据分析实验室
7
一、贝叶斯法则 算例
根据贝叶斯公式可计算：
P X 1 |A P A |X 1 P P A X | 1 X 1 P P A X |1 X 2 P X 2 0 . 2 0 0 . 2 . 7 0 1 . 7 0 . 3 0 . 3 2
件Xi出现的可能性大小的估计，即先验概率。
– 定义二 假定某个过程得到了结果A，则
P Xi | A 表示在出现结果A的前提下，对前提
条件Xi出现的可能性大小的估计，即后验概率。
PXi |A nPA|XiPXi
PA| XkPXk
k1
2020/10/8
知识管理与数据分析实验室
5
一、贝叶斯法则 算例
全垄断市场条件下，只有一家企业M提供产品和服务。企 业K考虑是否进入该市场。同时，企业M为阻止K进入该 市场采取了相应的投资行为，而K能否进入该市场完全取 决于M为阻止其进入所花费的成本大小。 假设K并不知道原垄断者M是属于高阻挠成本类型还是低 阻挠成本类型，但能确定，如果M属于高阻挠成本类型， K进入市场时M进行阻挠的概率是20%；如果M属于低阻 挠成本类型，K进入市场时M进行阻挠的概率是100%。 现设K认为M属于高阻挠成本企业的概率为70%，而在K 进入市场后，M确实进行了商业阻挠。试以企业K的角度， 判断企业M为高阻挠成本类型的概率。
中，P 1 是节点A的概率分布(先验概率)，PX1 |1
与PX2 |1为节点B，C的概率分布（后验概率）
2020/10/8
知识管理与数据分析实验室
14
二、贝叶斯网络 研究前景
• 贝叶斯网络的特性：
– 贝叶斯网络本身是一种不定性因果关联模型，它将多 元知识图解可视化，贴切的蕴含了网络节点变量之间 的因果关系及条件相关关系；
– 如果你看到一个人总是做一些好事，那这个人 就越可能是一个好人。
• 数学语言表达就是：支持某项属性的事件 发生得越多，则该属性成立的可能性就愈 大
– 贝叶斯法则
2020/10/8
知识管理与数据分析实验室
3
一、贝叶斯法则 起源
• 贝叶斯法则来源于英国数学家 贝叶斯（Thomas Bayes）在 1763年发表的著作《论有关 机遇问题的求解》。
– 一个有向无环图（Directed
Acyclic Graph, DAG）。它由代 表变量的节点及连接这些节点的有 B
向边构成。其中，节点代表随机变
量，可以是任何问题的抽象，如：
测试值、观测现象、意见征询等；
节点间的有向边代表了节点间的互
相关系（由父节点指向其后代节
点）。
2020/10/8
知识管理与数据分析实验室
• 即,根据实际市场的运作情况，企业K可判 断企业M为高阻挠成本类型的概率为0.32， 换句话说，企业M更可能属于低阻挠成本类 型。
2020/10/8
知识管理与数据分析实验室
8
二、贝叶斯网络 引言
• 贝叶斯网络又称为信度网络，是基于概率 推理的图形化网络。它是贝叶斯法则的扩 展，而贝叶斯公式则是这个概率网络的基 础。
A C
11
二、贝叶斯网络 定义
• 一个节点与节点之间的条件概率表 （Conditional Probability Table, CPT）。 如果节点没有任何父节点，则该节点概率 为其先验概率。否则，该节点概率为其在 父节点条件下的后验概率。
目标类型
实际类型
A
B
C
D
A
0.8
0.1
0.05
0.05
B
合，其中 i 是D中节点Xi的父节点集合。在一
个贝叶斯网络中，节点集合 XX1, ,Xn，则
其联合概率分布P(X)是此贝叶斯网络中所有条
件分布的乘积：PX n PXi |i i1
2020/10/8
知识管理与数据分析实验室
13
二、贝叶斯网络 定义
A P 1
PX1 |1 B
C PX2 |1
• 这是一个最简单的包含3个节点的贝叶斯网络。其
2020/10/8
知识管理与数据分析实验室
6
百度文库
一、贝叶斯法则 算例
• 利用贝叶斯公式建模：
– 前提条件：设M是高阻挠成本类型为X1,低阻挠 成本类型为X2；
– 结果：M对K进行阻挠为A; – 所求概率即为在已知结果 A的情况下，推断条
件为X1的后验概率 P X1 | A;
– 已知 PA| X1 为0.2，PA| X2 为1，P(X1) 为0.7，P(X2)为0.3。
知识管理与数据分析实验室 数据挖掘技术专题
贝叶斯网络与朴素贝叶斯
张嶷 2010-02
2020/10/8
知识管理与数据分析实验室
1
一、贝叶斯法则 问题
• 如何判定一个人是好人还是坏人？
人的 主观 认识
2020/10/8
知识管理与数据分析实验室
2
一、贝叶斯法则 引言
• 当你无法准确的知悉一个事物的本质时， 你可以依靠与事物特定本质相关的事件出 现的次数来判断其本质属性的概率。