贝叶斯网络与朴素贝叶斯方法 PPT
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
A
A 0.8
B 0.1
C 0.05
D 0.05
B
C D 2018/6/17
0.2
0.25 0.05
0.65
0.1 0.1 知识管理与数据分析实验室
0.1
0.60 0.15
0.05
0.05 0.7 12
二、贝叶斯网络 定义
• 数学定义：
– 贝叶斯网络B(D,P)，D表示一个有向无环图, P P X 1 | 1 ,..., P X n | n 是条件概率分布的集 合，其中 i 是D中节点Xi的父节点集合。在一 个贝叶斯网络中，节点集合 X X 1 , , X n ，则 其联合概率分布P(X)是此贝叶斯网络中所有条 n 件分布的乘积：P X P X i | i
– 如果你看到一个人总是做一些好事，那这个人 就越可能是一个好人。
• 数学语言表达就是：支持某项属性的事件 发生得越多，则该属性成立的可能性就愈 大
– 贝叶斯法则
2018/6/17 知识管理与数据分析实验室 3
一、贝叶斯法则 起源
• 贝叶斯法则来源于英国数学家 贝叶斯（Thomas Baywenku.baidu.coms）在 1763年发表的著作《论有关 机遇问题的求解》。
i 1
2018/6/17
知识管理与数据分析实验室
2018/6/17 知识管理与数据分析实验室 9
二、贝叶斯网络 引言
• 贝叶斯网络由Judea Pearl于1988年提出， 最初主要用于处理人工智能中的不确定信 息。 • 随后，逐步成为处理不确定性信息技术的 主流，并在文本分类、字母识别、经济预 测、医疗诊断、工业控制等领域得到了广 泛的应用。目前，贝叶斯网络是不确定知 识表达和推理领域最有效的理论模型之一。
1 1
2018/6/17
知识管理与数据分析实验室
7
一、贝叶斯法则 算例
根据贝叶斯公式可计算：
P A | X1 P X1 0.2 0.7 P X1 | A 0.32 P A | X 1 P X 1 P A | X 2 P X 2 0.2 0.7 1 0.3
6
2018/6/17
知识管理与数据分析实验室
一、贝叶斯法则 算例
• 利用贝叶斯公式建模：
– 前提条件：设M是高阻挠成本类型为X1,低阻挠 成本类型为X2； – 结果：M对K进行阻挠为A; – 所求概率即为在已知结果 A的情况下，推断条 件为X 的后验概率 P X 1 | A ; – 已知 P A | X 1 为0.2，P A | X 2 为1，P(X ) 为0.7，P(X2)为0.3。
贝叶斯网络与朴素贝叶斯
2018/6/17
知识管理与数据分析实验室
1
一、贝叶斯法则 问题
• 如何判定一个人是好人还是坏人？
• 总做一些好事? • …… • 总做一些坏事？
好人
坏人
2018/6/17
人的 主观 认识
• ……
知识管理与数据分析实验室
2
一、贝叶斯法则 引言
• 当你无法准确的知悉一个事物的本质时， 你可以依靠与事物特定本质相关的事件出 现的次数来判断其本质属性的概率。
2018/6/17 知识管理与数据分析实验室
A
C
B
11
二、贝叶斯网络 定义
• 一个节点与节点之间的条件概率表 （Conditional Probability Table, CPT）。 如果节点没有任何父节点，则该节点概率 为其先验概率。否则，该节点概率为其在 父节点条件下的后验概率。
目标类型
实际类型
2018/6/17 知识管理与数据分析实验室 10
二、贝叶斯网络 定义
• 符号B(D,G)表示一个贝叶斯网络， 包括两个部分：
– 一个有向无环图（Directed Acyclic Graph, DAG）。它由代 表变量的节点及连接这些节点的有 向边构成。其中，节点代表随机变 量，可以是任何问题的抽象，如： 测试值、观测现象、意见征询等； 节点间的有向边代表了节点间的互 相关系（由父节点指向其后代节 点）。
贝叶斯法则最初是一种用于概率论基础理论 的归纳推理方法，但随后被一些统计学学者 发展为一种系统的统计推断方法，运用到统 计决策、统计推断、统计估算等诸多领域。
2018/6/17 知识管理与数据分析实验室 4
一、贝叶斯法则 贝叶斯公式
• 贝叶斯公式
– 定义一 假定某个过程有若干可能的前提条件 X 1 , , X n ，则 P X i 表示人们事先对前提条 件Xi出现的可能性大小的估计，即先验概率。 – 定义二 假定某个过程得到了结果A，则 P X i | A 表示在出现结果A的前提下，对前提 条件Xi出现的可能性大小的估计，即后验概率。
P X i | A
2018/6/17
P A | Xi P Xi
P A| X PX
k 1 k k
知识管理与数据分析实验室 5
n
一、贝叶斯法则 算例
全垄断市场条件下，只有一家企业M提供产品和服务。企 业K考虑是否进入该市场。同时，企业M为阻止K进入该 市场采取了相应的投资行为，而K能否进入该市场完全取 决于M为阻止其进入所花费的成本大小。 假设K并不知道原垄断者M是属于高阻挠成本类型还是低 阻挠成本类型，但能确定，如果M属于高阻挠成本类型， K进入市场时M进行阻挠的概率是20%；如果M属于低阻 挠成本类型，K进入市场时M进行阻挠的概率是100%。 现设K认为M属于高阻挠成本企业的概率为70%，而在K 进入市场后，M确实进行了商业阻挠。试以企业K的角度， 判断企业M为高阻挠成本类型的概率。
• 即,根据实际市场的运作情况，企业K可判 断企业M为高阻挠成本类型的概率为0.32， 换句话说，企业M更可能属于低阻挠成本类 型。
8
2018/6/17
知识管理与数据分析实验室
二、贝叶斯网络 引言
• 贝叶斯网络又称为信度网络，是基于概率 推理的图形化网络。它是贝叶斯法则的扩 展，而贝叶斯公式则是这个概率网络的基 础。 • 贝叶斯网络适用于表达和分析不确定性和 概率性事件，应用于有条件地依赖多种控 制因素的决策过程，可以从不完全、不精 确或不确定的知识或信息中做出推理。
A 0.8
B 0.1
C 0.05
D 0.05
B
C D 2018/6/17
0.2
0.25 0.05
0.65
0.1 0.1 知识管理与数据分析实验室
0.1
0.60 0.15
0.05
0.05 0.7 12
二、贝叶斯网络 定义
• 数学定义：
– 贝叶斯网络B(D,P)，D表示一个有向无环图, P P X 1 | 1 ,..., P X n | n 是条件概率分布的集 合，其中 i 是D中节点Xi的父节点集合。在一 个贝叶斯网络中，节点集合 X X 1 , , X n ，则 其联合概率分布P(X)是此贝叶斯网络中所有条 n 件分布的乘积：P X P X i | i
– 如果你看到一个人总是做一些好事，那这个人 就越可能是一个好人。
• 数学语言表达就是：支持某项属性的事件 发生得越多，则该属性成立的可能性就愈 大
– 贝叶斯法则
2018/6/17 知识管理与数据分析实验室 3
一、贝叶斯法则 起源
• 贝叶斯法则来源于英国数学家 贝叶斯（Thomas Baywenku.baidu.coms）在 1763年发表的著作《论有关 机遇问题的求解》。
i 1
2018/6/17
知识管理与数据分析实验室
2018/6/17 知识管理与数据分析实验室 9
二、贝叶斯网络 引言
• 贝叶斯网络由Judea Pearl于1988年提出， 最初主要用于处理人工智能中的不确定信 息。 • 随后，逐步成为处理不确定性信息技术的 主流，并在文本分类、字母识别、经济预 测、医疗诊断、工业控制等领域得到了广 泛的应用。目前，贝叶斯网络是不确定知 识表达和推理领域最有效的理论模型之一。
1 1
2018/6/17
知识管理与数据分析实验室
7
一、贝叶斯法则 算例
根据贝叶斯公式可计算：
P A | X1 P X1 0.2 0.7 P X1 | A 0.32 P A | X 1 P X 1 P A | X 2 P X 2 0.2 0.7 1 0.3
6
2018/6/17
知识管理与数据分析实验室
一、贝叶斯法则 算例
• 利用贝叶斯公式建模：
– 前提条件：设M是高阻挠成本类型为X1,低阻挠 成本类型为X2； – 结果：M对K进行阻挠为A; – 所求概率即为在已知结果 A的情况下，推断条 件为X 的后验概率 P X 1 | A ; – 已知 P A | X 1 为0.2，P A | X 2 为1，P(X ) 为0.7，P(X2)为0.3。
贝叶斯网络与朴素贝叶斯
2018/6/17
知识管理与数据分析实验室
1
一、贝叶斯法则 问题
• 如何判定一个人是好人还是坏人？
• 总做一些好事? • …… • 总做一些坏事？
好人
坏人
2018/6/17
人的 主观 认识
• ……
知识管理与数据分析实验室
2
一、贝叶斯法则 引言
• 当你无法准确的知悉一个事物的本质时， 你可以依靠与事物特定本质相关的事件出 现的次数来判断其本质属性的概率。
2018/6/17 知识管理与数据分析实验室
A
C
B
11
二、贝叶斯网络 定义
• 一个节点与节点之间的条件概率表 （Conditional Probability Table, CPT）。 如果节点没有任何父节点，则该节点概率 为其先验概率。否则，该节点概率为其在 父节点条件下的后验概率。
目标类型
实际类型
2018/6/17 知识管理与数据分析实验室 10
二、贝叶斯网络 定义
• 符号B(D,G)表示一个贝叶斯网络， 包括两个部分：
– 一个有向无环图（Directed Acyclic Graph, DAG）。它由代 表变量的节点及连接这些节点的有 向边构成。其中，节点代表随机变 量，可以是任何问题的抽象，如： 测试值、观测现象、意见征询等； 节点间的有向边代表了节点间的互 相关系（由父节点指向其后代节 点）。
贝叶斯法则最初是一种用于概率论基础理论 的归纳推理方法，但随后被一些统计学学者 发展为一种系统的统计推断方法，运用到统 计决策、统计推断、统计估算等诸多领域。
2018/6/17 知识管理与数据分析实验室 4
一、贝叶斯法则 贝叶斯公式
• 贝叶斯公式
– 定义一 假定某个过程有若干可能的前提条件 X 1 , , X n ，则 P X i 表示人们事先对前提条 件Xi出现的可能性大小的估计，即先验概率。 – 定义二 假定某个过程得到了结果A，则 P X i | A 表示在出现结果A的前提下，对前提 条件Xi出现的可能性大小的估计，即后验概率。
P X i | A
2018/6/17
P A | Xi P Xi
P A| X PX
k 1 k k
知识管理与数据分析实验室 5
n
一、贝叶斯法则 算例
全垄断市场条件下，只有一家企业M提供产品和服务。企 业K考虑是否进入该市场。同时，企业M为阻止K进入该 市场采取了相应的投资行为，而K能否进入该市场完全取 决于M为阻止其进入所花费的成本大小。 假设K并不知道原垄断者M是属于高阻挠成本类型还是低 阻挠成本类型，但能确定，如果M属于高阻挠成本类型， K进入市场时M进行阻挠的概率是20%；如果M属于低阻 挠成本类型，K进入市场时M进行阻挠的概率是100%。 现设K认为M属于高阻挠成本企业的概率为70%，而在K 进入市场后，M确实进行了商业阻挠。试以企业K的角度， 判断企业M为高阻挠成本类型的概率。
• 即,根据实际市场的运作情况，企业K可判 断企业M为高阻挠成本类型的概率为0.32， 换句话说，企业M更可能属于低阻挠成本类 型。
8
2018/6/17
知识管理与数据分析实验室
二、贝叶斯网络 引言
• 贝叶斯网络又称为信度网络，是基于概率 推理的图形化网络。它是贝叶斯法则的扩 展，而贝叶斯公式则是这个概率网络的基 础。 • 贝叶斯网络适用于表达和分析不确定性和 概率性事件，应用于有条件地依赖多种控 制因素的决策过程，可以从不完全、不精 确或不确定的知识或信息中做出推理。