《高级人工智能》第四章贝叶斯网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P(A·B)＝P(A)·P(B|A) 或 P(A·B)＝P(B)·P(A|B)
2019/6/13
史忠植 高级人工智能
11
贝叶斯网络定义
贝叶斯网络是表示变量间概率依赖关 系的有向无环图，这里每个节点表示 领域变量，每条边表示变量间的概率 依赖关系，同时对每个节点都对应着 一个条件概率分布表(CPT) ，指明了该 变量与父节点之间概率依赖的数量关 系。
• AuBnomous control of unmanned underwater vehicle - Lockheed Martin
Office 97, and Software debugging - American Airlines’ SABRE online
2019/•6/13Assessment of Intent 史忠植 高级人工智能reservation system
贝叶斯网络的应用
Industrial
• Processor Fault Diagnosis by Intel
Medical Diagnosis
• Internal Medicine • Pathology diagnosis -
• Auxiliary Turbine Diagnosis GEMS by GE
2019/6/13
史忠植 高级人工智能
9
加法定理
两个不相容(互斥)事件之和的概率,等 于两个事件概率之和,即
P(A+B)＝ P(A)＋P(B)
若A、B为两任意事件，则： P(A+B)＝P(A)＋P(B)－P(AB)
2019/6/13
史忠植 高级人工智能
10
乘法定理
设A、B为两个任意的非零事件，则其乘 积的概率等于A(或B)的概率与在A(或B) 出现的条件下B(或A)出现的条件概率的 乘积。
2019/6/13
史忠植 高级人工智能
5
贝叶斯网络是什么
随着人工智能的发展，尤其是机器学习、数据挖 掘等兴起，为贝叶斯理论的发展和应用提供了更 为广阔的空间。贝叶斯理论的内涵也比以前有了 很大的变化。80年代贝叶斯网络用于专家系统的 知识表示，90年代进一步研究可学习的贝叶斯网 络，用于数据采掘和机器学习。近年来，贝叶斯 学习理论方面的文章更是层出不穷，内容涵盖了 人工智能的大部分领域，包括因果推理、不确定 性知识表达、模式识别和聚类分析等。并且出现 了专门研究贝叶斯理论的组织和学术刊物ISBA
0.10
0.90
Diagnostic Tests 17
构建贝叶斯网
Problem Domain
Expert Knowledge
Probability Elicitor
Bayesian Network
Prwk.baidu.comblem Domain
Training Data
Learning Algorithm
Bayesian Network
Cold
False False true true
False 0.95 0.5
Allegory
False true False True
Scratch True
0.05 0.5
Scratch
False True
0.99
0.01
0.2
0.7
0.3
0.8
0.1
0.9
2019/6/13
史忠植 高级人工智能
2019/6/13
史忠植 高级人工智能
A1 A2 A3 A4
E
A6
A5
14
贝叶斯网络的概率解释
任何完整的概率模型必须具有表示（直接或间接）该领域变量联合分布 的能力。完全的枚举需要指数级的规模（相对于领域变量个数）
贝叶斯网络提供了这种联合概率分布的紧凑表示：分解联合分布为几个 局部分布的乘积：
高级人工智能
第四章 贝叶斯网络
史忠植
中国科学院计算技术所
2019/6/13
史忠植 高级人工智能
1
内容提要
4.1概述 4.2贝叶斯概率基础 4.3贝叶斯学习理论 4.4简单贝叶斯学习模型 4.5贝叶斯网络的建造 4.6贝叶斯潜在语义模型
贝叶斯网络是什么
贝叶斯网络是用来表示变量间连接概率的 图形模式，它提供了一种自然的表示因果 信息的方法，用来发现数据间的潜在关系。 在这个网络中，用节点表示变量，有向边 表示变量间的依赖关系。
概率描述
cat=false Cat=true
0.98
0.02
Cold=false Cold=true
0.95
0.05
Cat
False true
False 0.95 0.25
Allegory True
0.05 0.75
图形描述
Cold
Allegory
Sneeze
Cat Scratch
Cat
False true
• Breast Cancer Manager with Intellipath
Commercial
• Financial Market Analysis
Military
• Information Retrieval
• AuBmatic Target Recognition - MITRE
• Software troubleshooting and advice - Windows 95 &
方向表示变量间真正的因果关系而不是推理过程的信息流向。 －－因此在贝叶斯推理过程中，推理过程可以沿任何方向进行（预测、 诊断、解释。 从知识工程的角度讲，贝叶斯网络是用图形结构和数值参数来表示不确 定性知识的知识系统，因而有时也称为因果网、信任网络和影响图。
2019/6/13
史忠植 高级人工智能
2019/6/13
史忠植 高级人工智能
19
先验分布的选取－beta分布
pBeta (x | m,n) =
G(n)
xm-1(1- x)n-m-1
G(m)G(n - m)
mean = m n
variance= m(1-m/n) n(n + 1)
2019/6/13
p(x|m,n)
4 3 2 1 0 -1 0
贝叶斯方法正在以其独特的不确定性知识 表达形式、丰富的概率表达能力、综合先 验知识的增量学习特性等成为当前数据挖 掘众多方法中最为引人注目的焦点之一。
2019/6/13
史忠植 高级人工智能
3
贝叶斯网络是什么
贝叶斯（Reverend Thomas Bayes 1702-1761） 学派奠基性的工作是贝叶斯的论文“关于几率性 问题求解的评论”。或许是他自己感觉到它的学 说还有不完善的地方，这一论文在他生前并没有 发表，而是在他死后，由他的朋友发表的。著名 的数学家拉普拉斯（Laplace P. S.）用贝叶斯的 方法导出了重要的“相继律”，贝叶斯的方法和 理论逐渐被人理解和重视起来。但由于当时贝叶 斯方法在理论和实际应用中还存在很多不完善的 地方，因而在十九世纪并未被普遍接受。
贝叶斯评分 基于墒的评分 最小描述长度
重复这个过程，直到找不到更好的结构
基于依赖分析的方法:
通过使用条件独立性检验conditional independence (CI) 找到网络的依赖结构
13
贝叶斯规则
p(A | B) = p(A,B) = p(B | A)p(A)
p(B)
p(B)
p(Ai
|
E)
=
p(E
| Ai )p(Ai p(E)
)
=
p(E | Ai )p(Ai ) p(E | Ai )p(Ai )
i
基于条件概率的定义
p(Ai|E) 是在给定证据下的后验概率 p(Ai) 是先验概率 P(E|Ai) 是在给定Ai下的证据似然 p(E) 是证据的预定义后验概率
Dyspnea
史忠植 高级人工智能
Bronchitis Present Absent Present Absent
Bronchitis
Medical DDyifsfpicnuelaties
PresenMt edical DAifbfsiecnutlties
0.90
0.l0
0.70
0.30
0.80
0.20
12
几点说明
贝叶斯网络的特点： 双向推理能力（预测和诊断） 快速的调试和重构能力 具有较强的概率统计基础 用于人工智能和专家系统的不确定推理（优于早期的基于规则的模 式）。
这种网络支持任何变量子集相对于另一子集的条件概率计算。 贝叶斯网络是领域中变量关系的直接表示，而不是推理过程。网络中的
P(x1, x2, xn) = P(xi | pai) i
从公式可以看出，需要的参数个数随网络中节点个数呈线性增长，而联 合分布的计算呈指数增长。
网络中变量间独立性的指定是实现紧凑表示的关键。这种独立性关系在 通过人类专家构造贝叶斯网中特别有效。
2019/6/13
史忠植 高级人工智能
15
2019/6/13
史忠植 高级人工智能
6
贝叶斯网络的应用领域
辅助智能决策 数据融合 模式识别 医疗诊断 文本理解 数据挖掘
2019/6/13
史忠植 高级人工智能
7
统计概率
统计概率:若在大量重复试验中，事件A发生的频 率稳定地接近于一个固定的常数p，它表明事件A 出现的可能性大小，则称此常数p为事件A发生的 概率，记为P(A), 即
p＝P(A)
可见概率就是频率的稳定中心。任何事件A的概 率为不大于1的非负实数，即
0＜P(A)＜1
2019/6/13
史忠植 高级人工智能
8
条件概率
条件概率:我们把事件B已经出现的条件下， 事件A发生的概率记做为P(A|B)。并称之为在 B出现的条件下A出现的条件概率，而称P(A) 为无条件概率。
若事件A与B中的任一个出现，并不影响另一 事 件 出 现 的 概 率 ， 即 当 P(A)＝P(A·B) 或 P(B) ＝P(B·A)时，则称A与B是相互独立的事件。
0.5
1
1.5
x
m=1, n=2
m=2, n=4
m=10, n=20
史忠植 高级人工智能
20
先验分布的选取－多项Dirichlet分布
pDirichlet (x | m1, m2 ,..., mN ) =
N
G( mi )
i=1
x m1 -1x m2 -1...xmN -1
G(m1)G(m2 )...G(mN )
Problem Domain
Expert Knowledge
Training Data
2019/6/13
Learning Algorithm
Bayesian Network
史忠植 高级人工智能
18
从数据中学习
共轭分布族 先验与后验属于同一分布族 预先给定一个似然分布形式
对于变量定义在0-1之间的概率分布，存在一个离散的 样本空间 Beta 对应着 2 个似然状态 多变量 Dirichlet 分布对应 2个以上的状态
2019/6/13
史忠植 高级人工智能
4
贝叶斯网络是什么
二十世纪初，意大利的菲纳特（B. de Finetti）以及英国 的杰弗莱（Jeffreys H.）都对贝叶斯学派的理论作出重要 的贡献。第二次世界大战后，瓦尔德（Wald A.）提出了 统计的决策理论，在这一理论中，贝叶斯解占有重要的地 位；信息论的发展也对贝叶斯学派做出了新的贡献。 1958年英国最悠久的统计杂志Biometrika全文重新刊登了 贝叶斯的论文，20世纪50年代，以罗宾斯（Robbins H.） 为代表，提出了经验贝叶斯方法和经典方法相结合，引起 统计界的广泛注意，这一方法很快就显示出它的优点，成 为很活跃的一个方向。
mean of the ith state =
mi
N
mi
i=1
N
mi (1- mi/ mi )
varianceof the ith state = N
i=1 N
mi ( mi +1)
i=1
i=1
2019/6/13
史忠植 高级人工智能
21
贝叶斯网络的结构学习
基于搜索评分的方法:
初始化贝叶斯网络为孤立节点 使用启发式方法为网络加边 使用评分函数评测新的结构是否为更好
Intellipath by Chapman & Hall
• Diagnosis of space shuttle propulsion systems - VISTA by NASA/Rockwell
• Situation assessment for nuclear power plant - NRC
16
贝叶斯网络－来自医疗诊断的例子
Visit B Asia Tuberculosis
XRay Result
2019/6/13
Smoking
Patient Information
Lung Cancer
Tuberculosis or Cancer
Tub or Can True True False False
2019/6/13
史忠植 高级人工智能
11
贝叶斯网络定义
贝叶斯网络是表示变量间概率依赖关 系的有向无环图，这里每个节点表示 领域变量，每条边表示变量间的概率 依赖关系，同时对每个节点都对应着 一个条件概率分布表(CPT) ，指明了该 变量与父节点之间概率依赖的数量关 系。
• AuBnomous control of unmanned underwater vehicle - Lockheed Martin
Office 97, and Software debugging - American Airlines’ SABRE online
2019/•6/13Assessment of Intent 史忠植 高级人工智能reservation system
贝叶斯网络的应用
Industrial
• Processor Fault Diagnosis by Intel
Medical Diagnosis
• Internal Medicine • Pathology diagnosis -
• Auxiliary Turbine Diagnosis GEMS by GE
2019/6/13
史忠植 高级人工智能
9
加法定理
两个不相容(互斥)事件之和的概率,等 于两个事件概率之和,即
P(A+B)＝ P(A)＋P(B)
若A、B为两任意事件，则： P(A+B)＝P(A)＋P(B)－P(AB)
2019/6/13
史忠植 高级人工智能
10
乘法定理
设A、B为两个任意的非零事件，则其乘 积的概率等于A(或B)的概率与在A(或B) 出现的条件下B(或A)出现的条件概率的 乘积。
2019/6/13
史忠植 高级人工智能
5
贝叶斯网络是什么
随着人工智能的发展，尤其是机器学习、数据挖 掘等兴起，为贝叶斯理论的发展和应用提供了更 为广阔的空间。贝叶斯理论的内涵也比以前有了 很大的变化。80年代贝叶斯网络用于专家系统的 知识表示，90年代进一步研究可学习的贝叶斯网 络，用于数据采掘和机器学习。近年来，贝叶斯 学习理论方面的文章更是层出不穷，内容涵盖了 人工智能的大部分领域，包括因果推理、不确定 性知识表达、模式识别和聚类分析等。并且出现 了专门研究贝叶斯理论的组织和学术刊物ISBA
0.10
0.90
Diagnostic Tests 17
构建贝叶斯网
Problem Domain
Expert Knowledge
Probability Elicitor
Bayesian Network
Prwk.baidu.comblem Domain
Training Data
Learning Algorithm
Bayesian Network
Cold
False False true true
False 0.95 0.5
Allegory
False true False True
Scratch True
0.05 0.5
Scratch
False True
0.99
0.01
0.2
0.7
0.3
0.8
0.1
0.9
2019/6/13
史忠植 高级人工智能
2019/6/13
史忠植 高级人工智能
A1 A2 A3 A4
E
A6
A5
14
贝叶斯网络的概率解释
任何完整的概率模型必须具有表示（直接或间接）该领域变量联合分布 的能力。完全的枚举需要指数级的规模（相对于领域变量个数）
贝叶斯网络提供了这种联合概率分布的紧凑表示：分解联合分布为几个 局部分布的乘积：
高级人工智能
第四章 贝叶斯网络
史忠植
中国科学院计算技术所
2019/6/13
史忠植 高级人工智能
1
内容提要
4.1概述 4.2贝叶斯概率基础 4.3贝叶斯学习理论 4.4简单贝叶斯学习模型 4.5贝叶斯网络的建造 4.6贝叶斯潜在语义模型
贝叶斯网络是什么
贝叶斯网络是用来表示变量间连接概率的 图形模式，它提供了一种自然的表示因果 信息的方法，用来发现数据间的潜在关系。 在这个网络中，用节点表示变量，有向边 表示变量间的依赖关系。
概率描述
cat=false Cat=true
0.98
0.02
Cold=false Cold=true
0.95
0.05
Cat
False true
False 0.95 0.25
Allegory True
0.05 0.75
图形描述
Cold
Allegory
Sneeze
Cat Scratch
Cat
False true
• Breast Cancer Manager with Intellipath
Commercial
• Financial Market Analysis
Military
• Information Retrieval
• AuBmatic Target Recognition - MITRE
• Software troubleshooting and advice - Windows 95 &
方向表示变量间真正的因果关系而不是推理过程的信息流向。 －－因此在贝叶斯推理过程中，推理过程可以沿任何方向进行（预测、 诊断、解释。 从知识工程的角度讲，贝叶斯网络是用图形结构和数值参数来表示不确 定性知识的知识系统，因而有时也称为因果网、信任网络和影响图。
2019/6/13
史忠植 高级人工智能
2019/6/13
史忠植 高级人工智能
19
先验分布的选取－beta分布
pBeta (x | m,n) =
G(n)
xm-1(1- x)n-m-1
G(m)G(n - m)
mean = m n
variance= m(1-m/n) n(n + 1)
2019/6/13
p(x|m,n)
4 3 2 1 0 -1 0
贝叶斯方法正在以其独特的不确定性知识 表达形式、丰富的概率表达能力、综合先 验知识的增量学习特性等成为当前数据挖 掘众多方法中最为引人注目的焦点之一。
2019/6/13
史忠植 高级人工智能
3
贝叶斯网络是什么
贝叶斯（Reverend Thomas Bayes 1702-1761） 学派奠基性的工作是贝叶斯的论文“关于几率性 问题求解的评论”。或许是他自己感觉到它的学 说还有不完善的地方，这一论文在他生前并没有 发表，而是在他死后，由他的朋友发表的。著名 的数学家拉普拉斯（Laplace P. S.）用贝叶斯的 方法导出了重要的“相继律”，贝叶斯的方法和 理论逐渐被人理解和重视起来。但由于当时贝叶 斯方法在理论和实际应用中还存在很多不完善的 地方，因而在十九世纪并未被普遍接受。
贝叶斯评分 基于墒的评分 最小描述长度
重复这个过程，直到找不到更好的结构
基于依赖分析的方法:
通过使用条件独立性检验conditional independence (CI) 找到网络的依赖结构
13
贝叶斯规则
p(A | B) = p(A,B) = p(B | A)p(A)
p(B)
p(B)
p(Ai
|
E)
=
p(E
| Ai )p(Ai p(E)
)
=
p(E | Ai )p(Ai ) p(E | Ai )p(Ai )
i
基于条件概率的定义
p(Ai|E) 是在给定证据下的后验概率 p(Ai) 是先验概率 P(E|Ai) 是在给定Ai下的证据似然 p(E) 是证据的预定义后验概率
Dyspnea
史忠植 高级人工智能
Bronchitis Present Absent Present Absent
Bronchitis
Medical DDyifsfpicnuelaties
PresenMt edical DAifbfsiecnutlties
0.90
0.l0
0.70
0.30
0.80
0.20
12
几点说明
贝叶斯网络的特点： 双向推理能力（预测和诊断） 快速的调试和重构能力 具有较强的概率统计基础 用于人工智能和专家系统的不确定推理（优于早期的基于规则的模 式）。
这种网络支持任何变量子集相对于另一子集的条件概率计算。 贝叶斯网络是领域中变量关系的直接表示，而不是推理过程。网络中的
P(x1, x2, xn) = P(xi | pai) i
从公式可以看出，需要的参数个数随网络中节点个数呈线性增长，而联 合分布的计算呈指数增长。
网络中变量间独立性的指定是实现紧凑表示的关键。这种独立性关系在 通过人类专家构造贝叶斯网中特别有效。
2019/6/13
史忠植 高级人工智能
15
2019/6/13
史忠植 高级人工智能
6
贝叶斯网络的应用领域
辅助智能决策 数据融合 模式识别 医疗诊断 文本理解 数据挖掘
2019/6/13
史忠植 高级人工智能
7
统计概率
统计概率:若在大量重复试验中，事件A发生的频 率稳定地接近于一个固定的常数p，它表明事件A 出现的可能性大小，则称此常数p为事件A发生的 概率，记为P(A), 即
p＝P(A)
可见概率就是频率的稳定中心。任何事件A的概 率为不大于1的非负实数，即
0＜P(A)＜1
2019/6/13
史忠植 高级人工智能
8
条件概率
条件概率:我们把事件B已经出现的条件下， 事件A发生的概率记做为P(A|B)。并称之为在 B出现的条件下A出现的条件概率，而称P(A) 为无条件概率。
若事件A与B中的任一个出现，并不影响另一 事 件 出 现 的 概 率 ， 即 当 P(A)＝P(A·B) 或 P(B) ＝P(B·A)时，则称A与B是相互独立的事件。
0.5
1
1.5
x
m=1, n=2
m=2, n=4
m=10, n=20
史忠植 高级人工智能
20
先验分布的选取－多项Dirichlet分布
pDirichlet (x | m1, m2 ,..., mN ) =
N
G( mi )
i=1
x m1 -1x m2 -1...xmN -1
G(m1)G(m2 )...G(mN )
Problem Domain
Expert Knowledge
Training Data
2019/6/13
Learning Algorithm
Bayesian Network
史忠植 高级人工智能
18
从数据中学习
共轭分布族 先验与后验属于同一分布族 预先给定一个似然分布形式
对于变量定义在0-1之间的概率分布，存在一个离散的 样本空间 Beta 对应着 2 个似然状态 多变量 Dirichlet 分布对应 2个以上的状态
2019/6/13
史忠植 高级人工智能
4
贝叶斯网络是什么
二十世纪初，意大利的菲纳特（B. de Finetti）以及英国 的杰弗莱（Jeffreys H.）都对贝叶斯学派的理论作出重要 的贡献。第二次世界大战后，瓦尔德（Wald A.）提出了 统计的决策理论，在这一理论中，贝叶斯解占有重要的地 位；信息论的发展也对贝叶斯学派做出了新的贡献。 1958年英国最悠久的统计杂志Biometrika全文重新刊登了 贝叶斯的论文，20世纪50年代，以罗宾斯（Robbins H.） 为代表，提出了经验贝叶斯方法和经典方法相结合，引起 统计界的广泛注意，这一方法很快就显示出它的优点，成 为很活跃的一个方向。
mean of the ith state =
mi
N
mi
i=1
N
mi (1- mi/ mi )
varianceof the ith state = N
i=1 N
mi ( mi +1)
i=1
i=1
2019/6/13
史忠植 高级人工智能
21
贝叶斯网络的结构学习
基于搜索评分的方法:
初始化贝叶斯网络为孤立节点 使用启发式方法为网络加边 使用评分函数评测新的结构是否为更好
Intellipath by Chapman & Hall
• Diagnosis of space shuttle propulsion systems - VISTA by NASA/Rockwell
• Situation assessment for nuclear power plant - NRC
16
贝叶斯网络－来自医疗诊断的例子
Visit B Asia Tuberculosis
XRay Result
2019/6/13
Smoking
Patient Information
Lung Cancer
Tuberculosis or Cancer
Tub or Can True True False False