3 贝叶斯网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 最大可能解释(MPE)推理
– 根据已知的证据变量，计算所有非中证据变量各种取值 的组合的后验概率，并选最大后验概率对应组合作为推 理结果。
– 是MAP的特例。
北航
shijy@buaa.edu.cn
10
贝叶斯网络
• 推理示例
学历硕士-2013版
北航
shijy@buaa.edu.cn
11
贝叶斯网络
• 联合概率
– 多个事件乘积的概率，交事件的概率
• P{X=x,Y=y}是一个联合概率 • 表示X=x,Y=y两个条件同时成立的概率
• 联合概率分布、边缘概率
学历硕士-2013版
北航
shijy@buaa.edu.cn
4
贝叶斯网络
• 乘法公式
学历硕士-2013版
• 联合分布的分解
• 贝叶斯网络
– 对联合分布的分解的直观表达。
学历硕士-2013版
北航
shijy@buaa.edu.cn
2
贝叶斯网络
• 贝叶斯公式
– P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B) – P(B|A)=P(A|B)*P(B)/P(A)
• （事件A的）全概率公式
学历硕士-2013版
北航
shijy@buaa.edu.cn
3
贝叶斯网络
– 贝叶斯网络是一个有向无环图(Directed Acyclic Graph , DAG),由代表变量节点及连接这些节点有向边构成。
– 节点代表随机变量，节点间的有向边代表了节点间的互 相关系(由父节点指向其子节点)，用条件概率表表达关 系强度，没有父节点的用先验概率进行信息表达。
– 贝叶斯网络适用在节点的性质是离散型的情况。
• 贝叶斯网络的学习
– 贝叶斯网络可用于处理数据分析，揭示和刻画数据中所 蕴含的规律。
– 贝叶斯网络的学习是指通过分析数据获得贝叶斯网络的 过程。
– 两种学习：
• 结构学习——既要确定网络结构、又要确定网络参数；
– K2算法 – 爬山法 – SEM算法
• 参数学习——已知网络结构，确定网络参数。
– 最大似然估计 – 贝叶斯估计
– P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B) – P(B|A)=P(A|B)*P(B)/P(A)
• 名词
– 先验概率：P(B) – 后验概率：P(B|A) – 条件概率：P(A|B)，也称为似然度 – 标准化常量：P(A)
• 文字描述：
– 后验概率 = (似然度 * 先验概率)/标准化常量 – 后验概率 = 标准似然度 * 先验概率
• 假设 A 事件为狗在晚上叫，B 为盗贼入侵 • P(A) = 3 / 7 • P(B)=2/(20·365) =2/7300 • P(A | B) = 0.9 • P(B|A)=0.9*(2/7300)/(3/7)=0.00058
北航
shijy@buaa.edu.cn
1
贝叶斯网络
• 贝叶斯公式
北航
shijy@buaa.edu.cn
5
贝叶斯网络
• 组成
– 节点
• 随机变量 • 父节点 • 子节点 • 根节点 • 叶节点
– 箭头
• 条件关系
– 数据
• 条件概率表
北航
shijy@buaa.edu.cn
学历硕士-2013版
6
贝叶斯网络
学历硕士-2013版
• 贝叶斯网络定义
– 贝叶斯网络是一种概率网络，它是基于概率推理的图形 化网络；
学历硕士-2013版
• 贝叶斯网络的构造
– 定义域变量：
• 在某一领域，确定需要哪些变量描述该领域的各个部分，以及 每个变量的确切含义。
– {X1,X2,…,XN}
– 确定网络结构：
• 由专家确定各个变量之间的依赖关系，从而获得该领域内的网 络结构。在确定网络结构时必须注意要防止出现有向环。
– 选择变量顺序（推荐按因果关系确定顺序）
• 从原因到结果的预测推理（顺推） • 从结果到原因的诊断推理（逆推） • 在同一结果的不同原因之间的原因关联推理 • 混合推理
北航
shijy@buaa.edu.cn
9
贝叶斯网络
学历硕士-2013版
• 最大后验假设(MAP)推理
– 根据已知的证据变量，计算特定变量各种取值的组合的 后验概率，并选最大后验概率对应组合作为推理结果。
• 利用独立性，可以得到简化的联合分布分解，建 立简化的贝叶斯网络。
北航
shijy@buaa.edu.cn
8
Байду номын сангаас
贝叶斯网络
学历硕士-2013版
• 贝叶斯网络的概率推理
– 推理：通过计算回答查询的过程。 – 给定图中的一个节点子集的情况下, 计算另一个节点子
集的条件概率分布的问题。
• 后验概率推理
– 根据已知的证据变量，计算查询变量的后验概率。
北航
shijy@buaa.edu.cn
13
贝叶斯网络
学历硕士-2013版
• 贝叶斯网络的推理解算
– 精确算法
• 根据网络模型数据直接计算
• 变量消元法（VE），可以节省计算量，其优化消元顺序方法包 括：
– 最大势搜索 – 最小缺边搜索 – 利用条件独立假设简化贝叶斯网络，然后再计算
• 团树（联合树）传播算法
– 从空图出发，按顺序增加变量，同时依据条件独立原理，添加最 少连线
– 确定条件概率分布（网络参数）：
• 通过由专家、问题特性或数据学习确定变量之间的依赖关系。
– 运用与完善：
• 运用到实际系统中，并根据系统产生的数据优化贝叶斯网络。
北航
shijy@buaa.edu.cn
12
贝叶斯网络
学历硕士-2013版
贝叶斯网络
学历硕士-2013版
• 贝叶斯公式
– P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)
– P(B|A)=P(A|B)*P(B)/P(A)
• 举例：
– 一座别墅在过去的 20 年里一共发生过 2 次被盗，别墅 的主人有一条狗，狗平均每周晚上叫 3 次，在盗贼入 侵时狗叫的概率被估计为 0.9，问题是：在狗叫的时候 发生入侵的概率是多少？
北航
shijy@buaa.edu.cn
7
贝叶斯网络
学历硕士-2013版
• 事件独立
– P(A,B)=P(A∩B)=P(A)*P(B)
• 条件独立
– P(A,B|C)=P(A|C)*P(B|C)
• 利用独立可以简化联合分布的分解
– P(A,B,C)=P(A)*P(B|A)*P(C|A,B)=P(A)*P(B)*P(C|A,B) – P(A,B,C)=P(B)*P(C|B)*P(A|B,C) – P(A,B,C)=P(C)*P(A|C)*P(B|C,A)
– 根据已知的证据变量，计算所有非中证据变量各种取值 的组合的后验概率，并选最大后验概率对应组合作为推 理结果。
– 是MAP的特例。
北航
shijy@buaa.edu.cn
10
贝叶斯网络
• 推理示例
学历硕士-2013版
北航
shijy@buaa.edu.cn
11
贝叶斯网络
• 联合概率
– 多个事件乘积的概率，交事件的概率
• P{X=x,Y=y}是一个联合概率 • 表示X=x,Y=y两个条件同时成立的概率
• 联合概率分布、边缘概率
学历硕士-2013版
北航
shijy@buaa.edu.cn
4
贝叶斯网络
• 乘法公式
学历硕士-2013版
• 联合分布的分解
• 贝叶斯网络
– 对联合分布的分解的直观表达。
学历硕士-2013版
北航
shijy@buaa.edu.cn
2
贝叶斯网络
• 贝叶斯公式
– P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B) – P(B|A)=P(A|B)*P(B)/P(A)
• （事件A的）全概率公式
学历硕士-2013版
北航
shijy@buaa.edu.cn
3
贝叶斯网络
– 贝叶斯网络是一个有向无环图(Directed Acyclic Graph , DAG),由代表变量节点及连接这些节点有向边构成。
– 节点代表随机变量，节点间的有向边代表了节点间的互 相关系(由父节点指向其子节点)，用条件概率表表达关 系强度，没有父节点的用先验概率进行信息表达。
– 贝叶斯网络适用在节点的性质是离散型的情况。
• 贝叶斯网络的学习
– 贝叶斯网络可用于处理数据分析，揭示和刻画数据中所 蕴含的规律。
– 贝叶斯网络的学习是指通过分析数据获得贝叶斯网络的 过程。
– 两种学习：
• 结构学习——既要确定网络结构、又要确定网络参数；
– K2算法 – 爬山法 – SEM算法
• 参数学习——已知网络结构，确定网络参数。
– 最大似然估计 – 贝叶斯估计
– P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B) – P(B|A)=P(A|B)*P(B)/P(A)
• 名词
– 先验概率：P(B) – 后验概率：P(B|A) – 条件概率：P(A|B)，也称为似然度 – 标准化常量：P(A)
• 文字描述：
– 后验概率 = (似然度 * 先验概率)/标准化常量 – 后验概率 = 标准似然度 * 先验概率
• 假设 A 事件为狗在晚上叫，B 为盗贼入侵 • P(A) = 3 / 7 • P(B)=2/(20·365) =2/7300 • P(A | B) = 0.9 • P(B|A)=0.9*(2/7300)/(3/7)=0.00058
北航
shijy@buaa.edu.cn
1
贝叶斯网络
• 贝叶斯公式
北航
shijy@buaa.edu.cn
5
贝叶斯网络
• 组成
– 节点
• 随机变量 • 父节点 • 子节点 • 根节点 • 叶节点
– 箭头
• 条件关系
– 数据
• 条件概率表
北航
shijy@buaa.edu.cn
学历硕士-2013版
6
贝叶斯网络
学历硕士-2013版
• 贝叶斯网络定义
– 贝叶斯网络是一种概率网络，它是基于概率推理的图形 化网络；
学历硕士-2013版
• 贝叶斯网络的构造
– 定义域变量：
• 在某一领域，确定需要哪些变量描述该领域的各个部分，以及 每个变量的确切含义。
– {X1,X2,…,XN}
– 确定网络结构：
• 由专家确定各个变量之间的依赖关系，从而获得该领域内的网 络结构。在确定网络结构时必须注意要防止出现有向环。
– 选择变量顺序（推荐按因果关系确定顺序）
• 从原因到结果的预测推理（顺推） • 从结果到原因的诊断推理（逆推） • 在同一结果的不同原因之间的原因关联推理 • 混合推理
北航
shijy@buaa.edu.cn
9
贝叶斯网络
学历硕士-2013版
• 最大后验假设(MAP)推理
– 根据已知的证据变量，计算特定变量各种取值的组合的 后验概率，并选最大后验概率对应组合作为推理结果。
• 利用独立性，可以得到简化的联合分布分解，建 立简化的贝叶斯网络。
北航
shijy@buaa.edu.cn
8
Байду номын сангаас
贝叶斯网络
学历硕士-2013版
• 贝叶斯网络的概率推理
– 推理：通过计算回答查询的过程。 – 给定图中的一个节点子集的情况下, 计算另一个节点子
集的条件概率分布的问题。
• 后验概率推理
– 根据已知的证据变量，计算查询变量的后验概率。
北航
shijy@buaa.edu.cn
13
贝叶斯网络
学历硕士-2013版
• 贝叶斯网络的推理解算
– 精确算法
• 根据网络模型数据直接计算
• 变量消元法（VE），可以节省计算量，其优化消元顺序方法包 括：
– 最大势搜索 – 最小缺边搜索 – 利用条件独立假设简化贝叶斯网络，然后再计算
• 团树（联合树）传播算法
– 从空图出发，按顺序增加变量，同时依据条件独立原理，添加最 少连线
– 确定条件概率分布（网络参数）：
• 通过由专家、问题特性或数据学习确定变量之间的依赖关系。
– 运用与完善：
• 运用到实际系统中，并根据系统产生的数据优化贝叶斯网络。
北航
shijy@buaa.edu.cn
12
贝叶斯网络
学历硕士-2013版
贝叶斯网络
学历硕士-2013版
• 贝叶斯公式
– P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)
– P(B|A)=P(A|B)*P(B)/P(A)
• 举例：
– 一座别墅在过去的 20 年里一共发生过 2 次被盗，别墅 的主人有一条狗，狗平均每周晚上叫 3 次，在盗贼入 侵时狗叫的概率被估计为 0.9，问题是：在狗叫的时候 发生入侵的概率是多少？
北航
shijy@buaa.edu.cn
7
贝叶斯网络
学历硕士-2013版
• 事件独立
– P(A,B)=P(A∩B)=P(A)*P(B)
• 条件独立
– P(A,B|C)=P(A|C)*P(B|C)
• 利用独立可以简化联合分布的分解
– P(A,B,C)=P(A)*P(B|A)*P(C|A,B)=P(A)*P(B)*P(C|A,B) – P(A,B,C)=P(B)*P(C|B)*P(A|B,C) – P(A,B,C)=P(C)*P(A|C)*P(B|C,A)