贝叶斯网络基础知识
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n qi
l GD =
i=1 j=1
Γ(αij ) [log + Γ(αij + nij )
ri
log
k=1
Γ(αij + nijk ) ] Γ(αBiblioteka Baidujk )
．由于贝叶斯网络具有独特的不确定性表达形式、易于综合先验知识
以及直观的推理结果等特性， 贝叶斯网络已逐渐成为在不确定情况下 进行推理和决策的一种很受欢迎的网 络结构，贝叶斯网络结构学习是目前研究的热点，其目的是获取能较 好吻合数据集并且尽可能简单的网络结构．同时，贝叶斯网络结构学 习也是一个ＮＰ难题． MDL（等价于BIC）不需要计算参数的先验分布，计算简单，倾向于选 择较简单的网络结构，基本原理是对于给定的实力数据进行压缩，从 而降低数据的编码长度，一个MDL评分由以下两部分组成： （1） 模型的描述长度L1 =
MDL
n i=1 H(X i |πi ).H
XY =
P x y logP(x|y)为变量X对于变量Y的条件熵。
=L1+L2+L3
连续变量离散化：对于连续型属性，主要是根据专家经验知识设置断 点进行离散化。 贝叶斯狄利克雷标准（BD），即CH评分，在1992年由Cooper and Herskovits提出。
贝叶斯网络 随着计算机技术发展，知识发现和数据发掘能力越来越得到人 们的重视。在人工智能领域中，贝叶斯网络以其对不确定知识的表达 能力，对数据处理分析的能力得到了广泛的应用。贝叶斯网络继承了 图论的直观性，同时以坚实的数学理论支撑，在医学诊断，故障分析 等领域的应用都证明了它存在的科学性和重要意义。 结构学习是建立 贝叶斯网络的智能化方法，它以数据分析的方法，寻找能准确描述节 点之间依赖关系的网络，是贝叶斯网络理论发展的重要方向。 提高贝叶斯网络结构学习效率的主要因素是评分函数和搜索算法， 优 化评分函数的搜索算法是贝叶斯网络结构学习的核心问题 结构学习的CH评分：（与BD评分的区别是？） 学习贝叶斯结构实质上就是学习与数据拟合最好的网络结构。即 P(G|D)的最大值。 由贝叶斯公式得： P GD =
n i=1 k i log 2
(n).n表示节点变量个数； ki
表示节点的父节点数目。条件概率表的编码长度L2 =
logN 2 n i=1 Si
− 1 |πi |.N为实例数据集中实例的个数；|πi |表示
变量父节点集合的取值组合的数目； Si表示变量取值的数目。 （2） 数据的压缩编码长度L3 = N − Score
P(G,D) P(D)
=
P G P(D|G) P(D)
另外，
P(D)与结构无关，假设P(G)服从均匀分布。上式两边同时取对数得： logP G D ∝ logP(D|G) 因此，等价于求边际似然函数P(D|G)的最大值。（名字的由来： P(D|G, θ)）是二元组（G, θ）D的似然函数，记为：L(G, θ|D)边际似然 函数P(D|G)记为L(G|D).若参数先验分布P(θ|G)服从狄利克雷分布， 则CH评分如下：对数似然函数：
l GD =
i=1 j=1
Γ(αij ) [log + Γ(αij + nij )
ri
log
k=1
Γ(αij + nijk ) ] Γ(αBiblioteka Baidujk )
．由于贝叶斯网络具有独特的不确定性表达形式、易于综合先验知识
以及直观的推理结果等特性， 贝叶斯网络已逐渐成为在不确定情况下 进行推理和决策的一种很受欢迎的网 络结构，贝叶斯网络结构学习是目前研究的热点，其目的是获取能较 好吻合数据集并且尽可能简单的网络结构．同时，贝叶斯网络结构学 习也是一个ＮＰ难题． MDL（等价于BIC）不需要计算参数的先验分布，计算简单，倾向于选 择较简单的网络结构，基本原理是对于给定的实力数据进行压缩，从 而降低数据的编码长度，一个MDL评分由以下两部分组成： （1） 模型的描述长度L1 =
MDL
n i=1 H(X i |πi ).H
XY =
P x y logP(x|y)为变量X对于变量Y的条件熵。
=L1+L2+L3
连续变量离散化：对于连续型属性，主要是根据专家经验知识设置断 点进行离散化。 贝叶斯狄利克雷标准（BD），即CH评分，在1992年由Cooper and Herskovits提出。
贝叶斯网络 随着计算机技术发展，知识发现和数据发掘能力越来越得到人 们的重视。在人工智能领域中，贝叶斯网络以其对不确定知识的表达 能力，对数据处理分析的能力得到了广泛的应用。贝叶斯网络继承了 图论的直观性，同时以坚实的数学理论支撑，在医学诊断，故障分析 等领域的应用都证明了它存在的科学性和重要意义。 结构学习是建立 贝叶斯网络的智能化方法，它以数据分析的方法，寻找能准确描述节 点之间依赖关系的网络，是贝叶斯网络理论发展的重要方向。 提高贝叶斯网络结构学习效率的主要因素是评分函数和搜索算法， 优 化评分函数的搜索算法是贝叶斯网络结构学习的核心问题 结构学习的CH评分：（与BD评分的区别是？） 学习贝叶斯结构实质上就是学习与数据拟合最好的网络结构。即 P(G|D)的最大值。 由贝叶斯公式得： P GD =
n i=1 k i log 2
(n).n表示节点变量个数； ki
表示节点的父节点数目。条件概率表的编码长度L2 =
logN 2 n i=1 Si
− 1 |πi |.N为实例数据集中实例的个数；|πi |表示
变量父节点集合的取值组合的数目； Si表示变量取值的数目。 （2） 数据的压缩编码长度L3 = N − Score
P(G,D) P(D)
=
P G P(D|G) P(D)
另外，
P(D)与结构无关，假设P(G)服从均匀分布。上式两边同时取对数得： logP G D ∝ logP(D|G) 因此，等价于求边际似然函数P(D|G)的最大值。（名字的由来： P(D|G, θ)）是二元组（G, θ）D的似然函数，记为：L(G, θ|D)边际似然 函数P(D|G)记为L(G|D).若参数先验分布P(θ|G)服从狄利克雷分布， 则CH评分如下：对数似然函数：