概率图模型学习(西电)

概率图模型学习 Learning Graphical Models
1
目录

模型表示（ Representation ） 模型学习（ Learning ） 概率推理（ Inference ）
2
模型表示
图论+概率论=概率图模型 节点：随机变量或一组随机变量 连接弧：随机变量之间的依赖关系 研究对象之间依赖关系的一种工具
17
目录

模型表示（ Representation ） 模型学习（ Learning ） 概率推理（ Inference ）
18
模型学习
问题描述
Problem Domain Expert Knowledge Training Data Learning Algorithm
Bayesian Network
概率图模型完全可以用纯概率的方式表达；而图结构的引入 提供了理解的直观性
3
模型表示
有向图 贝叶斯网络（Bayesian Network） 隐马尔可夫模型（Hidden Markov Model） 无向图 马尔可夫随机场（ Markov Random Field ） 条件随机场（Conditional Random Field ）
n
P (c j ) P (a1 , , an | c j )
P (a
i 1
n
i
| cj)
P(a | a , c )
i 1 i k j
ak {a1 , , ai 1}
10
模型表示
由于由于 BN 的强大推理能力, BN 已在众多领域获得成功应用, 如医疗诊断、临 床决策、生物信息学、法医学、语音识别、风险分析和可靠性分析等. 文献[1] 详 细综述了 BN 在多个领域的实际应用示例, 并针对每个领域给出具体的建模以及 推理过程. 文献[2] 给出了 BN 在法医学和基因学方面的应用综述,归纳了 BN 在 这两方面的应用发展. 而文献 [3] 综述了BN 近几年在可靠性分析、风险分析和机 器维护领域的应用. [1] Pourret O, Naim P, Marcot B. Bayesian Networks: A Practical Guide to Applications. Chichester: John Wiley, 2008. [2] Larran˜aga P, Moral S. Probabilistic graphical models in artificial intelligence. Applied Soft Computing, 2011, 11(2):1511− 1528. [3] Weber P, Medina-Oliva G, Simon C, Iung B. Overview on Bayesian networks applications for dependability, risk analysis and maintenance areas. Engineering Applications of Artificial Intelligence, 2012, 25(4): 671− 682.
11
模型表示
基本定义
MRF是一类表示随机变量间对称影响关系的概率图模型, 也是由拓扑结构和参数 两部分组成. MRF的结构为无向图, 节点表示随机变量, 无向边表示变量间的依赖 关系. MRF 的参数为因子集合, 每个因子是定义在无向图中某个团上的非负函数. MRF 结构中的变量可划分为多个团, 那么联合概率分布可以分解为每个团的因子 的乘积.
卡方条件独立测试的具体步骤：
4个节点的网络
为了判断变量B和D之间是否相互依赖，假设卡方分布的显著性水平为0.01，计 算分布的自由度为 ，此时对应的卡方分布值为9.2103. 计算
2 2 2 2 min{U BD U BD | A , U BD|C } 9.2103 ，则B和D以99%的概率相互依赖。 | A 和U BD|C ，若
22
模型学习
现有算法——基于评分搜索的结构学习
通过定义评分函数对BN结构空间中的不同元素与样本数据的拟合程度进行度量， 然后利用搜索算法确定评分最高的网络结构。
G* arg max P(G | D) arg max
G G
P( D | G ) P(G ) P( D)
边缘似然函数
P ( D | G ) P ( D | G , G ) p ( G | G )d G
21
模型学习
为了有效减少计算时间和构建网络时出现的错误, Yehezkel 和 Lerner 提出 RAI 算 法[11], 递归地进行 CI 检验、边定向和结构分解, 并对更小的结构使用更高阶的 CI 检验. Xie 和 Geng 还提出另一种递归算法[12], 他们递归地把变量分成两个子集, 直 到子集不能再细分的时候就构造一个 DAG, 然后根据分离的方向来组合这些 DAG, 从而得到最终的网络结构. [11] Yehezkel R, Lerner B. Bayesian network structure learning by recursive autonomy identification. Journal of Machine Learning Research, 2009, 10: 1527− 1570. [12] Xie X C, Geng Z. A recursive method for structural learning of directed acyclic graphs. Journal of Machine Learning Research, 2008, 9: 459− 483. 文献 [13] 为了解决大型 BN 的结构学习问题,提出两种 CB 算法用于学习 BN 的超 结构, 即学习包含 BN 骨架的无向图模型. 其中一种算法称为Opt01SS, 只利用零阶 或一阶 CI 检验学习超结构;另一种算法称为 OptHPC, 对 HPC 算法进行计算优化 并用于超结构学习. [13] Villanueva E, Maciel C D. Effi cient methods for learning Bayesian network super-structures. Neurocomputing, 2014, 123: 3-12.
结构学习：从数据中发现变量之间的图关系
19
模型学习
现有算法——基于条件独立测试的结构学习
将BN看作是表示变量间独立性关系的网络模型．采用卡方统计量或条件互信息 来定量描述变量之间的依赖关系，然后从无向完全图出发，通过一定的规则确定相 邻节点之间的边是否存在．
20
模型学习
现有算法——基于条件独立测试的结构学习
12
模型表示
13
模型表示
14
模型表示
15
模型表示
由于 MRF 为非因果模型, 能够灵活地表示变量间的相互作用, 因此 MRF最常用 于计算机视觉和图像处理领域, 为像素点之间的关系建模. 目前, MRF的主要应用 包括图像重构[4]、图像分割[5]、图像恢复[6]、3D 视觉[7]、目标识别和目标匹 配[8]等. 文献 [9,10] 总结了 MRF 在图像处理领域的多种应用, 给出了 MRF 在图 像分割、图像超分辨率、图像恢复中的建模理论、方法和最新研究进展. [4] Prelee M A, Neuhoff D L, Pappas T N. Image reconstruction from a Manhattan grid via piecewise plane fitting and Gaussian Markov random fields. In: Proceedings of the 19th IEEE International Conference on Image Processing. Orlando, Florida, USA: IEEE, 2012. 2061− 2064. [5] Dawoud A, Netchaev A. Preserving objects in Markov Random Fields region growing image segmentation. Pattern Analysis and Applications, 2012, 15(2): 155− 161. [6] Yousefi S, Kehtarnavaz N, Cao Y, Razlighi Q R. Bilateral Markov mesh random field and its application to image restoration. Visual Communication and Image Representation, 2012, 23(7): 1051− 1059.
16
模型表示
[7] Xiong R, Wang J N, Chu J. Face alignment based on 3D face shape model and Markov Random Field. In: Proceedings of the 12th International Conference on Intelligent Autonomous Systems. Berlin, Heidelberg: Springer, 2012. 249− 261. [8] Ghosh A, Subudhi B N, Ghosh S. Object detection from videos captured by moving camera by fuzzy edge incorporated Markov Random Field and local histogram matching.IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(8): 1127− 1135. [9] Li S Z. Markov Random Field Modeling in Image Analysis(Third edition). Tokyo, Japan: Springer, 2009. [10] Blake A, Kohli P, Rother C. Markov Random Fields for Vision and Image Processing. Cambridge: The MIT Press, 2011.
n qi
ri FK 2 (G | D) log P(G ) log((ri 1)! (mij* ri 1)!) log(mijk !) i 1 j 1 k 1
4
模型表示
5
模型表示
基本定义
贝叶斯网络（BN）是一个二元组，即 BN (G , P )，G (V , E )为有向无环图，其中V 为节点集，与领域的随机变量一一对应；E为有向边集，反映变量之间的因果依赖关 系；P为节点的概率分布，表示节点之间因果影响强度，每个节点都有一个条件概率 表，定量描述其所有父节点对该节点的作用效果．
n } P(V ) P(V1 ,V2 , ,Vn ) i 1 P(Vi | pa(Vi )). 变量集 V {V1 ,V2 , ,Vn上的联合概率分布：
图2.1 一个贝叶斯网实例
6
模型表示
B ⊥E J ⊥{B,E,M} | A M ⊥{B,E,J} | A
P(B,E,A,J,M)=P(B)P(E|B)P(A|B,E)P(J|B,E,A)P(M|B,E,A,J)
1 +2 +4 +8 +16 =31
P(B,E,A,J,M)=P(B)P(E)P(A|B,E)P(J|A)P(M|A)
1 +1 +4 +2 +2 =10
7来自百度文库
模型表示
8
模型表示
9
模型表示
数据分类原理：P(c j | a1 , , an )
P (a1 , , an | c j ) P (c j ) P (a1 , , an )