无向图模型(马尔科夫随机场)

19 无向图模型（马尔科夫随机场）

19.1 介绍

在第十章,我们讨论了图形化模型(DGMs),通常称为贝叶斯网。然而,对于某些域,需要选择一个方向的边即(DGM), 例如,考虑建模一个图像。我们可能会假设相邻像素的强度值是相关的。我们可以创建一个DAG模型的2D拓扑如图19.1所示。这就是所谓的因果MRF或马尔可夫网。然而,它的条件独立性通常不好。

另一种方法是使用anundirected图形化模型(UGM),也称为马尔可夫随机场(MRF)或马尔可夫网络。这些不需要我们指定边缘方向,在处理一些问题,如图像分析和空间统计数据时显得更自然。例如,一个无向二维点阵显示（如图19.1(b)）；现在每个节点的马尔科夫Blanket只是最近邻节点,正如我们在19.2节所示的那样。

粗略地讲,在建立在DGMs上的UGMs的主要优点是:(1)它们是对称的,因此对

某些领域更“自然”,如空间或关系数据；(2)Discriminativel UGMs(又名条件随机域,或CRFs),它定义了条件概率密度p(y|x),要比Discriminativel UGMs更好，我们在19.6.1节中解释原因。相比于DGMs，UGMs的主要缺点是:(1)参数是可很难解释及模块化程度较差,我们在19.3节解释原因;(2)参数估计计算代价更高,原因我们在19.5节解释。

19.2 UGMs的条件独立性

19.2.1

UGMs通过简单的图分离定义CI关系如下：对于节点集的A,B,C,我们说X A ⊥G X B | X C,如果从在图G中把A从B中分离出来。这意味着，当我们删除所有C 中的节,如果在A上没有任何连接的路径到B，那么CI 属性holds。这就是所谓的UGMs的全局马尔可夫性质。例如,在图19.2(b),有{ 1,2 }⊥{ 6、7 } | { 3、4、5 }。

图19.1

节点的节点集呈现t有条件地独立于所有其他节点图为t的马尔科夫blanket;我们将表示通过mb(t)。正式,马尔可夫全面满足以下属性

节点的集合呈现一个节点t条件独立于所有图中的其他节点被称为t的马尔

可夫blanket;我们将通过MB（t）表示这一点。从形式上看，马尔科夫blanket满足以下的特性：

其中是结点t的闭节点。可以证明，在一个UGM中，一个节点的马尔科夫blanket是其集近邻的节点。这就是所谓的无向本地马尔科夫属性。例如，在图19.2（b）中，有。

从局部马尔可夫属性，我们可以很容易地看到，两个节点是条件独立给出的其余部分，如果它们之间没有直接相连。这就是所谓的马氏Pairwise属性。符号上表示为:

使用三马尔可夫特性我们已经讨论过，我们可以从UGM得出以下的CI特性（其中包括）

很明显，全局马尔可夫给出了局部成对的这些马氏节点。这是不太明显的，但尽管如此真实（假定对于所有的x ，P（x）> 0，即，p是一个正密度），Pairwise 意味着全局性的，因此，所有这些马尔可夫性质是相同的，如图图19.3（参考‘Koller and Friedman 2009, p119’的证明）。这一结果的重要性在于，它通常更容易根据经验评估Pairwise条件独立性; 这种成对的CI声明可以用来构建一个从全局CI中

提取出来的图。

19.2.2 从无向到D-Separation

我们已经看到，检查 CI关系，在UGMs中要比DGMS容易得多，因为我们不必担心边的方向性。在本节中，我们将展示如何在有向图中使用UGM检查CI关系。

人们很容易通过删除边简单地将有向图转化为无向图，但是这显然是不正确

的，因为V型结构A→B←C相比于无向图中V型结构A-B-C有很不同的CI属性。后者不正确地给出了A⊥C | B。为了避免这种不正确的形式，我们可以在未连接的A和C之间添加边，然后从边上画箭头，成形无向全连通图。这个过程被称为规范化(moralization)。图19.2（b）给出了例子。

我们互连2和3，因为它们具有共同的子节点5，我们互连4，5和6，因为它们具有共同的子节点7。不幸的是，教化失去了一些CI信息，因此我们不能使用规范化的UGM去检测DGM的CI属性。例如，在图19.2（a）中，使用

D-分离，我们看到4⊥5|2添加标准化弧4 - 5将失去这一性质（见图19.2（b））。但是，请注意4-5的边，这表明可以用以下的方法来确定，如果A⊥B | C。首先，我们形成DAG图U= A∪B∪C。这意味着我们删除图中不在U中的所有节点或者不是U的祖先节点。那么我们这个标准化原图，并应用了简单的分离规则UGMs。例如，在图19.4（a）中，我们显示了原始图，图19.2（a）使用U={2，4,5}。在图19.4（b）中，我们将展示这个图表的moralization版本。很明显我们现在可以正确地得出结论，4⊥5|2。

19.2.3 比较有向和无向图模型

哪种图有更强的“表现力”，有向图或无向图？正式搞清这个问题，回忆我们说G是一个I-MAP，概率分布为P，如果有I（G）⊆I（P）的话。如果I（G）= I（P），则G是I-MAP的一个完美的映射，换言之，该图可以代表所有的（也是唯一的）的CI 分布的特性。事实证明，DGMS和UGMs是不同分布集上完美

的map（见图19.5）。在这个意义上，两者都不是比谁更有强大的表示能力。

作为能够由DGM完美地模拟一些CI的关系的一个例子，考虑V结构A →C ←B，预示着A ⊥ B , 且A B | C，去掉箭头有A − C − B , A ⊥ B | C 且 A B。事实上，没有一种UGM可以精确代表所有只由一个V型结构编码的两个CI statement。在一般情况下，CI的属性在UGMs是单调的，如果A ⊥B | C , 则A ⊥B | ( C ∪ D )，但在DGMS，CI的属性可以是非单调的，通过变量调节可以消除条件独立。

作为能够完美地模拟由一个UGM CI的关系的一个例子，考虑图19.6所示的4个周期，正确表示了A ⊥C | B,D，然而B ⊥D | A又是不正确的，图19.6（c）是A ⊥ C | B,D另外一种错误情况， B ⊥D。

一些分布可以由DGM或UGM完美模拟;产生的图形被称为decomposable 或者叫弦。粗略的说，这意味着：如每个最大团所有的变量坍塌，使“mega变量”，由此产生的图形将是一棵树。当然，如果图形已经是一个树（包括比较特殊的“链”），这将是弦。参见20.4.1节的细节。

19.3 MRFs参数化

19.3.1 Hammersley-Cliford理论

由于是无向图没有相关的拓扑排序，我们不能用链式法则来表示P（Y）。所以，联想势函数SOR因子s与图中的每一个极大团。我们给出势函数。一个潜在的函数是一个参数为非负的函数。可以证明任何正向分布，其CI的属性可以通过一个UGM表示。

定理19.3.1（Hammersley-Clifford），一个正向分布p(y) >0满足无向图G的CI属性，如果P能被一个最大团因子所表示。

其中C是图中所有最大团的集合，Z ( θ )是分割函数，