随机场马尔可夫随机场条件随机场

随机场、马尔可夫随机场、条件随机场
最近看视觉显著性方面的文章，看到一篇2011年2月的PAMI文章Learning to Detect a Salient Object，论文提出一种基于条件随机场（CRF）的特征组合方法将显著目标提取问题看做二值标记问题来解决。

之前没有接触过条件随机场，经过两天的学习，现在总结一下并巩固梳理：
（1）随机场：
在概率论中, 由样本空间Ω = {0, 1, ..., G 1}n取样构成的随机变量Xi所组成的S= {X1, ..., Xn}。

若对所有的ω∈Ω下式均成立，则称π为一个随机场。

一些已有的随机场如：马尔可夫随机场(MRF), 吉布斯随机场(GRF), 条件随机场(CRF), 和高斯随机场。

随机场包含两个要素：位置（site），相空间（phase space）。

当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。

我们不妨拿种地来打个比方。

“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。

我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。

所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。

（2）马尔科夫（Markov）性质：
马尔可夫链是随机变量X1, … , Xn 的一个数列。

这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn 的值则是在时间n 的状态。

如果Xn+1 对于过去
状态的条件概率分布仅是Xn 的一个函数，则
这里x 为过程中的某个状态。

上面这个恒等式可以被
看作是马尔可夫性质。

马尔可夫链的在很多应用中发挥了重要作用，例如，谷歌所使用的网页排序算法（PageRank）就是由马尔可夫链
定义的。

通俗说，离当前因素比较遥远(这个遥远要根据具体情况自己定义）的因素对当前因素的性质影响不大。

简单说，就叫健忘。

拿天气来打个比方。

如果我们假定天气是马尔可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。

再举一个通俗的比喻来形容，一只被切除了大脑的白鼠在若干个洞穴间的蹿动就构成一个马尔科夫链。

因为这只白鼠已没有了记忆，瞬间而生的念头决定了它从一个洞穴蹿到另一个洞穴；当其所在位置确定时，它下一步蹿往何处与它以往经过
的路径无关。

这一模型的哲学意义是十分明显的，用前苏联数学家辛钦（1894－1959〕的话来说，就是承认客观世界中有这样一种现象，其未来由现在决定的程度，使得我们关于过去的知识丝毫不影响这种决定性。

这种在已知“现在”的条件下，“未来”与“过去”彼此独立的特性就被称为马尔科夫性，具有这种性质的随机过程就叫做马尔科夫过程，其最原始的模型就是马尔科夫链。

在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。

（3）马尔科夫随机场：
即加了Markov性质限制的随机场，满足两个性质：
（1）
（2）
条件②中的条件概率常称为MRF的局部特性，任何过程满足条件①的概率都由条件②中的条件所唯一确定。

在实际应用中很难确定这两个条件的概率。

20世纪80年代，Hammersley-Clifford给出了Gibbs分布与MRF的关系，从而用Gibbs分布来求解MRF中的概率分布。

邻域系统的Gibbs分布是定义在Ω上的概率测度p，具有如下的表达形式：
式中，Z是归一化常数或配分函数，T是个温度常数，
称为能量函数，在图像处理中，对先验模型的研究往往转换为对能量函数的研究。

C表示邻域系统δ所包含基团的集合，Vc(·)是定义在基团c上的势函数(potential)，它只依赖于δ(s)，s∈c的值。

δ={δ(s)|s∈S}是定义在S上的通用的邻域系统的
集合。

Hammersley-Clifford定理给出了Gibbs分布与MRF等价的条件：一个随机场是关于邻域系统的MRF，当且仅当这个随机场是关于邻域系统的Gibbs分布。

关于邻域系统δ(s)的MRFX与Gibbs分布等价形式表示为
上式解决了求MRF中概率分布的难题,使对MRF的研
究转化为对势函数Vc(x)的研究，使Gibbs分布与能量函数
建立了等价关系,是研究邻域系统δ(s)MRF的一个重要里程碑。

（4）条件随机场：
条件随机场模型是由Lafferty在2001年提出的一种典
型的判别式模型。

它在观测序列的基础上对目标序列进行建模，重点解决序列化标注的问题。

条件随机场模型既具有判别式模型的优点，又具有产生式模型考虑到上下文标记间的转移概率，以序列化形式进行全局参数优化和解码的特点，
解决了其他判别式模型(如最大熵马尔科夫模型)难以避免的标记偏置问题，在自然语言处理的许多领域（如词性标注、中文分词、命名实体识别等）都有比较好的应用效果。

现在，如果给定的MRF中每个随机变量下面还有观察值，我们要确定的是给定观察集合下，这个MRF的分布，也就是条件分布，那么这个MRF就称为CRF。

它的条件分布形式完全类似于MRF的分布形式，只不过多了一个观察集合x。

最通用角度来看，CRF本质上是给定了观察值(observations)集合的MRF。

关键问题：1.特征函数的选择；2.参数估计；3.模型推断。

优点：条件随机场模型既具有判别式模型的优点，又具有产生式模型考虑到上下文标记间的转移概率，以序列化形式进行全局参数优化和解码的特点，解决了其他判别式模型(如最大熵马尔科夫模型)难以避免的标记偏见问题。

缺点：模型训练时收敛速度比较慢
CRF的发展方向：1.复杂拓扑结构的CRF；2.模型训练和推断的快速算法；3.CRF模型特征的选择和归纳。

Reference：
[1] 条件随机场.ppt
[2] CRF(条件随机场)+(联合分布-条件分布：生成模型-判别模型) /html/y2010/2312.html [3] 李旭超,朱善安. 图像分割中的马尔可夫随机场方法综述[J]. 中国图象图形学报. 2007(05)
[4] 马尔科夫百度百科
/view/88424.htm#16。