条件随机场

4
一个举例： (1,0), (1,0), (2,0), (2, 1) 产生式模型： p(x, y)： P(1, 0) = 1/2, P(1, 1) = 0, P(2, 0) = 1/4, P(2, 1) = 1/4. 判别式模型： P(y|x)： P(0|1) = 1, P(1|1) = 0, P(0|2) = 1/2, P(1|2) = 1/2
( )
C2
(x4 , x2 , x3 X )
3
X4
无向图：联合分布的因式分解 无向图：
12
若一个分布可用一个特定的图因式分解，则称该 分布满足无向因式分解性质F F 定理：对任意图和任意分布：F => G F 定理：(Hammersley-Clifford)：对严格正的分 布和任意图： G => F
26
条件随机场
27
我们不妨拿种地来打个比方。其中有两个概念：位置（site），相空 间 （phase space）。“位置”好比是一亩亩农田；“相空间”好 比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比 给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说 ，随机场就是在哪块地里种什么庄稼的事情。 简单地讲，随机场可以看成是一组随机变量的集合（这组随机变量对 应同一个样本空间）。当给每一个位置中按照某种分布随机赋予相空 间的一个值之后，其全体就叫做随机场。 当然，这些随机变量之间可能有依赖关系，一般来说，也只有当这些 变量之间有依赖关系的时候，我们将其单独拿出来看成一个随机场才 有实际意义。
5
o和s分别代表观察序列和标记序列 产生式模型 构建o和s的联合分布p(s,o) 判别式模型 构建o和s的条件分布p(s|o) 产生式模型中，观察序列作为模型的一部分； 判别式模型中，观察序列只作为条件，因此可 以针对观察序列设计灵活的特征。
6
产生式模型：无穷样本==》概率密度模型 = 产生模型==》预测 判别式模型：有限样本==》判别函数 = 预测模型==》预测
33
链式条件随机场模型的图结构
34
条件随机场概率模型的形式
35
条件随机场概率模型的形式
36
条件随机场概率模型的形式
37
条件随机场概率模型的形式
38
由最大熵模型可知参数估计的实质是对概率的对数最大似然函数求最值 ，即运用最优化理论循环迭代，要任务是从训练数据中估计特征的权重λ
条件随机场理论（CRFs）可以用于序列标记、数据分割、组块分析等 自然语言处理任务中。在中文分词、中文人名识别、歧义消解等汉语自 然语言处理任务中都有应用，表现很好。
目前基于 CRFs 的主要系统实现有 CRF，FlexCRF，CRF++ 缺点：训练代价大、复杂度高
2
预备知识 产生式模型和判别式模型（Generative model vs. Discriminative model） 概率图模型 隐马尔科夫模型 最大熵模型
9
无向图
◦ 有限集合V：顶点/节点，表示随机变量 ◦ 集合E：边/弧
两个节点邻接：两个节点之间存在边，记为 X i ~ X j 路径：若对每个i，都有 X i- 1 ~ X i ，则称序列 X 1 ,..., X N 为一条路径
无向图
10
完全（子）图：每个节点与集合中其他节点之 间都有边 子块（Clique）：图中最大的完全子图 例下图的子块有C1={X1, X2, X3}和C2={X2, X3, X4}
随机场
28
具有马尔科夫性质 体现了一个思想：离当前因素比较遥远(这个遥远要根据具体情况自 己定义）的因素对当前因素的性质影响不大。 首先，一个Markov随机场对应一个无向图。这个无向图上的每一个 节点对应一个随机变量，节点之间的边表示节点对应的随机变量之间 有概率依赖关系。因此，Markov随机场的结构本质上反应了我们的 先验知识——哪些变量之间有依赖关系需要考虑，而哪些可以忽略。 现在，如果给定的MRF中每个随机变量下面还有观察值，我们要确 定的是给定观察集合下，这个MRF的分布，也就是条件分布，那么 这个MRF就称为CRF(Conditional Random Field)。它的条件分布 形式完全类似于MRF的分布形式,只不过多了一个观察集合x 最通用角度来看，CRF本质上是给定了观察值集合(observations) 的马尔可夫随机场。
8
概率图模型
根据边是否有方向，有两种主要的图模型
◦ 无向图：亦称马尔科夫随机场(Markov Random Fields, MRF’s)或马尔科夫网络(Markov Networks) ◦ 有向图：亦称贝叶斯网络(Bayesian Networks)或 信念网络(Belief Networks, BN’s). ◦ 还有混合图模型，有时称为链图(chain graphs)
X1 X2
X3
X4
无向图：联合分布的因式分解 无向图：
11
若一个联合分布 P(x) > 0 可由无向图中子块势 能函数的乘积表示 1 P ( x) = ÕC j Ci (xCi ) Z (j )Ci Î 则称该分布可由图中因式分解。 其中 为图中所有子块的集合 ，对每个子块Ci，赋予一个非负的势能函数 j Ci xCi X1 X2 ，Z为归一化常数 在上述例子中， 1 p (x)= j C1 (x1 , x2 , x3 )j Z
最大熵模型(Max Entropy Model，MEM)
20
最大熵模型面临两个问题
一是如何确定模型是均匀的 二是根据一个约束集如何找到一个最优的均匀分布。
熵的计算公式如下 熵有如下的性质：
由上面熵取得最大值时分布可知，当熵模型在满足约束条件下取得最大值时 ，熵模型是均匀的
21
模型的目标是 给定上下文信息 x∈ Χ ，计算输出为 y∈ Υ (y | x) 最大熵模型的约束条件 ：
的条件概率 p
22
目的1：得到条件概率的指数形式
23
思想方法 极大似然法的想法是，一随机试验已知有若干个结果Ａ，Ｂ，Ｃ， …，如果在一次试验中Ａ发生了，则可认为当时的条件最有利于Ａ 发生，故应如此选择分布的参数，使发生Ａ的概率最大.
极大似然法
24
目的2：求最大熵的实质是求对数似然函数的最大值
25
3
假定输入x, 类别标签y
产生式模型（生成模 型）估计联合概率 P(x, y), 因可以根据 联合概率来生成样本 HMMs
机器学习方法的两种分类： 产生式模型和判别式模型
判别式模型（判别模 型）估计条件概率 P(y|x), 因为没有x的 知识，无法生成样本， 只能判断分类 SVMs CRF MEM（最大熵）
条件随机场 conditional random fields
1
条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。 它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题 条件随机场模型既具有判别式模型的优点,又具有产生式模型考虑到上下 文标记间的转移概率,以序列化形式进行全局参数优化和解码的特点,解 决了其他判别式模型(如最大熵马尔科夫模型)难以避免的标记偏置问题。
条件随机场模型的参数估计
39
条件随机场模型的参数估计
40
条件随机场模型的参数估计
41
通过梯度为零来求解参数λ并不一定总是得到一个近似解， 因而需要利用 一些迭代技术来选择参数， 使对数似然函数最大化。 通常采用的方法是 改进的迭代缩放 （Improved Iterative Scaling, IIS）或者基于梯度的 方法来计算参数。 以上的介绍中，我们给出了对数似然函数L (λ) 梯度的计算表达形式，即 经验分布 的数学期望与由模型得到的条件概率 的数学期望的差。而经验分布的数学期望为训练数据集中随机变量(x ,y ) 满足特征约束的个数，模型的条件概率的数学期望的计算实质上是计算条 件概率
隐马尔可夫模型(Hidden Markov Model, HMM)
15
三个基本问题 估计问题 序列问题 训练问题或参数问题
隐马尔可夫模型(Hidden Markov Model, HMM)
16
得到红，黄，蓝这样的观察序列的概率 P(O|µ) 前向、后向和两者结合的算法
隐马尔可夫—估计问题
17
我们已经知道了结果是红，黄，蓝，但是怎样从 不同的袋子中取出的？ 求袋子的最优的序列 维比特算法 单个状态单独的具有最大概率，但是可能两个状 态之间的转移概率为0，这是，这个状态序列不 合法。 维比特算法不是状态序列中的单个状态，而是整 个序列状态，不合法的状态序列的概率为0，不 可能被选为最优状态序列。
概率图内容
势函数
31
为了满足概率公理，则必须引入一个归一化因子Z ，这样可以确保势函数的 乘积满足概率公理，且是G中节点所表示的随机变量的联合概率分布。
其中C为最大团集合，利用 Hammersley-Clifford 定理，可以得到联合概 率公式如下：
势函数
32
基于条件独立的概念，条件随机场的无向图结构可以用来把关于 Υ ∈ Υv 的联合分布因式化正的和实值的势函数的乘积，每个势函数操 作在一个由G 中顶点组成的随机变量子集上。根据无向图模型条件 独立的定义，如果两个顶点间没有边，则意味着这顶点这些顶点对应 的随机变量在给定图中其它顶点条件下是条件独立的。 所以在因式 化条件独立的随机变量联合概率时，必须确保这些随机变量不在同一 个势函数中。满足这个要求的最容易的方法是要求每个势函数操作在 一个图G 的最大团上，这些最大团由随机变量相应顶点组成。这确 保了没有边的顶点在不同的势函数中，在同一个最大团中的顶点都是 有边相连的。
产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。
一般认为判别型模型要好于生成型模型，因为它是直接根据数据对 概率建模，而生成型模型还要先求两个难度相当的概率。
7
概率图模型
用图的形式表示概率分布 基于概率论中贝叶斯规则建立起来的，解决不 确定性问题，可以用于人工智能、 数据挖掘、 语言处理文本分类等领域 图模型是表示随机变量之间的关系的图，图中 的节点表示随机变量，缺少边表示条件独立假 设。因此可以对联合分布提供一种紧致表示。
无向图：联合分布的因式分解 无向图：
势函数部分
13
例：无向图及其势能函数表 联合分布
子块：
无向图：联合分布的因式分解 无向图：
14
离散马尔可夫过程 两个假设：无后效性 马尔科夫性 不动性 状态与时间无关 在隐马尔科夫模型中，我们不知道模型所经过的 序列状态，只知道状态的概率函数。 双重的随机过程： 模型的状态转换过程是不可见的 可观察事件的随机过程是隐蔽的 五元组 P96
隐马尔可夫—序列问题
18
如何调整模型µ的参数，使红、黄、蓝这样的观 察序列出现的概率最大 期望最大化算法 这种迭代爬山算法可以局部地使P(O|µ)最大化
隐马尔可夫—训练或参数估计的问题
19
最大熵原理是基于这种假设：在已知限制条件下， 未知的概率分布应该均等看待。此时，模型的熵 最大。 最大熵原理的实质是，在已知部分知识前提下， 关于未知分布最合理的推断是符合已知知识的最 不确定或最随机的推断 最大熵模型主要是在已有的一些限制条件下估计 未知的概率分布。最大熵的目标就是在这些特征 函数的期望值等于观测值的限制条件下，具有最 大熵的那个分布。
Markov随机场(MRF)
29
条件随机场模型是一种无向图模型，它是在给定 需要标记的观察序列的条件下，计算整个标记序 列的联合概率分布，而不是在给定当前状态条件 下，定义下一个状态的状态分布。即给定观察序 列O,求最佳序列S。、
这时候，我们称（X，Y）为一个条件随机场
30
在无向图中，任何一个全连通（任意两个顶点间都有边相连）的子图 称为一个团(clique)，而称不能被其它团所包含的才为最大团(maxi mal clique)。 尽管在给定每个节点的条件下，分配给该节点一个条件概率是可能的 ，但条件随机场的无向性很难保证每个节点在给定它的邻接点条件下 得到的条件概率和以图中其它节点为条件得到的条件概率一致。因此 导致我们不能用条件概率参数化表示联合概率，而要从一组条件独立 的原则中找出一系列局部函数的乘积来表示联合概率。选择局部函数 时，必须保证能够通过分解联合概率使没有边的两个节点不出现在同 一局部函数中。 最简单的局部函数是定义在图结构中的最大团 (clique)上的势函数(Potential function)，并且是严格正实值的函 数形式。