条件随机场CRF
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
观测独立性假设：
P ot iT ,oT ,iT1,oT1i1,o1 P ot it
23/87
HMM的3个基本问题
概率计算问题
给定模型 A, B,
列
O出现的概率P(O| λ)
O和 观o1测, o2序,oT
，计算模型λ下观测序列
学习问题
条件随机场CRF
北京10月机器学习班 邹博
2014年12月14日
思考：给定文本标注词性
他估算当前的赤字总额在9月份仅仅降低到18亿。 NN、NNS、NNP、NNPS、PRP、DT、JJ分别代表普通
名词单数形式、普通名词复数形式、专有名词单数 形式、专有名词复数形式、代词、限定词、形容词
2/87
注：大量文献将MRF和CRF混用，包括经典著作。后 面将考察为何会有该混用。
7/87
DGM转换成UGM
8/87
DGM转换成UGM
9/87
条件独立的破坏
靠考察是否有
，则计算U的
祖先图(ancestral graph)：
10/87
MRF的性质
成对马尔科夫性
parewise Markov property
复习：Markov Blanket
一个结点的Markov Blanket是一个集合，在 这个集合中的结点都给定的条件下，该结点 条件独立于其他所有结点。
即：一个结点的Markov Blanket是它的 parents,children以及spouses(孩子的其他 parent)
3/87
Markov Blanket
5/87
无向图模型
有向图模型，又称作贝叶斯网络(Directed Graphical Models, DGM, Bayesian Network)
在有些情况下，强制对某些结点之间的边增 加方向是不合适的。
使用没有方向的无向边，形成了无向图模型
(Undirected Graphical Model,UGM), 又被
局部马尔科夫性
local Markov property
全局马尔科夫性
global Markov property
表述说明：随机变量Y=(Y1,Y2…Ym)构成无 向图G=(V,E)，结点v对应的随机变量是Yv。
11/87
考察结点间的独立性
12/87
成对马尔科夫性
设u和v是无向图G中任意两个没有边直接连 接的结点，G中其他结点的集合记做O；则在 给定随机变量Yo的条件下，随机变量Yu和Yv 条件独立。
20/87
HMM的参数
B是观测概率矩阵 B bik NM
其中，bik P ot vk it qi
bik是在时刻t处于状态qi的条件下生成观测vk 的概率。
π是初始状态概率向量： i
其中， i Pi1 qi
πi是时刻t=1处于状态qi的概率。
19/87
HMM的参数
I是长度为T的状态序列，O是对应的观测序
列
I i1,i2,iT
O o1, o2,oT
A是状态转移概率矩阵
A aij NN
其中 aij P it1 qj it qi
aij是在时刻t处于状态qi的条件下时刻t+1 转移到状态qj的概率。
14/87
全局马尔科夫性
设结点集合A，B是在无向图G中被结点集合C 分开的任意结点集合，则在给定随机变量YC 的条件下，随机变量YAห้องสมุดไป่ตู้YB条件独立。
即：P(YA, YB |YC)= P(YA | YC)* P(YB | YC)
15/87
三个性质的等价性
根据全局马尔科夫性，能够得到局部马尔科夫性； 根据局部马尔科夫性，能够得到成对马尔科夫性； 根据成对马尔科夫性，能够得到全局马尔科夫性； 可以反向思考：满足这三个性质(或其一)的无向图，
即：P(Yu,Yv|Yo)= P(Yu|Yo)* P(Yv|Yo)
13/87
局部马尔科夫性
设v是无向图G中任意一个结点，W是与v有边 相连的所有结点，G中其他结点记做O；则在 给定随机变量Yw的条件下，随机变量Yv和Yo 条件独立。
即：P(Yv,Yo|Yw)= P(Yv|Yw)* P(Yo|Yw)
毒素
补充知识：Serum Calcium(血清钙浓度)高于2.75mmo1/L即
为高钙血症。许多恶性肿瘤可并发高钙血症。以乳腺癌、骨
肿瘤、肺癌、胃癌、卵巢癌、多发性骨髓瘤、急性淋巴细胞
4/87
白血病等较为多见，其中乳腺癌约1/3 可发生高钙血症。
图像模型
考察X8的马尔科夫毯(Markov blanket)
21/87
HMM的参数总结
HMM由初始概率分布π、状态转移概率分布A 以及观测概率分布B确定。π和A决定状态序 列，B决定观测序列。因此，HMM可以用三元 符号表示，称为HMM的三要素：
A, B,
22/87
HMM的两个基本性质
齐次假设：
P it it1, ot1,it2, ot2 i1, o1 P it it1
称为 马尔科夫随机场或者马尔科夫网络
(Markov Random Field, MRF or Markov
network)
6/87
条件随机场
设X=(X1,X2…Xn)和Y=(Y1,Y2…Ym)都是联合 随机变量，若随机变量Y构成一个无向图 G=(V,E)表示的马尔科夫随机场(MRF)，则条 件概率分布P(Y|X)称为条件随机场 (Conditional Random Field, CRF)
称为概率无向图模型。
16/87
复习：隐马尔科夫模型
17/87
HMM的确定
HMM由初始概率分布π、状态转移概率分布A 以及观测概率分布B确定。
A, B,
18/87
HMM的参数
Q是所有可能的状态的集合
N是可能的状态数
V是所有可能的观测的集合
M是可能的观测数
Q q1, q2 ,qN V v1, v2,vM
O o1, o2,oT
已知观测序列
A, B,
，估计模型
的参数，使得在该模型下观测序列P(O| λ)最大
P ot iT ,oT ,iT1,oT1i1,o1 P ot it
23/87
HMM的3个基本问题
概率计算问题
给定模型 A, B,
列
O出现的概率P(O| λ)
O和 观o1测, o2序,oT
，计算模型λ下观测序列
学习问题
条件随机场CRF
北京10月机器学习班 邹博
2014年12月14日
思考：给定文本标注词性
他估算当前的赤字总额在9月份仅仅降低到18亿。 NN、NNS、NNP、NNPS、PRP、DT、JJ分别代表普通
名词单数形式、普通名词复数形式、专有名词单数 形式、专有名词复数形式、代词、限定词、形容词
2/87
注：大量文献将MRF和CRF混用，包括经典著作。后 面将考察为何会有该混用。
7/87
DGM转换成UGM
8/87
DGM转换成UGM
9/87
条件独立的破坏
靠考察是否有
，则计算U的
祖先图(ancestral graph)：
10/87
MRF的性质
成对马尔科夫性
parewise Markov property
复习：Markov Blanket
一个结点的Markov Blanket是一个集合，在 这个集合中的结点都给定的条件下，该结点 条件独立于其他所有结点。
即：一个结点的Markov Blanket是它的 parents,children以及spouses(孩子的其他 parent)
3/87
Markov Blanket
5/87
无向图模型
有向图模型，又称作贝叶斯网络(Directed Graphical Models, DGM, Bayesian Network)
在有些情况下，强制对某些结点之间的边增 加方向是不合适的。
使用没有方向的无向边，形成了无向图模型
(Undirected Graphical Model,UGM), 又被
局部马尔科夫性
local Markov property
全局马尔科夫性
global Markov property
表述说明：随机变量Y=(Y1,Y2…Ym)构成无 向图G=(V,E)，结点v对应的随机变量是Yv。
11/87
考察结点间的独立性
12/87
成对马尔科夫性
设u和v是无向图G中任意两个没有边直接连 接的结点，G中其他结点的集合记做O；则在 给定随机变量Yo的条件下，随机变量Yu和Yv 条件独立。
20/87
HMM的参数
B是观测概率矩阵 B bik NM
其中，bik P ot vk it qi
bik是在时刻t处于状态qi的条件下生成观测vk 的概率。
π是初始状态概率向量： i
其中， i Pi1 qi
πi是时刻t=1处于状态qi的概率。
19/87
HMM的参数
I是长度为T的状态序列，O是对应的观测序
列
I i1,i2,iT
O o1, o2,oT
A是状态转移概率矩阵
A aij NN
其中 aij P it1 qj it qi
aij是在时刻t处于状态qi的条件下时刻t+1 转移到状态qj的概率。
14/87
全局马尔科夫性
设结点集合A，B是在无向图G中被结点集合C 分开的任意结点集合，则在给定随机变量YC 的条件下，随机变量YAห้องสมุดไป่ตู้YB条件独立。
即：P(YA, YB |YC)= P(YA | YC)* P(YB | YC)
15/87
三个性质的等价性
根据全局马尔科夫性，能够得到局部马尔科夫性； 根据局部马尔科夫性，能够得到成对马尔科夫性； 根据成对马尔科夫性，能够得到全局马尔科夫性； 可以反向思考：满足这三个性质(或其一)的无向图，
即：P(Yu,Yv|Yo)= P(Yu|Yo)* P(Yv|Yo)
13/87
局部马尔科夫性
设v是无向图G中任意一个结点，W是与v有边 相连的所有结点，G中其他结点记做O；则在 给定随机变量Yw的条件下，随机变量Yv和Yo 条件独立。
即：P(Yv,Yo|Yw)= P(Yv|Yw)* P(Yo|Yw)
毒素
补充知识：Serum Calcium(血清钙浓度)高于2.75mmo1/L即
为高钙血症。许多恶性肿瘤可并发高钙血症。以乳腺癌、骨
肿瘤、肺癌、胃癌、卵巢癌、多发性骨髓瘤、急性淋巴细胞
4/87
白血病等较为多见，其中乳腺癌约1/3 可发生高钙血症。
图像模型
考察X8的马尔科夫毯(Markov blanket)
21/87
HMM的参数总结
HMM由初始概率分布π、状态转移概率分布A 以及观测概率分布B确定。π和A决定状态序 列，B决定观测序列。因此，HMM可以用三元 符号表示，称为HMM的三要素：
A, B,
22/87
HMM的两个基本性质
齐次假设：
P it it1, ot1,it2, ot2 i1, o1 P it it1
称为 马尔科夫随机场或者马尔科夫网络
(Markov Random Field, MRF or Markov
network)
6/87
条件随机场
设X=(X1,X2…Xn)和Y=(Y1,Y2…Ym)都是联合 随机变量，若随机变量Y构成一个无向图 G=(V,E)表示的马尔科夫随机场(MRF)，则条 件概率分布P(Y|X)称为条件随机场 (Conditional Random Field, CRF)
称为概率无向图模型。
16/87
复习：隐马尔科夫模型
17/87
HMM的确定
HMM由初始概率分布π、状态转移概率分布A 以及观测概率分布B确定。
A, B,
18/87
HMM的参数
Q是所有可能的状态的集合
N是可能的状态数
V是所有可能的观测的集合
M是可能的观测数
Q q1, q2 ,qN V v1, v2,vM
O o1, o2,oT
已知观测序列
A, B,
，估计模型
的参数，使得在该模型下观测序列P(O| λ)最大