马尔科夫链模型及其应用

马尔科夫链：应用 保险公司
状态转移具有无后效性 a1(n+1)=a1(n)p11+a2(n)p21 a2(n+1)=a1(n)p12+a2(n)p22 给定a(0),预测a(n), n=1,2… n 设投保 时健康 a1(n) a2(n) n 设投保 时疾病 a1(n) a2(n) n 0 1 0 0 1 0 1 0.8 0.2 1 0.7 0.3 2 0.78 0.22 2 0.77 0.33 3 0.778 0.222 3 0.777 0.333 …… …… …… …… …… ……
隐马尔可夫模型 (Hidden Markov Model) 是一种统计模型，用来描述一个含有 隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含 参数，然后利用这些参数来作进一步的分析。
隐马尔科夫模型
下图是一个三个状态的隐马尔可夫模型状态转移图。
x 表示隐含状态 y 表示可观察的输出 a 表示状态转换概率 b 表示输出概率
m
设P(m)是一个矩阵，其元素为m步转移概率，使得第i行第j列元素为 Pi , j 由上式可得 P ( m ) P P ( m 1) 经关于m的归纳 P
( m)
m
Pm
马尔科夫链：加权图表示
马尔可夫链的另一种有用的表示是用一个有向加权图D=(V,E,w). 图的顶点集合是链的状态集 存在一条有向边 (i, j) E,当且仅当Pi,j>0,此时边(i,j)的权w(i,j)由w(i,j)=Pi,j给出 自圈（一条边开始和结束在同一顶点）是允许的。 对每一个i，我们仍要求 w(i, j) 1
马尔科夫链：定义及表示
随机过程 X {X(t):t Τ }是随机变量的集合，指标t通常表示时间， 此时，过程X是随时间而变化的随机变量X的取值模型。 X(t)是过程在时刻t的状态，用Xt代替X(t)。 这里我们着重于特殊类型的离散时间、离散空间随机过程X0,X1,X2,…， 其中Xt的值依赖于Xt-1的值，但不依赖于导致系统取那个值得状态序列。 定义：一个离散时间随机过程X0，X1，X2，…是马尔可夫链，如果
隐马尔科夫模型
对HMM来说，有如下三个重要假设。 假设1：马尔可夫假设（状态构成一阶马尔可夫链）
P(Xi | Xi1 X1 ) P(Xi | Xi1 )
假设2：不动性假设（状态与具体时间无关）
P(Xi1 | Xi ) P(X j1 | X j ),i, j
假设3：输出独立性假设（输出仅与当前状态有关）
马尔可夫模型及其应用
汇报人：吕昌伟 20157167
2015年12月1日
目录
1 马尔可夫链
2
隐马尔可夫模型
3
马尔可夫随机场
马尔科夫链：介绍
马尔可夫链，因安德烈· 马尔可夫（A.A.Markov，1856－1922）得名， 是数学领域中具有马尔可夫性质的离散时间随机过程。 马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态 空间是由柯尔莫果洛夫在1936年给出的。 安德烈· 马尔可夫，俄罗斯人，物理-数学博 士，圣彼得堡科学院院士，彼得堡数学学派 的代表人物，以数论和概率论方面的工作著 称，他的主要著作有《概率演算》等。1878 年，荣获金质奖章，1905年被授予功勋教授 称号。
P0,0 P1,0 P [ Pi ,0
归一化：对所有i, Pi, j 1
j0
P0,1 P0, j P1,1 P1, j ] Pi ,1 Pi , j
马尔科夫链：m步转移概率
设pi(t)表示过程在t时刻处于状态i的概率
p(t) (p0 (t), p1 (t), p2 (t),) 是在t时刻给出链的状态分布的向量
马尔科夫链：应用 保险公司
保险公司要对投保人未来的健康状态作出估计，以制订保险金和理赔金的数额 例：人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、 明年保持健康状态的概率为0.8，而今年患病、明年转为健康状态的概率为0.7， 若某人投保时健康，问10年后他仍处于健康状态的概率是多少？ 1，第n年健康 状态Xn= 2，第n年疾病
隐藏状态的数目和可以观察到的状态的数目可能是不一样的。 在一个有3种状态的天气系统（sunny、cloudy、rainy）中，也许可以观察到4 种潮湿程度的海藻（dry、dryish、damp、soggy）。
可以观察到的状态序列和隐藏的状态序列是概率相关的。于是我们可以将这种 类型的过程建模为有一个隐藏的马尔科夫过程和一个与这个隐藏马尔科夫过程 概率相关的并且可以观察到的状态集合。

0 0 1
隐马尔科夫模型
例如：一个隐居的人可能不能直观的观察到天气的情况，但是民间传说告诉我 们海藻的状态在某种概率上是和天气的情况相关的。在这种情况下我们有两个 状态集合，一个可以观察到的状态集合（海藻的状态）和一个隐藏的状态（天 气状况）。我们希望能找到一个算法可以根据海藻的状况和马尔科夫假设来预 测天气的状况。
Pr(X t a t | X t 1 a t 1 , X t 2 a t 2 ,, X 0 a 0 ) Pr(X t a t | X t 1 a t 1 ) Pa t1 ,a t
马尔可夫性 无记忆性
马尔科夫链：一般性
假定马尔可夫链的离散状态空间为{0,1,2，…，n}(或{0,1,2，…}，如果可数 无穷)。转移概率 Pij Pr(X t j | X t 1 i) 是过程i经一步转移到j的概率。 马儿可夫性蕴涵马尔可夫链由一步转移矩阵唯一确定。
设投保时处于健康状态，预测a(n),n=1,2… n a1(n) a2(n) a3(n) 0 1 0 0 1 0.8 0.18 0.02 2 0.757 0.189 0.054 3 0.7285 0.1835 0.0880 …… …… …… …… 50 0.1293 0.0326 0.8381 …… …… …… ……
H 0.3
*0.7*0.4=0.084
H
*0.7*0.1=0.00588
H
Star t
0.4*0.1
*0.3*0.3=0.027 *0.4*0.4=0.0064
U 0.04 U
*0.3*0.6=0.01512
隐马尔科夫模型
下图显示了天气的例子中隐藏的状态和可以观察到的状态之间的关系。我们假 设隐藏的状态是一个简单的一阶马尔科夫过程，并且他们两两之间都可以相互 转换。
MM vs HMM 1、在MM中，每一个状态代表一个可观察的事件 2、在HMM中观察到的事件是状态的随机函数，因此该模型是一双重随机过程， 其中状态转移过程是不可观察（隐藏）的马尔可夫链，而可观察的事件的随机 过程是隐藏的状态转换过程的随机函数（一来自百度文库随机过程）。
j:( i , j)E
一个由过程逗留过的状态序列表示为图上的一条有向路径。过程沿着这条路径 的概率是路径表的权的乘积。 P0,1 0 P1,0 1 P3,1 3 P3,3 P1,3 P1,2 P2,2 2
P0,3
P3,2
马尔科夫链：例子
计算恰好经过三步从状态0到状态3的概率。 1 1/4 1/3 0 1 2 1/2 3/4 1/2 1/6 1/4 3 1/4 马尔科夫链 路径： 概率 0-1-0-3 3/32 0-1-3-3 1/96 0-3-1-3 1/16 0-3-3-3 3/64 总概率：41/192
状态概率：a i (n ) P(X n i), i 1,2, n 0,1,
转移概率： pij P(Xn1 j | Xn i),
p11=0.8 p21=0.7 p12=1-p11=0.2 p22=1-p21=0.3
i, j 1,2, n 0,1,
Xn+1只取决于Xn和pij,与Xn-1,…无关
pi (t ) p j (t 1)Pj,i
j0
p(t) p(t 1)P
我们将概率分布表示成一个行向量
m m 1 在从i出发经1次转移的条件下，我们有 Pi, j Pi,k Pk , j k 0
Xt m j | Xt i) 对任意m≥0,我们将m步转移概率 Pi , j Pr( 定义为链从状态i经恰好m步到达状态j的概率。
隐马尔科夫模型
在HMM中有三个典型问题： （一）已知模型参数，计算某一给定可观察状态序列的概率 （二）根据可观察状态的序列找到一个最可能的隐藏状态序列 （三）根据观察到的序列集来找到一个最有可能的HMM
Star t
隐藏状态=（Happy，Unhappy） 0.4 0.6 可观察状态=（Do Nothing，Beat，Kiss） 0.6 开始概率={Happy：0.6，Unhappy：0.4} 0.7 0.3 Happy Unhappy 转移概率={ 0.4 Happy：{Happy：0.7，Unhappy：0.3}， 0.6 Unhappy：{Happy：0.4，Unhappy：0.6} 0.3 0.1 0.1 0.4 } 0.5 发射概率={ Do Beat Kiss Happy：{Do nothing：0.1，Beat：0.4，Kiss：0.5}， nothing Unhappy：{Do nothing：0.6，Beat：0.3，Kiss：0.1} }
P(O1,, OT | X1,, XT ) P(Ot | Xt )
隐藏的状态和可观察到的状态之间有一种概率上的关系，也就是说某种隐藏 状态 H 被认为是某个可以观察的状态 O1 是有概率的，假设为 P(O1 | H)。
隐马尔科夫模型
如果可以观察的状态有3种，那么P(O1 | H)+P(O2 | H)+ P(O3 | H) = 1。 这样，我们也可以得到一个另一个矩阵，称为混淆矩阵 (confusion matrix)。 这个矩阵的内容是某个隐藏的状态被分别观察成几种不同的可以观察的状态 的概率，在天气的例子中，这个矩阵如下图：
P03,3 41/ 192
3 / 16 7 / 48 29 / 64 41/ 192 5 / 48 5 / 24 79 / 144 5 / 36 3 P 0 0 1 0 1 / 16 13 / 96 107 / 192 47 / 192
转移矩阵
0 1 / 4 0 3 / 4 1 / 2 0 1 / 3 1 / 6 P 0 0 1 0 0 1 / 2 1 / 4 1 / 4
隐马尔科夫模型
Day 1 Kiss Day 2 Beat Day 3 Do nothing
0.7
Sta rt
0.6
0.4
0.3
Happy
0.6
Unhappy
推断这三天她的状态，Happy还是Unhappy？
0.1
Do nothing
0.4
0.6 0.4 0.3 0.1 0.5
Beat
Kiss
0.6*0.5
隐马尔科夫模型
一个隐马尔可夫模型 HMM 可用一个5元组描述：λ= { N, M,π, A,B } N = {H1，…，Hn} 隐藏状态的有限集合 M = {O1，…，Om} 可观测状态的有限集合，可以通过训练集获得 π={πi} 为初始状态概率， A={aij} 为隐藏状态的转移矩阵 B={bik} 表示某个时刻因隐藏状态而可观察的状态的概率，即混淆矩阵 在状态转移矩阵和混淆矩阵中的每个概率都是时间无关的，即当系统演化时， 这些矩阵并不随时间改变。 对于一个 N 和 M 固定的 HMM 来说，用 λ={ π, A, B } 表示 HMM 参数。 模型的演化 绿色的圆圈表示隐藏状态 紫色的圆圈表示可观察到的状态 箭头表示状态之间的依存概率

7/9 2/9

7/9 2/9

时状态概率趋于稳定值，稳定值与初始状态无关
马尔科夫链：应用 保险公司
Xn=3为第三种状态 死亡
a1(n+1)=a1(n)p11+a2(n)p21+a3(n)p31 a2(n+1)=a1(n)p12+a2(n)p22+a3(n)p32
a3(n+1)=a1(n)p13+a2(n)p23+a3(n)p33