马尔科夫链模型及其应用PPT

3
路径：
概率
0-1-0-3
3/32
0-1-3-3
1/96
0-3-1-3
1/16
0-3-3-3
3/64
总概率：41/192
1/4 马尔科夫链
P03,3 41/192
0 1/ 4 0 3/ 4
P 1/ 2 0 1/ 3 1/ 6 0 0 1 0
0
1/ 2 1/ 4 1/ 4
3/16 7/48 29/64 41/192
一个由过程逗留过的状态序列表示为图上的一条有向路径。过程沿着这条路径 的概率是路径表的权的乘积。
0
P0,1
1
P1,2
2
P1,0
P0,3
P3,1 P1,3
P3,2
P2,2
3
P3,3
PPT学习交流
7
马尔科夫链：例子
计算恰好经过三步从状态0到状态3的概率。
1/4
1 1/3
0
1
2
1/2
3/4
1/2 1/6 1/4
PPT学习交流
11
隐马尔科夫模型
例如：一个隐居的人可能不能直观的观察到天气的情况，但是民间传说告诉我 们海藻的状态在某种概率上是和天气的情况相关的。在这种情况下我们有两个 状态集合，一个可以观察到的状态集合（海藻的状态）和一个隐藏的状态（天 气状况）。我们希望能找到一个算法可以根据海藻的状况和马尔科夫假设来预 测天气的状况。
P3 5/48 5/24 79/144 5/36
0 0
1
0
1/16 13/96 107/192 47/192
转移P矩PT阵学习交流
8
马尔科夫链：应用 保险公司
保险公司要对投保人未来的健康状态作出估计，以制订保险金和理赔金的数额
例：人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、 明年保持健康状态的概率为0.8，而今年患病、明年转为健康状态的概率为0.7， 若某人投保时健康，问10年后他仍处于健康状态的概率是多少？
Xn+1只取决于Xn和pij,与Xn-1,…无关
PPT学习交流
9
马尔科夫链：应用 保险公司
状态转移具有无后效性 a1(n+1)=a1(n)p11+a2(n)p21 a2(n+1)=a1(n)p12+a2(n)p22 给定a(0),预测a(n), n=1,2…
设投保 时健康
设投保 时疾病
n 时状态概率趋于稳定值，稳PP定T学值习与交初流 始状态无关
PPT学习交流
6
马尔科夫链：加权图表示
马尔可夫链的另一种有用的表示是用一个有向加权图D=(V,E,w). 图的顶点集合是链的状态集 存在一条有向边 (i, j)E,当且仅当Pi,j>0,此时边(i,j)的权w(i,j)由w(i,j)=Pi,j给出 自圈（一条边开始和结束在同一顶点）是允许的。
对每一个i，我们仍要求w(i, j)1 j:(i,j)E
马尔可夫模型及其应用
汇报人：吕昌伟 20157167
PPT学习交流
2015年12月1日
1
目录
1 2 3
马尔可夫链 隐马尔可夫模型 马尔可夫随机场
PPT学习交流
2
马尔科夫链：介绍
➢ 马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名， 是数学领域中具有马尔可夫性质的离散时间随机过程。
P Pm1 i,k k,j
k0
➢ 对任意m≥0,我们将m步转移概率 P im ,j PX rt (mj|X t i)
定义为链从状态i经恰好m步到达状态j的概率。
➢
设P(m)是一个矩阵，其元素为m步转移概率，使得第i行第j列元素为
Pm i,j
由上式可得 P(m )P•P(m 1)
经关于m的归纳 P(m) Pm
➢ 马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态 空间是由柯尔莫果洛夫在1936年给出的。
➢ 安德烈·马尔可夫，俄罗斯人，物理-数学博 士，圣彼得堡科学院院士，彼得堡数学学派 的代表人物，以数论和概率论方面的工作著 称，他的主要著作有《概率演算》等。1878 年，荣获金质奖章，1905年被授予功勋教授 称号。
隐藏状态的数目和可以观察到的状态的数目可能是不一样的。 在一个有3种状态的天气系统（sunny、cloudy、rainy）中，也许可以观察到4 种潮湿程度的海藻（dry、dryish、damp、soggy）。
PPT学习交流
3
马尔科夫链：定义及表示
随机过程X{X(t)Τ:t}是随机变量的集合，指标t通常ຫໍສະໝຸດ Baidu示时间，
此时，过程X是随时间而变化的随机变量X的取值模型。 X(t)是过程在时刻t的状态，用Xt代替X(t)。 这里我们着重于特殊类型的离散时间、离散空间随机过程X0,X1,X2,…，
其中Xt的值依赖于Xt-1的值，但不依赖于导致系统取那个值得状态序列。
无穷)。转移概率 P ijPX rt (j|X t 1i)是过程i经一步转移到j的概率。
马儿可夫性蕴涵马尔可夫链由一步转移矩阵唯一确定。
P0,0 P0,1 P0, j P1,0 P1,1 P1, j P [ ] Pi,0 Pi,1 Pi, j
归一化：对所有i, Pi,j 1 j0
定义：一个离散时间随机过程X0，X1，X2，…是马尔可夫链，如果
PX r(t at|Xt1at1,Xt2at2,,X0a0) PX r(t at|Xt1at1) Pat1,at
马尔可夫性 无记忆性
PPT学习交流
4
马尔科夫链：一般性
假定马尔可夫链的离散状态空间为{0,1,2，…，n}(或{0,1,2，…}，如果可数
10
马尔科夫链：应用 保险公司
Xn=3为第三种状态 死亡
a1(n+1)=a1(n)p11+a2(n)p21+a3(n)p31 a2(n+1)=a1(n)p12+a2(n)p22+a3(n)p32 a3(n+1)=a1(n)p13+a2(n)p23+a3(n)p33
设投保时处于健康状态，预测a(n),n=1,2…
1，第n年健康 状态Xn=
2，第n年疾病
状态概 ai(率 n)P ： (Xni), i1,2,n0,1,
转移 p i jP ( X 概 n 1 j|X n 率 i), i, ： j 1 ,2 ,n 0 ,1 ,
p11=0.8 p21=0.7
p12=1-p11=0.2 p22=1-p21=0.3
PPT学习交流
5
马尔科夫链：m步转移概率
➢ 设pi(t)表示过程在t时刻处于状态i的概率
p(t)(p0(t)p ,1(t)p ,2(t) ,)是在t时刻给出链的状态分布的向量
pi(t) pj(t1)Pj,i j0
p(t)p(t1)P
我们将概率分布表示成一个行向量
➢ 在从i出发经1次转移的条件下，我们有 Pim ,j