马氏链简介
第十一章 马氏链模型
设投保 a1(n) 0 时疾病 a2(n) 1
0.7 0.77 0.777 … 7/9 0.3 0.33 0.333 … 2/9
n时状态概率趋于稳定值，稳定值与初始状态无关
健康与疾病
例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病
死亡为第3种状态，记Xn=3 0.8
0.18
0.25
有r个吸收状态的吸收链 的转移概率阵标准形式
P
Irr R
0 R有非 Q 零元素
M(IQ)1
Qs s0
y (y 1 ,y 2 , y k r) M
e(1 ,1 , ,1 )T
yi ~ 从第 i 个非吸收状态出发，被某个 吸收状态吸收前的平均转移次数。
11.2 钢琴销售的存贮策略
背景与问题
钢琴销售量很小，商店的库存量不大以免积压资金 一家商店根据经验估计，平均每周的钢琴需求为1架 存贮策略：每周末检查库存量，仅当库存量为零时， 才订购3架供下周销售；否则，不订购。
=a:2b:c
状态定义为配对的基因类型组合
动时，最终结果有多大变化。
设Dn服从均值为
的波松分布
状态转移阵
P (D n k ) k e /k !,( k 0 ,1 ,2 )
e 0
1e
P
e
e
1(1)e
2e/2 e 1(2/2)e
第n周(n充分大)失去销售机会的概率 PP(DnSn)
0.8
0.9
1.0
1.1
1.2
P 0.073 0.089 0.105 0.122 0.139
p11=0.8, p12=0.18, p13=0.02
0.65
1
2
正常返的马氏链
正常返的马氏链1 马氏链的定义和基本概念马氏链是概率论中的一个重要概念，它是一种满足马氏性质的随机过程。
马氏性质是指在给定当前状态下，未来的状态只与当前状态有关，而与过去状态无关。
因此，马氏链可以看作是一个状态转移的过程，每个状态的转移概率只与当前状态有关。
马氏链通常用S表示状态集合，P表示状态转移概率矩阵。
其中，S可以是有限集合或者可数集合。
P是一个n×n的矩阵，其中n为状态数，满足以下两个条件：1. 对于任意状态i∈S，转移概率P(i,j)≥0，且∑P(i,j)=1。
2. 对于任意状态i∈S和j,k∈S，有P(i,j)+P(i,k)=P(i,j∣k)×P(k,j)+P(i,k∣j)×P(j,k)。
2 正常返的定义正常返是指从一个状态i出发，经过若干次迭代后返回的概率大于零的状态。
换句话说，正常返状态是指从该状态出发，最终有一定的概率回到该状态，而不会永远离开该状态。
对于马氏链中的一个状态i，如果存在一个时刻n，使得从i出发迭代n次后，状态i有正常的返回概率，则该状态称为正常返状态。
具体来说，如果状态i是正常返状态，则有：lim n→∞P(i,i_n)>0其中i_n表示从状态i出发经过n次迭代到达的状态。
如果从状态i出发最终无法返回，即存在一个时刻n，使得从i出发迭代n次后，状态i无法返回，则该状态称为非正常返状态。
3 正常返的性质正常返状态具有以下性质：1. 正常返状态一定是闭合集合。
如果一个状态是正常返状态，则从该状态出发最终一定会回到该状态，因此该状态所在的集合是一个闭合集合。
2. 非正常返状态对应的集合是不闭合的。
如果从一个状态出发不断迭代，最终不能返回，则该状态对应的集合是不闭合的。
因此，非正常返状态所在的集合是不闭合的。
3. 非正常返状态的概率为0。
由于从非正常返状态出发最终无法返回，因此从该状态出发的概率一定是0。
4. 如果存在一个正常返状态，则所有状态都可以到达。
马氏链转移矩阵
马氏链转移矩阵什么是马氏链马尔可夫链（Markov Chain），又称为马尔科夫链，是一个数学模型，它描述了一系列事件在给定一定条件下从一个状态转移到另一个状态的概率。
马尔可夫链的状态转移仅取决于当前的状态，与之前的状态无关。
马氏链在实际应用中非常广泛，特别是在概率论、统计学和操作研究中具有重要的地位。
其中，马氏链转移矩阵是描述系统状态转移概率的重要工具。
马氏链的性质马氏链具有一些重要的性质，这些性质对于进一步理解马氏链转移矩阵非常关键。
有限状态空间马氏链的状态空间是有限的，即状态的数量是有限的。
每个状态可以表示为一个离散的值。
马氏性马氏链具有马氏性，即未来的状态仅取决于当前的状态，与过去的状态无关。
这意味着过去的状态对于预测未来的状态没有影响。
稳态分布马氏链在长时间运行后，会收敛到一个稳态分布。
稳态分布是指系统在马氏链中各个状态的概率值不再发生变化。
马氏链转移矩阵的定义马氏链转移矩阵是一个正方形矩阵，用于描述状态之间的转移概率。
矩阵的行数和列数等于状态的数量。
马氏链转移矩阵的定义如下：P=[p11p12p13 (1)p21p22p23 (2)⋮⋮⋮⋱⋮p n1p n2p n3…p nn]其中，p ij表示从状态i转移到状态j的概率。
马氏链转移矩阵的性质马氏链转移矩阵具有以下性质：概率性质马氏链转移矩阵的所有元素都是非负数，并且每一行的和等于1。
这是因为转移概率是概率论中的基本概念，其取值范围为0到1，且所有可能的转移路径的概率之和为1。
状态转移概率马氏链转移矩阵可以表示从一个状态到另一个状态的转移概率。
例如，p ij表示从状态i转移到状态j的概率。
稳态分布马氏链转移矩阵可以用于计算系统的稳态分布。
稳态分布是指系统在长时间运行后，各个状态的概率值不再发生变化，达到平衡。
计算稳态分布的方法之一就是通过马氏链转移矩阵进行迭代计算。
马氏链转移矩阵的应用马氏链转移矩阵在实际应用中具有广泛的用途，以下列举了几个常见的应用场景：自然语言处理马氏链转移矩阵可以用于自然语言处理领域中的语言模型。
马氏链简介
显然，cij 0
n
n
cij (ai1b1 j ai2b2 j ainbnj ), (i 1,2,, n)
j 1
j 1
n
n
cij (ai1b1 j ai2b2 j ainbnj ), (i 1,2,, n)
j 1
j 1
n
用随机变量 X n 表示第 n 个月的经营状况
Xn 1 Xn 2
表示销路好； 表示销路坏；
n 0,1,2
X n 称为这个经营系统的状态。
用ai n表示第 n 月处于状态 i 的概率， i 1,2,
即
ai n PXn i ai n 称为状态概率。
pij 表示已知这月处于状态 i ，下月处于状态 j 的概率，i, j 1,2, 即
每次传播消息的失真率为 p, 0 p 1,
即 ai 将消息传给 ai1, 时，传错的概率为 p
这样经过长时间传播第n个人得知消息时，消息 的真实程度如何？
第n个人知道消息可能是真，也可能是假， 有两种状态，记为
Xn 1 Xn 2
表示消息假； 表示消息真；
n 0,1,2
用ai n表示第 n 个人处于状态 i 的概率， i 1,2,
n01 2 3
4
ห้องสมุดไป่ตู้
1 0.5 0.45 0.445 0.4445 ？
0 0.5 0.55 0.555 0.5555 ？
a1(n)
5 10
5 102
a2 (n)
4 9
5 10n
5 10
1 (
1 10n1
4马氏链
可见,｛Xn,n=0，1，2,…｝是一个马氏链。
Pij ( m , m + n)∆ P { X n + m = j | X m = i}
称为马氏链在时刻 m 系统处于状态 i 的条件下，在时 刻 m+n 转移到状态 j 的转移概率。
2．转移概率的性质
(1) Pij≥0；
(2)
∑ P (m , m + n) = 1, i = 0,1, 2,⋯
对任意的 n 及 i 0 , i 1 , ⋯ , i n , i n + 1 ∈ x ,
P {X n +1 = i n +1 X 0 = i 0 , X 1 = i1 , ⋯ , X n = i n } 0 i n+1 > i n =1 = P{X n+1 = i n+1 | X n = i n } i n +1 ≤ i n in
马尔可夫链及其概率分布 引言
直观上，过程（或系统）在时刻t0所处的状态为已 知的条件下,过程在时刻t＞t0所处状态的条件分布与过 程在时刻t0之前所处的状态无关。 用分布函数表达此性质，设随机过程{X(t),t∈T}， 状态空间为χ，若对于t 的任意n个值t1<t2<…<tn,n≥3, 有
P {X ( t n ) ≤ xn X ( t1 ) = x1 , X ( t 2 ) = x 2 , ⋯ , X ( t n−1 ) = x n−1 }
条件下， 即在 X ( t i ) = x i , i = 1,2,⋯ , n − 1条件下，X ( t n )的条件分 布函数等于在条件 X ( t n−1 ) = x n−1下X ( t n )的条件分布函 数。
则称过程{X(t),t∈T}具有马尔可夫性，或称 {X(t),t∈T}为马尔可夫过程。
随机过程(七)-马氏链
第四章Markov过程主要内容⏹离散时间Markov链⏹转移概率⏹平稳分布⏹状态分类⏹极限定理⏹连续时间Markov链⏹Kolomogrov微分方程⏹连续时间马氏过程第一节 离散时间Markov 链一、Markov 链的定义⏹ 直观含义：要确定过程将来的状态，只需知道过程现在的状态就足够了，并不需要知道过程以往的状态。
⏹ 定义：随机过程{,0,1,2,}n X n =⋅⋅⋅称为马氏链（Markov 链），若它只取有限或可列个值E 0, E 1,E 2,…，且对任意的n ≥0及状态011,,,,,n i j i i i -⋅⋅⋅有10011111{|,,,,}{|}n n n n n n P X j X i X i X i X i P X j X i +--+===⋅⋅⋅=====用条件概率的语言来说11011{,,|,,,}{,,|}n n k k n k k n P X j X j X X X P X j X j X ++==⋅⋅⋅===注：1、E 0, E 1,E 2,…称为Markov 链的状态，通常用0，1，2，…来标记E 0, E 1,E 2,…。
{0，1，2，…}称为过程的状态空间，记为S 。
2、若Markov 链的状态是有限的，则称为有限链，否则称为无限链。
2、条件概率11{|}n n n n P X i X i --==，n ＝1，2，……称为Markov 链的一步转移概率。
3、若转移概率1{|}n n P X j X i -==只与状态,i j 有关，而与时间n 无关，则称该Markov 链是时齐Markov 链，并记1{|}ij n n p P X j X i -===，否则称Markov 链是非时齐的。
矩阵000102101112012()ij ij Sn n n p p p p p p P p p p p ∈⎛⎫ ⎪ ⎪ ⎪== ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭称为转移矩阵。
4、(){|}k ij n k n p P X j X i +===称为k 步转移概率，()k P 称为k 步转移矩阵。
马尔科夫链模型简介
马 氏 链 模 型 简 介1、随机过程的概念。
定义：设集合{}T t t ∈:ξ是一族随机变量，T 是一个实数集合，如果对于任意T t ∈，t ξ是一个随机变量，则称{}T t t ∈:ξ是一个随机过程。
其中：（1）t 为参数可以认为是时间，T 为参数集合。
（2）随机变量t ξ的每一个可能值，称为随机过程的一个状态。
其全体可能值构成的集合，称为随机过程的状态空间，用E 表示。
（3）当参数集合T 为非负整数集时，随机过程又称为随机序列。
随机序列可用{} ,3,2,1:=n n ξ表示。
当T 为时间时，该随机序列就是一个时间序列。
如：（1）用t ξ表示“t 时刻，某商店的库存量”，则{}),0[:+∞∈t t ξ就是一个随机过程。
（2）用t ξ表示“在一天中t 时刻，某地区的天气状况”，则{}]24,0[:∈t t ξ是一个随机过程。
（3）用t ξ表示“在一天中t 时刻（整数），某城市的出租汽车的分布状况”，则{}24,,2,1,0: =t t ξ是一个随机时间序列。
马氏链，也称为马尔可夫链，就是一个特殊的随机时间序列，也为随机序列。
2、（离散时间）马尔可夫链——马氏链。
定义：设{} ,3,2,1:=n n ξ是一个随机序列，状态空间E 为有限或可列集。
若对于任意正整数m 、n 。
如果E i ∈、E j ∈、E i k ∈ （1,,2,1-=n k ）满足)(),,,(1111i j P i i i j P n m n n n n m n =======+--+ξξξξξξ 成立，则称随机序列{} ,3,2,1:=n n ξ为一个马尔可夫链，简称为马氏链。
（时间、状态均为离散的随机转移过程） 从该定义可知：（1）如果将随机变量n ξ的下角标n ，理解为步数。
则随机变量n ξ就是从起始点经过n 步，到达的随机变量。
（2）随机变量)(i n =ξ，是指第n 步时的随机变量n ξ所处的状态i 。
（3）条件概率)(i j P n m n ==+ξξ是指，第n 步时的随机变量n ξ所处的状态i 发生的条件下，第m n +步时的随机变量m n +ξ所处的状态j ，发生的条件概率。
第十八讲马氏链
1
2
3
4
5
• 解：因为第n个时刻所处的位置只取决于前一个时 刻的位置，所以，Xn是马氏链。而且一步转移概率 矩阵为 1 2 3 4 5 1 1 0 0 0 0 2 p 0 q 0 0 P= 3 0 p 0 q 0 4 0 0 p 0 q 0 0 0 0 1 5
只取决于t1时刻的分布和多步转移概率
总结
• 对于齐次马氏链，只要知道初始分布和多 步转移概率矩阵，所有的分布就完全清楚 了。
作业P333
1、3、4、
= (0.61,0.39)
马氏链的n维分布
对于任意n个时刻，t1 < t 2 < ... < t n , 任意n个状态ai1 , ai2 ,...ain
P{ X t1 = ai1 , X t2 = ai2 ,..., X tn = ain }
= P{ X t1 = ai1 } ⋅ P{ X t2 = at2 | X t1 = ai1 } ⋅ P{ X t3 = ai3 | X t1 = ai1 , X t2 = ai2 } ...P{ X tn = ain | X t1 = at1 ,...X tn−1 = ain−1 }(乘积公式)
1
2
3
4
5
例2、(Random walk)带吸收壁的随机游动 一随机点Q在直线点集{1,2,3,4,5}作随机游动， 且仅在1秒,2秒,…,等时刻发生游动。若Q位于 2、3、4位置时，下一时刻左移一格的概率为 p,右移一格的概率为q=1-p；当Q位于1或5， 则下一时刻停留在原地. 设{Xn}表示n时刻Q的位置，试说明它是齐次 马氏链并求一步转移概率矩阵。
P{ X (0) = 3, X (1) = 2, X (2) = 1}
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
得
b a w( , ) ab ab
1 1 w( , ) 2 2
1 / 2 1 / 2 P 1 / 2 1 / 2
n
an (1 / 2,1 / 2)
P 为正则矩阵。
由
0 p 1,
an a0P
w wP
令
k i 1
n
求 w=?
i
w 1
设
1 a a P b 1 b
w (w1 , w2 )
a 1 a w wP (w1 , w2 ) b 1 b
((1 a)w1 bw2 , aw1 (1 b)w2 )
P N 的每一
定理2 正则链存在唯一的极限状态概率 w w1 , w2 ,, wk ,
使得当 n 时状态概率 an w , w 与初始状态 概率 a0 无关。 w 又称为稳态概率。
由 an 1 anP
wP w,
由 an a0P
n
w
i 1
？ ？
4 a2 (n) 9
1 1 n 1 5 5 5 a1 (n) 2 n 5 ( 10 ) 5 10 10 10 9 10 1 1 10
n
0
1
2
3
4
0
1
0.4 0.44 0.444 0.4444
0.6 0.56 0.556 0.5556
0.5 0.5 P 0.4 0.6
1 5 4 Q 1 1
1 0 D 0 1 / 10
4 9 Q 1 4 9
5 9 4 9
1 5 1 n n 1 4 P QD Q 1 1 0
X n 称为这个经营系统的状态。
用 ai n表示第 n 月处于状态 i 的概率， i 1,2 , 即
ai n P X n i
ai n 称为状态概率。
pij 表示已知这月处于状态 i ，下月处于状态
i 的概率， , j 1,2, 即
j
pij P X n1 j | X n i
n
k
i
1
lim P n 存在，记作 P
pij wi 那么，有
P 的每一行都是稳态概率 w
P { pij } 如果记
上例中
4 5 w( , ) 9 9
P
4 9 4 9
5 9 5 9
从状态 i 出发经 n 次转移，第一次到达状态 j 的概 率称为 i 到 j 的首达概率，记作 f ij n ，于是
令 an a1 n, a2 n, P pij
p12 p22
22
an 1 anP
P 概率转移矩阵
an 1 anP an 1P 2 a0Pn1
4 求解
an a0Pn
P 特征值为1，1/10ห้องสมุดไป่ตู้
pij 称为状态转移概率。状态及转移情况见图。
0.5
0.5
1
2
0.6
0.4
3 建模
a2 n 1 a1 n p12 a2 n p22
a1 n 1 a1 n p11 a2 n p21
p11 a1 n 1, a2 n 1 a1 n, a2 n p 21
马氏链简介 （Markov Chain）
马氏链简介
马氏链（Markov Chain）是随机过程的一个特例，
专门研究无后效条件下时间和状态均为离散的随
机转移问题，但在建模过程中采用线性代数的方
法，因此，也在线性代数模型中来学习。
一 正则链（Regular Chain） （一 ） 商品的经营问题 某商店每月考察一次经营情况，其结果用
c (a b
j 1 ij j 1
n
n
i1 1 j
ai 2b2 j ainbnj ), (i 1,2,, n)
n n
ai1 b1 j ai 2 b2 j ain bnj
j 1 j 1 j 1
n
ai1 1 ai 2 1 ain 1 1
ij nfij n
n 1
为由状态 i 第一次到达状态 j 的平均转移次数。
特别地， ij 是状态 i 首次返回的平均转移次数。
ij 与稳态概率
w 有密切关系，即
定理3 对于正则链
ij 1/ wi
（二 ） 信息传播问题 一条消息在 a1 , a2 ,, an , 等人中传播，传播 的方式是 a1 传给 a2 , a2 传给 a3 ,
4 0 9 1 4 9 10 n
5 9 4 9
当
n
P
n
4 9 4 9
5 9 5 9
5 9 5 9
4 9 a1 (n) a2 (n) a1 (0) a2 (0) 4 9
4 5 a1 (0) a2 (0) (1 0) a1 (n) a2 (n) ( ) 9 9 4 5 a1 (0) a2 (0) (0 1) a1 (n) a2 (n) ( ) 9 9
定义1 一个有 k 个状态的马氏链如果存在正整数 N 使从任意状态 i 经过 N 次转移都以大于零的概率到 达状态 ji , j 1,2,,k ，则称为正则链。 特点： 从任意状态出发经过有限次转移都能到达另 外的任意状态。 定理1 若马氏链的转移矩阵为 P ，则它是正则链的 充要条件是，存在正整数 N 使 P N （指 0 元素大于零）。 （用这个定理检验一个马氏链是否为正则链。）
结论 长时间传播消息的真实性趋于稳定，且消
息的真假概率各半。
1 1 / 2 1 / 2 例1 中 P 2 / 5 1 2 / 5 4 b 2/5 w1 9 a b (1 / 2) (2 / 5)
5 w2 9
过程，通常用马氏链（Markov Chain）模型描述。
马氏链模型在经济、社会、生态、遗传等许多领域 有广泛应用，不仅可以解决随机转移过程，还可以
处理一些确定性系统的状态转移问题。
一般地，一个行向量 P ，当它的所有分量是非负， 且行和为1，称此向量为概率向量。 每行都为概率向量的矩阵，称为概率转移矩阵。
表示消息假； 表示消息真；
n 0,1,2
用 ai n 表示第 n 个人处于状态 i 的概率， i 1,2 ,
即状态概率为 a(n) (a1 n, a2 n) 由题意，状态转移概率矩阵为
1 p p P p 1 p
1 p p P p 1 p
销路好或销路坏这两种状况之一表示。已知如
果本月销路好，下月仍保持这种状况的概率为
0.5；如果本月销路坏，下月转变为销路好的概
率为0.4。试分析假若开始时商店处于销路好的
状况，那么经过若干月后能保持销路好的概率
有多大？若开始时商店处于销路坏的状况呢？
1 分析
n
0
1 0
1
2
3
4
0.5 0.45 0.445 0.4445 0.5 0.55 0.555 0.5555
5 结论 不论初始状态如何，经过相当长的时间后
经营状态趋于稳定的概率。
注意到 经营系统在每个时期所处的状态是随机的，但从 这个时期到下个时期的状态按照一定的概率进行 转移，并且下个时期的状态只取决于这个时期的
状态和转移概率，与以前各个时期的状态无关。
这种性质称为无后效性，或马尔可夫（Markov）性， 即已知现在，将来与历史无关。 具有无后效性的，时间、状态均为离散的随机转移
如此继续下去，每次传播都是由 a i 传给 ai 1 , 每次传播消息的失真率为
p, 0 p 1,
即 a i 将消息传给 ai 1 , 时，传错的概率为 p
这样经过长时间传播第n个人得知消息时，消息
的真实程度如何？
第n个人知道消息可能是真，也可能是假，
有两种状态，记为
Xn 1 Xn 2
而AB=C的第 i 行，第 j 列元素为
cij ai1b1 j ai 2b2 j ainbnj , (i, j 1,2,, n)
显然，cij 0
n n
c (a b
j 1 ij j 1
i1 1 j
ai 2b2 j ainbnj ), (i 1,2,, n)
？
？
4 4 4 a1 (n) 2 n 10 10 10
5 a2 (n) 9
1 1 n 1 4 4 ( 10 ) 9 10 1 1 10
2 符号说明 商店的经营状况是随机的，每月转变一次。 建模目标是经过一段时间（若干月）后，经营状 况如何，即经营好或经营坏的概率分别为多少？ 用随机变量 X n 表示第 n 个月的经营状况 X n 1 表示销路好； n 0,1,2 X n 2 表示销路坏；
0.5 0.5 P 0.4 0.6
可证明 若A,B为概率转移矩阵，则AB也为概率转移矩阵。 若 P 为概率转移矩阵，则 Pn 也为概率转移矩阵。
证明
若A,B为概率转移矩阵，
1, aij 0
a
j 1
n
ij
b
j 1
n
ij
1, bij 0, (i 1,2,, n)