马尔科夫链-遍历性与极限分布解答
马尔可夫链及其概率分布
则称过程{X(t),tT}具有马尔可夫性，或称 {X(t),tT}为马尔可夫过程。
称为马氏链在时刻m系统处于状态ai的条件下，在时刻 m+n转移到状态aj的转移概率。
设{Xn,n0},其状态空间为,若对于任意的正 整数n和任意的 ai0 , ai1 ,, ain , ain1 , 定义2
有 P X n 1 a i n 1 X 0 a i0 , X 1 a i 2 , , X n a i n P X n 1 a i n 1 | X n a i n
p10――系统内恰有一顾客正在接受服务的条件 下，经 后系统内无人的概率，它等于在 间 隔内顾客因服务完毕而离去，且无人进入系统 的概率，p10=p(1-q). p11――系统内恰有一顾客的条件下，在 间隔 内，他因服务完毕而离去，而另一顾客进入系 统，或者正在接受服务的顾客将继续要求服务， 且无人进入系统的概率，这p11＝pq＋(1-p) (1-q). p12――正在接受服务的顾客继续要求服务，且 另一个顾客进入系统的概率，p12=q(1-p).
由于Xn, n=0，1，2,…独立同分布，因而
PX n1 j | X n i PX n1 j q j P { X m 1 j | X m i }
所以{Xn}为齐次马氏链。其一步转移概率P:
pij q j , i , j I .
//例3 排队模型 设服务系统由一个服务员和只可 以容纳两个人的等候室组成，见图7－3。服务规 则是：先到先服务，后来者需在等候室依次排队。 假定一个需要服务的顾客到达系统时发现系统内 已有3个顾客（一个正在接受服务，两个在等候 室排队）则该 顾客即离去。设时间间隔Δt内 将有一个顾客进入系统的概率为q，有一原来被 服务的顾客离开系统（即服务完毕）的概率为p。 又设当Δt充分小时，在这时间间隔内多于一个 顾客进入或离开系统实际上是不可能的。再设有 无顾客来到与服务是否完毕是相互独立的。现用 马氏链来描述这个服务系统。
马尔可夫链课件
格，或以
Q现在处于1(或5)这 1的概率留在原处；如果 3
一点上，则下一时刻就以概率1移动到2(或4)这点上，1 和5这两点称为反射壁，这种游动称为带有两个反射壁的
随机游动。以Xn表示时刻n时Q的位置，说明{Xn,n =
0,1,2 …}是一齐次马氏链，并写出它的一步转移概率矩 阵。
二、转移概率
定义3 设 { X n，n 0} 是齐次马尔可夫链，其一步 矩阵的每一行都 转移概率为 pij (i, j S )，记 是一条件分布律
p00 p10 P ( pij ) p 20 pi 0
.
p 01 p 02 p11 p12 p 21 p 22 pi1 pi 2
1 2 3 4 5
三、马氏链的例子
解：它的一步转移概率矩阵为： 0 1 0 0 0
1 3 P 0 0 0
1 3 1 3 1 3 1 3 1 3
0
1 3 1 3
0 0
0
1
0 0 1 3 0
如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远 留在点1时，此时的转移概率矩阵为：
• 第一节 基本概念 • 第二节 状态的分类及性质 • 第三节 极限性态及平稳分布
• 第四节 Markov链的应用
第一节
基本概念
一、Markov链的定义 二、转移概率 三、Markov链的例子 四、n步转移概率，C-K方程
第一节
基本概念
一、Markov链的定义
马尔可夫性(无后效性 )过程(或系统)在时刻t 所处的状态为已知的条件下，过程在时
1 1 3 P 0 0 0 0
1 3 1 3
0
马尔可夫链极限概率分布
马尔可夫链极限概率分布
马尔可夫链是一种重要的随机过程，它描述了一系列随机事件之间的转换。
在许多实际问题中，我们需要了解马尔可夫链在长时间内的演化，特别是它的极限概率分布。
马尔可夫链的极限概率分布指的是在长时间内，随机过程中每个状态出现的概率会趋于一个固定的稳定值。
这个值可以通过计算转移矩阵的特征向量得到。
如果这个矩阵满足一定的条件，那么极限概率分布就是唯一的，并且随着时间的推移，随机过程会逐渐收敛到这个分布。
在实际应用中，马尔可夫链的极限概率分布被广泛用于模拟和预测。
例如，在金融领域中，我们可以使用马尔可夫链来模拟股票价格的变化，并通过极限概率分布来预测未来的价格走势。
在生物学中，马尔可夫链也可以用来模拟分子的运动，并计算分子在不同位置出现的概率分布。
总之，马尔可夫链的极限概率分布是一个非常有用的概念，它可以帮助我们更好地理解随机过程的演化，并在实际应用中提供有力的工具。
- 1 -。
2012第四章马尔可夫链
随机过程第四章：马尔可夫链第四章：马尔可夫链4.1 马尔可夫链定义4.2 一步转移概率及多步转移概率4.3 初始概率及绝对概率4.4 遍历的马尔可夫链及平稳分布4.5 马尔可夫链状态分类4.6 状态空间的分解时间、状态都是离散的马尔可夫过程，称为马尔可夫链。
时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。
时间、状态都是连续的马尔可夫过程，就是马尔可夫过程。
例如：天气预报…质点的随机游动…赌博输光问题…生死链…4.1 马尔可夫链定义例如：在某数字通信系统中传递0，1两种信号，且传递需要经过若干级。
因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。
例题4-1:设马尔可夫链{X n ,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为求和两步转移概率矩阵P (2) 。
⎟⎟⎠⎞⎜⎜⎝⎛=11100100p p p p P }0|0{2==+m m X X P设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q=1-p，这种运动称为无限制随机游动。
以X n 表示时刻n质点所处的位置，则{X n ,n∈T}是一个齐次马尔可夫链，求一步和k步转移概率。
,1,1, 1 0 (j i-1,i+1) i i i i i j P p P q p P +−⎧=⎪==−⎨⎪=≠⎩解：一步转移概率为：...........................q 0 p 0 0......0 q 0 p 0......0 0 q 0 p...........................P ⎛⎞⎜⎟⎜⎟⎜⎟=⎜⎟⎜⎟⎜⎟⎝⎠例题4-2：无限制随机游动质点在数轴上移动，规律同上例。
当质点一旦达到X n =0时，X n+1就停留该0状态，这种状态称为吸收态。
{X n ,n∈T}是一个齐次马尔可夫链，求一步转移概率。
人教版A版高中数学选修4-9：马尔可夫性与马尔可夫链_课件1
pN ,1 p,
p1,N q,
我们可以用通俗的语言来描述马尔可夫性：
我们把“n”看成“现在”，则“n+1”则是“未 来”，小于n的整数看成是“过去”。那么，在 已知现在状态的情况下，将来的随机变化规律和 过去的状态无关。
在现实生活中，有很多随机变量序列都具有马尔 可夫性。一般地，我们将这种具有马尔可夫性的 随机变量序列为马尔可夫链，并把序列中的随机 变量的所有可能取值的集合称该马尔可夫链的状 态空间。
N
j 0, j 1的唯一解.
j1
在现实生活中，我们所探讨的问题的状态可能会 随时改变。一台旧摆钟，它时而准时，时而不准 时。随着时间的变化，它会从“不准时”变成 “准时”状态，经过人为调整后，摆钟又可以从 “不准时”变成“准时”状态。像这种状态随时 间的推移而改变的决策问题就会变得复杂。
马尔可夫性与 马尔可夫链
重点与难点
1.重点
马氏链n步转移概率的确定
2.难点
有限维分布律的计算方法 遍历性问题
马尔可夫过程
具有马尔可夫性的随机过程称为马尔可夫过程。
马尔可夫性(无后效性) 过程或(系统)在时刻t0所处的状态为已知的
条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性。
当状态随着时间的推移而转化时，我们采用马尔 可夫链处理这一类问题。
典型例题
例1 艾伦非斯特(Ehrenfest )模型
设一个坛子装有c个球,它们或是红色的,或 是黑色的.从坛中随机地摸出一个球,并装入一个 另一种颜色的的球, 经过n次摸换, 研究坛中的黑 球数. 解 以Xn,n 1表示第n次摸球后坛中的黑球数.
3 16 2 16 24
马尔可夫链长时间极限行为分析
马尔可夫链长时间极限行为分析马尔可夫链是一种随机过程，具有无后效性和马尔可夫性质。
在许多实际问题中，我们常常需要了解马尔可夫链在长时间尺度上的行为，即在时间趋于无穷时，系统的状态分布会收敛到一个特定的平稳分布。
马尔可夫链的长时间极限行为分析对于许多领域具有重要意义，比如统计学、物理学、生态学等。
下面我们将探讨马尔可夫链长时间极限行为分析的基本原理和方法。
1. 马尔可夫链与平稳分布马尔可夫链是一种具有状态空间和状态转移概率的随机过程。
它的状态在离散时间上演化，并且当前状态到下一个状态的转移只依赖于当前状态，与过去的状态无关。
对于一个马尔可夫链，如果存在一个平稳分布，即系统在长时间尺度上的状态分布保持不变，那么我们可以通过计算转移矩阵的特征向量来获得平稳分布。
转移矩阵的特征值为1的特征向量即为平稳分布。
2. 马尔可夫链长时间极限行为的判定在实际问题中，我们需要判断一个马尔可夫链是否具有平稳分布。
一种常用的判定方法是观察系统在较长时间内的状态演化情况，如果系统在初始状态下的状态分布逐渐趋于稳定，那么可以认为马尔可夫链具有平稳分布。
另一种判定方法是利用马尔可夫链的转移矩阵和马尔可夫链的传递性质。
如果转移矩阵满足传递性质，即存在一个幂次k，使得转移矩阵的所有元素大于0，那么马尔可夫链具有平稳分布。
3. 马尔可夫链长时间极限行为的应用马尔可夫链长时间极限行为的分析在许多领域有广泛的应用。
在统计学中，我们可以利用马尔可夫链的平稳分布来模拟随机数生成器，用于抽样和模拟实验。
在物理学中，马尔可夫链的长时间极限行为与热力学平衡态的统计分布有密切关系。
通过分析马尔可夫链的平稳分布，可以研究系统的宏观性质，比如温度、压力等。
在生态学中，马尔可夫链长时间极限行为的分析可以用于模拟生态系统的演化过程。
通过分析系统的平稳分布，可以研究种类的演替和生态系统的稳定性。
4. 马尔可夫链长时间极限行为的计算方法对于较小的状态空间，可以使用迭代计算来获取马尔可夫链的平稳分布。
13 马尔可夫链
4
13.1 马尔可夫过程及其概率分布
泊松过程和维纳过程的马尔可夫性
是独立增量过程，且 X (0) 0 { X (t ), t 0}
证明见课本
X (tn )与 X (t1 ), X (t2 ),, X (tn 2 )
是相互独立的随机变量。 即马尔可夫性
泊松过程是时间连续、状态离散的马氏过程 维纳过程是时间连续、状态也连续的马氏过程
P{ X (tn ) xn | X (t1 ) x1 , X (t2 ) x2 , , X (tn 1 ) xn 1} P{ X (tn ) xn | X (tn 1 ) xn 1}
即
Ftn |t1...tn1 ( xn , t n | x1 , x2 ,..., xn1 , t1 , t 2 ,..., t n1 )
9
13.1 马尔可夫过程及其概率分布
(0-1)传输系统
只传输数字0,1的串联系统
每一级的传真率为p,误码率为q=1－p.
(传真率指输出与输入相同的概率，是条件概率。)
{ X n , n 0,1, 2,}是一个随机过程，
参数集(时间集)为
分析：
T {0,1, 2,}，状态空间为 I {0,1}
8
13.1 马尔可夫过程及其概率分布
一步转移概率矩阵
矩阵元 pij P (1) P{ X m1 a j | X m ai } ij 概率矩阵
X m 1 的状态
a1 a2 aj
Xm
的 状 态
a1 p11 p12 p1 j a2 p21 p22 p2 j 记成 P (1) P ai pi1 pi 2 pij
马尔可夫链——精选推荐
21021210分布马尔可夫过程及其概率1§马尔可夫过程的定义、1211111121.简称马氏链可夫链，马尔可夫过程称为马尔时间和状态都是离散的课稿南京邮电大学孔告化讲22110}|{),(i m j n m i j a X a X P n m m P ===++记马氏链的转移概率、221021210.),(的转移概率转移到状态在时刻条件下，处于状态为马氏链在时刻称j i i j a n m a m n m m P ++课稿南京邮电大学孔告化讲.))(()(步转移概率矩阵为称n n P n P i j =⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛==M ML M M L L L M L M M L L L L )()()()()()()()()())(()(212222111211n P n P n P n P n P n P n P n P n P n P n P N N N N N N i j LLN a a a 21MM N a a a 21矩阵齐次马氏链的转移概率、3Ia a n P j i i j ∈≥,0)()1(Ia n P i j i j ∈=∑∞=1)()2(1课稿南京邮电大学孔告化讲111⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛==M M L M M L L L M L M M L L L L N N N N N N p p p p p p p p p P P 212222111211)1(L L N a a a 21M M N a a a 211课稿南京邮电大学孔告化讲这一点上。
或移动到就以概率，则下一时刻或现在位于点的概率停在原处；如果一格，或以的概率向左或向右移动则下一时刻各以现在位于点是：如果发生游动。
游动的规则等时刻秒秒、仅在上作随机游动，并且仅在如图所示直线的点集设一醉汉一维随机游动例题)4(21)5(13/13/1),51(21}5,4,3,2,1{)(:Q i i Q I Q <<=L 12345过程，是一随机则的位置，时表示时刻若以},2,1,0,{L =n X Q n X n n 而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链，且为齐次马氏链。
马尔可夫链的正则性和遍历性
马尔可夫链的正则性和遍历性
马尔可夫链的正则性和遍历性
马尔可夫链是一种随机进程，它描述了随机变量的统计转移模型，它可以提供一种有效的方法来评估时间序列的潜在模式。
它的行为类似于一系列随机moves，它通过简单的但紧密的过程，预测相关变量之间的行为。
因此，马尔可夫链，被称为马尔可夫链，不仅是一种随机过程，也可以被用来描述关于下一个事件或状态的统计关系。
首先，马尔可夫链具有正则定律。
正则性，正如其名，指转移概率从一个状态到另一个状态是一致的，也就是说，系统舍弃了一个状态，该状态和它的一些邻居之间的转移概率是相同的。
这意味着，无论节点的领域是初始的，在某种意义上来说，它们都具有相同的信息。
其次，马尔可夫链有遍历性。
它意味着整个系统是可遍历的，即它的每个节点都能从另一个节点找到，因此我们可以从头开始将系统节点当做红白球一样运动，从一个节点跳到另一个节点，直到系统全部探索。
马尔可夫链的正则性和遍历性是许多算法和技术的基础，如改进概率模型中的马尔可夫链变分法，贝叶斯网络等。
这些算法的目的就是使用马尔可夫链的正则性和遍历性来学习系统模型并对其进行预测。
另外，马尔可夫链的正则性和遍历性可以用来推断网络中节点之间的关系、估计潜在概率分布、确定网络中的社区结构等内容。
总之，马尔可夫链的正则性和遍历性是一种有效的模型，是处理大量时间序列数据和模型的理想要求。
它可以不断地帮助我们探索并理解复杂的系统，促进我们思考和改进算法的性能，帮助我们建立系统的数据模型。
马尔可夫链
马尔可夫链马尔可夫过程按其状态和时间参数是连续的或离散的,可分为三类: (1) 时间,状态都是离散的马尔可夫过程,称为马尔可夫链.(2) 时间连续,状态离散的马尔可夫过程,称为连续时间的马尔可夫 (3) 时间,状态都连续的马尔可夫过程. 4.1马尔可夫链的概念及转移概率 一,定义假设马尔可夫过程},{T n X n ∈的参数集T 是离散的时间集合,即 T={0,1,2,…},其相应n X 可能取值的全体组成的状态空间是离散的状态集,...}.,{21i i I =定义4.1 设有随机过程},{T n X n ∈,若对于任意的整数T n ∈和任意的I i i i i n ∈+.,...,,,1210,条件概率满足n n n n i X i X i X i X P ====++,...,,{110011}=},{11n n n n i X i X P ==++ (4.1) 则称},{T n X n ∈为马尔可夫链,简称.马氏链.(4.1)式是马尔可夫链的马氏性(或无后效性)的数学表达式.由定义知 ],...,,{1100n n i X i X i X P =====}.,...,,{111100--====n n n n i X i X i X i X P },...,,{111100--===n n i X i X i X P =}{11--==n n n n i X i X P .},...,,{111100--===n n i X i X i X P =… =}{11--==n n n n i X i X P }{2211----==n n n n i X i X P …}{0011i X i X P ==}.{00i X P =可见,马尔可夫链的统计特性完全由条件概率}{11n n n n i X i X P ==++所决定. 二,转移概率条件概率}{1i X j X P n n ==+的直观含义为系统在时刻n 处于状态i 的条件下,在时刻n+1系统处于状态j 的概率.它相当于随机游动的质点在时刻n 处于状态i 的条件下,下一步转移到状态j 的概率.记此条件概率为).(n p ij 定义4.2 称条件概率).(n p ij = }{11n n n n i X i X P ==++为马尔可夫链},{T n X n ∈在时刻n 的一步转移概率,其中i,j I ∈,简称为转移概率. 定义4.3 若对任意i,j I ∈,马尔可夫链},{T n X n ∈的转移概率).(n p ij 与n 无关,则称马尔可夫链是齐次的,并记).(n p ij 为.ij p下面我们只讨论齐次马尔可夫链,通常将齐次两字省略.设p 表示一步转移概率.ij p 所组成的矩阵,且状态空间I={1,2,…},则⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=...........................2222111211nnp p p p p p p 称为系统的一步转移概率矩阵,它有性质: (1) .,1)2(;,,0∑∈∈=∈≥Ij ij ijI i p I j i p通常称满足上述(1),(2)性质的矩阵为随机矩阵. 定义4.4称条件概率ij n p )(= )1,0,,(},{≥≥∈==+n m I j i i X j X P m n m 为马尔可夫链},{T n X n ∈的n 步转移概率,.并称)()()(n ij n p p =为马尔可夫链的n 步转移矩阵,其中(1) .,1)2(;,,0)(∑∈∈=∈≥Ij ij n ij n I i p I j i p 即也是随机矩阵.当n=1 时, .)1(ij p =.ij p ,此时一步转移矩阵.)1(p p =此外我们规定 ⎩⎨⎧=≠=.,1,,0)0(j i j i pij定理4.1设},{T n X n ∈为马尔可夫链,则对任意整数n l n <≤≥0,0和,,I j i ∈n 步转移概率.)(ij n p 具有下列性质:(1)))()()(l n kj Ik l ik n ij p p p -∈∑=; (4.2)(2) ;......112111)(j k Ik k k ik Ik n ij n n p p p p --∑∑∈∈= (4.3)(3);)1()(-=n n PP P (4.4) (4).)(n n P P =(4.5)证明(1) 利用全概率公式及马尔可夫性,有}{)(i X j X P p m n m n ij ===+=}{},{i X P j X i X P m n m m ===+}{},{.},{},,{i X P k X i X P k X i X P j X k X i X P m l m m Ik l m m n m l m m =========+∈+++∑}{}{i X k X P k X j X P m l m l m Ik n m =====++∈+∑=)()()()(m p l m p l ik Ik l n ij +∑∈-=)()(.l n kjIk l ik p p -∈∑. (2)在(1)中令1,1k k l ==得))1()(111-∈∑=n jkIk ik n ij p p p 这是一个递推公式,可递推下下去即得(4.3). (3)在(1).令l=1利用矩阵乘法可得. (4) 由(3),利用归纳法可证.定理4.1中的(1)式称为切普曼---柯尔哥洛夫方程,简称C-K 方程 .定义4.5设},{T n X n ∈为马尔可夫链,称 },{0j X P p j ==)(},{)(I j j X P n p n j ∈==为},{T n X n ∈的初始概率和绝对概率,并分别称}),({},,{I j n p I j p j j ∈∈为},{T n X n ∈的初始分布和绝对分布.简记为}.),({},,{n p p j j 称概率向量 )0(),...),(),(()(21>=n n p n p n P T 为n 时刻的绝对概率向量,而称)0(,...),,(21>=n p p P T为初始向量.定理4.2设},{T n X n ∈为马尔可夫链,则对任意整数I j n ∈≥,1,绝对概率).(n p j 具有下列性质:(1)))()(n ij Ii i j p p n p ∑∈=; (4.6)(2) ij Ii i j p n p p )1(-=∑∈ (4.7)(3);)0()()(n T T P P n P = (4.8) (4)P n P n P T T )1()(-= (4.9)证明(1) ===}{)(j X P n p n j},{0j X i XP n Ii ==∑∈= }{}{00i X P i X j XP nIi ===∑∈ =)(n ijIi i p p ∑∈ (2)===}{)(j X P n p n j },{1j X i X P n Ii n ==∑∈-=}{}{11i X P i X j X P n n n Ii ===--∈∑==ij Ii i p n p ∑∈-)1((3)与(4)是(1)与(2)的矩阵形式.定理4.3 设},{T n X n ∈为马尔可夫链,则对任意,1,,...,1≥∈n I i i n 有 },...{11n n i X i X P ===....11n n i i ii i p p p -∑ (4.10) 证明 由全概率公式及马氏性有},...{11n n i X i X P ===},...,,{110n n Ii i X i X i X P ===∈=},...,,{110n n Ii i X i X i X P ===∑∈=}.,{}{0110i X i X P i X P Ii ===∑∈...},...,{110--===n n n n i X i X i X P=}.,{}{0110i X i X P i X P Ii ===∑∈..}{11--==n n n n i X i X P=n n i i ii Ii i p p p 11...-∑∈.三,马尔可夫链的例子例4.1 无限制随机游动设质点在数轴上移动,每次移动一格,向右移动的概率为p,向左移动的概率为 q=1-p,这种运动称为无限制随机游动.以n X 表示时刻n 质点所处的位置,则},{T n X n ∈是一个齐次马尔可夫链,试写出它的一步和k 步转移概率. 解 },{T n X n ∈的状态空间,...},2,1,0{±±=I 其一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=.....................00.........0.....................p q p q P 设在第k 步转移中向右移了x 步向左移动了y 步,且经过k 步转移状态从j 进入j,则⎩⎨⎧-=-=+i j y x k y x ,.2)(,2)(i j k y i j k x --=-+=由于x,y 都只取整数,所以)(i j k -±必须是偶数.又在k 步中哪x 步向右,哪y 步向左是任意的,选取的方法有x k C 种.于是⎩⎨⎧-+-+=是奇数是偶数)(,0)(,i j k i j k q p C p y x x k k ij.例4.2赌徒输光问题.两赌徒甲,乙进行一系列赌博.赌徒甲有a 元,赌注乙有b 元,每赌一局输者给赢者1元,没有和局,直到两人中有一个输光为止.设在每一局中,甲赢的概率为p,输的概率为q=1-p,求甲输光的概率.这个问题实质上是带有两个吸收壁的随机游动,其状态空间为I={0,1,2,…,c} c=a+b.故现在的问题是求质点从a 出发到达0状态先于到达c=a+b 状态的概率.解 设i u 表示甲从状态i 出发转移到状态0的概率,要计算的是a u ..由于0和c 是吸收状态,故,10=u .0=c u i u 由全概公式).1,...,2,1(,11-=+=-+c i qu pu u i i i (4.11) 上式的含义是,甲从状态i 出发开始赌到输光的概率等于’他接下去赢了一局(概率为p)处于状态i+1后再输光”;和他接下去输一局(概率为q),处于状态i-1后再输光”这两个事件的概率.由于p+q=1,(4.11)实质上是一个差分方程.1,...,2,1),(11-=-=--+c i u u r u u i i i i (4.12)其中pqr =,其边界条件为.0,10==c u u (4.13) 先讨论r=1,即p=q=1/2的情况,(4.12)成为 .1,...,2,1),(11-=-=--+c i u u r u u i i i i 令,01α+=u u 得,2012αα+=+=u u u …,01ααi u u u i i +=+=- …,01ααc u u u c c +=+=-将,1,00==u u c 代于最后一式,得参数,1c-=α所以.1,...,2,1,1-=-=ci ciu i 令i=a, 求得甲输光的概率为.1ba bc a u a +=-= 由于甲,乙的地位是对称的,故乙输光的概率为.ba a u a +=再讨论1≠r ,即q p ≠的情况.由(4.12)式得到)(11--=-=-∑i c k i i k c u u r u u =)(011u u r c ki i-=∑-=.1)1(1r r r u ck ---= (4.14) 令k=0,由于,0=c u 有rr u c---=11)1(11即,11)1(1crru --=- 代入(4.14)式,得.1,...,2,1,1-=--=c k rr r u cck k 令k=a,得到输光的概率,1cca a rr r u --= 由对称性,乙输光的概率为.,11111q p r r r r u c cb b =--= 由于,1=+b a u u 因此在1≠r 时,即q p ≠时两个人中也总有一个人要输光的. 例4.3 天气预报问题设昨日,今日都下雨,明日有雨的概率为0.7;昨日无雨今日有雨,明日有雨的概率为0.5;昨日有雨,今日无雨明日有雨的概率为0.4;昨日,今日均无雨,明日有雨的概率为0.2.若星期一星期二均下雨,求星期四下雨的概率.解 设昨日,今日连续两天有雨称为状态0(RR),昨日无雨今日有雨称为状态1(NR),昨日有雨今日无雨称为状态2(RN),昨日今日无雨称为状态3(NN),于是天气预报模型可看作一个四状态的马尔可夫链,其中转移概率为 7.0}{}{}{00====今昨明今昨明今连续三天有雨R R R P P R R R R P p , )(0}{01不可能事件今昨明今==R R R N P p ,,3.07.01}{}{02=-===今昨明今昨明今R R N P R R N R P p)(0}{03不可能事件今昨明今==R R N N P p ,其中R 代表有雨,N 代表无雨.类似地可得到所有状态的一步转移概率,于是它的一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=33323130232221201312111003020100p p p p p p p p p p p p p p p p P =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0其中两步转移矩阵为==P P P .)2(⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0.⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0 = ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡.64.010.016.010.048..020.012.020.030.015.020.035.018.021.012.049.0 由于星期四下雨意味着过程所处的状态为0或1,因此星期一星期二连续下雨,星期四下雨的概率为.61.012.049.0)2(01)2(00=+=+=p p p例 4.4 设质点在线段[1,4]上作随机游动,假设它只能在时刻T n ∈发生移动,且只能停留在1,2,3,4点上.当质点转移到2,3点时,它以1/3的概率向左或向右移动一格或停留在原处.当质点称动到点1时,它以概率1停留在原处.当质点移动到点4时,它以概率1移动到点3.若以n X 表示质点在时刻n 所处的位置,则},{T n X n ∈ 是一个齐次马尔可夫链,其转移概率矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=0100313131003131310001P 例中的点1称为吸收壁,即质点一旦到达这种状态后就被吸收住了,不再移动;点4称为反射壁,即质点一旦到达这种状态后,必然被反射出去.例4.5生灭链.观察某种生物群体,以n X 表示在时刻n 群体的数目,设为i 个数量单位,如在时刻n+1增生到i+1个单位的概率为i b ,减灭到i 个数量单位的概率为i a ,保持不变的概率为)(1i i i b a r +-=,则}0,{≥n X n 为齐次马尔可夫链,I={0,1,2,…,}.其转移概率为⎪⎩⎪⎨⎧+==+==.1,,,1,i j a j i r i j b p ii i ij称此马尔可夫链为生灭链. 4.2 遍历性设齐次马氏链的状态空间为I,若对于所有,,I a a j i ∈转移概率)(n P ij 存在极限 j ij n n P π=∞→)(lim (不依赖于i)或 ⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡→=................................................)(212121j j jn P n P πππππππππ则称此链具有遍历性.又若∑=jj 1π,则同时称,...),(21πππ=为链的极限分布.齐次马氏链在什么条件下才具有遍历性?如何求出它的极限分布?这问题在理论上已经解决,但是要较多的篇幅.下面对有限链的遍历性给出一个充分条件. 定理4.4设齐次马氏链},{T n X n ∈的状态空间为P a a a I n },,...,,{21=是它的一步转移概率矩阵,如果存在正整数m,使对任意的j i a a ,都有 ,,...,2,1,,0)(N j i m p ij =>则此链具有遍历性,且有极限分布, ),,...,,(21N ππππ=它是方程组 P ππ=或即ij Ni i j p ∑==1ππ的满足条件∑==>Nj j j 11,0ππ的唯一解.在定理条件下马氏链的极限分布又是平稳分布.即若用π作为链的初始分布,即π=)0(p ,则链在任一时刻T n ∈的分布)(n p 永远与π一致,事实上ππππ======-P P P n P p n p n n ...)()0()(1 例4..6 设马尔可夫链的转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=9.005.005.01.08.01.02.01.07.0P 解 容易证明满足定理4.4条件.可得方程组⎪⎪⎩⎪⎪⎨⎧=++++=++=++=1,9.01.02.0,05.08.01.0,05.01.07.0321321332123211πππππππππππππππ解上述方程组得平稳分布为.5882.0,2353.0,1765.0321===πππ。
第五章马尔可夫过程
= P{X(tn)- X(tn-1) < xn- xn-1 | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1}
= P{X(tn)- X(tn-1) < xn- xn-1 }= P{X(tn) < xn | X(tn-1) = xn-1}
k为转移步长。显然， 0≤ pij (m,k) ≤ 1 。
5.2 马尔可夫链
5.2.1 பைடு நூலகம்尔可夫链的概念
马尔可夫链的转移概率及其矩阵：
对于有限状态空间E={1,2,…,N},由马尔可夫链 {X(n), n=0,1,2,…}在时刻m的k步转移概率pij (m,k)形成的下列矩阵
p11(m, k)
P(m,
5 马尔可夫过程
马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用
5 马尔可夫过程
有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 状态空间的性质
5.1 马尔可夫过程的概念
5.1.1 有关定义
随机过程马尔可夫性：（物理描述）
当随机过程在时刻 ti 所处的状态为已知的条件下，过 程在时刻 t(>ti)所处的状态，与过程在ti时刻以前的状态无 关，而仅与在ti时刻的状态有关。这种已知“现在”状态的 条件下，“将来”状态与“过去”状态无关的性质，称为 马尔可夫性或无后效性。
或 F{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= F{xn; tn| xn-1 ; tn-1} 或 f{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= f{xn; tn| xn-1 ; tn-1}
概率论与数理统计习题册 第七章 答案
上是不可能的．再设有无顾客来到与服务是否完毕是相互独立的．试用马氏链描述
这个服务系统，并求其一步转移概率矩阵．(参考陕西人民教育出版社，概率论与数
理统计辅导，P214)
- 106 -
第十一章 马尔可夫莲
系别
班级
姓名
学号
.
作业 19 多步转移概率的确定、遍历性
一、设任意相继的两天中，雨天转晴天的概率为 1 ，晴天转雨天的概率为 1 ，
要服务的顾客到达系统时发现系统内已有 3
个顾客（一个正在接受服务，两个在等候室
排队），则该顾客即离去．设时间间隔 ∆t 内
将有一个顾客进入系统的概率为 q ，有一原
来被服务的顾客离开系统（即服务完毕）的
第 11.5 题图
概率为 p ．又设当 ∆t 充分小时，在这时间间隔内多于一个顾客进入或离开系统实际
⎡1 1⎤
P
=
⎢ ⎢
2
2
⎥ ⎥
⎢1 2⎥
⎢⎣3 3 ⎥⎦
⎡5 P 2 = ⎢⎢12
⎢7 ⎢⎣18
7⎤
12
⎥ ⎥，
11 ⎥
18 ⎥⎦
所以已知
5
月
1
日为晴天，5
月
3
日为晴天的概率为
p00
(2)
=
5 12
；已知
5
月
3
日为晴天，5
月
5
日为雨天的概率等于
p01
(2)
=
7 12
，已知
5
月
1
日为晴天，5
月
3
日为晴天，且
5
月
5
日为雨天
的概率
P{X3 = 0, X5 = 1| X1 = 0} = P{X3 = 0 | X1 = 0} P{X5 = 1| X3 = 0, X1 = 0}
7马尔可夫链
n 1
f ii( n )
f ii 1
n 1
f ii( n ) f ii 1
fij(n)
n 1
nfii( n) i
n 1
nfii( n) i
（3）可达关系与互通关系
[定义] （1）若存在 n > 0, 使得 pij(n) > 0 ，则称自状态 i 可达状态 j ，
{ p j (n)} { p j (n) , j I }
绝对概率向量：
PT (n) p1 (n), p2 (n), , (n 0)
初始概率向量：
PT (0) p1 , p2 ,
绝对概率 pj(n) 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数 n 1 和 j I ，绝对概率 pj (n) 具有下列性质：
(n n 0, 0 l < n 和 i , j I ，n 步转移概率 pij ) 具有下 列性质：
( ( ( (1) pijn ) pikl ) pkjnl ) kI
(n ) ij
C-K方程
( (2) pijn) pik1 pk1k2 pkn1 j k 1I kn1I
马尔可夫链的统计特性由以下条件概率所决定：
P{X n1 in1 X n in }
转移概率
[定义] 称条件概率
pij (n) P{X n1 j X n i}
为马尔可夫链 { Xn , n T } 在时刻 n 的一步转移概率， 其中 i , j I ，简称为转移概率。
一步转移概率矩阵：
p P q q p
第六章 马尔可夫链
(0) t1 ii1 t2 t1 i1i2
, X tn1 in1 )
P( X 0 i) P( X t1 i1 X 0 i) P( X t2 i2 X t1 i1 )
i
qi p (0) p
(k) 相应的k步与一步转移概率矩阵分别记为 P 与P
(k ) k (1) P P , k 0; 定理 (2) q ( k ) q (0) P k , k 0;
(3) { X n , n 0}的有限维分布由其初始分布和一
步转移概率所完全确定
第一节 基本概念
５.马尔可夫链举例
例１(天气预报问题) 如果明天是否有雨仅与今天的 天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则
3.马尔可夫链 定义 参数集和状态空间都是离散的马尔可夫过程 称为马尔可夫链。 注 只讨论马尔可夫链的状态空间为有限或可列无限. 则马尔可夫性可表示为
对n 2, t1 t2
tn T , i1 , i2 ,
, in S ,
, X (tn 1 ) in 1 )
有 P( X (tn ) in X (t1 ) i1 , X (t2 ) i2 ,
P{(
l l
X nk l ), X nk m j X n i )
P{ ( X nk l , X nk m j ) X n i ) P( X nk l , X nk m j ) X n i )
l
第一节 基本概念
浙江大学《概率论与数理统计》(第4版)【名校笔记+课后习题+考研真题】(第13章 马尔可夫链——第1
第13章 马尔可夫链13.1 复习笔记一、马尔可夫过程及其概率分布 马尔可夫过程的概率分布 （1）转移概率及其转移概率矩阵 ①转移概率(,){|}ij m n j m i P m m n P X a X a ++===为马氏链在m 时处于a i 的条件下，到m ＋n 时转移到状态a j 的转移概率。
1(,)1,1,2,ij j P m m n i +∞=+==∑②转移概率矩阵 (,)((,))ij P m m n P m m n +=+性质：各元素非负，每行之和为1（2）齐次马氏链的转移概率及转移概率矩阵 一步转移概率为(){}11ij ij m j m i p P P X a X a +====一步转移概率矩阵()11211112122122212=1m j j mj i i i ijX a a a a p p p X a p pp P P a p p p +⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的状态的记成状态二、多步转移概率的确定1．C-K 方程1()()(),,1,2,ij ik kj k P u v P u P v i j +∞=+==∑2．n 歩转移概率齐次马尔可夫链的n 歩转移概率矩阵P （n ）＝P n三、遍历性 1．定义转移概率()ij P n 存在极限或()()121212jj n jP n P n πππππππππ⎡⎤⎢⎥⎢⎥⎢⎥=→∞⎢⎥⎢⎥⎢⎥⎣⎦则此链具有遍历性，若1jjπ=∑，则12(,,)πππ=为链的极限分布。
2．有限链遍历性的充分条件设齐次马氏链{X n ，n ≥l}的状态空间为12{,,,}N I a a a =，P 是它的一步转移概率矩阵，如果∃m ∈N ＋，使对∀,i j a a I ∈，都有()0,,1,2,,ij P m i j N >=则此链具有遍历性，且有极限分布12(,,,)N ππππ=，它是方程组π＝πP 或1,1,2,Nj i ij i p j Nππ===∑满足条件10,1Nj j j ππ=>=∑的唯一解。
4-4离散参数马尔可夫链(4)-极限定理
Ci 是相通的常返闭集，且为有限集。因
( n) p ij 1(n 1) jci
与
n ( n) lim pij 0 jci
矛盾．故S有限时无零常返状态
解放军电子技术学院
卢
推论l 有限马尔可夫链没有零常返状态，也不 可能全是非常返． 推论2 不可约的有限马尔可夫链的状态都是正常 返状态．
的极限性质
卢
解放军电子技术学院
j为非常返状态或零常返状态
j为非常返状态或零常返状态
定理：若j为非常返状态或0常返状态，则对任意 i S
n (n) lim pij 0
(n) ( l ) ( n l ) ( l ) ( n l ) 证：pij fij p jj fij p jj l 1 l 1
lim p
n
(n) ij
1 . uj
推论3：设不可约、正常返、周期d的马氏链， 其状态空间为C，则有
( nd ) lim pij
其中C
d 1
n
Cr
r 0
d , i, j同时属于Cr j 0, 其他
卢
解放军电子技术学院
单位时间内平均返回的次数
定理：对任意状态i, j , 有 1 (k ) lim pij n n k 1
f
l 0
ij
l N 1
f ij (ld r )
卢
解放军电子技术学院
f 已证
l 0
N
ij
(ld r ) p jj ((n l )d ) pij (nd r ) fij (ld r ) p jj ((n l )d )
马尔科夫链-遍历性与极限分布详解
pi(0) lim pij (n) pi(0) p j p j
i n i
即
lim p
n
(n) j
pj
即：绝对概率的极限与转移概率的极限相同
平稳分布
定义 若有限或无限数列q j , j 1.2,... 满足
(1)q j 0, (2)
q
j
j
1
则称它是概率分布
i
又，由绝对分布与初始分布的关系，可得
p = qi pij (n)=q j
i
即
绝对分布为平稳分布
定理 对有限马尔科夫链，如果存在正整数k，使 pij (k ) 0, i, j 1, 2,...N
则此链是遍历的
且极限分布
lim pij ( n) p j
n
j
p ，j 1, 2,...N
k k r
lim pir (k ) prj pr prj
r k r
即
p j pr prj
r
成立
有限马尔科夫链转移概率的极限分布一定是平稳分布 无限马尔科夫链转移概率的极限分布不一定是平稳分布
若初始概率是平稳分布，则任意时刻的绝对概 率分布等于初始分布，也即为平稳分布 (0) 证 设初始分布： pi qi , i 1, 2,...,
其中，qi，i 1,2,... 是平稳分布
又，对于平稳分布 q j，j 1, 2,... , 有 q j = qi pij qk pki pij i i k qk pki pij qk pkj (2) k i k
1
p j , j E 为转移概率的极限分布
遍历性
第2章_马尔可夫链
0 x x j
j!
dG x ,
j0
Pij P( X n 1 j X n i ) P ( X n 1 Yn j X n i ) P(Yn j i 1 X n i ) P (Yn j i 1) e
解 一阶转移矩阵为
0.95 0.30 P 0.20 0.20
初始分布为
0.02 0.60 0.10 0.20
0.02 0.06 0.70 0.10
0.01 0.04 0.00 0.50
(1, 2 , 3 , 4 ) (0.25,0.30,0.35,0.10)
类似地可以证明马尔可夫链任意个时刻的联合分布也 完全由一步转移概率矩阵及初始分布向量决定。
P X 0 i0 , X 1 i1 , , X n in
3、定理：切普曼-柯尔莫哥洛夫方程（C-K方程）
p
或
m n ij
p p
k 0 n ik
m kj
P
其中
( m n )
P P
例5 Polya（波利亚）模型
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
遍历性
说明1： 若马尔科夫链为有限状态的，显然有，
满足 即
N
N
N
lim
n
j 1
pij (n)
j 1
lim
n
pij
(n)
j 1
pj
1
N
p j 0, p j 1, j 1, 2,...N j 1
pj , j 1, 2,...N 构成一个概率分布
i
又，由绝对分布与初始分布的关系，可得
p
(n j
)
=
qi pij (n)=q j
i
即 绝对分布为平稳分布
定理 对有限马尔科夫链，如果存在正整数k，使
pij (k) 0, i, j 1, 2,...N
则此链是遍历的
且极限分布
lim
n
pij (n)
pj
pj，j 1, 2,...N
马尔科夫链的遍历性
遍历性
定义1 若马尔科夫链中的所有状态互通且均为 非周期的正常返状态，则称该链是遍历的
定义2 若马尔科夫链转移概率的极限
lim
n
pij (n)
pj,
i, j E
存在且与 i 无关，则称此马尔科夫链具有遍历性
此时，若满足 pj 0,
pj 1
j
则称 p j , j E 为转移概率的极限分布
令 k ,有
lim
k
pij
(k
1)
lim
k
r
pir (k)prj (1)
r
lim
k
pir (k )prj
r
pr prj
即
p j pr prj 成立
有限马尔科夫链转移概r率的极限分布一定是平稳分布
无限马尔科夫链转移概率的极限分布不一定是平稳分布
若初始概率是平稳分布，则任意时刻的绝对概 率分布等于初始分布，也即为平稳分布
+(
p q
)2
]-1
例2 若例1中，质点只能取1,2,3三个点，一
步转移概率矩阵为
0 1 0
p q
0
p
0 1 0
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
0 1 0
解
p q
0
p
0 1 0
q 0 p
p(2) 0
在此称为转移概率的极限分布
有限状态的遍历的马尔科夫链必存在极限分布
遍历性
说明2： 若马尔科夫链为无限状态的，则有，
pij (n) 1, j E
j 1
M
pij (n) 1 j 1
又因为 即
M
M
lim
M
lnim
j 1
pij (n)
lim
下面求极限概率p j，j 1, 2,3，
qp1 qp1
qp2
p1 qp3 p2
pp2 pp3 p3
p1 p2 p3 =1
解方程，可得
p1 =[1+
p q
+(
p )2 q
]-1
p2
=(
p q
)[1+
p q
+(
p )2 q
]-1
p3
=(
p q
)2[1+
p q
证
设初始分布：
p(0) i
qi ,
i
1, 2,...,
其中，qi，i 1, 2,... 是平稳分布
又，对于平稳分布 qj，j 1, 2,... ,有
qj = qi pij
qk
pki
pij
i
i k
qk
pki
pij
qk pkj (2)
M
j 1
pj
1
p j 0, p j 1, j 1, 2,...
j 1
pj , j 1, 2,...N 不一定构成一个概率分布
无限状态的遍历的马尔科夫链不一定存在极限分布，只 有其极限概率构成概率分布时才存在极限分布
绝对概率的极限
lim
n
p(n) j
lim
=p
0 0 1
显然，转移概率的极限
lim
n
pij (n)
存在，但是与i有关，即
lim
n
pij (n)
pij
因此此链不具有遍历性
j
则称它是概率分布
如果此概率分布满足
q j = qi pij
i
则称它是平稳分布
具有遍历性的马尔科夫链的平稳分布
C-K方程： pij (n)=pij (k l) pir (k)prj (l)
r
令 l 1, 则 pij (k 1) pir (k)prj (1)
r
对具有遍历性的马尔科夫链
k i
k
更一般的，有 q j = qi pij (n)
i
若初始概率是平稳分布，则任意时刻的绝对概 率分布等于初始分布，也即为平稳分布
证
设初始分布：
p(0) i
qi ,
i
1, 2,...,
其中，qi，i 1, 2,... 是平稳分布
更一般的，有 q j = qi pij (n)
0 q p
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
解 计算二步转移概率矩阵
Байду номын сангаас
q2 pq qp
p2
p(2)
q2
2qp
p2
q2
qp pq p2
即 当k 2时，有 pij (2) 0, 所以，此链具有遍历性，
因而存在平稳分布，极限分布即为平稳分布
1 0 0
p q
0
p
0 0 1
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
1 0 0
解
p q 0 p
0 0 1
1 0 0
p(2) q
0
p
=p
0 0 1
1 0 0
， ，p(n) q
0
p
N
是方程组 p j pi pij , j 1, 2,...N
j 1
满足条件
N
(1)p j 0, (2) p j 1
的唯一解
j 1
注：此定理给出了求极限分布(平稳分布)的方法
例1 直线上带反射壁的随机游动，如果质点只 能取1,2,3三个点，一步转移概率矩阵为
q p 0 p q 0 p
n
i
pi(0) pij (n)
i
p(0) i
lim
n
pij
(n)
i
p(0) i
pj
pj
即
lim
n
p(n) j
pj
即：绝对概率的极限与转移概率的极限相同
平稳分布
定义 若有限或无限数列 qj , j 1.2,... 满足
(1)qj 0, (2) qj 1
1
0
q 0 p
0 1 0 p(3) p(2)p q 0 p p
0 1 0
一般的，有 p(2n 1) p
p(2n) p(2)
显然，转移概率的极限
lim
n
pij
(n)
不存在，
因此此链不具有遍历性
例3 若例1中，质点只能取1,2,3三个点，一 步转移概率矩阵为