马尔科夫链-遍历性与极限分布
马尔可夫链及其概率分布
则称过程{X(t),tT}具有马尔可夫性，或称 {X(t),tT}为马尔可夫过程。
称为马氏链在时刻m系统处于状态ai的条件下，在时刻 m+n转移到状态aj的转移概率。
设{Xn,n0},其状态空间为,若对于任意的正 整数n和任意的 ai0 , ai1 ,, ain , ain1 , 定义2
有 P X n 1 a i n 1 X 0 a i0 , X 1 a i 2 , , X n a i n P X n 1 a i n 1 | X n a i n
p10――系统内恰有一顾客正在接受服务的条件 下，经 后系统内无人的概率，它等于在 间 隔内顾客因服务完毕而离去，且无人进入系统 的概率，p10=p(1-q). p11――系统内恰有一顾客的条件下，在 间隔 内，他因服务完毕而离去，而另一顾客进入系 统，或者正在接受服务的顾客将继续要求服务， 且无人进入系统的概率，这p11＝pq＋(1-p) (1-q). p12――正在接受服务的顾客继续要求服务，且 另一个顾客进入系统的概率，p12=q(1-p).
由于Xn, n=0，1，2,…独立同分布，因而
PX n1 j | X n i PX n1 j q j P { X m 1 j | X m i }
所以{Xn}为齐次马氏链。其一步转移概率P:
pij q j , i , j I .
//例3 排队模型 设服务系统由一个服务员和只可 以容纳两个人的等候室组成，见图7－3。服务规 则是：先到先服务，后来者需在等候室依次排队。 假定一个需要服务的顾客到达系统时发现系统内 已有3个顾客（一个正在接受服务，两个在等候 室排队）则该 顾客即离去。设时间间隔Δt内 将有一个顾客进入系统的概率为q，有一原来被 服务的顾客离开系统（即服务完毕）的概率为p。 又设当Δt充分小时，在这时间间隔内多于一个 顾客进入或离开系统实际上是不可能的。再设有 无顾客来到与服务是否完毕是相互独立的。现用 马氏链来描述这个服务系统。
第四章 马尔可夫链
股市预测
预测股票价格变化 基于历史数据建立模型 考虑股票之间的相关性 用于投资决策和风险管理
05
马尔可夫链的算法
状态转移矩阵算法
定义：状态转移 矩阵算法是马尔 可夫链中用于描 述状态转移概率 的算法
计算方法：根据 历史数据和当前 状态计算未来的 状态转移概率
应用场景：广泛 应用于自然语言 处理、语音识别、 机器翻译等领域
类问题等。
可扩展性强： 马尔可夫链可 以通过增加状 态和转移概率 来扩展模型， 以处理更复杂
的问题。
缺点
状态转移概率矩 阵必须已知
无法处理连续时 间或非齐次过程
无法处理多维或 多状态过程
无法处理非马尔 可夫过程
YOUR LOGO
THANK YOU
汇报人：儿
特点：隐马尔可夫链的状态转移和观测概率是参数化的，需要通过训练数据来估计。
应用：隐马尔可夫链在语音识别、自然语言处理、机器翻译等领域有广泛应用。
算法：隐马尔可夫链的算法包括前向-后向算法、Viterbi算法和Baum-Welch算法等。
04
马尔可夫链的应用
自然语言处理
文本分类：利 用马尔可夫链 对文本进行分 类，如垃圾邮 件过滤、情感
01
添加章节标题
02
马尔可夫链的定义
状态转移
定义：马尔可夫链的状态转移概率是描述状态之间转移的规则
特性：状态转移具有无记忆性，即下一个状态只与当前状态有关，与过去状态无关
转移矩阵：描述状态转移概率的矩阵
稳态分布：在长期状态下，马尔可夫链将趋于一个稳态分布，该分布描述
YOUR LOGO
马尔可夫链
,a click to unlimited possibilities
马尔可夫链课件
格，或以
Q现在处于1(或5)这 1的概率留在原处；如果 3
一点上，则下一时刻就以概率1移动到2(或4)这点上，1 和5这两点称为反射壁，这种游动称为带有两个反射壁的
随机游动。以Xn表示时刻n时Q的位置，说明{Xn,n =
0,1,2 …}是一齐次马氏链，并写出它的一步转移概率矩 阵。
二、转移概率
定义3 设 { X n，n 0} 是齐次马尔可夫链，其一步 矩阵的每一行都 转移概率为 pij (i, j S )，记 是一条件分布律
p00 p10 P ( pij ) p 20 pi 0
.
p 01 p 02 p11 p12 p 21 p 22 pi1 pi 2
1 2 3 4 5
三、马氏链的例子
解：它的一步转移概率矩阵为： 0 1 0 0 0
1 3 P 0 0 0
1 3 1 3 1 3 1 3 1 3
0
1 3 1 3
0 0
0
1
0 0 1 3 0
如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远 留在点1时，此时的转移概率矩阵为：
• 第一节 基本概念 • 第二节 状态的分类及性质 • 第三节 极限性态及平稳分布
• 第四节 Markov链的应用
第一节
基本概念
一、Markov链的定义 二、转移概率 三、Markov链的例子 四、n步转移概率，C-K方程
第一节
基本概念
一、Markov链的定义
马尔可夫性(无后效性 )过程(或系统)在时刻t 所处的状态为已知的条件下，过程在时
1 1 3 P 0 0 0 0
1 3 1 3
0
2012第四章马尔可夫链
随机过程第四章：马尔可夫链第四章：马尔可夫链4.1 马尔可夫链定义4.2 一步转移概率及多步转移概率4.3 初始概率及绝对概率4.4 遍历的马尔可夫链及平稳分布4.5 马尔可夫链状态分类4.6 状态空间的分解时间、状态都是离散的马尔可夫过程，称为马尔可夫链。
时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。
时间、状态都是连续的马尔可夫过程，就是马尔可夫过程。
例如：天气预报…质点的随机游动…赌博输光问题…生死链…4.1 马尔可夫链定义例如：在某数字通信系统中传递0，1两种信号，且传递需要经过若干级。
因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。
例题4-1:设马尔可夫链{X n ,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为求和两步转移概率矩阵P (2) 。
⎟⎟⎠⎞⎜⎜⎝⎛=11100100p p p p P }0|0{2==+m m X X P设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q=1-p，这种运动称为无限制随机游动。
以X n 表示时刻n质点所处的位置，则{X n ,n∈T}是一个齐次马尔可夫链，求一步和k步转移概率。
,1,1, 1 0 (j i-1,i+1) i i i i i j P p P q p P +−⎧=⎪==−⎨⎪=≠⎩解：一步转移概率为：...........................q 0 p 0 0......0 q 0 p 0......0 0 q 0 p...........................P ⎛⎞⎜⎟⎜⎟⎜⎟=⎜⎟⎜⎟⎜⎟⎝⎠例题4-2：无限制随机游动质点在数轴上移动，规律同上例。
当质点一旦达到X n =0时，X n+1就停留该0状态，这种状态称为吸收态。
{X n ,n∈T}是一个齐次马尔可夫链，求一步转移概率。
马尔科夫链-遍历性与极限分布
+(
p q
)2
]-1
例2 若例1中，质点只能取1,2,3三个点，一
步转移概率矩阵为
0 1 0
p q
0
p
0 1 0
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
0 1 0
解
p q
0
p
0 1 0
q 0 p
p(2) 0
证
设初始分布：
p(0) i
qi ,
i
1, 2,...,
其中，qi，i 1, 2,... 是平稳分布
又，对于平稳分布 qj，j 1, 2,... ,有
qj = qi pij
qk
pki
pij
i
i k
qk
pki
pij
qk pkj (2)
在此称为转移概率的极限分布
有限状态的遍历的马尔科夫链必存在极限分布
遍历性
说明2： 若马尔科夫链为无限状态的，则有，
pij (n) 1, j E
j 1
M
pij (n) 1 j 1
又因为 即
M
M
lim
M
lnim
j 1
pij (n)
lim
马尔科夫链的遍历性
遍历性
定义1 若马尔科夫链中的所有状态互通且均为 非周期的正常返状态，则称该链是遍历的
定义2 若马尔科夫链转移概率的极限
lim
n
pij (n)
pj,
i, j E
随机过程课件-马尔可夫链
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
人教版A版高中数学选修4-9：马尔可夫性与马尔可夫链_课件1
pN ,1 p,
p1,N q,
我们可以用通俗的语言来描述马尔可夫性：
我们把“n”看成“现在”，则“n+1”则是“未 来”，小于n的整数看成是“过去”。那么，在 已知现在状态的情况下，将来的随机变化规律和 过去的状态无关。
在现实生活中，有很多随机变量序列都具有马尔 可夫性。一般地，我们将这种具有马尔可夫性的 随机变量序列为马尔可夫链，并把序列中的随机 变量的所有可能取值的集合称该马尔可夫链的状 态空间。
N
j 0, j 1的唯一解.
j1
在现实生活中，我们所探讨的问题的状态可能会 随时改变。一台旧摆钟，它时而准时，时而不准 时。随着时间的变化，它会从“不准时”变成 “准时”状态，经过人为调整后，摆钟又可以从 “不准时”变成“准时”状态。像这种状态随时 间的推移而改变的决策问题就会变得复杂。
马尔可夫性与 马尔可夫链
重点与难点
1.重点
马氏链n步转移概率的确定
2.难点
有限维分布律的计算方法 遍历性问题
马尔可夫过程
具有马尔可夫性的随机过程称为马尔可夫过程。
马尔可夫性(无后效性) 过程或(系统)在时刻t0所处的状态为已知的
条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性。
当状态随着时间的推移而转化时，我们采用马尔 可夫链处理这一类问题。
典型例题
例1 艾伦非斯特(Ehrenfest )模型
设一个坛子装有c个球,它们或是红色的,或 是黑色的.从坛中随机地摸出一个球,并装入一个 另一种颜色的的球, 经过n次摸换, 研究坛中的黑 球数. 解 以Xn,n 1表示第n次摸球后坛中的黑球数.
3 16 2 16 24
马尔可夫链——精选推荐
21021210分布马尔可夫过程及其概率1§马尔可夫过程的定义、1211111121.简称马氏链可夫链，马尔可夫过程称为马尔时间和状态都是离散的课稿南京邮电大学孔告化讲22110}|{),(i m j n m i j a X a X P n m m P ===++记马氏链的转移概率、221021210.),(的转移概率转移到状态在时刻条件下，处于状态为马氏链在时刻称j i i j a n m a m n m m P ++课稿南京邮电大学孔告化讲.))(()(步转移概率矩阵为称n n P n P i j =⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛==M ML M M L L L M L M M L L L L )()()()()()()()()())(()(212222111211n P n P n P n P n P n P n P n P n P n P n P N N N N N N i j LLN a a a 21MM N a a a 21矩阵齐次马氏链的转移概率、3Ia a n P j i i j ∈≥,0)()1(Ia n P i j i j ∈=∑∞=1)()2(1课稿南京邮电大学孔告化讲111⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛==M M L M M L L L M L M M L L L L N N N N N N p p p p p p p p p P P 212222111211)1(L L N a a a 21M M N a a a 211课稿南京邮电大学孔告化讲这一点上。
或移动到就以概率，则下一时刻或现在位于点的概率停在原处；如果一格，或以的概率向左或向右移动则下一时刻各以现在位于点是：如果发生游动。
游动的规则等时刻秒秒、仅在上作随机游动，并且仅在如图所示直线的点集设一醉汉一维随机游动例题)4(21)5(13/13/1),51(21}5,4,3,2,1{)(:Q i i Q I Q <<=L 12345过程，是一随机则的位置，时表示时刻若以},2,1,0,{L =n X Q n X n n 而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链，且为齐次马氏链。
马尔可夫链
马尔可夫链马尔可夫过程按其状态和时间参数是连续的或离散的,可分为三类: (1) 时间,状态都是离散的马尔可夫过程,称为马尔可夫链.(2) 时间连续,状态离散的马尔可夫过程,称为连续时间的马尔可夫 (3) 时间,状态都连续的马尔可夫过程. 4.1马尔可夫链的概念及转移概率 一,定义假设马尔可夫过程},{T n X n ∈的参数集T 是离散的时间集合,即 T={0,1,2,…},其相应n X 可能取值的全体组成的状态空间是离散的状态集,...}.,{21i i I =定义4.1 设有随机过程},{T n X n ∈,若对于任意的整数T n ∈和任意的I i i i i n ∈+.,...,,,1210,条件概率满足n n n n i X i X i X i X P ====++,...,,{110011}=},{11n n n n i X i X P ==++ (4.1) 则称},{T n X n ∈为马尔可夫链,简称.马氏链.(4.1)式是马尔可夫链的马氏性(或无后效性)的数学表达式.由定义知 ],...,,{1100n n i X i X i X P =====}.,...,,{111100--====n n n n i X i X i X i X P },...,,{111100--===n n i X i X i X P =}{11--==n n n n i X i X P .},...,,{111100--===n n i X i X i X P =… =}{11--==n n n n i X i X P }{2211----==n n n n i X i X P …}{0011i X i X P ==}.{00i X P =可见,马尔可夫链的统计特性完全由条件概率}{11n n n n i X i X P ==++所决定. 二,转移概率条件概率}{1i X j X P n n ==+的直观含义为系统在时刻n 处于状态i 的条件下,在时刻n+1系统处于状态j 的概率.它相当于随机游动的质点在时刻n 处于状态i 的条件下,下一步转移到状态j 的概率.记此条件概率为).(n p ij 定义4.2 称条件概率).(n p ij = }{11n n n n i X i X P ==++为马尔可夫链},{T n X n ∈在时刻n 的一步转移概率,其中i,j I ∈,简称为转移概率. 定义4.3 若对任意i,j I ∈,马尔可夫链},{T n X n ∈的转移概率).(n p ij 与n 无关,则称马尔可夫链是齐次的,并记).(n p ij 为.ij p下面我们只讨论齐次马尔可夫链,通常将齐次两字省略.设p 表示一步转移概率.ij p 所组成的矩阵,且状态空间I={1,2,…},则⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=...........................2222111211nnp p p p p p p 称为系统的一步转移概率矩阵,它有性质: (1) .,1)2(;,,0∑∈∈=∈≥Ij ij ijI i p I j i p通常称满足上述(1),(2)性质的矩阵为随机矩阵. 定义4.4称条件概率ij n p )(= )1,0,,(},{≥≥∈==+n m I j i i X j X P m n m 为马尔可夫链},{T n X n ∈的n 步转移概率,.并称)()()(n ij n p p =为马尔可夫链的n 步转移矩阵,其中(1) .,1)2(;,,0)(∑∈∈=∈≥Ij ij n ij n I i p I j i p 即也是随机矩阵.当n=1 时, .)1(ij p =.ij p ,此时一步转移矩阵.)1(p p =此外我们规定 ⎩⎨⎧=≠=.,1,,0)0(j i j i pij定理4.1设},{T n X n ∈为马尔可夫链,则对任意整数n l n <≤≥0,0和,,I j i ∈n 步转移概率.)(ij n p 具有下列性质:(1)))()()(l n kj Ik l ik n ij p p p -∈∑=; (4.2)(2) ;......112111)(j k Ik k k ik Ik n ij n n p p p p --∑∑∈∈= (4.3)(3);)1()(-=n n PP P (4.4) (4).)(n n P P =(4.5)证明(1) 利用全概率公式及马尔可夫性,有}{)(i X j X P p m n m n ij ===+=}{},{i X P j X i X P m n m m ===+}{},{.},{},,{i X P k X i X P k X i X P j X k X i X P m l m m Ik l m m n m l m m =========+∈+++∑}{}{i X k X P k X j X P m l m l m Ik n m =====++∈+∑=)()()()(m p l m p l ik Ik l n ij +∑∈-=)()(.l n kjIk l ik p p -∈∑. (2)在(1)中令1,1k k l ==得))1()(111-∈∑=n jkIk ik n ij p p p 这是一个递推公式,可递推下下去即得(4.3). (3)在(1).令l=1利用矩阵乘法可得. (4) 由(3),利用归纳法可证.定理4.1中的(1)式称为切普曼---柯尔哥洛夫方程,简称C-K 方程 .定义4.5设},{T n X n ∈为马尔可夫链,称 },{0j X P p j ==)(},{)(I j j X P n p n j ∈==为},{T n X n ∈的初始概率和绝对概率,并分别称}),({},,{I j n p I j p j j ∈∈为},{T n X n ∈的初始分布和绝对分布.简记为}.),({},,{n p p j j 称概率向量 )0(),...),(),(()(21>=n n p n p n P T 为n 时刻的绝对概率向量,而称)0(,...),,(21>=n p p P T为初始向量.定理4.2设},{T n X n ∈为马尔可夫链,则对任意整数I j n ∈≥,1,绝对概率).(n p j 具有下列性质:(1)))()(n ij Ii i j p p n p ∑∈=; (4.6)(2) ij Ii i j p n p p )1(-=∑∈ (4.7)(3);)0()()(n T T P P n P = (4.8) (4)P n P n P T T )1()(-= (4.9)证明(1) ===}{)(j X P n p n j},{0j X i XP n Ii ==∑∈= }{}{00i X P i X j XP nIi ===∑∈ =)(n ijIi i p p ∑∈ (2)===}{)(j X P n p n j },{1j X i X P n Ii n ==∑∈-=}{}{11i X P i X j X P n n n Ii ===--∈∑==ij Ii i p n p ∑∈-)1((3)与(4)是(1)与(2)的矩阵形式.定理4.3 设},{T n X n ∈为马尔可夫链,则对任意,1,,...,1≥∈n I i i n 有 },...{11n n i X i X P ===....11n n i i ii i p p p -∑ (4.10) 证明 由全概率公式及马氏性有},...{11n n i X i X P ===},...,,{110n n Ii i X i X i X P ===∈=},...,,{110n n Ii i X i X i X P ===∑∈=}.,{}{0110i X i X P i X P Ii ===∑∈...},...,{110--===n n n n i X i X i X P=}.,{}{0110i X i X P i X P Ii ===∑∈..}{11--==n n n n i X i X P=n n i i ii Ii i p p p 11...-∑∈.三,马尔可夫链的例子例4.1 无限制随机游动设质点在数轴上移动,每次移动一格,向右移动的概率为p,向左移动的概率为 q=1-p,这种运动称为无限制随机游动.以n X 表示时刻n 质点所处的位置,则},{T n X n ∈是一个齐次马尔可夫链,试写出它的一步和k 步转移概率. 解 },{T n X n ∈的状态空间,...},2,1,0{±±=I 其一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=.....................00.........0.....................p q p q P 设在第k 步转移中向右移了x 步向左移动了y 步,且经过k 步转移状态从j 进入j,则⎩⎨⎧-=-=+i j y x k y x ,.2)(,2)(i j k y i j k x --=-+=由于x,y 都只取整数,所以)(i j k -±必须是偶数.又在k 步中哪x 步向右,哪y 步向左是任意的,选取的方法有x k C 种.于是⎩⎨⎧-+-+=是奇数是偶数)(,0)(,i j k i j k q p C p y x x k k ij.例4.2赌徒输光问题.两赌徒甲,乙进行一系列赌博.赌徒甲有a 元,赌注乙有b 元,每赌一局输者给赢者1元,没有和局,直到两人中有一个输光为止.设在每一局中,甲赢的概率为p,输的概率为q=1-p,求甲输光的概率.这个问题实质上是带有两个吸收壁的随机游动,其状态空间为I={0,1,2,…,c} c=a+b.故现在的问题是求质点从a 出发到达0状态先于到达c=a+b 状态的概率.解 设i u 表示甲从状态i 出发转移到状态0的概率,要计算的是a u ..由于0和c 是吸收状态,故,10=u .0=c u i u 由全概公式).1,...,2,1(,11-=+=-+c i qu pu u i i i (4.11) 上式的含义是,甲从状态i 出发开始赌到输光的概率等于’他接下去赢了一局(概率为p)处于状态i+1后再输光”;和他接下去输一局(概率为q),处于状态i-1后再输光”这两个事件的概率.由于p+q=1,(4.11)实质上是一个差分方程.1,...,2,1),(11-=-=--+c i u u r u u i i i i (4.12)其中pqr =,其边界条件为.0,10==c u u (4.13) 先讨论r=1,即p=q=1/2的情况,(4.12)成为 .1,...,2,1),(11-=-=--+c i u u r u u i i i i 令,01α+=u u 得,2012αα+=+=u u u …,01ααi u u u i i +=+=- …,01ααc u u u c c +=+=-将,1,00==u u c 代于最后一式,得参数,1c-=α所以.1,...,2,1,1-=-=ci ciu i 令i=a, 求得甲输光的概率为.1ba bc a u a +=-= 由于甲,乙的地位是对称的,故乙输光的概率为.ba a u a +=再讨论1≠r ,即q p ≠的情况.由(4.12)式得到)(11--=-=-∑i c k i i k c u u r u u =)(011u u r c ki i-=∑-=.1)1(1r r r u ck ---= (4.14) 令k=0,由于,0=c u 有rr u c---=11)1(11即,11)1(1crru --=- 代入(4.14)式,得.1,...,2,1,1-=--=c k rr r u cck k 令k=a,得到输光的概率,1cca a rr r u --= 由对称性,乙输光的概率为.,11111q p r r r r u c cb b =--= 由于,1=+b a u u 因此在1≠r 时,即q p ≠时两个人中也总有一个人要输光的. 例4.3 天气预报问题设昨日,今日都下雨,明日有雨的概率为0.7;昨日无雨今日有雨,明日有雨的概率为0.5;昨日有雨,今日无雨明日有雨的概率为0.4;昨日,今日均无雨,明日有雨的概率为0.2.若星期一星期二均下雨,求星期四下雨的概率.解 设昨日,今日连续两天有雨称为状态0(RR),昨日无雨今日有雨称为状态1(NR),昨日有雨今日无雨称为状态2(RN),昨日今日无雨称为状态3(NN),于是天气预报模型可看作一个四状态的马尔可夫链,其中转移概率为 7.0}{}{}{00====今昨明今昨明今连续三天有雨R R R P P R R R R P p , )(0}{01不可能事件今昨明今==R R R N P p ,,3.07.01}{}{02=-===今昨明今昨明今R R N P R R N R P p)(0}{03不可能事件今昨明今==R R N N P p ,其中R 代表有雨,N 代表无雨.类似地可得到所有状态的一步转移概率,于是它的一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=33323130232221201312111003020100p p p p p p p p p p p p p p p p P =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0其中两步转移矩阵为==P P P .)2(⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0.⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0 = ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡.64.010.016.010.048..020.012.020.030.015.020.035.018.021.012.049.0 由于星期四下雨意味着过程所处的状态为0或1,因此星期一星期二连续下雨,星期四下雨的概率为.61.012.049.0)2(01)2(00=+=+=p p p例 4.4 设质点在线段[1,4]上作随机游动,假设它只能在时刻T n ∈发生移动,且只能停留在1,2,3,4点上.当质点转移到2,3点时,它以1/3的概率向左或向右移动一格或停留在原处.当质点称动到点1时,它以概率1停留在原处.当质点移动到点4时,它以概率1移动到点3.若以n X 表示质点在时刻n 所处的位置,则},{T n X n ∈ 是一个齐次马尔可夫链,其转移概率矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=0100313131003131310001P 例中的点1称为吸收壁,即质点一旦到达这种状态后就被吸收住了,不再移动;点4称为反射壁,即质点一旦到达这种状态后,必然被反射出去.例4.5生灭链.观察某种生物群体,以n X 表示在时刻n 群体的数目,设为i 个数量单位,如在时刻n+1增生到i+1个单位的概率为i b ,减灭到i 个数量单位的概率为i a ,保持不变的概率为)(1i i i b a r +-=,则}0,{≥n X n 为齐次马尔可夫链,I={0,1,2,…,}.其转移概率为⎪⎩⎪⎨⎧+==+==.1,,,1,i j a j i r i j b p ii i ij称此马尔可夫链为生灭链. 4.2 遍历性设齐次马氏链的状态空间为I,若对于所有,,I a a j i ∈转移概率)(n P ij 存在极限 j ij n n P π=∞→)(lim (不依赖于i)或 ⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡→=................................................)(212121j j jn P n P πππππππππ则称此链具有遍历性.又若∑=jj 1π,则同时称,...),(21πππ=为链的极限分布.齐次马氏链在什么条件下才具有遍历性?如何求出它的极限分布?这问题在理论上已经解决,但是要较多的篇幅.下面对有限链的遍历性给出一个充分条件. 定理4.4设齐次马氏链},{T n X n ∈的状态空间为P a a a I n },,...,,{21=是它的一步转移概率矩阵,如果存在正整数m,使对任意的j i a a ,都有 ,,...,2,1,,0)(N j i m p ij =>则此链具有遍历性,且有极限分布, ),,...,,(21N ππππ=它是方程组 P ππ=或即ij Ni i j p ∑==1ππ的满足条件∑==>Nj j j 11,0ππ的唯一解.在定理条件下马氏链的极限分布又是平稳分布.即若用π作为链的初始分布,即π=)0(p ,则链在任一时刻T n ∈的分布)(n p 永远与π一致,事实上ππππ======-P P P n P p n p n n ...)()0()(1 例4..6 设马尔可夫链的转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=9.005.005.01.08.01.02.01.07.0P 解 容易证明满足定理4.4条件.可得方程组⎪⎪⎩⎪⎪⎨⎧=++++=++=++=1,9.01.02.0,05.08.01.0,05.01.07.0321321332123211πππππππππππππππ解上述方程组得平稳分布为.5882.0,2353.0,1765.0321===πππ。
第五章马尔可夫过程
= P{X(tn)- X(tn-1) < xn- xn-1 | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1}
= P{X(tn)- X(tn-1) < xn- xn-1 }= P{X(tn) < xn | X(tn-1) = xn-1}
k为转移步长。显然， 0≤ pij (m,k) ≤ 1 。
5.2 马尔可夫链
5.2.1 பைடு நூலகம்尔可夫链的概念
马尔可夫链的转移概率及其矩阵：
对于有限状态空间E={1,2,…,N},由马尔可夫链 {X(n), n=0,1,2,…}在时刻m的k步转移概率pij (m,k)形成的下列矩阵
p11(m, k)
P(m,
5 马尔可夫过程
马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用
5 马尔可夫过程
有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 状态空间的性质
5.1 马尔可夫过程的概念
5.1.1 有关定义
随机过程马尔可夫性：（物理描述）
当随机过程在时刻 ti 所处的状态为已知的条件下，过 程在时刻 t(>ti)所处的状态，与过程在ti时刻以前的状态无 关，而仅与在ti时刻的状态有关。这种已知“现在”状态的 条件下，“将来”状态与“过去”状态无关的性质，称为 马尔可夫性或无后效性。
或 F{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= F{xn; tn| xn-1 ; tn-1} 或 f{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= f{xn; tn| xn-1 ; tn-1}
10 马尔科夫链
ai1 , ai2 , , ain I , 有
P{ X t1 ai1 , X t2 ai2 , , X tn ain }
pi (0) pii1 (t1 ) pi1i2 (t2 t1 ) i 1
pin1in (tn tn1 )
P
r 1
X
(m
k
)
ar
,
X
(m
n)
a
j
|
X
(m
)
ai
P{X (m k) ar | X (m) ai } r 1
P{X (m n) aj | X (m k) ar , X (m) ai }
P{X (m k) ar | X (m) ai } r 1
P{X(m n) aj | X(m k) ar }
如果把点 0 改为吸收壁,4改为反射壁相应链的 转移概率矩阵只须把P 中第1行改为(1,0,0,0,0)。
一
01 2 3 4
步
0 1 0 0 0 0
转 移
1
1
/
3
0
2/3
0
0
概 P 2 0 1/3 0 2/3 0
率 矩 阵
3
0
4 0
0
1/ 3
0
2
/
3
0 0 1 0
第十章 马尔科夫链
第十章 马尔科夫链
第10章 马尔可夫链
10.1 马尔可夫链及其转移概率 10.2 多步转移概率的确定 10.3 马氏链的有限维分布 10.4 遍历性
第十章 马尔科夫链
10.1 马尔可夫链及转移概率
10.1.1 马尔可夫链的定义 10.1.2 马尔可夫链的转移概率 10.1.3 一步转移概率及其矩阵
第10章 - 马尔可夫链
a2 p12 p22 pN 2
aN p1 N p2 N • p NN
称 P P (1) 为马氏链的一步转移概 率矩阵.
例题1、 (一维随机游动 ) 设一醉汉Q在如图所示直线的点集 I {1,2, 3,4,5}上作随机游动，并且仅 仅在1秒、 2秒等时刻 发生游动。游动的规则 是：如果Q现在位于点 i (1 i 5), 则下一时刻各以 1 / 3的概率向左或向右移动 一格，或以 1/ 3 的概率停在原处；如果 Q现在位于点1 (或5)，则下一时刻 就以概率 1 移动到 2 (或4)这一点上。
齐的，并说转移概率是平稳的.
下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略
。
3、齐次马氏链的转移概率 矩阵 对齐次马氏链， 记 pij ( n) pij ( m , m n) P{ X m n a j | X m ai }
称 P ( n) ( pij ( n)) 为 n 步转移概率矩阵.
{1,2,3,4,5}
一步转移概率为： pij P { X n1 1 / 3, j i 1, i , i 1,1 i 5 j | X n i} 1, i 1, j 2或i 5, j 4, 0, j i 2.
一步转移概率矩阵为：
若以X n 表示时刻 n 时Q的位置， 则 { X n , n 0,1,2,}是一随机 1
2
3
4
5
而且当 X n i 时， X n1 , X n 2 ,等以后的行为只与 X n i 过程，
有关，而与质点以前是如何到 i 是完全无关的，所以，它是一 个马氏链，且为齐次马氏链。 其状态空间为： I
7马尔可夫链
n 1
f ii( n )
f ii 1
n 1
f ii( n ) f ii 1
fij(n)
n 1
nfii( n) i
n 1
nfii( n) i
（3）可达关系与互通关系
[定义] （1）若存在 n > 0, 使得 pij(n) > 0 ，则称自状态 i 可达状态 j ，
{ p j (n)} { p j (n) , j I }
绝对概率向量：
PT (n) p1 (n), p2 (n), , (n 0)
初始概率向量：
PT (0) p1 , p2 ,
绝对概率 pj(n) 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数 n 1 和 j I ，绝对概率 pj (n) 具有下列性质：
(n n 0, 0 l < n 和 i , j I ，n 步转移概率 pij ) 具有下 列性质：
( ( ( (1) pijn ) pikl ) pkjnl ) kI
(n ) ij
C-K方程
( (2) pijn) pik1 pk1k2 pkn1 j k 1I kn1I
马尔可夫链的统计特性由以下条件概率所决定：
P{X n1 in1 X n in }
转移概率
[定义] 称条件概率
pij (n) P{X n1 j X n i}
为马尔可夫链 { Xn , n T } 在时刻 n 的一步转移概率， 其中 i , j I ，简称为转移概率。
一步转移概率矩阵：
p P q q p
第六章 马尔可夫链
(0) t1 ii1 t2 t1 i1i2
, X tn1 in1 )
P( X 0 i) P( X t1 i1 X 0 i) P( X t2 i2 X t1 i1 )
i
qi p (0) p
(k) 相应的k步与一步转移概率矩阵分别记为 P 与P
(k ) k (1) P P , k 0; 定理 (2) q ( k ) q (0) P k , k 0;
(3) { X n , n 0}的有限维分布由其初始分布和一
步转移概率所完全确定
第一节 基本概念
５.马尔可夫链举例
例１(天气预报问题) 如果明天是否有雨仅与今天的 天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则
3.马尔可夫链 定义 参数集和状态空间都是离散的马尔可夫过程 称为马尔可夫链。 注 只讨论马尔可夫链的状态空间为有限或可列无限. 则马尔可夫性可表示为
对n 2, t1 t2
tn T , i1 , i2 ,
, in S ,
, X (tn 1 ) in 1 )
有 P( X (tn ) in X (t1 ) i1 , X (t2 ) i2 ,
P{(
l l
X nk l ), X nk m j X n i )
P{ ( X nk l , X nk m j ) X n i ) P( X nk l , X nk m j ) X n i )
l
第一节 基本概念
第2章_马尔可夫链
为n时刻的一步转移概率。若 i, j S , pij n pij 即pij与n无关，则称{Xn,n≥0}为齐次马尔可夫链。记 P=(pij)，称P为{Xn,n≥0}的一步转移概率矩阵.
p00 p10 P pi 0
p01 p11 pi1
p02 p12 pi 2
0
( t ) j dG t , j!
j 0,1,i
pi0公式略有不同，它是服务台由有i个顾客转为空闲的 概率，
pi 0 P X n 1 0 X n i
0 k i 1
e t
(t )k dG t , k!
i0
例4 直线上的随机游动
1, pij 0 i, j 0 2, pij 1 i 0,1, 2,
j 1
我们来看马尔可夫链的分布
P ( X 0 i0 , X 1 i1 , , X n in ) P ( X 0 i0 ) P ( X 1 i1 X 0 i0 ) P ( X 2 i2 X 0 i0 , X 1 i1 ) P ( X n in X 0 i0 , X 1 i1 , , X n 1 in 1 ) P ( X 0 i0 ) P ( X 1 i1 X 0 i0 ) P ( X 2 i2 X 1 i1 ) P ( X n in X n 1 in 1 )
0 x x j
j!
dG x ,
j0
Pij P( X n 1 j X n i ) P ( X n 1 Yn j X n i ) P(Yn j i 1 X n i ) P (Yn j i 1) e
随机过程 第三章 马尔科夫连
1 2
,
pi,i1
1 2
,
pi0
1 2
,i
I , 分析其遍历性.
27
状态空间的分解
定义： 状态空间I的子集C称为闭集，如果对任意 i C 及 k C 都有 pik 0
定义： 闭集C称为不可约的，如果C的状态互通。 定义： 马尔可夫链称为不可约的，如果其状态空间不可约。
28
例：设马氏链{X n}的状态空间I {1, 2,3, 4,5}，转移矩阵为
P{X1 i1, , X n in} pi pii1 pin1in iI
证明
14
例：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计 算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态， 用0表示不正常状态，所得的数据序列如下： 11100100111111100111101111110011111111100011 01101111011011010111101110111101111110011011 111100111
ij
jj
f p (nk ) ( k )
ij
jj
k 1
k 0
fij
f
(n) ij
n1
表示质点由i出发，经有限步终于到达j 的概率。
称状态i为常返的，如fii=1；称状态i为非常返的，如fii<1。
对于常返态i，由定义知{fii(n),n≥1}构成一概率分布
i nfii(n) n 1
表示由i出发再返回i的平均返回时间。
马尔可夫链的状态分类
❖ 周期、非周期 ❖ 常返、非常返 ❖ 正常返、零常返 ❖ 遍历状态
20
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态间的概率转移图如下 图
浙江大学《概率论与数理统计》(第4版)【名校笔记+课后习题+考研真题】(第13章 马尔可夫链——第1
第13章 马尔可夫链13.1 复习笔记一、马尔可夫过程及其概率分布 马尔可夫过程的概率分布 （1）转移概率及其转移概率矩阵 ①转移概率(,){|}ij m n j m i P m m n P X a X a ++===为马氏链在m 时处于a i 的条件下，到m ＋n 时转移到状态a j 的转移概率。
1(,)1,1,2,ij j P m m n i +∞=+==∑②转移概率矩阵 (,)((,))ij P m m n P m m n +=+性质：各元素非负，每行之和为1（2）齐次马氏链的转移概率及转移概率矩阵 一步转移概率为(){}11ij ij m j m i p P P X a X a +====一步转移概率矩阵()11211112122122212=1m j j mj i i i ijX a a a a p p p X a p pp P P a p p p +⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的状态的记成状态二、多步转移概率的确定1．C-K 方程1()()(),,1,2,ij ik kj k P u v P u P v i j +∞=+==∑2．n 歩转移概率齐次马尔可夫链的n 歩转移概率矩阵P （n ）＝P n三、遍历性 1．定义转移概率()ij P n 存在极限或()()121212jj n jP n P n πππππππππ⎡⎤⎢⎥⎢⎥⎢⎥=→∞⎢⎥⎢⎥⎢⎥⎣⎦则此链具有遍历性，若1jjπ=∑，则12(,,)πππ=为链的极限分布。
2．有限链遍历性的充分条件设齐次马氏链{X n ，n ≥l}的状态空间为12{,,,}N I a a a =，P 是它的一步转移概率矩阵，如果∃m ∈N ＋，使对∀,i j a a I ∈，都有()0,,1,2,,ij P m i j N >=则此链具有遍历性，且有极限分布12(,,,)N ππππ=，它是方程组π＝πP 或1,1,2,Nj i ij i p j Nππ===∑满足条件10,1Nj j j ππ=>=∑的唯一解。
4-4离散参数马尔可夫链(4)-极限定理
Ci 是相通的常返闭集，且为有限集。因
( n) p ij 1(n 1) jci
与
n ( n) lim pij 0 jci
矛盾．故S有限时无零常返状态
解放军电子技术学院
卢
推论l 有限马尔可夫链没有零常返状态，也不 可能全是非常返． 推论2 不可约的有限马尔可夫链的状态都是正常 返状态．
的极限性质
卢
解放军电子技术学院
j为非常返状态或零常返状态
j为非常返状态或零常返状态
定理：若j为非常返状态或0常返状态，则对任意 i S
n (n) lim pij 0
(n) ( l ) ( n l ) ( l ) ( n l ) 证：pij fij p jj fij p jj l 1 l 1
lim p
n
(n) ij
1 . uj
推论3：设不可约、正常返、周期d的马氏链， 其状态空间为C，则有
( nd ) lim pij
其中C
d 1
n
Cr
r 0
d , i, j同时属于Cr j 0, 其他
卢
解放军电子技术学院
单位时间内平均返回的次数
定理：对任意状态i, j , 有 1 (k ) lim pij n n k 1
f
l 0
ij
l N 1
f ij (ld r )
卢
解放军电子技术学院
f 已证
l 0
N
ij
(ld r ) p jj ((n l )d ) pij (nd r ) fij (ld r ) p jj ((n l )d )
马尔科夫链-遍历性与极限分布详解
pi(0) lim pij (n) pi(0) p j p j
i n i
即
lim p
n
(n) j
pj
即：绝对概率的极限与转移概率的极限相同
平稳分布
定义 若有限或无限数列q j , j 1.2,... 满足
(1)q j 0, (2)
q
j
j
1
则称它是概率分布
i
又，由绝对分布与初始分布的关系，可得
p = qi pij (n)=q j
i
即
绝对分布为平稳分布
定理 对有限马尔科夫链，如果存在正整数k，使 pij (k ) 0, i, j 1, 2,...N
则此链是遍历的
且极限分布
lim pij ( n) p j
n
j
p ，j 1, 2,...N
k k r
lim pir (k ) prj pr prj
r k r
即
p j pr prj
r
成立
有限马尔科夫链转移概率的极限分布一定是平稳分布 无限马尔科夫链转移概率的极限分布不一定是平稳分布
若初始概率是平稳分布，则任意时刻的绝对概 率分布等于初始分布，也即为平稳分布 (0) 证 设初始分布： pi qi , i 1, 2,...,
其中，qi，i 1,2,... 是平稳分布
又，对于平稳分布 q j，j 1, 2,... , 有 q j = qi pij qk pki pij i i k qk pki pij qk pkj (2) k i k
1
p j , j E 为转移概率的极限分布
遍历性
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无限状态的遍历的马尔科夫链不一定存在极限分布，只 有其极限概率构成概率分布时才存在极限分布
绝对概率的极限
lim
n
p(n) j
lim
n
i
pi(0) pij (n)
i
p(0) i
lim
n
pij
(n)
i
p(0) i
pj
pj
即
lim
n
p(n) j
pj
即：绝对概率的极限与转移概率的极限相同
平稳分布
定义 若有限或无限数列 qj , j 1.2,... 满足
证
设初始分布：
p(0) i
qi ,
i
1, 2,...,
其中，qi，i 1, 2,... 是平稳分布
又，对于平稳分布 qj，j 1, 2,... ,有
qj =
qi pij
qk
pki
pij
i
i k
qk
pki
pij
qk pkj (2)
k i
k
更一般的，有 q j = qi pij (n)
(1)qj 0, (2) qj 1
j
则称它是概率分布
如果此概率分布满足
q j = qi pij
i
则称它是平稳分布
具有遍历性的马尔科夫链的平稳分布
C-K方程： pij (n)=pij (k l) pir (k)prj (l)
r
令 l 1, 则 pij (k 1) pir (k)prj (1)
1 0 0
p q
0
p
0 0 1
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
1 0 0
解
p q
0
p
0 0 1
1 0 0 p(2) q 0 p =p
0 0 1
1 0 0
L ，L ，p(n) q
0
p
=p
0 0 1
显然，转移概率的极限
lim
n
pij
(n)
存在，但是与i有关，即
p1
=[1+
p q
+(
p q
)2
]-1
p2
=(
p q
)[1+
p q
+(
p )2 q
]-1
p3
=(
p q
)2[1+
p q
+(
p q
)2
]-1
例2 若例1中，质点只能取1,2,3三个点，一
步转移概率矩阵为
0 1 0
p q
0
p
0 1 0
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
遍历性
说明1： 若马尔科夫链为有限状态的，显然有，
满足 即
N
N
N
lim
n
j 1
pij (n)
j 1
lim
n
pij
(n)
j 1
pj
1
N
p j 0, p j 1, j 1, 2,...N j 1
pj , j 1, 2,...N 构成一个概率分布
在此称为转移概率的极限分布
有限状态的遍历的马尔科夫链必存在极限分布
lim
n
pij (n)
pij
因此此链不具有遍历性
0 1 0
解
p q
0
p
0 1 0
q 0 p
p(2) 0
1
0
q 0 p
0 1 0
p(3) p(2)p q
0
p
p
0 1 0
一般的，有 p(2n 1) p
p(2n) p(2)
显然，转移概率的极限
lim
n
pij
(n)
不存在，
因此此链不具有遍历性
例3 若例1中，质点只能取1,2,3三个点，一 步转移概率矩阵为
的唯一解
j 1
注：此定理给出了求极限分布(平稳分布)的方法
例1 直线上带反射壁的随机游动，如果质点只 能取1,2,3三个点，一步转移概率矩阵为
q p 0 p q 0 p
0 q p
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
解 计算二步转移概率矩阵
q2 pq qp
p2
p(2)
i
若初始概率是平稳分布，则任意时刻的绝对概 率分布等于初始分布，也即为平稳分布
证
设初始分布：
p(0) i
qi ,
i
1, 2,...,
其中，qi，i 1, 2,... 是平稳分布
更一般的，有 q j = qi pij (n)
i
又，由绝对分布与初始分布的关系，可得q j
遍历性
说明2： 若马尔科夫链为无限状态的，则有，
Q pij (n) 1, j E j 1
M
pij (n) 1 j 1
又因为 即
M
M
lim
M
lnim
j 1
pij (n)
lim
M
j 1
pj
1
p j 0, p j 1, j 1, 2,...
j 1
pj , j 1, 2,...N 不一定构成一个概率分布
q2
2qp
p2
q2
qp pq p2
即 当k 2时，有 pij (2) 0, 所以，此链具有遍历性，
因而存在平稳分布，极限分布即为平稳分布
下面求极限概率p j，j 1, 2,3，
qp1 qp1
qp2
p1 qp3 p2
pp2 pp3 p3
p1 p2 p3 =1
解方程，可得
r
对具有遍历性的马尔科夫链
令 k ,有
lim
k
pij
(k
1)
lim
k
r
pir (k)prj (1)
r
lim
k
pir (k )prj
r
pr prj
即
p j pr prj 成立
有限马尔科夫链转移概r率的极限分布一定是平稳分布
无限马尔科夫链转移概率的极限分布不一定是平稳分布
若初始概率是平稳分布，则任意时刻的绝对概 率分布等于初始分布，也即为平稳分布
马尔科夫链的遍历性
遍历性
定义1 若马尔科夫链中的所有状态互通且均为 非周期的正常返状态，则称该链是遍历的
定义2 若马尔科夫链转移概率的极限
lim
n
pij (n)
pj,
i, j E
存在且与 i 无关，则称此马尔科夫链具有遍历性
此时，若满足 pj 0,
pj 1
j
则称 p j , j E 为转移概率的极限分布
i
即 绝对分布为平稳分布
定理 对有限马尔科夫链，如果存在正整数k，使
pij (k) 0, i, j 1, 2,...N
则此链是遍历的
且极限分布
lim
n
pij (n)
pj
pj，j 1, 2,...N
N
是方程组 p j pi pij , j 1, 2,...N
j 1
满足条件
N
(1)p j 0, (2) p j 1