随机过程 第4章 马尔可夫链
4.马尔可夫链1
qr p
i 1
p,
pij
r, q,
0,
i i 1
j i 1 j i j i 1 其它
其一步转移概率矩阵为
i 2 i 1 i i 1... ... ...
... ... ... ... ... ... ... ... ... ... q r p 0 0 ... 0 ... i 1 ... 0 q r p 0 ... 0 ... i ... 0 0 q r p ... 0 ... i 1 ... ... ... ... ... ... ... ... ...
（时间离散、状态连续的马尔可夫过程，通常用泛函中 二元函数的范数进行研究）
例1 独立过程 X t,t T 是马尔可夫过程
证 设Xt,t T是独立过程，对于t1 t2 ... tn T,
X t1, X t2 ,..., X tn 相互独立，因此
P X tn xn X t1 x1, X t2 x2,..., X tn1 xn1 =P X tn xn =P X tn xn X tn1 xn1
率r原地不动。若以 X n 表示时刻 n 时质点的位置，
则X n，n 0,1, 2，...是一个随机过程。而且当
X n i 时，X n+1，X n+2，...，X n+k,...等 n时刻后质点所处的状态，只与X n i 有关，而与
质点在n以前是如何到达i的完全无关。所以它是一
个齐次马尔可夫链，其状态空间为I= ,-2,-1,0,1,2,
则称 Xn,nT 为马尔可夫链.
定义4.1 设有随机过程Xn ,n T，若
对于任意的整数n T和任意的 i0,i1,...,in1 I 条件概率满足
随机过程报告——马尔可夫链
马尔可夫链马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov 所研究。
它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为,....E ,...,E ,E n 10总共有可数个或者有穷个。
这系统只可能在时刻t=1,2,…n,…上改变它的状态。
随着∑的运动进程，定义一列随机变量Xn,n=0,1, 2, ⋯其中Xn=k ，如在t=n 时，∑位于Ek 。
定义1.1 设有随机过程}{T n X n ∈，，若对任意的整数T n ∈和任意的,,...,110I i i i n ∈+条件概率满足}i {},...,i X i {1n 10001n 1n n n n n n i X X P i X X P ======++++ 则称}{T n X n ∈，为马尔可夫链，简称为马氏链。
实际中常常碰到具有下列性质的运动系统∑。
如果己知它在t=n 时的状态，则关于它在n 时以前所处的状态的补充知识，对预言∑在n 时以后所处的状态，不起任何作用。
或者说，在己知的“现在”的条件下， “将来”与“过去”是无关的。
这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。
假设马尔可夫过程}{T n X n ∈，的参数集T 是离散时间集合，即T={0,1,2,…},其相应Xn 可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。
定义1.2 条件概率}{P 1)(i X j X p n n n ij ===+称为马尔可夫链}{T n X n ∈，在时刻n 的一步转移矩阵，其中i ，j ∈I ，简称为转移概率。
一般地，转移概率)(P n ij 不仅与状态i,j 有关，而且与时刻n 有关。
当)(P n ij 不依赖于时刻n 时，表示马尔可夫链具有平稳转移概率。
若对任意的i ，j ∈I ，马尔可夫链Xn,n ∈T}的转移概率)(P n ij 与n 无关，则称马尔可夫链是齐次的。
随机过程习题集-第四章马尔可夫过程
1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。
马尔可夫链
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
随机过程第四章马尔可夫链
0,
p(n) ij
1, i,
jI
jI
即P(n)也为随机矩阵.
当n
1时,
p (1) ij
pij
,
P (1)
P
当n
0时,规定pi(j0)
0 , i 1 , i
j j
13
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn, nT}为马尔可夫链, 则对任意 整数n0, 0l<n和i,jI, n步转移概率 p具i(jn) 有性
Ckx 0
pxqy ，
,
k ( j i)为偶数 k ( j i)为奇数
11
4.1 马尔可夫链与转移概率
例4.4 具有吸收壁和反射壁的随机游动状态空间 {1,2,3,4}, 1为吸收壁, 4为反射壁.
解：状态转移图
状态转移矩阵
1 3
1 0 0 0
1
1
3
1 1
3
1
1
1 1 1
1 3
1 3
2
P 3
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
6
4.1 马尔可夫链与转移概率
定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn, nT}在时刻n的一步转移概率,简 称转移概率,其中i,jI.
P{X 0 i}P{X1 i1 | X 0 i} iI
P{X 2 i2 | X1 i1} P{X n in | X n1 in1}
第四章马尔可夫链
i1
Pi , j 0
j . i 1 ,i-1 , i 1
1 0 0 0 0 . .
q
0
p
0
0
.
.
0 q 0 p 0 . .
P
0
0
q
0
p
.
.
0 0 0 q 0 . . . . . . . . .
.
例题：带2个吸收壁的随机游动
质点在数轴上移动，规律同上例。随机游动的状态 空间I={0,1,2…a}, 其中0和a为吸收态 。求一步转移p12 p1n Pp21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有 如下性质：
1. pij 0, i, jI
2. pij 1, i, jI jI
满足上述两个性质的矩阵成为随机矩阵
.
定义4.4
称条件概率 p i(n ) j P { X m n j|X m i}i,j I,m 0 ,n 1 为马尔可夫链{Xn,n∈T}的n步转移概率，并称
0 1 1
.
马尔可夫链的状态分类
周期、非周期 常返、非常返
其中，常返分为正常返、零常返 非周期的正常返称为遍历状态
到达和互通
.
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}， 状态转移图如下图
8
9
2
7
1
3
6
5
4
观察状态1
.
定义4.6 如集合{n: n≥1,pii(n)>0}非空，则称该集合的 最大公约数d=d(i)=G.C.D{n:pii(n)>0}为状态i 的周期。如d>1就称i为周期的，如d=1就称i 为非周期的。
.
随机过程课件-马尔可夫链
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
4马氏链
可见,｛Xn,n=0，1，2,…｝是一个马氏链。
Pij ( m , m + n)∆ P { X n + m = j | X m = i}
称为马氏链在时刻 m 系统处于状态 i 的条件下，在时 刻 m+n 转移到状态 j 的转移概率。
2．转移概率的性质
(1) Pij≥0；
(2)
∑ P (m , m + n) = 1, i = 0,1, 2,⋯
对任意的 n 及 i 0 , i 1 , ⋯ , i n , i n + 1 ∈ x ,
P {X n +1 = i n +1 X 0 = i 0 , X 1 = i1 , ⋯ , X n = i n } 0 i n+1 > i n =1 = P{X n+1 = i n+1 | X n = i n } i n +1 ≤ i n in
马尔可夫链及其概率分布 引言
直观上，过程（或系统）在时刻t0所处的状态为已 知的条件下,过程在时刻t＞t0所处状态的条件分布与过 程在时刻t0之前所处的状态无关。 用分布函数表达此性质，设随机过程{X(t),t∈T}， 状态空间为χ，若对于t 的任意n个值t1<t2<…<tn,n≥3, 有
P {X ( t n ) ≤ xn X ( t1 ) = x1 , X ( t 2 ) = x 2 , ⋯ , X ( t n−1 ) = x n−1 }
条件下， 即在 X ( t i ) = x i , i = 1,2,⋯ , n − 1条件下，X ( t n )的条件分 布函数等于在条件 X ( t n−1 ) = x n−1下X ( t n )的条件分布函 数。
则称过程{X(t),t∈T}具有马尔可夫性，或称 {X(t),t∈T}为马尔可夫过程。
马尔可夫链
三.有限维概率分布 马尔可夫链{ X ( t ), t t
0
, t 1 , t 2 , }在初始时刻t 0 的概率
分布:
p j ( t 0 ) P { X ( t 0 ) j },
j 0 ,1, 2 ,
称为初始分布. 初始分布与转移概率完全地确定了马尔可夫链的 任何有限维分布.下面的定理二正是论述这一点. 不妨设齐次马尔可夫链的参数集和状态空间都是 非负整数集,那么有如下定理。
P { X ( k 1 ) j1 , X ( k 2 ) j 2 , , X ( k n ) j n }
p i ( 0 ) p ij1 1 p j1 j22
(k )
( k k1 )
p j n n1 j n n 1
(k k
)
i0
(13.9)
例6 在本节例5中,设初始时输入0和1的概率分别为 1/3和2/3,求第2、3、6步都传输出1的概率.
t 2 t n t n 1
和 S 内任意 n 1 个状态
j1 , j 2 , , j n , j n 1 , 如果条件概率
P { X ( t n 1 ) j n 1 | X ( t 1 ) j1 , X ( t 2 ) j 2 , , X ( t n ) j n }
二：马尔可夫链的分类 状态空间 S 是离散的(有限集或可列集),参数集 T 可为离散或连续的两类. 三：离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链{ X ( t ), t 中,条件概率 P { X ( t
m 1
t 0 , t 1 , t 2 , , t n , }
1
随机过程_C4马尔可夫链
0.5丿 当初始分布为P{ X 0 = 1} =P{X 0 =2} = 0, P{ X 0 = 3} = 1时经三步转移后处于状态 3的概率。
7 .已知本月销售状态的初始分布和转移概率矩阵如下：1•设质点在区间［0 , 4］的整数点作随机游动，到达 0点或4点后以概率1停留在原处, 1 —向左、右移动一格或停留在原处。
求质点随机游动的一 3在其它整数点分别以概率 步和二步转移的概率矩阵。
2.独立地重复抛掷一枚硬币， 1, 2或3,这些值分别对应于第 n -1次和第n 次抛掷的结果为(正，正)，(正，反)， (反，正)或(反，反)。
求马尔可夫链{X n ,n 0,1,2,…}的一步和二步转移的概 率矩阵。
设{X n , n _0}为马尔可夫链，试证： (1 ) P{X n.1=i n1,X n.2=i n.2, ,X n^ ~lnm |X 0 - i 0,X ^i 1, ,X n=i n }= P{X n ・1 =in1,X n 2 - i n 2 , , X n m - i n m | X n - i n }(2) P{X 0 =i°,X 1 , X n - i n , Xn 2 ~ i n 2 , , X n ~ i n m | Xn ~ i n 1}= P{X ° = i°,X 1 二「…，X n -i n |X n^^i n-1} P{X n-2 ~ i n 2 / , Xn m i n m | Xn 1 _ i n 1}设{X n , n _1}为有限齐次马尔可夫链，其初始分布和转移概率矩阵为 每次抛掷出现正面的概率为 p ,对于n 一 2求，令X n =0, 3. 4. P i 二 P{X 。
5. P{X 2=4|X 设{X(t),r T}为随机过程 立同分布随机变量序列，令 {Y n , n _0}是马尔可夫链。
1/4 1/4 1/4 1/4"1/4 1/4 1/4 1/4 1/4 1/8 1/4 3/8J/4 1/4 1/4 1/4』0=1, 1 <X 1<4^ P{X ，且 X 1 =X(t 1),X 2，试证 1 「4"3,4，八 2 = 4 |1 :： X r :： 4}= X(t 2),…，X n = X(tJ …为独 Y 0 -0,Y ^-Y(t 1W X 1,Y ncY n 4^X n, n 一2，试证0.5 0.56.已知随机游动的转移概率矩阵为0.5 0.5 ,求三步转移概率矩阵 P (3)及0.5(1) P T(O) =(0.4, 02 0.4), P 二0.80.80.1 0.10.70.2 020.20.60.7 0.1 0.1 0.1?0.1 0.6 0.2 0.1(2) P T(0)=(02 02 0.3, 0.3) , p =0.1 0.1 0.6 0.230.1 0.2 0.5」求下一、二个月的销售状态分布。
第四章 马尔可夫链
第四章 马尔可夫链随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（Markov ）过程就是描述一类状态之间具有某种特殊统计联系的随机过程.Markov 过程在近代物理学、生物学、管理科学、信息处理与数字计算方法等领域都有重要的应用.按其状态和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的Markov 过程，称为Markov 链；（2）时间连续、状态离散的Markov 过程，称为连续时间的Markov 链；（3）时间、状态都连续的Markov 过程.本章主要讨论Markov 链，有关连续时间的Markov 链的相关理论将在下章讨论.4.1 马尔可夫链的概念和例子独立随机试验模型最直接的推广就是Markov 链模型，早在1906年俄国数学家Markov 对它进行研究而得名，以后Kolmogorov 、Feller 、Doob 等数学家发展了这一理论.4.1 .1 Markov 链的定义假设Markov 过程{,}n X n T ∈的参数集T 是离散时间集合，即{0,1,2,}T =，相应n X 可能取值的全体组成的状态空间是离散状态集012{,,,}I i i i =.定义 4.1 设有一随机过程{,}n X n T ∈，若对于任意整数n T ∈和任意011,,,n i i i I +∈，条件概率满足11001111{|,,,}{|}n n n n n n n n P X i X i X i X i P X i X i ++++=======则称{,}n X n T ∈为离散时间的Markov 链，简称Markov 链（Markov chains ）或马氏链.从定义可以看出：Markov 链具有Markov 性（即无后效性），如果把时刻n 看作现在，那么，1n +是将来的时刻，而0,1,2,,1n -是过去的时刻.Markov 性表示在确切知道系统现在状态的条件下，系统将来的状况与过去的状况无关，而且Markov 链的统计特征完全由条件概率11{|}n n n n P X i X i ++==所决定. 因此，如何确定这个条件概率，是研究Markov 链理论和应用中十分重要的问题之一. 4.1.2 转移概率定义 4.2 称条件概率1(){|}ij n n p n P X j X i +=== （4.1）为Markov 链{,}n X n T ∈在时刻n 的一步转移概率，其中,i j I ∈，简称转移概率（transition probability ）.一般地，转移概率()ij p n 不仅仅与状态,i j 有关，而且与时刻n 有关，如果()ij p n 不依赖时刻n 时，则称Markov 链具有平稳转移概率.定义 4.3 若对任意,i j I ∈，Markov 链{,}n X n T ∈的转移概率()ij p n 与n 无关，则称Markov 链是齐次的（或称时齐的）（time homogeneous -），并记()ij p n 为ij p . 下面只讨论齐次Markov 链，并且通常将“齐次”两字省去.定义 4.4 设P 表示一步转移概率ij p 所组成的矩阵，且状态空间{1,2,}I =，则1112121222...........................n n p p p P p p p ⎛⎫ ⎪= ⎪ ⎪⎝⎭称为系统状态的一步转移概率矩阵（transition probability matrix ），它具有性质： （1）0,,ij p i j I ≥∈； （2）1,ijj Ipi I ∈=∈∑.（2）式说明一步转移概率矩阵中任一行元素之和为1，通常称满足性质（1）（2）的矩阵为随机矩阵.定义 4.5 称条件概率(){|},n ij m n m p P X j X i +=== ,,0,1i j I m n ∈≥≥ （4.2）为Markov 链{,}n X n T ∈的n 步转移概率，并称()()()n n ij P p =为Markov 链{,}n X n T ∈的n 步转移矩阵.其中()()0,1n n ij ij j Ip p ∈≥=∑，即()n P 也是一个随机矩阵.特别地，当1n =时，(1)ij ij p p =，此时，一步转移矩阵(1)P P =.我们还规定(0)0,1,iji jpi j ≠⎧=⎨=⎩Markov 链n 步转移概率满足重要的Chapman Kolmogorov -方程（简称C K -方程）。
第四章-马尔可夫链-随机过程
计算 n 步转移概率的方法。
切普曼一柯尔莫哥格夫方程：对一切n,m 0，一切 i，j，有(4.2.1)
P nm ij
Pikn Pkmj
k0
证明：
P nm ij
P{ X nm
j|
X0
i}
P{Xn k | X0 i}P{Xnm j | Xn k, X0 i}
顾客数构成一个泊松过程。所以，
Pi, j
e t (t )i1 j dG(t ), j 1,
0
(i 1 j)!
i 1
这是因为若一个来客发现有 i 个人在系统中，那么下一个来客将
发现人数为 i+1 减去已服务完毕的人数，易知有 i+1-j 个人被服
务完毕的概率(对相继来到之间的时间取条件)等于上式的右端。
0
0
0 P43
例 4．1(b) G/M/1 排队系统。假设顾客 依照一个任意的更新过
程来到一个单服务台的服务中心，来到间隔分布为 G。进一步
假设服务分布是指数分布，参数为。若以 Xn 记第 n 个顾客来
到时见到系统中的顾客数，以 Yn 记第 n 个顾客与第(n+1)个顾客
不可被 d 整除的 n 有 Piin 0，且 d 是具有此性质的最大整数(d 是
{n : Piin 0}的最大公约数)。(若对一切 n>0， Piin 0，则定义 i 的周 期是无穷大。)具有周期 1 的状态称为非周期的(aperiodic)。以 d(i)记 i 的周期。
例设马尔可夫链的状态空间I={1,2,,9}， 转移概率如下图
P nm ij
第四章 马尔可夫链(讲稿2)
1.周期性 定义 对于状态i，若正整数集合 {n : n 1, pii (n) 0} 非空， 则称该集合的最大公约数L为状态i的周期，记作 d (i) 。 若 L 1，则称状态i是周期的，若 L 1 ，则称状态i是非周 期的。如果上述集合为空集，则约定 d (i) 2.常返性 定义 设 {X (n), 为 {X (n),
f ij () P{X m j, 对一切m | X 0 i}
计算公式
f ij (n) P{X n j ; X m j, m 1,2, , n 1 | X 0 i}
i1 j in 1 j
p
ii1
pi1i2 pin1 j
有限状态分解定理
定理（分解定理）状态空间E必可分解为
E N C1 C2 Ck C 其中N是全体非常返态组成的集合， 1 C2 Ck 是互不相交的常返
态闭集组成。而且
（1）对每一确定的k, Ck 内任意两状态相通； （2） Ck 与 Cg ( k g )中的状态之间不相通；
下面求n步转移概率 pij (n) 如在n次转移的结果是从i到j,n次转移中恰好向前游走m次，向后游 走k次，则有
mk n
m 1 k (1) j i
联立上两式求解可得
m n j i 2
k
n ji 2
根据概率法则，不难求得n步转移概率为
pij (n) n n2j i n2j i n j i p q 2 0 n j i为偶数 n j i为奇数
这样 f ij (1)
f ij (2), f ij (n) ，至少有一个为正（不为0），所以
随机过程-马尔可夫链4.3-4.4
∑ 下面证明对任一 j ∈ Gr , 有 k∈G
p jk = 1
r +1
。
实际上
1 = ∑ p jk =
k∈C
k∈Gr +1
∑
p jk +
k∉Gr +1
∑
p jk =
k∈Gr +1
∑
p jk
r+1
p i(jn d + r ) > 0 , 故当 k ∉ G 最后一个等式是因设
( ( piimd + s + h ) ≥ pijmd + s ) p(jih ) > 0.
由此可见 r+h 及 s+h 都能被 d 除 从而其差(r+h)-( s+h)=r-s 也可被 d 尽， 从而其差 除尽，但 0 ≤ r , s ≤ d − 1 ，故只能 r-s=0， 除尽， ， 因 而 Gr = Gs , 这 说 明 当 r ≠ s 时 ，
试分解此链并指出各状态的常返性及周期性。 试分解此链并指出各状态的常返性及周期性。
解
由图 4.8 知
∞ n =1
( ( f113) =1, f11n ) =0,n≠3。所以 ≠ 。
( u1 = ∑ n f11n ) = 3
1
3
1
可见1 可见1为正常返状态且 周期等于3 周期等于3。含1的基本 常返闭集为
d −1
( nd + r ) ij
> 0}
其 次 ， 如 存 在 j ∈ Gr ∩ Gs ， 由 上 式 必 存 在 n 及 m 使 ( nd + r ) ( md + s ) p (jih ) > 0, 于是 pij > 0, pij > 0, 又因 j ↔ i, 故必存在 h,使 使
随机过程 第4章 马尔可夫链
一步转移概率矩阵
p11 P p 21 p12 p 22 p1n p2n
性质： (1) p ij 0 , i , j I
(2)
j I
p ij 1 , i I
（随机矩阵）
n 步转移概率
[定义] 称条件概率
p q q p
0 1
p, i j pij q, i j (i , j 0,1)
二步转移概率矩阵：
P
( 2)
2 2 p q P2 2 pq
2 pq 2 2 p q
[例2] （例4.4）具有吸收壁和反射壁的随机游动
设质点在线段 [1,4] 上作随机游动。假设ห้องสมุดไป่ตู้只能在时刻 nT 发生移动，且只能停留在1,2,3,4点上。当质点转移 到2,3点时，它以1/3的概率向左或向右移动一格，或停 留在原处。当质点移动到点 1 时，它以概率 1 停留在原 处。当质点移动到点4时，它以概率1移动到点3。若以 Xn 表示质点在时刻 n 所处的位置，则{ Xn , n T }是一 个齐次马尔可夫链。
f
(n) 12
( q1 p 3 ) m 1 q1 q 3 , m ( q1 p 3 ) p1 ,
n 2m, m 1 n 2 m 1, m 0
(n) f13
( p1 q 2 ) m 1 p1 p 2 , n 2 m , m 1 m n 2 m 1, m 0 ( p1 q 2 ) q1 ,
pij(n) 不仅与状态 i , j 有关，而且与时刻 n 有关。
当 pij(n) 与时刻 n 无关时，表示马尔可夫链具有平稳 转移概率。
随机过程第四章习题解答
第四章习题解答4.1Y1,Y2,···是来自总体Y的随机变量，与X0独立，h(x,y)是实函数.对于n 1，取X n=h(X n−1,Y n).设{X n}的状态空间为I，验证{X n}是马氏链，给出转移概率p ij.解：由题知，Y k与X1,···,X k−1独立,k 1,∀n,i,j,i1,...,i n−1∈I有，P(X n+1=j|X n=i,X n−1=i n−1, (X0)i0)=P(h(i,Y n+1)=j|X n=i,X n−1=i n−1,···,X0=i0)=P(h(i,Y n+1)=j|X n=i)=P(h(i,Y)=j)=P(h(i,Y1)=j|X0=i)=P(X1=j|X0=i).∴X n是马氏链，P ij=P(h(i,Y)=j).4.2设{X i,i 0}是取非负整数值的独立同分布的随机变量序列，V ar(X0)>0.验证以下随机序列是马氏链：(a){X n,n 0};(b){S n,n 0}，其中S n=∑ni=0X i;(c){ξn,n 0}，其中ξn=∑ni=0(1+X i).解：∀n,i,j,i0,···,i n−1∈N+,(a).P(X n+1=j|X n=i,X n−1=i n−1,···,X0=i0)=P(X n+1=j)= P(X n+1=j|X n=i)=P(X1=j)=P(X1=j|X0=i).1第四章离散时间马尔可夫链第四章离散时间马尔可夫链(b).P(S n+1=j|S n=i,S n−1=i n−1,···,X0=i0)=P(X n+1=j−i|X n=i−i n−1,···,X0=i0)=P(X n+1=j−i)=P(X n+1=j−i,S n=i|S n=i)=P(S n+1=j|S n=i)=P(X1=j−i)=P(X1=j−i|X0=i)=P(S1=j|S0=i).(c).P(ξn+1=j|ξn=i,ξn−1=i n−1,···,ξ0=i0)=P(X n+1=ji −1)=P(X n+1=ji−1|ξn=i)=P(ξn+1=j|ξn=i)=P(X1=ji −1)=P(X1=ji−1|X0=i)=P(ξ1=j|ξ0=i).4.3马氏链的状态空间是I=(1,2,3,4,5)，转移概率矩阵P=0.20.80000.50.5000000.50.500.20.3000.500001界定马氏链的状态。
《随机过程——计算与应用》课件-马尔科夫连 4
(3)若i j，则j i
（互通的对称性）
上述性质的验证留作ห้องสมุดไป่ตู้习.
定理6.3.5 设i, j S,则
(1) i j fij 0 （2）若i是常返的，且i j 则有f ji 1，从而有i j,
证明 (1) 设i j 则 n 1 使pi(jn) 0
因而也有
fij
p(n) ij
0
或者同为零常返的;或者同为正常返周期态,且周期 相同.或者同为正常返非周期(遍历态).
证明 i j, i j, j i, 存在正整数l, n，使
p(l ) ij
0
p(n) ji
0
由C-K方程，对任意的正整数m有
p (lmn) ii
p p p p(l) ik
p(m) ks
p(n) si
周 期 为 4.
例6.3.9 设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,}, 其一步转移概率矩阵为
0 0 1 0 0 0
0
0
0
0
0
1
0 0 0 0 1 0
P
1 3
1 3
0
1 3
0
0
1 0 0 0 0 0
0
1 2
0
0
0
12
试分解此马尔可夫链,并写出各状态类型及周期.
1
1
1 3
下面证明 当i ,j 同为正常返态时,周期相同
设i, j同为正常返状态，周期分别为di , d j
由C-K方程
p (nl ) jj
p(n) jk
p(l) kj
p p (n) (l ) ji ij
0
k
dj nl
又因为，对任意的m有
04 第四讲 马尔可夫链
4 Markov预测 预测
s0=[90/200 50/200 30/200 30/200]; p=[0.7 0.1 0.1 0.1;0.2 0.4 0.15 0.25;0.15 0.1 0.5 0.25;0.2 0.15 0.2 0.45]; s1=s0*p s2=s1*p %解最终值；sn*p=sn, 即p’*sn’=sn’ A=[-0.3000 0.2000 0.1500 0.1000 0.2000 0.1500
4 Markov预测 预测
4 Markov预测 预测
某地区有A、 、 三家电厂 调查表明， 三家电厂， 某地区有 、B、C三家电厂，调查表明， 该地区上月对各类大用户售电量总和为20万度。 该地区上月对各类大用户售电量总和为 万度。 万度 其中， 、 、 各销售 各销售10、 、 万度 万度。 其中，A、B、C各销售 、6、4万度。 本月（以购电量计）： 本月（以购电量计）： A厂顾客中：70%留 20%转B 10%转C 厂顾客中： 厂顾客中 留 转 转 B厂顾客中：60%留 25%转A 15%转C 厂顾客中： 厂顾客中 留 转 转 C厂顾客中：90%留 5%转A 厂顾客中： 留 转 5%转B 转 厂顾客中 已知市场总量不变，预测本月和下月的市场占 已知市场总量不变， 有率以及最终市场占有率。 有率以及最终市场占有率。
4 Markov预测 预测
• 初始转移矩阵：P=[0.7 0.2 0.1;0.25 0.6 初始转移矩阵： 0.15;0.05 0.05 0.9]; • 初始概率向量：S0=[10/20 6/20 4/20]=[0.5 初始概率向量： 0.3 0.2]; • 本月市场占有率：S1=S0*P=[0.435 0.29 本月市场占有率： 0.275] • 下月市场占有率：S2=S1*P=[0.391 0.275 下月市场占有率： 0.335]
第4章 马尔可夫链
d0
两式相比
r j rc
uj 1 rc
故
ua
ra rc 1 rc
(
q )a p
(
q )c p
1
(
q p
)c
当 r 1
u0 uc 1 cd0
而
u j (c j)d0
c j
因此 故
u j c c a b
ua
c
c
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
当r
pi
p(n) ij
iI
(2) pj (n) pi (n 1) pij iI
(3)PT (n) PT (0)P(n)
(4)PT (n) PT (n 1)P
由（1）知，绝对概率由初始分布和n步转移概率完全确定
（1）
pn ( j)
pi
p(n) ij
iI
证 P{X n j} P{X n j, X 0 i} P{X n j, X 0 i} i
需讨论 r
当 r 1
c 1
1 u0 uc
(u j u j1)
c 1
j0
j0 c1
d j
c1 j 0
r jd0
1 rc 1 r
d0
而 u j u j uc (ui ui1)
i j
c 1
c 1
di
rid0
i j
i j
r j (1 r r c j1)d0
r j rc 1 r
称概率向量
PT (n) ( p1(n), p2(n),L ),(n 0)
为 n 时刻的绝对概率向量，而称
PT (0) ( p1 , p2 ,L )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C-K方程
k n 1 I
p ik 1 p k1 k 2 p k n 1 j
( 3 ) P ( n ) P P ( n 1 ) (4) P (n) P n
初始概率和绝对概率
初始概率：
p j P{ X 0 j}, ( j I )
绝对概率：
p j ( n ) P{ X n j}, ( j I )
初始分布：
{ p j} { p j , j I}
绝对分布：
{ p j ( n )} { p j ( n ) , j I }
初始概率向量：
P (0) p1 , p 2 ,
T
绝对概率向量：
P T ( n ) p1 ( n ), p 2 ( n ), , ( n 0)
绝对概率 pj(n) 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数 n 1 和 j I ，绝对概率 pj (n) 具有下列性质：
(1) p j ( n ) (2) p j (n)
i I
(n) p i p ij
i I
p i ( n 1) p ij
描述马氏链的三种方式
（1）状态转移图
1 1/3 1/3 1/3 1/3 1/3
①
吸收壁
②
③
1
④
1/3 反射壁
（2）转移概率矩阵
0 0 0 1 1 / 3 1 / 3 1 / 3 0 P 0 1 / 3 1 / 3 1 / 3 0 1 0 0
pij = f ( i , j )
n
k 0
f ij( n k ) p (jjk )
上式可用来求从状态 i 经 n 步首次到达状态 j 的概率：
(n) f ij( n ) p ij f ij( k ) p (jjn k ) k 1 n 1
周期的等价定义
G .C .D {n : n 1, p
(n) ii
f ij
f
n 1
(n) ij
0 f ij( n ) f ij 1
常返性的定义
1) 若 fii = 1，则称状态 i 是常返的；若 fii < 1，则称
状态 i 是非常返的（或滑过的）。
2) 称期望值 i
(n) n f ii 为状态 i 的平均返回时间。 n 1
0}
G .C .D {n尔可夫链的状态空间 I = {1, 2, 3}，其 转移概率矩阵为
0 P q2 p3
p1 0 q3
q1 p2 0
①
p3
③
q1 q2 q3 p2
p1
②
求从状态1出发经n步转移首次到达各状态的概率。 解：
f
(n) 12
( q1 p 3 ) m 1 q1 q 3 , m ( q1 p 3 ) p1 ,
n 2m, m 1 n 2 m 1, m 0
(n) f13
( p1 q 2 ) m 1 p1 p 2 , n 2 m , m 1 m n 2 m 1, m 0 ( p1 q 2 ) q1 ,
马尔可夫链的统计特性完全由以下条件概率所决定：
P{ X n 1 in 1 X n in }
转移概率
[定义] 称条件概率
pij ( n ) P{ X n 1 j X n i}
为马尔可夫链 { Xn , n T } 在时刻 n 的一步转移概 率，其中 i , j I ，简称为转移概率。
( 2 ) P{ X n 2 c X n b} 1 (2) Pbc 6
P ( 2)
17 30 2 8 P 15 17 30
9 40 3 10 3 20
5 24 1 6 17 90
4.2 马尔可夫链的状态分类
设 { Xn , n >0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j I ，初始分布 为 { Pj , j I } 。
（3）函数表达式
[例3] 设{ Xn , nT }是一个马尔可夫链，其状态空 间 I = {a, b, c}，转移矩阵为
1 / 2 1 / 4 1 / 4 P 2 / 3 0 1 / 3 3 / 5 2 / 5 0
求： (1) P{ X 1 b , X 2 c , X 3 a , X 4 c X 0 c};
8 1 9 2 1 1 6 1 5 2/3 1/3 1 4 1
1 7
1
1 3
（1）状态的周期性
[定义] 如集合 { n : n 1, pii(n) > 0 } 非空，则称该集合 的最大公约数 d = d(i) = G.C.D{ n : pii(n) > 0 }为状态 i 的周期。 如 d > 1 就称 i 为周期的；如 d = 1 就称 i 为非周期的。 [定理] 如果状态 i 的周期为d ，则存在正整数 M，对一 切 n M ，有 pii(nd) > 0 。
i I
p i p ii1 p i n 1i n
马尔可夫链的有限维分布完全由它的初始概率和 一步转移概率所决定。
马尔可夫链的几个简单例子
[例1] 二进制对称信道模型——是常用 于表征通信系统的错误产生机制的离 散无记忆信道模型。假设某级信道输 入 0, 1 数字信号后，其输出正确的概 1 率为p，产生错误的概率为q，则该级 信道输入状态和输出状态构成一个两 状态的齐次马尔可夫链。 一步转移概率矩阵： p q P q p 0
3) 若 i < ，则称常返态 i 是正常返的；
若 i = ，则称常返态 i 是零常返的。
4) 非周期的正常返态称为遍历状态。
p
(n) ij
与 f
(n) ij
的关系
[定理] 对任意状态 i , j I 及 1 n < ，有
(n) p ij
n
k 1
f ij( k ) p (jjn k )
( 2 ) P{ X n 2 c X n b}
解：
(1)
1 / 2 1 / 4 1 / 4 P 2 / 3 0 1 / 3 3 / 5 2 / 5 0
P{ X 1 b, X 2 c , X 3 a , X 4 c X 0 c} P{ X 0 c , X 1 b, X 2 c , X 3 a , X 4 c} / P{ X 0 c} P{ X 4 c X 3 a} P{ X 3 a X 2 c} P{ X 2 c X 1 b} P{ X 1 b X 0 c} P{ X 0 c} / P{ X 0 c} Pac Pca Pbc Pcb 1 3 1 2 1 4 5 3 5 50 二步转移概率矩阵：
p q q p
0 1
p, i j pij q, i j (i , j 0,1)
二步转移概率矩阵：
P
( 2)
2 2 p q P2 2 pq
2 pq 2 2 p q
[例2] （例4.4）具有吸收壁和反射壁的随机游动
设质点在线段 [1,4] 上作随机游动。假设它只能在时刻 nT 发生移动，且只能停留在1,2,3,4点上。当质点转移 到2,3点时，它以1/3的概率向左或向右移动一格，或停 留在原处。当质点移动到点 1 时，它以概率 1 停留在原 处。当质点移动到点4时，它以概率1移动到点3。若以 Xn 表示质点在时刻 n 所处的位置，则{ Xn , n T }是一 个齐次马尔可夫链。
（2）状态的常返性
首中概率——状态 i 经 n 步首次到达状态 j 的概率：
f ij( n ) P{ X m n j , X m v j , 1 v n 1 X m i}, n 1
f ij( 0 ) 0
系统从状态 i 出发，经有限步迟早会（首次）到达 状态 j 的概率：
第4章 马尔可夫链
内容提要
马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布
马尔可夫过程的四种类型
马尔可夫链
时间、状态都离散 时间离散、状态连续 时间连续、状态离散 时间、状态都连续
马尔可夫序列
纯不连续马尔可夫过程
连续马尔可夫过程（或扩散过程）
(3) P T ( n ) P T ( 0 ) P ( n ) ( 3 ) P T ( n ) P T ( n 1) P
有限维概率分布
[定理] 设 { Xn , n T } 是马尔可夫链，则对任意 n 1和 i1 , … , in I ，有
P X 1 i1 , , X n i n
7.1 马尔可夫链的概念及转移概率
[定义] 设有随机过程 { Xn , n T }， 若对于任意的整 数n T 和任意的 i0, i1, …, in+1 I ，条件概率满足
P{ X n 1 in 1 X 0 i0 , X 1 i1 , , X n in } P{ X n 1 in 1 X n in }
n 步转移概率 p 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数
(n) n 0, 0 l < n 和 i , j I ，n 步转移概率 pij 具有下
(n) ij
列性质：
(n) (1) p ij