浙江大学《概率论与数理统计》(第4版)【名校笔记+课后习题+考研真题】第13章 马尔可夫链【圣才出品

1 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台

X m1的状态
a1
Xm 的
a1 p11
a2
p21
状 态
ai
pi1
a2 aj
p12 p1j
p22 p2 j
=P 1 记成P
pi2 pij
二、多步转移概率的确定
1．C-K 方程
Pij (u v) Pik (u)Pkj (v), i, j 1, 2, k 1
π＝πP 或
满足条件
N
j i pij , j 1, 2, N i 1
N
j 0, j 1 j 1
的唯一解。
13.2 课后习题详解
1．从数 1，2，…，N 中任取一数，记为 X1；再从 1，2，…，X1 中任取一数，记为 X2； 如此继续，从 1，2，…，Xn－1 中任取一数，记为 Xn，说明{Xn，n≥1}构成一齐次马氏链，
则此链具有遍历性，若 j 1，则 (1, 2 ,) 为链的极限分布。
j
2．有限链遍历性的充分条件
设齐次马氏链{Xn，n≥l}的状态空间为 I {a1, a2 ,, aN} ，P 是它的一步转移概率矩阵， 如果∃m∈N＋，使对∀ ai , aj I ，都有
Pij (m) 0,i, j 1, 2,, N 则此链具有遍历性，且有极限分布 (1, 2 ,, N ) ，它是方程组
无关，那么，n 步转移概率也一定与 m 无关，马氏链就必定是齐次的。
4 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台

2．说明第十二章§1 例 5 中的随机过程都是齐次马氏链，并写出它们的状态空间和一步
转移概率矩阵。
解：（1）抛掷一颗骰子出现的点数记为 X，其分布律为 P{X＝i}＝1/6，i＝1，2，…，6。
2．n 歩转移概率 齐次马尔可夫链的 n 歩转移概率矩阵 P（n）＝Pn
三、遍历性 1．定义 转移概率 Pij (n) 存在极限
或
2 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台

1 2 j 1 2 j
Pn Pnn
1 2 j
圣才电子书

十万种考研考证电子书、题库视频学习平台
第 13 章 马尔可夫链
13.1 复习笔记
一、马尔可夫过程及其概率分布
马尔可夫过程的概率分布
（1）转移概率及其转移概率矩阵
①转移概率
Pij (m, m n) P{X mn aj | X m ai}
为马氏链在 m 时处于 ai 的条件下，到 m＋n 时转移到状态 aj 的转移概率。
1 ,1 i
j
i ,i
1, 2,..., N
0, j i
它们都只与 i，j 有关而与起始时刻 m 无关，因此{Xn，n≥1}是齐次马氏链，且它的一
步转移概率矩阵为
1112源自P1ii
1
N N
2 i N
1
0
2
11
i
i
1 N
1 N
1 N
注：n 步转移是由相继的 n 次一步转移而完成的，所以只要一步转移概率与起始时刻 m
今{Xn，n≥1}是一个独立且与 X 同分布的随机序列，由独立性知，第 n 次抛掷出现的点
数的概率分布不依赖于先前抛掷出现的点数，所以是一个马氏链，又
pij P X m1 j X m i PX m1 j
PX j 1 ,i, j 1,2,...,6
6
即一步转移概率与起始时刻 m 无关，因此，{Xn，n≥1}是齐次马氏链，状态空间为 I＝
P X n an X n1 an1, X n2 an2,..., X2 a2, X1 a1
1
an1
, an
1, 2,..., an1
P
X n an
X n1 an1
0, an为其他值
故{Xn，n≥1}具有无后效性，即它是一个马氏链。
按题意一步转移概率为
pij P
X m1 j X m i
3 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台

并写出它的状态空间和一步转移概率矩阵。
解：随机序列{Xn，n≥1}的状态空间 I＝{1，2，…，N}，Xn 在 1，2，…，Xn－1 中均匀
取值，对于任意整数1 an1 an2 a2 a1 N ，有
{1，2，…，6}，一步转移概率矩阵为
1
1
1 6
1
P
2
6 1
3
6
6
1 6
2 6
1 6
1
6
1 6 1
1
6 1
6
6
1 6
1 6
（2）Xn 是第 n 次抛 掷出现的 点数，记 前 n 次抛 掷中出现 的最大点 数为 Yn，即
Yn
max{
1in
X
1
,
X 2 ,...,
X n} ，也可写成 Yn
max{Yn1, X n} ，可知在
Yn－1 给定的条件下，Yn
的取值仅依赖于 Xn，此时，Yn 的取值与 (Y1,Y2 ,...,Yn1) 的取值相互独立，所以{Yn，n≥1}具
有无后效性，即它是一个马氏链，又一步转移概率为
5 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台

1 6
,
j
i
pij P
X m1 j X m i
i 6
,
j
i
,i
1,
2,...,
6
0, j i
它们都只与 i，j 有关而与起始时刻 m 无关，因此，{Xn，n≥1}是齐次的马氏链，状态
空间为 I＝{1，2，…，6}，一步转移概率矩阵为
1 2345 6
1 1 1 1 1 1
1
6
6
6
6
6
6
2 2 1 1 1 1
P
3
6
6 3
6 1
6 1
6 1
6 6 6 6
4
0
4
1
1
6 6 6
5 1
5
6
6
6
1
3．设 X 0 1, X1, X 2 ,, X n, 是相互独立且都以概率 p（0＜p＜1）取值 1，以概率
q＝1－p 取值 0 的随机变量序列，令 Sn n X k ，证明 Sn , n 0 构成一马氏链，并写出 k 0
Pij (m, m n) 1, i 1, 2,
j 1
②转移概率矩阵
P(m, m n) (Pij (m, m n))
性质：各元素非负，每行之和为 1
（2）齐次马氏链的转移概率及转移概率矩阵
一步转移概率为
pij Pij 1 P X m1 a j X m ai
一步转移概率矩阵