随机过程答案

2012-2013学年第一学期统计10本
《随机过程》期中考试
一. 填空题
1．设马氏链的一步转移概率矩阵()ij P p =，n 步转移矩阵()()n ij P p =，二者之间的关系为
(n)n P P =
2.状态i 常返的充要条件为
()0
n ii
n p ∞
==∑∞。

3.在马氏链{},0n X n ≥中，记()
n i j
p ={}
0,11,n P Xm j m n X j X i ≠≤≤-==，n ≥1.
i j p =()1
n i j n p ∞
=∑,若i j p <1,称状态i 为 。

二. 判断题
1. S 是一个可数集，{:0n n X ≥}是取值于S 的一列随机变量，若(
)
1
01110011111
1,,...,(,...,)n n n n n n n n n n n n i i S P i X i X i X i P i i -+++--++-∀≥∀∈X =|====X =|X
=并且满足，则{:0n n X ≥}是一个马氏链。

×
2. 任意状态都与它最终到达的状态是互通的，但不与它自己是互通的。

×
3. 一维与二维简单随机游动时常返的，则三维或更高维的简单随机游动也是常返的。

×
4. 若状态i ↔状态j ，则i 与j 具有相同的周期。

√
5. 一个有限马尔科夫链中不可能所有的状态都是暂态。

√
三. 简答题
1．什么是随机过程，随机序列
答：设T 为[0，+∞）或（-∞，+∞），依赖于t(t ∈T)的一族随机变量（或随机向量）{t ξ}通称为随机过程，t 称为时间。

当T 为整数集或正整数集时，则一般称为随机序列。

2 .什么是时齐的独立增量过程
答：称随机过程{t ξ：t ≥0}为独立增量过程，如果对于01,0,n n t t t ∀∀≤<<<L 起始随机变量及其后的增量s t s ξξ+-是相互独立的随机变量组；如果s t s ξξ+-的分布不依赖于s, 则此独立增量过程又称为时齐的独立增量过程。

3.由4个状态组成的马氏链的转移概率矩阵000.50.51
00001000
010P ⎡⎤⎢⎥⎢
⎥=⎢⎥
⎢⎥
⎣⎦
，确定哪些状态是暂态，哪些状态是常返态
4.考虑由状态0,1,2,3,4组成的马尔科夫链，而0.50.50000.50.5000000.50.50000.50.500.250.25000.5P ⎡⎤⎢⎥⎢⎥
⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦
，确定常返态
5.设有四个状态{}I=0123，，，的马氏链，它的一步转移概率矩阵1
100221
100P=2
21111444400
1⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣
⎦
1) 对状态进行分类；
2) 对状态空间I 进行分解。

解：1) 33303132p 1,p p p =而，，均为零，所以状态3构成一个闭集，它是吸收态，记{}1C =3；0，1两个状态互通，且它们不能到达其它状态，它们构成一个闭集，记{}2C =01，，且它们都是正常返非周期状态；由于状态2可达12C C ，中的状态，而12C C ，中的状态不可能达到它，故状态2为非常返态，记{}D=2。

2）状态空间I 可分解为：12E=D C C ⋃⋃
3) 四. 计算题
1. 说是有一位赌徒，他去赌博带有赌资100元，而对手有200元赌资，他们的规则是每次下注五元，每次赢五元或输五元的概率相等, ()5P ε== ()5P ε=-=1/
2.当赌徒破产或完胜时停止赌博。

问：（1）该赌徒完胜和破产的概率分别是什么 （2）赌博结束时，该赌徒平均能赢多少钱 （3）这场赌博平均要用多长时间
解：（1）由题可得，m==300.则完胜时:
()()100300m P S m P S ττ====m/M=100/300=1/3, 破产时：
()()100()0130011/32/3m P S m P S S τττ====-==-=
(2): ()()1000*0*100m m m S E S P S M P S M m ττττE ===+===（元）
2. 设子代分布为二项分布B(2，1/2).考察相应的分支过程{:0n n X ≥}及其灭绝时间τ，求灭绝概率ρ
解：由子代分布为二项分布B(2，1/2)，可得：Pk= k k n k n C p q - =P0=1/4，P1=1/2，P2=1/4.
又知f(ρ)=2
0i i i P ρρ==∑=1/4+1/2ρ+1/42ρ
解得：ρ=1
3. 设马尔科夫链的转移概率矩阵为:
0.30.7000.20.80.700.3P ⎡⎤
⎢⎥=⎢⎥⎢⎥⎣⎦
(1).求两步转移概率矩阵(2)
P
及当初始分布为
{}011P X ==，{}{}00230P X P X ====时，经两步转移后处于状态2的概率。

（2）求马尔科夫链的平稳分布。

：
4.设马尔科夫链的状态空间I={1,2,3,4,5}，转移概率矩阵为：
0.30.40.30
00.60.4000010000000.30.70000.10P ⎛⎫ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪⎝⎭
求状态的分类，各常返闭集的平稳分布及各状态平均返回时间。

解：（1）状态分类1C ={1,2,3}；2C ={4,5}
（2）由常返闭集的定义可知，常返集有两个，下面分别求其平稳分布及各状态的平均返回
时间。

A 对的常返闭集而言解方程组1122123
31
1230.30.60.40.40.31ππππππππππππ=+⎧⎪=++⎪⎨=⎪⎪++=⎩
解上述方程组的平稳分布为12330359
,,747474
πππ===
各状态的平均返回时间为1231
231
74174174
,,30359
t t t πππ=
=
==== B 对的常返闭集而言解方程组112
211
20.30.71
πππππππ=+⎧⎪
=⎨⎪+=⎩
解上述方程组的平稳分布为12107,1717
ππ== 各状态的平均返回时间为121
21
17117
,107
t t ππ==
== 5.若012111,,244P P P =
==,它的灭绝概率为0π,且'
''012111,,442
P P P ==
=,它的灭绝概率为'0π.求:
(1) 0π的值；（2）'
0π的值；（3）假定它们的初始时由n 个个体组成，分别求出两者的总体灭绝的概率。

解：（1）由于31,4
μ=≤所以0π=1；
（2）'
0π满足
'
0π=
''200111444
ππ++ 解得这个二次方程的最小的正解是'
0π=
1
2。

（3）因为总体灭绝当且仅当初始代的每个成员的家庭都灭绝，要求的概率是0n
π。

则
n π=1， '0
n π=12n
⎛⎫
⎪⎝⎭
6．小张的宾馆刚开张不久，入住的家庭数是均值为λ的随机变量，再假定一个家庭在宾馆停留的天数是参数为(01)P P <<的几何随机变量，（于是在前一个晚上留在宾馆的一个家
庭，独立于已经在宾馆呆了多久，将在第二天以概率P 退房），再假定所有的家庭是彼此独立的，在这些条件下容易看出，如果以n X 记在第n 天开始入住宾馆的家庭数，那么{n X ，n ≥0}是马尔科夫链。

求： 此马尔科夫链的转移概率。

解：为了求,i j P ，我们假定在一天开始是宾馆中有i 个家庭，因为这i 个家庭将以概率q=1-q
再呆一天，由此推出这i 个家庭中再留一天的家庭数i R 是二项（i,q ）随机变量。

所以，以N 记这天新入住的家庭数，我们看到
,()i j i P P R N j =+=
对于i R 取条件，并且利用N 是均值为λ的泊松随机变量，我们得到
,0(|)i
k i k
i j i i k i P P R N i R k q p k -=⎛⎫
=+== ⎪⎝⎭
∑ 0(|)i k i k
i k i P N j k R k q p k -=⎛⎫==-= ⎪⎝⎭
∑ min(,)
()i j k i k k i P N j k q p k -=⎛⎫
=
=- ⎪⎝⎭∑
min(,)
()!j k i j k i k
k i e
q p k j k λ
λ---=⎛⎫
=
⎪-⎝⎭
∑
7.设明天是否有雨仅与今天的天气有关，而与过去的天气无关。

又设今天下雨而明天也下雨的概率为α，而今天无雨明天有雨的概率为β；规定有雨天气为状态0，无雨天气为状态1。

设0.7,0.4αβ==，求今天有雨且第四天仍有雨的概率。

解：由题设条件，得一步转移概率矩阵为00011011p p 0.70.3P=p p 0.40.6⎡⎤⎡⎤
=⎢
⎥⎢⎥⎣⎦
⎣⎦，于是(2)0.610.39P PP=0.520.48⎡⎤=⎢⎥⎣⎦，四步转移概率矩阵为(4)(2)(2)
0.57490.4251P P P 0.56680.4332⎡⎤==⎢⎥
⎣⎦
，从而得到今天有雨且第四天仍有雨的概率为(4)
00P 0.5749=。

8.一质点在1,2,3三个点上作随机游动，1和3是两个反射壁，当质点处于2时，下一时刻处于1,2,3是等可能的。

写出一步转移概率矩阵，判断此链是否具有遍历性，若有，求出极
限分布。

解：一步转移概率矩阵0101
11
P=33301
0⎡⎤⎢⎥⎢
⎥⎢⎥⎢⎥⎣
⎦
，
9． 设马尔科夫链的状态空间为{}0,1,2I =, 一步转移概率矩阵为0.50.40.10.30.40.30.20.30.5P ⎡⎤
⎢⎥⎢⎥⎢⎣⎦
=⎥，求其相应的极限分布。

解：设其极限分布012(,,),W w w w =由W=WP 得到方程组
0120
0121
01220120.50.30.20.40.40.30.10.30.51
w w w w w w w w w w w w w w w ++=⎧⎪++=⎪⎨
++=⎪⎪++=⎩ 解方程组得到：01221239
,,.626231
w w w ===
10.设马氏链的转移概率矩阵为P ，求该马氏链的平稳分布及各状态的的平均返回时间
0.70.10.20.10.80.1P ⎡⎤
=⎢
⎥
⎣⎦
11.设有时齐次的马氏链转移概率矩阵为P ，讨论其马氏性，并求其平稳分布。

1001P ⎡⎤
=⎢
⎥⎣⎦
解 马氏链的状态空间为I={1,2}，均为吸收态，状态空间可分解为两个闭集之和，I={1}+{2}，
故其是不可约的马氏链， 1 0
P= =PP …P=P(n),
0 1
所以状态1和状态2都是非周期的，且有LimP11(n)=1不等于LimP21(n)=0,
LimP12(n)=0不等于LimP22(n)=1，故不是遍历链，但由A=AP 得A=(A1 A2 ),A1+A2=1 故A1=A1，A2=A2 ,可见平稳吩咐是存在的，且有无穷多个
12.设｛:0}n X n ≥是一个马氏链，
11
1333
(2)27119991
1133
3,⎡⎤⎢⎥==⎢⎥⎢⎥⎣
⎦
P P (2)ij p 由>0知，此链有遍历性；(),,ππππ123设极限分布=，11533
1351
51ππππππππππ==⎧⎧⎪⎪=⇒=⎨⎨⎪⎪++==⎩⎩112
3221233方程组
试证：00100111,...,()()n n P X i X i X i P X i X i ======。