随机过程及应用习题课四

1. 设{(),0,1,2,}X n n =为马氏链，证明
12312{(1)|(2),(3),
,()}
{(1)|(2)}
n P X x X x X x X n x P X x X x =======
即马氏链的逆序也构成一个马氏链. 2. 如果马氏链的转移概率矩阵为
0110P ⎛⎫= ⎪⎝⎭
证明：此马氏链不是遍历的马氏链，但具有平稳分布.
3. 一个开关有两种状态：开或关，设它现在开着时，经过单位时间(s )后，它仍然开着的
概率为12，关上的概率为1
2
；当它现在关着时，经过单位时间(s )后它仍然关着的概率为
34，它打开的概率为1
4
. 假设开关的状态转移只在0,1,2,3,…(s )时进行. 设0t =时，开关开着. 求3t =时，开关关着和开关开着的概率.
4. 甲乙两人进行比赛，设每局比赛甲胜的概率为p ，乙胜的概率为q ，和局的概率为r ，
1p q r ++=，设每局比赛后胜者记“1”
，分负者记“-1”分，和局记“0”分. 当两人中有一个获得2分时，结束比赛. 以()X n 表示比赛至第n 局时，甲获得的分数. {(),0,1,2,}X n n =是一个齐次马氏链.
（1）写出此马氏链的状态空间； （2）写出状态转移矩阵； （3）计算2步转移矩阵；
（4）问在甲获得1分的情况下，再赛2局就结束比赛的概率为多少？
5. A 、B 、C 三家公司决定在某一时间推销一新产品. 当时它们各拥有1
3
的市场，然而一年
后，情况发生了如下的变化：
（1）A 保住40%的顾客，而失去30%给B ，失去30%给C ； （2）B 保住30%的顾客，而失去60%给A ，失去10%给C ； （3）C 保住30%的顾客，而失去60%给A ，失去10%给B .
如果这种趋势继续下去，试问第2年底各公司拥有多少份额的市场？（从长远来看，情况又如何？）
6. 一质点沿圆周游动，圆周上按顺时针等距排列五个点0，1，2，3，4，把圆周分成五格。

质点每次游动或顺时针或逆时针移动一格，顺时针移动一格的概率为p ，逆时针移动一
格的概率为1-p ，设()X n 表示经n 次移动后质点所处的位置，则(){,0,1,2,}X n n =是一齐次马尔可夫链。

试求： （1）状态空间；
（2）一步转移概率矩阵； （3）极限分布。

7. 赌徒甲有a 元，赌徒乙有b 元，两人进行赌博. 每赌一局输者给胜者1元，没有和局，
直赌到两人中有一个输光为止. 设在每一局中甲胜的概率为1
2
，()X n 表示第n 局时甲的赌金. {(),0,1,2,}X n n =为齐次马氏链.
（1）写出状态空间和状态转移矩阵； （2）求出甲输光的概率.
8. 设齐次马氏链{(),0,1,2,}X n n =的状态空间{1,2,3}E =，状态转移矩阵
11
0221112441203
3P ⎡⎤⎢⎥⎢⎥⎢
⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣
⎦
（1）讨论其遍历性；（2）求平稳分布；（3）计算下列概率.
i ）{(4)3|(1)1,(2)1}P X X X ===；ii ）{(2)1,(3)2|(1)1}P X X X ===.
9. 已知齐次马氏链{(),0,1,2,}X n n =的状态空间{1,2,3}E =，状态转移矩阵为
11
123611133311132
6P ⎡⎤⎢⎥⎢⎥⎢
⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣
⎦
初始分布
（1）计算2步转移矩阵；（2）求(2)X 的分布律；
（3）求平稳分布.
10. 已知随机游动的质点构成一个马氏链，其状态空间
为{}1,2,3,4,5E =，一步转移概率矩阵为
10
000111006231110
06231110062300
1P ⎧⎫⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪=⎨⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎩
⎭
试求质点从状态2出发，分别被吸收于状态1、状态5的概率。

11. 齐次马氏链{(),0,1,2,}X n n =，状态空间为{1,2,3,4}E =，状态转移矩阵
12003311002
231004400
1P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣
⎦
（1）画出状态转移概率图形；（2）讨论各状态性质；（3）分解状态空间.
12. 一个电路供给3个电焊工. 如果一个电焊工在t 时刻正在用电，在(,)t t t +∆中他将停止
用电的概率是()t o t μ∆+∆；如果一个电焊工在t 时刻没有用电，在(,)t t t +∆中他将需要电的概率是()t o t λ∆+∆. 焊工们独立地工作. 设()X t 表示时刻t 用电的焊工数. {(),0}X t t ≥是一个生灭过程. （1）画出状态转移速度图； （2）写出状态转移速率矩阵； （3）求出平稳分布.
13. 设有一电脉冲，脉冲的幅度是随机的，其幅度的变域为{1,2,3,
,}a ，且在其上服从均
匀分布，现用一电表测量其幅度，每隔一单位时间测量一次，从第一次测量算起，记录
其最大值(), 1.X n n ≥
（1）试说明(){},1.X n n ≥是一齐次马尔可夫链；
（2）写出一步转移概率矩阵；
（3）仪器记录到最大值a 的平均时间.
14. 在天气预报问题中，若今日是否下雨依赖于前两天的天气状况，并规定：昨日、今日都 下雨，明日有雨的概率为0.7；昨日无雨,今日有雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。

该问题是否可以用一马尔可夫链表示。

若可以，求在星期一、星期二均下雨条件下，星期四下雨的概率。

15. 考虑Bernoulli 过程的移动平均
()11
2
n n n Y X X -=+ 其中{}1,2,n X n =是p =1/2的独立Bernoulli 序列。

试证明{}1,2,
n Y n =不是一个
Markov 过程。

16. 已知马氏链{},0n X n ≥的状态空间为{}1,2,3,4E =，其初始分布和转移概率矩阵为
()01
,1,2,3,4,4i p P X i i ====
11114444111144441113484811114
4
4
4P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢
⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
试证：
（1）()()201214|1,144|14.P X X X P X X ==<<≠=<< （2）()()312324|14,34|3.P X X X P X X =<<====
17. (二维对称随机游动)设质点的位置是平面上的整数格点,每个格点有4个相邻的位置,质
点分别以
1
4
的概率转移到这4个相邻位置中的每一个整数格点上.讨论平面上对称随机游动的常返性.
解：任意两个整数格点都是互通的，从而二维对称随机游动为不可约马氏链。

其周期为2。

考查各整数格点的常返性，只需考查原点的常返性即可。

记质点从原点出发经过2n 步回到原点的概率为()002P n . 此时质点必须在x 轴上向右移动i 步,向左移动i 步;在y 轴上向上移动j 步,向下也移动j 步,并且i j n +=。

所以有 ()[][]
()()
0022220
2
202
202
2202
2202
221111244441(2)!4!()!1(2)!!!
4!!!()!144
4i
i
n i
n i
n
i i n i n i n n i n i n i
i n n i n
n i n
n i n n n
i n n
i n n n
i n n n
P n C C C C
n i n i n n n n n i n i C C C C C -------=====⎛⎫⎛⎫⎛⎫
⎛⎫= ⎪ ⎪ ⎪
⎪⎝⎭⎝⎭⎝⎭⎝⎭
=-⋅=⋅
⋅-=⋅=⎡⎤⎣⎦=
∑∑
∑∑∑
由string 公式，当n 充分大时
!n
n n e ≈
从而当n 充分大时
()(
)2
20022
222242141n n n
n n n C P n n n π
⎡⎤⎣⎦=
⎡⎤
⎢⎥≈⎣⎦
= 级数01
n n π∞
=→+∞∑，从而()000
n P n ∞
=→∞∑ 即原点为常返态，那个人平面上的对称随机游动是常返的.
18. 讨论三维空间上的对称随机游动的常返性。

质点的位置是空间上的整格点，每个位置有
6个相邻的位置，质点分别以
1
6
的概率转移到这6个相邻位置中的每一个整格上. 解：同上，三维空间上的对称随机游动也是不可约马氏链，其周期为2. 质点从原点出发经过2n 步回到原点的概率()002P n 。

此时质点必须在x 轴上向右移动i 步,向左移动i 步;在y 轴上向前移动j 步,向后也移动j 步, 在z 轴上向上移动k 步,向下也移动k 步,并且i j k n ++=。

所以有
()()()()()()()0022222222200
211111126666662!22!22!12!
6!2!!22!!22!!22i
i
j
j
n i j
n i j
n
n i
i i j j n i j n i j n
n i n i n i j n i j n i j
i j n
P n C C C C C C
n i n i n i j n i n i i n i j n i j j n i -----------------==⎛⎫⎛⎫⎛⎫⎛⎫⎛⎫
⎛⎫= ⎪ ⎪ ⎪ ⎪ ⎪
⎪⎝⎭⎝⎭⎝⎭⎝⎭⎝⎭⎝⎭
----⎛⎫=⋅⋅⋅ ⎪------⎝⎭∑∑()()()()()()0022
00
2
2200222002222222!
2!!!
12!6!!!1!6!!!1616n n i
i j n
n
n i
i j n n n i n
n i j n
n n i n i j
n n n i i j n n i j
n n n i j n i j j n i j n i j n i j n i j n C i j n i j C C C C C C -==-==-==--==---⋅----⎛⎫= ⎪⎝⎭
--⎡⎤⎣⎦
⎡⎤⎛⎫=⎢⎥
⎪--⎝⎭⎢⎥⎣⎦⎛⎫⎡⎤= ⎪⎣⎦
⎝⎭⎛⎫⎡⎤⎡⎤= ⎪⎣⎦⎣⎦
⎝⎭∑∑∑∑
∑∑∑∑()0022
220
16n n i i n n n i n i n n n i i C C C -==--=⎛⎫⎡⎤= ⎪⎣
⎦⎝⎭∑∑∑
因为 ()
()
3
2
2
23i i n i
n n n i i n i n n i C C C C C ----⎡⎤++⎡⎤≤⎢⎥⎣⎦⎢⎥⎣⎦
等号当且仅当()2
i i n i
n n n i C C C --==即2n i =时成立。

故
()
3
2
22n i n i n n n i C C C --⎡⎤
⎡⎤≤⎢⎥⎣⎦⎣⎦
从而
()()()22
00220
3
222126116n
n
n i n i n n n i i n
n
n n n
P n C C C C C n --=⎛⎫⎡⎤= ⎪⎣
⎦⎝⎭⎡⎤⎛⎫≤+⎢
⎥ ⎪⎝⎭⎣⎦
∑
当n 充分大时
()(
)
(
)
3
2
3
22
2
2
2
22
2
11
11
66
8
9
n
n n
n n
n
n n
n
n
e
C C n n
e e
⎡⎤
⎢⎥
⎢⎥
⎢⎥⎡⎤
⎛⎫⎛⎫⎥
+≈+⎢⎥
⎪ ⎪⎢
⎝⎭⎝⎭
⎣⎦
⎢⎥
⎣⎦
⎛⎫
≈ ⎪
⎝⎭
级数
1
8
9
n
n
+∞
=
⎛⎫
⎪
⎝⎭
∑()
00
n
P n
∞
=
∑收敛。

即原点为非常返状态。

所以三维空间上的对称随机游动是非常返的.
注：（1）更一般地，(3)
d d≥维空间上的对称随机游动也是周期为2的不可约马氏链。

其所有状态均为非常返的.
（2）此结论说明对称随机游动在一、二维空间上的常返性与在更高维(3)
≥维空间上的常返性截然不同。