上海大学随机过程第六章习题与答案

第三章 习 题

1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为p ，乙胜的概率为q ，平局的概

率为r ，其中,,0,1p q r p q r ≤++=，设每局比赛后，胜者得1分，负者得1-分，平局不记分，当两个人中有一个人得到2分时比赛结束，以n X 表示比赛至第n 局时甲获得的分数，则{,1}n X n ≥是一齐冯马尔可夫链.

（1）写出状态空间； （2）求一步转移概率矩阵；

（3）求在甲获得1分的情况下，再赛2局甲胜的概率. 解（1）{,0}n X n ≥的状态空间为

{2,1,0,1,2}S =--

（2）{,0}n X n ≥的一步转移概率矩阵为

10000000

0000

1q r

p q r p q r p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦

P （3）因为两步转移概率矩阵为

22

(2)

2222

22

1

0000

202220

20

000

1q rq r pq pr p q rq r pq

pr p q qr pq r p pr ⎡⎤⎢⎥++⎢⎥⎢⎥==+⎢

⎥++⎢⎥⎢⎥⎣⎦

P P

所以在甲获得1分的情况下，再赛2局甲胜的概率为

(2)

12(1)p p pr p r =+=+

2．设{,1,2,}i Y i =L 为相互独立的随机变量序列，则

（1）{,1,2,}i Y i =L 是否为Markov 链？ （2）令1

n

n i

i X Y ==

∑，问{,1,2,}i

X i =L 是否为Markov 链？

解（1）由于

11221112211122111221111221(,,,,) (,,,)(,,,)

()()()()

()()

(,,,)

n n n n n n n n n n n P Y i Y i Y i Y j P Y j Y i Y i Y i P Y i Y i Y i P Y i P Y i P Y i P Y j P Y j P Y j Y i P Y i Y i Y i ------=================

========L L L L L

因此，{,1,2,}n Y n =L 是马尔可夫链.

（2）取1111()f U X U ==，当11U i =时，212X U U =+是2U 的函数，记为22().f U 依

次

类

推

，

1121

n n X U U U --=+++L 为

1

n U -的函数，记为

1112(),n n n n f U X U U U --=+++L 为n U 的函数，记为().n n f U 由于12,,,,n U U U L L 相互

独立，则其相应的函数1122(),(),,(),n n f U f U f U L L 也相互独立，从而

12211122111

1112211 (,,,)(,,,)

(,,,)()()

n

n n i n i n n n n n n P X j X i X i X i P Y j X i X i X i P X Y j X i X i X i P Y j i P X j X i --=---==========+======-===∑L L L

因此{,1,2,}n X n =L 是马尔可夫链.

3 设,1,2,i X i =L 是相互独立的随机变量，且使得(),0,1,i j P X j a j ===L ，如果

max{,1,2,,1}n i X X i n >=-L ，其中0X =-∞，就称在时刻n 产生了一个记录.若在时刻

n 产生了一个记录，就称n X 为记录值，以n R 表示第n 个记录值.

（1）证明，{,1,2,}n R n =L 是Markov 链，并求其转移概率；

（2）以i T 表示第i 个与第1i +记录之间的时间，问{,1,2,}n T n =L 是否是Markov 链，若是，则计算其转移概率.

证明：（a ）根据题意有：k n k n n X R X R X R ===,....,2121，……满足

........21k n n n X X X << 且........121k n n n <<<

故},...,|{11111i R i R i R z R P k k k k k ====--+}...|{111i i i j z R P k k k >>>>==-+ }|{1k k i j z R P >==+}|{1k k k i R z R P ===+ 故}1,{≥i R i 是一个马尔可夫链且

⎩⎨

⎧≤>======++i j i

j a i X z X P i R z R P j k n n k k k k k ,0,}|{}|{11 （由于i X 的独立性）

（b ）记i T 为第i 个记录与第1i +个记录之间的时间，i T 是相互独立的随

机变量，因为

{}i P T t =}1...,2,1,,|{k 1-=<=====+++t k i X i X R z X R P i i i n n i t n i 且

}{1z X R P t n i i ===++=⎩

⎨⎧≤>i j i

j a j ,0,（由于i X 的独立性）

故{i T ，1≥i }是一个马尔可夫链 令(,),1i i i Z R T i =≥ 则{}111,,,i i i P Z Z Z Z +-…

{}111111(,)(,),(,),,(,)i i i i i i P R t R t R t R t ++--=…

{

}

1111112111111211(,)(,),(,),,(,),(,)i i i t t i t t i t t i t t P X t X t X t X t X t +-+++++++-++=…+?+?+… {

}111111(,)(,)i i t t i t t i P X t X t ++++++=…+?+ {

}111111(,)(,)i i t t i t t i P X z t X i t ++++++===…+?+

,0,j j i

j i

α>⎧=⎨≤⎩ 故}{,(),1i i R T i ≥是一个马尔可夫链。

4考虑一个具有状态0,1,2,L 的Markov 链，其转移概率满足,1,11i i i i i p p p +-==-，其中