随机过程作业和答案第三章

第三章 马尔科夫过程

1、将一颗筛子扔多次。记X n 为第n 次扔正面出现的点数，问{X(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。又记Y n 为前n 次扔出正面出现点数的总和，问{Y(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。

解：1)由已知可得，每次扔筛子正面出现的点数与以前的状态无关。 故X(n)是马尔科夫链。

E={1,2,3,4,5,6} ,其一步转移概率为:

P ij = P ij =P{X(n+1)=j ∣X(n)=i }=1/6 (i=1,2,…,6,j=1,2,…,6) ∴转移矩阵为

2)由已知可得，每前n 次扔正面出现点数的总和是相互独立的。即每次n 次扔正面出现点数的总和与以前状态无关，故Y(n)为马尔科夫链。

其一步转移概率为

其中

2、一个质点在直线上做随机游动，一步向右的概率为p , (0

解：由已知可得, 其一步转移概率如下：

故一步转移概率为

3、做一系列独立的贝努里试验，其中每一次出现“成功”的概率为p ( 0

解：由已知得：

故为马尔科夫链，其一步转移概率为

6

1

616161616161

616161616

16

16161616161P ={

6

,,2,1,6/1,,8,7,,0)1,(+++=<++==+i i i j i j i i i j ij n n P 或)

1(6,,2,1;6,,2,1,+++=++=n n n j n n n n i {}α,,2,1,0 =E )(0,1;)0(0,1)1,1(0,,1,,2,1101,1,ααααα≠==≠==+-≠===-=-+j P P j P P i i j P q P P P x j j ij i i i i 而时，当 1000000

000

0000001P

p q p q p q =

{}{}m m m m m m i n X l n X i n X i n X i n X l n X P ==+=====+)(0)()(,,)(,)(0)(2211 {}{}

m

m m m m m i

n X k l n X i n X i n X i n X k l n X P ==+=====+)()()(,,)(,)()(2211

4、在一个罐子中放入50个红球和50个蓝球。每随机地取出一球后，再放入一个新球进去，新球为红球和兰球的概率各为1/2。第n 次取出一球后，又放入一个新球，留下的红球数记为X(n)。问{X(n) , n =1,2,···}是马尔科夫链吗？试写出一步转移概率矩阵（当 n ≥50）。

解：由已知得，将来状态X(n)只与当前状态X(n-k)有关，故X(n)为马尔科夫链

5、随机地扔两枚分币，每枚分币的面有“国徽”和“分值”之分。X(n) 表示两枚分币分扔 n 次后面正面出现“国徽”的总个数。试问X(n)是否是马尔科夫链？写出一步转移概率。

解：由已知得，将来状态X(n)只与当前状态X(n-k)有关。故X(n)是马尔科夫链。

6、扔一颗筛子，如果前n 次扔出现点数的最大值为j ，就说X(n)的值等于。试问{X(n) , n =1,2,···}是不是马尔科夫链？并写出一步转移概率矩阵。

解：由已知得，将来状态X(n)只与当前状态X(n-k)有关。故X(n)是马尔科夫链。

⎪⎩

⎪

⎨⎧+===+，取其他值01

,0,)1,(P j j p j q n n ij

)

1(6,,2,1;6,,2,1,+++=++=n n n j n n n n i 其中{}21

210

0200121100990100

99212001000100

992110010020099212001002121)99(0)1(0211001i )2200

i -10021100i -100P 200i 21100i P )()(2121100i 10021100i P 9932i 150,100,,2,1,0100,1100

,100100,992,11,1,,ij

一步转移概率矩阵为时，球）蓝个红球又放回蓝个红（取出时，，，）时，一步转移概率当<=>=======•==•=

=•-+•=

=≥=+-i P j P P P P P i i n E i j j i i j i i ⎪⎪⎪⎩⎪⎪⎪⎨⎧+=+==+取其他值其一步转移概率为j i j i i j n n ,01

,212,,41

)1,(P ij )1(2,,1,0;2,,1,0+==n j n i 其中

其一步转移概率矩阵为

7、假定随机变量X 0的概率分布为 P{X 0=1}=p , P{X 0= -1}=1-p ，0

2）说明{X(n) , n = 0,1,2,3,…}不具有马尔科夫性（既无后效性。 解：1）

2)当n 取值时，X(2n+1)的值先于当n-1时的X(2n)的值

∴{X(n) , n = 0,1,2,…}不具有马尔科夫性，即不具有无后效性。

8、将适当的数字填入下面空白处，使矩阵

是一步转移概率矩阵。

解：

()

为偶数

当为奇数

当n n 00{2X X n X -=()0

12=+n X )6,,2,1,()(0,)(6

1,6 =<=>==j i i j P i j P i P j i j i i i 1

0000061

650

0006

1

61640

0061

6161630061

616161620

6

16161616161P =

其一步转移概率矩阵为43411101

101101313131=P 0

043

411000101

1011071013131310

=P