随机过程-习题-第2章

2.1 设)(t ξ是一马尔可夫过程，又设k n n n t t t t t ++<<<<<< 121。

试证明：
)/(),,/(1/1,,/11++++++=n n t t k n n n t t t x x f x x x f n n k n n n
即一个马尔可夫过程的反向也具有马尔可夫性。

证明：首先，由条件概率的定义式得
)
,,(),,,(),,/(1,,1,,,1,,/111k n n t t k n n n t t t k n n n t t t x x f x x x f x x x f k n n k n n n k n n n ++++++++++++=
根据马尔可夫性将上式中的分子和分母展开，并化简得
)
()
()/()()/()/()
()/()/()/(),,/(11/112/1/1/12/1/1,,/11112111211+++++-+++++-+++++++++-+++++-++++==
n t n t n n t t n t n n t t k n k n t t n t n n t t n n t t k n k n t t k n n n t t t x f x f x x f x f x x f x x f x f x x f x x f x x f x x x f n n n n n n n k n k n n n n n n k n k n k n n n
于是，
)/()
(),(),,/(1/11,1,,/1111++++++++++==
n n t t n t n n t t k n n n t t t x x f x f x x f x x x f n n n n n k n n n
2.2 试证明对于任何一个马尔可夫过程，如“现在”的)(t ξ值为已知，则该过程的“过去”和“将来”是相互统计独立的，即如果有321t t t <<，其中2t 代表“现在”，1t 代表“过去”，3t 代表“将来”，若22)(x t =ξ为已知值。

试证明：
)/()/()/,(23/21/231/,2321231x x f x x f x x x f t t t t t t t =
证明：首先，由条件概率的定义式得
)
()
,,()/,(2321,,231/,2321231x f x x x f x x x f t t t t t t t =
然后，根据马尔可夫性将上式中的分子展开，并化简得
)
(),()
/()()
()/()/()/,(221,23/2112/23/231/,22123211223231x f x x f x x f x f x f x x f x x f x x x f t t t t t t t t t t t t t t ==
)/()/(21/23/2123x x f x x f t t t t = 2.3 若)(t ξ是一马尔可夫过程，2121++<<<<<m m m t t t t t 。

试证明：
)/,(),,,/,(21/,2121,,,/,212121m m m t t t m m m t t t t t x x x f x x x x x f m m m m m m ++++++++= 证明：首先，利用性质：}|{}|{}|{C B P BC A P C AB P =得
),,,/(),,,,/()
,,,/,(211,,,/1212,,,/2121,,,/,21112122121m m t t t t m m m t t t t t m m m t t t t t x x x x f x x x x x f x x x x x f m m m m m m m m ++++++++++=
于是，由马尔可夫性得
)
/(),/(),,,/,(1/12,/2121,,,/,1122121m m t t m m m t t t m m m t t t t t x x f x x x f x x x x x f m m m m m m m m ++++++++++=
再利用性质}|{}|{}|{C AB P C B P BC A P =得
),,,/,(2121,,,/,2121m m m t t t t t x x x x x f m m m ++++=)/,(21/,21m m m t t t x x x f m m m ++++ 2.4 若有随机变量序列 ,,,,21n ξξξ，且 ,,,,21n ξξξ之间相互统计独立，n ξ的概率密度函数为)()(n n n x f x f n =ξ，),2,1(0][ ==n E n ξ。

定义另一随机变量序列
}{n η如下：
n
n ξξξηξξξηξξηξη+++=++=+==213
21321211
试证明：（1）序列 ,,,,21n ηηη具有马尔可夫性；
（2）111112211]/[],,,/[-----======n n n n n n n y y E y y y E ηηηηηη (1) 证明：由于 ,,,,21n ξξξ相互统计独立，其n 维联合概率密度函数为
)()()(),,,(21212121n n y f y f y f y y y f n n ξξξξξξ =
由随机变量序列}{n η与}{n ξ的关系可得如下的雅可比行列式
11
11011001==
J
所以， ,,,,21n ηηη的n 维联合概率密度函数为
)()()(),,,(1121212121---=n n n x x f x x f x f x x x f n n ξξξηηη
于是，
)
()
()()()
()()()(),,/(121121*********,,,/2121121--------=-----=
-n n n n n n n n n n x x f x x f x x f x f x x f x x f x x f x f x x x x f n n n n n n ξξξξξξξξηηηη
由于
2
212112
112
212
11d d d )()()()(d d d ),,,(),(21211---∞
+∞---∞
+∞-----==⎰⎰
-n n n n n n n n n x x x x x f x x f x f x x f x x x x x x f x x f n n n n n ξξξξηηηηη
且
2
212112
12
211211d d d )()()(d d d ),,,()(211211---∞+∞--∞
+∞-----==⎰
⎰--n n n n n n x x x x x f x x f x f x x x x x x f x f n n n ξξξηηηη
所以，
)
()/(11/1---=-n n n n x x f x x f n n n ξηη
因此
)/(),/(1/121,,,/1121----=n n n n x x f x x x x f n n n n ηηηηηη
所以，序列 ,,,,21n ηηη具有马尔可夫性。

(2) 证明：根据条件均值的定义得
]
/[)/(),/(],,,/[111/121,,/1122111121---∞+∞--∞
+∞---=======--⎰
⎰n n n n
n n
n n
n n n n n n y E dy y y f y dy y y y y f y y y y E n n n n ηηηηηηηηηηηη
于是，由给定的关系
n n ξξξη+++= 21
和0][=n E ξ
11112211][],,,/[----=+====n n n n n n y y E y y y E ξηηηη
2.5 设有随机过程ξ(n ) (n =1，2，3，…)，它的状态空间I ：{x ：0<x <1}是连续的，它的参数T 为离散的，T =n (n =1，2，3，…)。

设ξ (1)为（0，1）间均匀分布的随机变量，即ξ (1)的概率密度为
⎪⎩⎪⎨⎧<<==)
(0)
10(1)()(11)1(11其它值x x f x f ξ
ξ (1), ξ (2),…, ξ (m )的联合概率密度为
⎪⎪⎪⎩
⎪
⎪⎪⎨
⎧=<<<<<==--值其它i m m m m m m m m m x x x x f x x x x x x x x x f x x x f ,0),,,()10(1
)
,,,(),,,(21,,2,11112121)(,),2(),1(21,,2,1 ξξξ (1) 求ξ (2)的边际概率密度f 2(x 2)； (2) 试问该过程是否为马尔可夫过程；
(3) 求转移概率密度f 2|1(x 2| x 1)，……，f m |m -1(x m | x m -1)。

(4) 求}3
1
)3(,43)1({<<ξξP 。

(1) 解：由给出的ξ (1), ξ (2),…, ξ (m )的联合概率密度函数可知
)10(1),(121
212,1<<<=
x x x x x f
其分布区域如右图加黑部分所示。

因此，)2(ξ的边际概率密度函数为
⎪⎪⎩
⎪⎪⎨
⎧<<-==⎰值
其它i x x x x dx x x f ,
01)
(0 ln 1
)(12211
222
(2) 证明：因为
1
1211,,2,121,,2,11211,,2,1|1)
,,,(),,,(),,|(-----=
=
m m m m m m m m m x x x x f x x x f x x x x f
(0< x m <x m -1 <…<x 1 <1)
显然,1,2,1|-m m f 只与x m -1有关，所以该过程是马尔可夫过程。

(3) 解：由(2)得
1
1211,2,1|11|1),|()|(-----=
=m m m m m m m m m x x x x x f x x f
其中，0< x m <x m -1<1 (m =1，2，3，…)。

(4) 解：由给出的ξ (1)，ξ (2)，…，ξ (m )的联合概率密度函数可知
⎪⎪⎩⎪⎪⎨⎧<<<<=其它值
,0
)
10(,1
),,(1232
13213,2,1x x x x
x x x x f
于是，
[]13
1
3
1
3
21
22
12
321313,1ln 1d 1
d ),,(),(x
x x x x x x x x x x x x x x f x x f =
==⎰⎰
⎪⎩
⎪
⎨⎧<<<=其它值
,0)10(,ln 1133
11x x x x x
1
x
所以，
3
1)23ln(3223ln(32d ln 21d d ln 1
}31)3(,43)1({2
3/10
34
3313/10
4/3313
113
3
++⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡
==<<⎰
⎰
⎰x x x x x x x x P x
x ξξ
2.6 设有一参数离散、状态连续的随机过程 ,2,1),(=n n ξ，它的状态空间为
{}0;:≥x x I ，又)1(ξ的概率密度函数为
()
()
⎪⎩⎪
⎨
⎧≥==-值其它10
0)()(11111
1x x e x f x f x ξ
)(,),2(),1(m ξξξ 的m 维联合概率密度为
()⎪⎪
⎩
⎪
⎪⎨
⎧=≥≥≥++++-=----值其它i x x x x f x x x x x x x x x x x x x x x x f m m m m m m m m m m 0),,,()0,,0,0()]
(exp[),,,(21,,2,12111221112121,,2,1 （1） 求边际概率密度),,,(1211,,2,1--m m x x x f （2） 求)2(ξ的概率密度；
（3） 说明该过程是马尔可夫过程，并求其转移概率密度)/(1/1--m m t t x x f m m (1) 解：由m 维联合概率密度可得m -1维联合概率密度
)]
(exp[)exp()](exp[)](exp[),,,(112212210
1112211210
1122111211211,,2,1x x x x x x x x dx x x x x x x x x x x dx x x x x x x x x x x x x x f m m m m
m m m m m m
m m m m m m m +++-=-+++-=++++-=---∞+----∞+------⎰⎰
(2) 解：同(1)理可求得：
)](ex p[),,,(112323212212,,2,1x x x x x x x x x x x f m m m m m +++-=-----
)](ex p[),(1121212,1x x x x x x f +-=
所以，
⎪
⎩
⎪⎨⎧
≥+=+-=⎰∞
+值其它22220
1112122,00,)1(1)](exp[)(x x x dx x x x x x f
(3) 解：由条件概率的定义可得
)exp()
,,,(),,,(),,,/(111211,,2,121,,2,11211,,2,1/-------==
m m m m m m m m m m m x x x x x x f x x x f x x x x f
由此可见，当m -1时刻的状态确定时，m 时刻的状态与以前时刻的状态无关。

所以，该过程为马尔可夫过程。

其转移概率密度为
()⎪⎩
⎪
⎨⎧≥≥-=-----值其它i m m m m m m m m m x x x x x x x x f ,00
,0,)exp(/11111/
2.7 有三个黑球和三个白球。

把六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：0，1，2，3。

现每次从甲、乙两袋中各取一球，然后互相交换，即把从甲袋取出的球放入乙袋，把从乙袋取出的球放入甲袋，经过n 次交换，过程的状态为)(n ξ(n =1，2，3，4，…)。

(1) 试问此过程是否为马尔可夫链； (2) 计算它的一步转移概率矩阵。

(1) 证明：显然，该过程由当前状态转移到另一个状态的转移概率只与当前状态和转移到的状态有关，与其它时刻的状态无关。

因此，该过程是为马尔可夫链。

(2) 解：以甲袋中的白球数i 作为该过程的状态。

当0≠i 和3时，过程状态由i 转移到j 概率为
⎪⎪⎪⎪⎪⎪⎩
⎪
⎪⎪⎪⎪⎪⎨
⎧-=⎪⎭⎫ ⎝⎛=-⨯⨯+=⎪⎭
⎫ ⎝⎛-===+值
其它，j i j i i j i i i j i i n j n P 0
)
1(,
3)(,3332)
1(,33})(|)1({2
2
ξξ 当i =0时，101=P ，)1(00≠=j P j ；当i =3时，132=P ，)2(03≠=j P j 。

于是，一步转移概率矩阵为：
⎥⎥⎥⎥
⎥⎥
⎥
⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=0100000010919494949491P
2.8 设)}({n ξ是一马尔可夫链，它的状态转移空间为I ：{0，1，2}，它的初始状态的概率分布为41}0)0({==ξP ，21}1)0({==ξP ，4
1
}2)0({==ξP ；它的一步转移概率矩
阵为
⎪⎪⎪⎪⎪⎪⎪⎭
⎫
⎝
⎛=434
1031313104341P (1) 计算概率}1)2(,1)1(,0)0({===ξξξP ；
(2) 计算)
2(01p 。

(1) 解：由马尔可夫性可得
}0)0({}0)0(|1)1({}1)1(|1)2({}1)2(,1)1(,0)0({=========ξξξξξξξξP P P P
其中，
31}1)1(|1)2({)
1(11====p P ξξ 4
3}0)0(|1)1({)1(01
====p P ξξ 于是
16
1
414331}1)2(,1)1(,0)0({=⨯⨯====ξξξP
(2) 解：二步转移概率矩阵为
⎪⎪⎪⎪⎪
⎪⎪⎭
⎫ ⎝⎛=⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝
⎛⎪⎪⎪⎪⎪⎪⎪⎭⎫
⎝
⎛=483148
1312
13613361636741167165434
1031313104341434
1031313104341(2)P 所以，
16
7
)2(01=
p 另一种解法是根据切普曼-柯尔莫哥洛夫方程得
16
7
410314343412
0)
1(1)1(0)2(01
=⨯+⨯+⨯==∑=i i i p p p 2.9 设有马尔可夫链，它的状态转移空间为I ：{0，1，2}，它的一步转移概率矩阵为
⎪⎪⎪⎪⎪⎭
⎫
⎝
⎛-=01001010p p P (1) 试求(2)P ，并证明(4)(2)P P =； (2) 求1,≥n )(n P 。

(1) 证明：(2)P 和(4)P 分别为
⎪⎪⎪⎪⎪⎭
⎫
⎝
⎛--=⎪⎪⎪⎪⎪⎭⎫
⎝
⎛-⎪⎪⎪⎪⎪⎭⎫ ⎝
⎛-=p p p p p p p p 010100
10100101
00100
1010
(2)
P
⎪⎪⎪⎪⎪⎭
⎫
⎝⎛--=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛--⎪⎪⎪⎪⎪⎭⎫
⎝⎛--==p p p p p p p p p p p p 010100
101010010101
001(2)
(2)(4)P P P 所以，
(4)(2)P P =
(2) 解：实际上，一步转移概率矩阵P 可以经过行列变换为
⎪⎪⎪⎪⎪⎭
⎫
⎝
⎛-01100100
p p
由此可见，这是一个周期为2的马尔可夫链。

所以，当n 为奇数时
⎪⎪⎪⎪⎪⎭
⎫
⎝
⎛-=0100
1010p p )(n P n 为偶数时
⎪⎪⎪⎪⎪⎭
⎫
⎝
⎛--=p p p p 0101
00
1)
(n P 2.10 设有马尔可夫链，它的状态转移空间为I ：{0，1}，它的一步转移概率矩阵为
)10(11P <<⎪⎪⎪⎭
⎫ ⎝⎛--=p p p p p
试用数学归纳法证明
⎪⎪⎪⎪⎭
⎫ ⎝⎛-+-----+=n n n n n p p p p )12(2121)12(2
121)12(2121)12(2121P )
(
证明：当n =1时，显然是成立的。

假设1-=k n 成立，即
⎪⎪⎪⎪⎭
⎫ ⎝⎛-+-----+=-----1111)
1()12(2121)12(2
121)12(2121)12(2121P k k k k k p p p p
则当k n =时
⎪⎪⎪⎭
⎫
⎝⎛--⎪⎪⎪⎪⎭⎫
⎝⎛-+-----+==-----p p p p p p p p k k k k k k)
11)12(2121)12(2
121)12(2121)
12(2
121P P P 1111
)1((
⎪⎪⎪⎪⎭
⎫ ⎝⎛-+-----+=k k k k p p p p )12(2121)12(2
121)12(2121)12(2121
所以结论成立。

2.11 设有马尔可夫链，它的状态空间为}1,0{:I ，它的一步转移概率矩阵为
)10,10(11<<<<⎪⎪⎪⎭
⎫ ⎝⎛--=b a b b a a
P 试求)(n P （利用矩阵的特征值、特征矢量方法计算） 解：解算此题有以下三种方法：
[方法一]：利用矩阵的相似变换：首先，容易解得矩阵P 的两个特征值λ和对应的特征向量分别为
⎪
⎪⎪
⎭⎫
⎝⎛=11,11λ ⎪
⎪⎪
⎭
⎫
⎝⎛---=b a b a ,12λ 由这些特征向量做为列向量构成的矩阵Q 和其逆阵Q -1为
⎥⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡+-+++=⎥⎥⎦
⎤
⎢⎢⎣⎡-=-b a b a b a a b a b
Q b a Q 11111
与矩阵P 存在如下关系
⎥⎥⎦⎤⎢⎢
⎣⎡--=-b a PQ Q 10011
⎥⎥⎦
⎤⎢⎢⎣⎡--=-b a Q Q 1001
1 并且
Q P Q PQ Q PQ PQQ Q PQ Q n n 11111)(-----==
于是得
⎥⎥
⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣⎡+--++---+---++--=⎥⎥⎦
⎤⎢⎢
⎣⎡--=-b a b a b a b a b a b b b a b a a a b a b b a a Q b a Q P
n n
n n n
n )1()1()1()1(1001
1)
( [方法二]：利用矩阵的特征值、特征矢量：首先，由下面的等价关系
X X P X PX PPX X PX n n λλλλ=⇒==⇒=)(2
可知n λ是)(n P 的特征值，P 的特征向量是)(n P 的特征向量。

因此，可由P 的所有特征值和特征向量，利用X X P n n λ=)(这个等式解)(n P 。

设
⎥⎥⎦
⎤⎢⎢⎣⎡=43
21
)
(p p p p P n 对于本题，可得方程组如下
⎥⎥⎦
⎤⎢⎢⎣⎡=⎥⎥⎦
⎤⎢⎢⎣⎡⎥⎥⎦
⎤⎢⎢⎣⎡1111143
21n p p p p ⎥⎥⎦
⎤⎢⎢⎣⎡---=⎥⎥⎦
⎤
⎢⎢⎣⎡-⎥⎥⎦
⎤⎢⎢⎣⎡b a b a b a p p p p n )1(43
21 解得4321,,,p p p p 的值与方法一的结果相同。

[方法三]：利用母函数：首先，转移概率矩阵对应的母函数为
1
1
1
)()1(1)1(1)()(--∞
=⎥
⎥⎦⎤⎢⎢
⎣⎡------=-==∑s b bs
as s
a Ps I s P s G n n n ⎥⎥⎦⎤
⎢⎢⎣
⎡----+-----=s a bs as s b s b a s b a )1(1)1(11)2()1(1
2 将矩阵)(s G 的第一行第一列元素展开成s 的级数为
∑∑∞=∞
=++--+=-++---+00
)1(1)1(1n n n n n s b a b s b a b a a s b a b
s b a b a a
其中，s n 项的系数就是)(n P 的第一行第一列元素，即
b
a b
b a b a a p n ++
--+=
)1(1 同理可得432,,p p p 。

2.12 天气预报问题。

其模型是：今日是否下雨依赖于前三天是否有雨(即一连三天有雨；前面两天有雨，第三天是晴天；…)，问能否把这个问题归结为马尔可夫链。

如果可以，问该过程的状态有几个？如果过去一连三天有雨，今天有雨的概率为0.8；过去三天连续为晴天，而今天有雨的概率为0.2；在其它天气情况时，今日的天气与昨日相同的概率为0.6。

求这个马尔可夫链的转移矩阵。

解：此问题本来不是马尔可夫链，但是通过将连续三天的天气情况定义为一个状态，则可以认为是一个马尔可夫链。

每天的天气状况分为有雨（用“1”表示）和无雨（用“0”表示）两种情况，所以该马尔可夫链有23=8中状态。

将连续四天的天气情况用Y 和N 表示。

例如，前三天有雨，第四天无雨，则表示为YYYN 。

根据题意可知，如果过去一连三天有雨，今天有雨的概率为0.8；过去三天连续为晴天，而今天有雨的概率为0.2；即
P{1111}=0.8，P{0001}=0.2，
在其它天气情况时，今日的天气与昨日相同的概率为0.6，即
P{0011}= P{0111}=P{1011}=0.6 P{1100}=P{0000}= P{0100}=P{1000}=0.6
于是可得其它的概率值为
P{0000}=1-P{0001}=0.8，P{0010}=1-P{0000}=0.2，P{0101}=1-P{0100}=0.4 P{0110}=1-P{0111}=0.4，P{1001}=1-P{1000}=0.4，P{1010}=1-P{1011}=0.4 因此，概率转移矩阵为
⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡8.002.000000000000008.02.0001
000000
06.04.006.04.006
.04.0000
00000000
000000
6.04.0000
2.08.0
2.13 设有马尔可夫链，它的状态空间为I ：{0，1}，它的一步转移概率矩阵为
⎪⎪⎪⎪⎭
⎫ ⎝⎛=323
12121
P 试求)1(00f ，)2(00f ，)3(00f ，)1(01f ，)2(01f ，)
3(01f 。

解：21)
1(00)1(00
==p f ，2
1)
1(01)1(01
==p f ⎪⎪⎩⎪
⎪⎨
⎧=⨯===⨯==41
2121613121)1(01)1(00)2(01
)
1(10)1(01)2(00p p f p p f
⎪⎪⎩⎪
⎪⎨
⎧=⨯⨯===⨯⨯==91
31322181212121)1(10)1(11)1(01)3(01
)
1(01)1(00)1(00)3(01p p p f p p p f 另一种方法是利用母函数
)
6)(1(2116)(,)
6)(1(2)()
6)(1(3)(,)
6)(1(3216)(01000100--⎪
⎭
⎫ ⎝
⎛-=--=
--=
--⎪
⎭
⎫ ⎝
⎛-=s s s s P s s s
s P s s s
s P s s s s P
由下面的关系
)()(1)(000000s P s F s P +=
可得
∑∑∞=∞
=⎪⎭⎫ ⎝⎛+⎪⎭
⎫
⎝⎛-
=-+-=-=002
20000642646
463)(11)(n n
n n
s s s s s s s s P s F )1(00f 就是s 项的系数，)1(00f 就是2s 项的系数，)
1(00f 就是3s 项的系数。

所以，
⎪⎪⎪⎪
⎩
⎪⎪⎪
⎪⎨
⎧=⎪⎭⎫ ⎝⎛⨯+⨯-==-⨯==91
6421646161616421212)3(00)
2(00)
1(00
f f f 同理可得)1(01f ，)2(01f ，)
3(01f 。

两种方法的结果是一致的，但是后一种方法不会漏项，尤其在)(n j i f 中n 很大时只能采用这种方法。

3.14 设有一个三状态{0，1，2}的马尔可夫链，它的一步转移概率为
⎪⎪⎪⎪⎪⎭
⎫ ⎝⎛=33
22110
0p q q p q p )
(n P 试求)1(00f ，)2(00f ，)3(00f ，)1(01f ，)2(01f ，)
3(01f 。

解：
⎪⎩⎪⎨
⎧====1
)1(01)1(01
1
)1(00)1(00
q p f p p f ⎪⎩⎪⎨
⎧=⨯+=+==⨯+⨯=+=1
111)1(21)1(02)1(01)1(00)2(01
31)1(20)1(02)1(10)1(01)2(00
000
00q p q p p p p p f q q p p p p f ⎪⎪⎪⎪⎪⎩
⎪⎪⎪⎪⎪⎨⎧=⨯⨯+⨯⨯+⨯⨯+=+++==⨯⨯+⨯⨯++⨯=+++=1
213131111)1(21)1(22)1(02)1(01)1(20)1(02)1(21)1(02)1(00)1(01)1(00)1(00)3(013
213332121)
1(20
)1(22)1(02)1(10)1(21)1(02)1(20)1(12)1(01)1(10)1(11)1(01)
3(000000000000q p p q q p q p p p p p p p p p p p p p p f q q q q p q q q p q p p p p p p p p p p p p f
此题也可以用习题2.13的方法，通过求)(s F ij 获得上述值。