随机过程(刘次华)第五章试题

第五章复习题

1. 证明泊松过程(){}

,0X t t ≥为连续时间齐次马尔可夫链。

证 先证泊松过程的马尔可夫性。泊松过程是独立增量过程，且()00X =，对任意

1210n n t t t t +<<<<<有

1111111121211111{()|(),,()}

{()()|()(0),()(),,()()}

{()()}

n n n n n n n n n n n n n n n n P X t i X t i X t i P X t X t i i X t X i X t X t i i X t X t i i P X t X t i i ++++--++====-=--=-=--=-=-=-另一方面

111111{()|()}

{()()|()(0)}{()()}

n n n n n n n n n n n n n n P X t i X t i P X t X t i i X t X i P X t X t i i ++++++===-=--==-=- 所以111111{()|(),

,()}{()|()}n n n n n n n n P X t i X t i X t i P X t i X t i ++++======

即泊松过程是一个连续时间马尔可夫链。 再证齐次性，当j i ≥时，

(){()|()}{()()}()!

j i

t

t P X s t j X s i P X s t X s j i e

j i λλ--+===+-=-=-

当j i <时,因增量只取非负整数值,故(),0ij p s t =，

所以(),(,)()()!

0,j i

t ij ij t e

j i p s t p t j i j i λλ--⎧≥⎪==-⎨⎪<⎩

转移概率与s 无关，泊松过程具有齐次性。

2、连续时间齐次马尔可夫链的科尔莫戈罗夫向后方程是()()()ij

ik

kj ii ij k i

p t q

p t q p t ≠'=-∑，其

矩阵表达式为()()P t QP t '=，其中()P t 是马尔可夫链的状态转移矩阵，Q 是马尔可夫链的转移速率矩阵。

3、连续时间齐次马尔可夫链的科尔莫戈罗夫向前方程是()()()ij

ik kj

ij jj k i

p t p

q t p q t ≠'=-∑，其

矩阵表达式为()()P t P t Q '=，其中()P t 是马尔可夫链的状态转移矩阵，Q 是马尔可夫链的转移速率矩阵。

4、连续时间的马尔可夫链在t 时刻处于状态j I ∈的绝对概率()j p t 满足福克-普朗克方程是()()()()j k kj

j jj k i

p t p t q

t p t q ≠'=

-∑。

5、设连续时间的马尔可夫链是不可约的，若它是正常返的，则极限()ij t lim p t →∞

存在且等于

0j ,j I π>∈这里j π是方程组1j jj k kj k j

j i I

q q πππ≠∈⎧=⎪⎨

=⎪⎩∑∑的唯一非负解。此时称{}j ,j I π∈ 是该过程的平稳分布，并且有()j t lim p t →∞

=

j π；若它是零常返的或非常返的，则

()()ij j t t lim p t lim p t →∞

→∞

== 0