几种常用的随机过程复习课程

几种常用的随机过程

第十讲 几种常用的随机过程

10.1 马尔可夫过程 10.1.1马尔可夫序列

马尔可夫序列是指时间参数离散，状态连续的马尔可夫过程。

一个随机变量序列x n （n=1,2,…）,若对于任意的n 有

)|(),...,,|(112

1

x x F x x

x x F n n X n n n

X

---=

（10.1） 或

)

|(),...,,|(112

1

x

x f x x

x x f n n

X

n n n

X

---=

（10.2）

则称x n 为马尔可夫序列。x n 的联合概率密度为

)

()|( )

|()|(),...,,(1

1

2

2

11

2

1

x f x x f x x f x x f x x x f X

X

n n X

n n

X

n

X

⋅⋅---=Λ

（10.3）

马尔可夫序列有如下性质：

（1） 一个马尔可夫序列的子序列仍为马

尔可夫序列。 （2）

)

|(),...,,|(1

2

1

x

x f x x

x x f n n

X

k n n n n

X

-+++=

（10.4）

（3） )

|(),...,|(1

11

x

X x x

X n n n n E E --= （10.5）

（4） 在一个马尔可夫序列中，若已知现

在，则未来与过去相互独立。即

)|()

|()|,(1

x x f x

x f x x x f r

s

X

n n

X

r

s

n

X

-=

，n>r>s （10.6）

（5） 若条件概率密度)|(1x x f n n X -与n 无

关，则称马尔可夫序列是齐次的。 （6） 若一个马尔可夫序列是齐次的，且

所有的随机变量X n 具有同样的概率密度，则称该马尔可夫序列为平稳的。 （7） 马尔可夫序列的转移概率满足切普

曼—柯尔莫哥洛夫方程，即

)|()|

()|(x x f

x x f

x x f

s

r X

r

n X

s

n X

⎰

∞

∞

-=

，n>r>s

(10.7)

10.1.2马尔可夫链

马尔可夫链是指时间参数，状态方程皆为离散的马尔可夫过程。

1 马尔可夫链的定义 设)

,2,1(Λ=n X n 为离散时间随机过程，其状态空间

}

,,,{21a a a N I Λ=。如果过程在k m t +时刻为任

一状态),,2,1(N i a i k m Λ=+的概率，只与过程在m t 时刻的状态有关，而与过程在m t 时刻以前的状态无关，即

1

1m k {|,,} P{|} (10.8)X m k m m k m m k m m P i i i i i a

a a X X X a a X ++++======L 则称该过程为马尔可夫链，或简称马氏链。

2 马氏链的转移概率及有限维分布

马氏链的转移概率定义为

(,){|},

i,j 1,2,N;m,k

.9m k

m j i ij

m m k p p a a X

X ++====L 皆为正整数（10）

如果

)

,(k m m p ij

+与m 无关，则称该马氏

链为齐次的。下面我们仅研讨齐次马氏

链，并习惯上省去“齐次”二字。

马氏链的一步转移概率及其矩阵分别定义为

m 1

(1)(,1)P{|} (10.10)

X

m ij ij ij m m j i

p p p a

a X +=+====

⎥⎥

⎥⎥

⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡==p p p p p p p p p NN N N N N P P ΛM ΛΛ21

2222111211

)1( （10.11）

一步转移概率矩阵P 有以下两个性质

1

0≤≤

p

ij

（10.12）

∑==N

i ij

p

1

1

（10.13）

马氏链的高阶转移概率及其矩阵分别定义为

m n

()(,)P{|} ( 10.14 )

X

m ij ij n m m n j i

p p a

a X +=+===11

12

121

22

21

2

()()()()

()

()() (10.15)

()()()N

N N N NN n n n n n n P n n n n p p

p p p p

p p

p ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢

⎥

⎢⎥⎣⎦

L L

M L

n 步转移概率矩阵P(n)具有如下的性质：