随机过程(七)-马氏链

第四章Markov过程主要内容

⏹离散时间Markov链

⏹转移概率

⏹平稳分布

⏹状态分类

⏹极限定理

⏹连续时间Markov链

⏹Kolomogrov微分方程

⏹连续时间马氏过程

第一节 离散时间Markov 链

一、Markov 链的定义

⏹ 直观含义：要确定过程将来的状态，只需知道过程现在的状态

就足够了，并不需要知道过程以往的状态。

⏹ 定义：随机过程{,0,1,2,}n X n =⋅⋅⋅称为马氏链（Markov 链），若

它只取有限或可列个值E 0, E 1,E 2,…，且对任意的n ≥0及状态

011,,,,,n i j i i i -⋅⋅⋅有

10011111{|,,,,}{|}

n n n n n n P X j X i X i X i X i P X j X i +--+===⋅⋅⋅=====

用条件概率的语言来说

11011{,,|,,,}{,

,|}

n n k k n k k n P X j X j X X X P X j X j X ++==⋅⋅⋅===

注：

1、E 0, E 1,E 2,…称为Markov 链的状态，通常用0，1，2，…来标记E 0, E 1,E 2,…。{0，1，2，…}称为过程的状态空间，记为S 。

2、若Markov 链的状态是有限的，则称为有限链，否则称为无限链。 2、条件概率11{|}n n n n P X i X i --==，n ＝1，2，……称为Markov 链的一步转移概率。

3、若转移概率1{|}n n P X j X i -==只与状态,i j 有关，而与时间n 无关，则称该Markov 链是时齐Markov 链，并记1{|}ij n n p P X j X i -===，否则称Markov 链是非时齐的。矩阵

0001021011120

1

2

()ij ij S

n n n p p p p p p P p p p p ∈⎛⎫ ⎪ ⎪ ⎪== ⎪ ⎪ ⎪ ⎪ ⎪⎝

⎭

称为转移矩阵。

4、()

{|}k ij n k n p P X j X i +===称为k 步转移概率，()k P 称为k 步转移矩阵。当n ＝1时，(1)ij ij p p =，(1)P P =。此外规定

(0)

0,1,ij i j p i j

≠⎧=⎨

=⎩

二、转移矩阵的性质 1. 0,,ij p i j S ≥∀∈；

2.

1,ij

j S

p

i S ∈=∀∈∑

3. C －K 方程：()()()()()

m n m n n m ij

ik kj ik kj k S

k S

p p p p p +∈∈==∑∑， 用矩阵可以表示为()()()m n m n P P P +=⋅

4. ()k

k k

P P P P =⋅⋅⋅=

3的证明：

()0000000000{|}

{,}

{}

{,,}

{}

{|,}{,} {}{|}{,}

{}

m n ij n m n m n m n k S

n m n n k S n m n n k S p P X j X i P X j X i P X i P X j X k X i P X i P X j X k X i P X k X i P X i P X j X k P X k X i P X i ++++∈+∈+∈======

===================∑

∑

∑

()()()

0 {|}m n m kj n ik kj

k S

k S

p P X k X i p p ∈∈====∑∑

4的证明： 由3知

()(1)(2)n n n n P P P P P P P --=⋅=⋅⋅=

=

四、Markov 链的例子

例1（随机游动）假设一个球在全直线上做无限制的随机游动，它每次以概率p 向左移动一步，以概率1－p 向右移动一步，因此它的状态空间为0,1,2,

±±，请写出它的转移矩阵。

例2 假设有一蚂蚁在下面的图上爬行，当两个结点相临时，蚂蚁将爬向图临近一点，并且爬向任何一个邻居的概率是相同的，请写出它的转移矩阵。 2

1 5

3

6

4

例3 设当日有雨，则第二天有雨的概率为0.7，当日无雨第二天有雨的概率为0.5。已知今天没有雨，求四天后有雨的概率。

解：

假设0表示有雨，1表示没有雨，则转移矩阵可以写为

0.70.30.50.5P ⎛⎫= ⎪⎝⎭

因此

(2)0.70.30.70.30.610.390.50.50.50.50.520.48P P P ⎛⎫⎛⎫⎛⎫

=⋅=⋅= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭

(4)(2)(2)0.610.390.610.390.57490.42510.520.480.520.480.56680.4332P P P ⎛⎫⎛⎫⎛⎫

=⋅=⋅= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭

已知今天没雨，四天后没有雨的概率是?

三、Markov 链的分布 1、一维分布

假设初始分布00(){},i P X i i S π==∈已知，记((1),...(),...)'t t t n πππ=为X t 的分布，则

111000(){}

{|}() ()i S

ij

i S

j P X j P X j X i P X i i p ππ∈∈=======∑∑

11()(|)()

()t t t t i S

t ij

j S

j P X j X i P X i i p ππ++∈∈=====∑∑