第一章 有限马尔可夫链(1).ppt

之间至多存在一条边. 如果顶点v1, v2 相邻， 即存在一条边连接着这两个顶点，那么记为 v1 ~ v 2
马尔可夫链：它的状态是图中的顶点。在任 意一个时间间隔内，该马尔可夫链从与现在 状态相邻的状态中随机地选取一个新的状态 该链的转移矩阵为
p ( vi , v j ) 1 d ( vi ) , vi ~ v j ,
这样的 也为平稳概率分布、平衡概率分 布或者稳态概率分布。一个不变概率向量是P 的特征值1对应的一个左特征向量。 对于随机矩阵的不变概率分布，很自然地 要问下面三个问题： 1. 是不是每个随机矩阵P都存在一个不变概率 分布 2. 这个不变概率分布是否唯一？
3. 什么时候能够得出
lim P
第1章 有限马尔可夫链
定义和举例 一个离散时间的随机过程 { X } ，其中每个 X 在有限集合 S {1, ..., N } 或者 {0, ..., N 1} 上取值。 我们给出这个过程的联合概率分布
1.
n n0
n
P ( X 0 i0 , X 1 i1 , ..., X n i n )
lim vP
n
v
为任意概
,
其中 是 的一行. 1 p 例2. 考虑1.1节例 2，令 4
3 4 P 1 8 0 1 4 2 3 1 6
(2
,3 ) 5 5
,q
1
6
，
5 24 5 6 0
对于一个很大的n
0 .1 8 2 n P 0 .1 8 2 0 .1 8 2 0 .3 6 4 0 .3 6 4 0 .3 6 4 0 .4 5 5 0 .4 5 5 0 .4 5 5
随机矩阵的一个结论： 如果P是一个随机矩阵，且对某一n, P n 的所有元素均为严格正的，则P满足1和2.
例6. 考虑例1并假定电话在0时刻空闲. 设 P=1/4, q=1/6, 令n=6, 则
3 4 6 P 1 6 4 0 .4 2 4 5 0 .3 8 4 6 1 0 .5 7 6 0 .6 1 6
如果电话在0时刻空闲, 那么 0
0 P ( n ) ?
n n


的结论，从而对所有初始概率向量 v 有
lim v P
n n
?
我们考虑两状态马尔可夫链
1 p P q 1 q p
Hale Waihona Puke Baidu
设P是任意的随机矩阵. 很容易验证向量 (1, 1,…,1)是特征值1对应的一个右特征向 量，所以对于特征值1至少存在一个左特征 向量。假设我们证明： 1. 能够选出一个左特征向量使得它的所有 分量非负 2. 特征值1是单重的，并且其他所有特征 值的绝对值均小于1
其中 有
(2
11
,4
11
,5
11
) ，所以对于任意概率向量
n
v
都
lim v P
n

假设 为一个极限概率向量，即对某一初始 概率向量有
lim vP
n n 1
( lim vP ) P P
n n
如果对于P有
P
则称概率向量 为P的一个不变概率分布。
n n 1
lim P
n
n
1 0 Q 0
0

0
0 Q 1

Perron-Frobenius定理 1是P的单重特征值 对于特征值1，存在某个特征向量，其元素 均为正；其他所有特征值的绝对值严格小 于1。
例3. 带有反射壁的随机游动. 考虑一个沿 位置 {0 ,1,..., N } 移动的“随机游动”. 考虑质 点在每一个时间点上向左或向右移动一步 向右移的概率为 p ，向左移的概率为1 p 如果游动到达边界点 { 0 , N } ，那么以概率1 向区间内移动.
带有吸收壁的随机游动. 该马尔可夫链与例3基 本相同, 只是当质点到达0或N时, 它将永远停留 在那里. 转移矩阵为
6
(1, 0 )
1.2 极限行为和不变概率
为了了解马尔可夫的极限行为相当于了 解当n很大时 P n 的性质. 考虑例子:
3 4 P 1 6 4 5 6 1
P
n
0 .4 0 .4
0 .6 06
即一个极限矩阵
lim P
n n
存在矩阵 的各行都相同. 如果 率向量， 那么 n
从而
P { X n j}
( i )P { X
i S
n
j X 0 i}
Chapman-Kolmogorov方程：设 P ( m , n ) 为马尔科夫链的转 ij 移概率， 则它具有下列性质：
1. 2.
Pij ( m , n ) 0;
P ( m , n ) 1;
( 的值，其中n为任意值，i 态序列。
0
, ..., i n )
为任意有限状
Markov property:
P { X n in | X 0 i0 , ..., X n 1 in 1 } P { X n i | X n 1 i n 1 }
Time-homogeneous Markov chain:
虽然不是所有的P都能够对角化，但是却都 能进行若尔当分解，即存在矩阵Q，使得
D Q
1
1
PQ ,
其中 Q 的第一行是唯一不变概率向量 ，Q的第 一列元素为1. 1 0 0
0 D 0 M
其中
M 0
n
.
lim Q D Q
P { X n i n | X 0 i0 , ..., X n 1 i n 1 } p ( i n 1 , i n )
马尔可夫链的概率性质：初始概率分布
( i ) P { X 0 i}
转移概率
p (i , j )
，可以得到
马尔可夫链转移矩阵
p (1,1) p ( 2,1) P p ( N ,1) p (1, 2 ) p ( 2, 2 ) p ( N , 2) p (1, N ) p ( 2, N ) p(N , N )
其中 d ( v i ) 是指与 v i 相邻的顶点数, 该马尔 可夫链称为图上的简单随机游动.
在给出转移矩阵P以及初始概率分布 的条件下，我 们如何确定马尔科夫链在给定时刻 n 处于状态 i 的概率？ 定义 n 步转移概率
p n ( i , j ) P { X n j X 0 i} P { X n k j X k i}
ij j I
3. 如果 n m 0, 则
Pij ( m , n )
P ( m , ) P ( , n ).
ik kj kI
定理 马尔可夫链的有限维分布由转移概率和初始概率分布决定， 即 P { X 0 i0 , ..., X n in } ( i0 ) p ( i0 , i1 ) p ( i1 , i 2 ) p ( i n 1 , i n )
n
n
例2. 简单排队模型. 对例1作一点改动：假 定电话繁忙时，可以允许一个来电在系统 内等待. 从而在任意时刻，系统内的来电数 在集合 S {0 ,1, 2} 上取值，同样地，假设任意 一个接通的电话都以概率 q 在一个时间间 隔内完成，且在系统没有达到饱和的情况 下，接到新来电的概率为 p .
0 p ( i , j ) 1,1 i , j N ,

N
p ( i , j ) 1,1 i N .
j 1
即马尔可夫转移矩阵是一个随机矩阵。
例1. 两状态马尔可夫链. 考虑一个描述电 话状态的简单模型，其中 X 0 表明电话在 时刻 n 空闲， X 1 表明电话在时刻 n 繁忙 假设在每个时间间隔内有一个电话打进的 概率为 p . 当电话繁忙时，来到的呼叫无法 进入系统。
p ( i , i 1) p , p ( i , i 1) 1 p , 0 i N
p (0, 0 ) 1, p ( N , N ) 1 .
例5 图上的简单随机游动. 一个(有限, 简单, 无 向)图是由有限顶点集V和边集E构成的, 其中每 条边都连接着两个不同的顶点, 并且任意两顶点