马氏链模型

1 马氏链模型

正则链 从任意的状态出发经过有限次的转移都能达到另外的任意状态，

定义如下： 一个有K 个状态的马氏链如果存在正整数N ，使从任意状态i 经过N 次转移都以大于零的概率到达状态j （i ，j=1,2，...k ）则称为正则链。

定理1 若马氏链的转移矩阵为P ，则它是正则链的充要条件是：存在正整数N 使p N >0(指p N 的每个元素大于零)

定理2 正则链存在唯一的极限状态概率w=()12k ωωω ，，，使得当n →∞时状态概率()a n w →，w 与初始状态概率无关，w 又称稳定概率，满足

11

k i i wP w

w ===∑

从状态i 出发经过n 次转移，第一次到状态j 的概率称为i 到j 的首次概率，记作()ij f n 于是

()1ij ij n nf n μ∞

==∑

为状态i 第一次到达状态j 的平均转移次数，特别地，ij μ是状态i 首次返回的平均转移次数。ij μ与稳定概率ω有密切地关系，即

定理3 对于正则链

ij =1/μω

吸收链 1ii p =，于是系统一旦进入状态i 就不再离开它，可以把它看作“吸收”其它状态的一个状态，并且从其它的状态可以经过有限次的转移到达状态i 定义如下： 定义2 转移概率1ii p =的状态i 称为吸收状态。如果马氏链至少包含一个吸收状态，并且从每个非吸收状态出发，能以正的概率经有限次的转移到达某个吸收状态，那么这个马氏链称为吸收链。

吸收链的转移矩阵可以写成简单的标准形式，若有r 个 吸收状态，k-r 个非吸收状态，则转移矩阵P 可表示为

r r I O P R Q ⨯⎡⎤=⎢⎥⎣⎦

其中k-r 阶子方阵Q 的特征值λ满足1λ＜这要求子阵()k r r R -⨯中必含有非零元素，已满足从任意一非吸收状态出发经有限次转移可到达某个吸收状态的条件。这样Q 就不是随机矩

阵， 它至少存在一个小于1的行和，且如下定理成立

定理4 对吸收链P 的标准形式，（I-Q ）可逆，

()10s s M I Q Q ∞-==-=∑记元素全为1的列向量()1,1,,1T

e = 则y=Me

的第i 个分量是从第i 个非吸收状态出发，被某个吸收状态吸收的平均转移次数。设状态i 是非吸收状态，j 是吸收状态，那么首达概率()ij f n 实际上是i 经过n 次转移被j 吸收的概率，而

()n =ij ij

f f n ∞

∑ 则是从非吸收状态i 出发终将被吸收状态j 吸收的概率。记作{}()ij

k r r F f -⨯=下面的定理给出了计算ij f 的方法

定理5 设吸收链的转移矩阵P 表为标准形式，则

F MR =