马尔可夫链的概念及转移概率

第四章4.1 马尔可夫链的的概念及转移概率一、知识回顾二、马尔可夫链的的定义三、转移概率四、马尔可夫链的一些简单例子五、总结一、知识回顾1. 条件概率定义：设A ，B 为两个事件，且P(A)>0，称P (B |A )=P(AB)P(A)为事件A 发生条件下B 事件发生的条件概率。

将条件概率公式移项即得到所谓的乘法公式：P (AB )=P(A)P(B|A)2.全概率公式设试验E 的样本空间为S ，A 为E 的事件，若B 1,B 2，⋯，B n 为S 的一个完备事件组，既满足条件：1).B 1,B 2，⋯，B n 两两互不相容，即B i B j =∅，i ≠j,i,j =1,2,⋯,n2). B 1∪B 2∪⋯∪B n =S ，且有P (B i )>0,i =1,2,⋯,n ，则P (A )=∑P (B i )P (A|B i )n i=1此式称为全概率公式。

3.矩阵乘法矩阵乘法的定义A =(a 11a 12a 13a 21a 22a 23)，B =(b 11b 12b 21b 22b 31b 32)C =(c 11c 12c 21c 22)如果c 11=a 11×b 11+a 12×b 21+a 13×b 31c 12=a 11×b 12+a 12×b 22+a 13×b 32c 21=a 21×b 11+a 22×b 21+a 23×b 31c 22=a 21×b 12+a 22×b 22+a 23×b 32那么矩阵C 叫做矩阵A 和B 的乘积，记作C =AB4.马尔可夫过程的分类马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：（1） 时间、状态都是离散的马尔科夫过程，称为马尔可夫链；（2） 时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的；（3） 时间、状态都连续的马尔科夫过程。

二、马尔科夫链的定义定义 4.1设有随机过程{X n,n∈T}，若对于任意的整数n∈T和任意的i0,i1,…,i n+1∈I，条件概率都满足P{X n+1=i n+1|X0=i0,X1=i1,…,X n=i n}=P{X n+1=i n+1|X n=i n}(4.1.1)则称{X n,n∈T}为马尔科夫链，简称马氏链。

式(4.1.1)即为马氏链，他表明在状态X(0)=i0,X(1)=i1,…X(n)=i n已知的条件下，X(n+1)=j的条件概率与X(0)=i0,X(1)=i1,…X(n−1)=i n−1无关，而仅与X(n)所处的状态i n有关。

式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。

由定义知P{X0=i0,X1=i1,…,X n=i n}=P{X n=i n|X0=i0,X1=i1,…,X n−1=i n−1}∙P{X0=i0,X1=i1,…,X n−1=i n−1}=P{X n=i n|X n−1=i n−1} P{X0=i0,X1=i1,…,X n−1=i n−1}=⋯=P{X1=i1|X0=i0}P{X0=i0}可见，马尔科夫链的统计特性完全由条件概率P{X n+1=i n+1|X n=i n}所决定。

如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。

现举一例说明上述概念：例4.1.1 箱中装有c个白球和d个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。

现引进随机变量序列为{X(n),n=1,2,⋯},每次取样试验的所有可能结果只有两个，即白球或黑球。

若以数a1代表白球，以数a2代表黑球则有X(n)={a1，第n次抽球结果为白球a2，第n次抽球结果为黑球由上所述的抽球规则可知，任意第n次抽到黑球或白球的概率只与第n-1次抽得球的结果有关，而与第n−2次，第n−3次，⋯，第1次，抽的球的结果无关，由此可知上述随机变量序列{X(n),n=1,2,⋯},为马氏链。

三、转移概率定义4.2 称条件概率p ij (n )=P{X n+1=j|X n =i}为马尔科夫链{X n ,n ∈T}在时刻N 的一步转移概率，其中i,j ∈T ，简称为转移概率。

条件概率p ij (n )：随机游动的质点在时刻n 处于状态i 的条件下，下一步转移到状态j 的你改率。

一般地，转移概率p ij (n )不仅与状态i ，j 有关，而且与时刻n 有关。

当p ij (n )不依赖与时刻n 时，表示马尔科夫链具有平稳转移概率。

定义4.3 若对任意的i,j ∈T ，马尔科夫链{X n ,n ∈T}的转移概率p ij (n )与n 无关则称马尔科夫链是齐次的，并记p ij (n )为p ij 。

下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。

设P 表示一步转移概率p ij 所组成的矩阵，且状态空间I ={1,2,…}，则P =(p 11p 12…p 21p 22………… p 1n …p 2n ………) 称为系统状态的一步转移概率矩阵。

它具有性质：(1) p ij ≥0，i ，j ∈I ；(2) ∑p ij j∈T =1，i ∈I .(2)式中对j 求和是对状态空间I 的所有可能状态进行的，此性质说明一步转移概率矩阵中任一行元素之和为1.通常称满足上述（1）、（2）性质的矩阵为随机矩阵。

定义4.4 称条件概率p ij (n)=P {X m+n =j |X m =i }, i,j ∈I,m ≥0,n ≥1为马尔科夫链{X n ,n ∈T}的n 步转移概率，并称P (n)=(p ij (n))为马尔科夫链的n 步转移矩阵，其中(p ij (n ))≥0，∑(p ij (n ))j∈T =1，即P (n)也是随机矩阵。

当n=1是，p ij (1)=p ij ，此时一步转移矩阵P (1)=P . 此外我们规定p ij (0)={0，i ≠j ，1，i =j.定理4.1 设{X n ,n ∈T}为马尔科夫链，则对任意整数n ≥0，0≤l <n 和i,j ∈T ，n 步转移概率p ij (n)具有下列性质：(1) p ij (n)=∑p ik (l )p kj (n−l );k∈I (2) p ij (n)=∑…k 1∈I ∑p ik 1p k 1k 2…p k n−1j ;k n−1∈I(3) P (n)=PP (n−1);(4) P (n)=P n .证 (1)利用全概率公式及马尔科夫性，有p ij (n)=P{X m+n =j|X m =i}=P{X m =i,X m+n =j}P{X m =i}=∑P{X m =i,X m+l =k,X m+n =j}P{X m =i,X m+l =k}k∈I ∙P{X m+l =k|X m =i} =∑p kj (n−l )p ik (l )(m)k∈I =∑p ik (l )p kj (n−l )k∈I(2)在(1)中令l=1,k=k 1得p ij (n)=∑p ik 1p k 1j(n−l );k∈I 这是一个递推公式，故可递推得到p ij (n)=∑…k 1∈I ∑p ik 1p k 1k 2…p k n−1j ;k n−1∈I(3)在(1)中令l=1,利用矩阵乘法可证。

(4)由(3)，利用归纳法可证。

定理4.1中(1)式称为切普曼——柯尔莫哥洛夫方程，简称C-K 方程。

它在马尔科夫链的转移概率的计算中起着重要的作用。

(2)式说明n 步转移概率完全由一步转移概率决定。

(4)式说明齐次马尔科夫链的n步转移概率矩阵是一步转移概率矩阵的n次乘方。

定义4.5设{X n,n∈T}为马尔科夫链，称p j=P{X0=j}和p j(n)=p{X n=j}，(j∈I)为{X n,n∈T}的初始概率和绝对概率，并分别成{p j,j∈I}和{p j(n),j∈I}为{X n,n∈T}的初始分布和绝对分布，简记为{p j}和{p j(n)}。

称概率向量P T(n)=(p1(n)，p2(n)，…)为n时刻的绝对概率向量，而称P T(0)=(p1，p2，…)为初始概率定理4.2设{X n,n∈T}为马尔科夫链，则对任意j∈I和n≥1，绝对概率p j(n)具有下列性质：（1）p j(n)=∑p i p ij(n)i∈I；（2）p j(n)=∑p i(n−1)p iji∈I；（3）P T(n)=P T(0)P(n)；（4）P T(n)=P T(n−1)P.证(1) p j(n)=P{X n=j}=∑Pi∈I{X0=i,X n=j}=∑Pi∈I {X n=j|X0=i}P{X0=i}=∑p ii∈Ipij(n)(2)p j(n)=P{X n=j}=∑Pi∈I{X n=j,X n−1=i}=∑Pi∈I{X n=j| X n−1=i}P{X n−1=i}=∑p ii∈I(n−1)p ij(3)与(4)中式是(1)与(2)中式的矩阵乘积形式，显然成立。

证毕。

定理4.3设{X n,n∈T}为马尔科夫链，则对任意i1,…i n∈I和n≥1，有P{X1=i1,…,X n=i n}=∑p i p ii1…i∈I p in−1i n证由全概率公式及马氏性质有P{X1=i1,⋯,X n=i n}=P(⋃{X0=i,X1=i1,⋯,X n=i n}i∈I)=∑Pi∈I{X0=i,X1=i1,⋯,X n=i n}=∑P{X0=i}P{X1=i1|X0=i}i∈I⋯∙P{X n=i n|X0=i,⋯,X n−1=i n−1}=∑P{X0=i}P{X1=i1|X0=i}i∈I⋯P{X n=i n|X n−1=i n−1}=∑p ii∈I p ii1⋯p in−1i n证毕一、 马尔可夫链的的一些简单例子马尔科夫链在研究质点的随机运动、自动控制、通信技术、生物工程、经济管理等领域中有着广泛的应用。

例4.1 无限制随机游动设质点在数轴上移动，每次移动一格，向右移动的概率为p ，向左移动的概率为q =1−p ，这种运动称为无限制随机游动。

以X n 表示时刻n 质点所处的位置，则{X n ,n ∈T}是一个齐次马尔科夫链，试写出它的一步和k 步转移概率。

解 显然{X n ,n ∈T}的状态空间I ={0,±1,±2,…}，其一步转移概率矩阵为 P =(………q ……0p ……0……0…… q 0…… p ………) 设在第k 不转移中向右移了x 步，向左移了y 步，且经过k 步转移状态从i 进入j ，则{x +y =k ，x −y =j −i ，从而x =k +(j −i)2，y =k −(j −i)2. 由于x ，y 都只能取整数，所以k ±(j −i)必须是偶数。