马尔可夫链

马尔可夫过程

编辑词条

一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 ( 过去 ) 。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。

目录

马尔可夫过程

离散时间马尔可夫链

连续时间马尔可夫链

生灭过程

一般马尔可夫过程

强马尔可夫过程

扩散过程

编辑本段马尔可夫过程

Markov process

1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。

类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当现在所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2，…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗

传过程）在一定条件下可以用马尔可夫过程来近似。

关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。

编辑本段离散时间马尔可夫链

以上述荷花池中的青蛙跳跃过程为例，荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n10,i0,i1,i2，…，i(n-1），i,j∈E，有

(1)P[x(n)=in|x(0)=i0,x(1)=i1,...,x(n-1)=i(n-1)]=P[x(n)=in|x(n-1)=i(n-1)]

（以下n与m的区别请注意！）

只要其中条件概率（见概率）有意义。一般地，设E={0，1，…，M}(M为正整数）或E ={0,1,2，…},Xn，n≥0为取值于E的随机变量序列，如果（1）式成立，则称{X,n≥0}为马尔可夫链。如果（1）式右方与m无关，则称为齐次马尔可夫链。这时（1）式右方是马尔可夫链从i出发经n步转移到j的概率，称为转移概率，记为。对于马尔可夫链，人们最关心的是它的转移的概率规律，而n步转移矩阵正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k，然后再从k出发（与过去无关地）经m步再转移到j，因此有

这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1，具有这样性质的矩阵称为随机矩阵。例如，设0

为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若pij>0，则称i可以直达j，记作i→j，如还有pji>0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。例如图形

表示一个马尔可夫链的运动情况，当链处于b1,b2,b3状态时，将永远在{b1,b2,b3}中

运动，当链处于α1，α2，α3，α4状态时，将永远在{α1，α2，α3，α4}中运动，而{d 1,d2，…}不具有这种性质，因为从d1可一步转移到b1或d2，自d3可到α1或d4，等等。对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态，它将永远在C 中转移，C 就称为这个链的闭集。对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0，则称C为不可约闭集，例如上例中的{b1,b2，b3}。至于{b 1,b2,b3，с1,c2}虽然也是闭集，但却是可约的。如果从状态i出发经有限次转移后回到i 的概率为1，则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E0（如上例中的{d1,d2，…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b1,b2,b3}, {α1，α2，α3，α4},{с1,c2}）的并。这样，在链的转移中，它或者总是在E0中转移，或者转移到某个常返类Eα中，一旦转移到Eα，它将永远在Eα中转移，而且不时回到其中的每一个状态。特别，当 E本身是不可约常返闭集时，极限存在，其中0≤r

编辑本段连续时间马尔可夫链

设E是{0,1，…，M}或{0,1,2，…},{X,t≥0}是一族取值于E的随机变量，如果在（1）式中，将n1,n2，…，m,n理解为实数，（1）式仍成立，则称{Xt，t≥0}为连续时间马尔可夫链。若还与s≥0无关，记为pij(t），则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵P(t)=(pij(t))(i,j∈E,t>0)所刻画。P(t）满足下述条件：①pij(t）≥0，；②柯尔莫哥洛夫-查普曼方程；通常假定：③标准性这里δii=1，δij=0(i≠j）。有时直接称满足①、②、③的一族矩阵P(t)=(pij(t）），t≥0为转移矩阵或马尔可夫链。当①中条件放宽为时，称为广转移矩阵，它有很好的解析性质。例如，每个pij(t）在t>0时具有连续的有穷导数 P拞（t）；在t=0，右导数P拞（0）存在，i≠j时P拞（0）非负有穷，但P 拞（0）可能为无穷。矩阵Q =(qij）呏（P拞（0））称为链的密度矩阵，又称Q矩阵。对于每个齐次马尔可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质（右下半连续）的修正{X 怂，t≥0}（即对一切t≥0，P(X怂≠Xt)=0，且对每个轨道对一切t≥0有），而且以概率1，对任意t≥0,s从大于t的一侧趋于t时，X最多只有一个有穷的极限点。

以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或Q过程。在一定条件下，Q广转移矩阵P(t),t≥0满足向后微分方程组或者向前微分方程组。

上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题，这就是Q矩阵问题或构造问题：给定一个矩阵Q =(qij），满足0qij<+∞（i≠j），，是否存在Q广转移矩阵?如果存在，何时唯一?如果不唯一，如何求出全部的Q广转移矩阵？对于qii都有限的情形，W.费勒于1940年构造了一个最小解p(t），证明了Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于qii都有限的情形找到了Q 广转移矩阵的唯一性准则；至于求出全部Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于Q 的对