随机过程报告——马尔可夫链.doc
随机过程报告——马尔可夫链
马尔可夫链马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov 所研究。
它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为,....E ,...,E ,E n 10总共有可数个或者有穷个。
这系统只可能在时刻t=1,2,…n,…上改变它的状态。
随着∑的运动进程，定义一列随机变量Xn,n=0,1, 2, ⋯其中Xn=k ，如在t=n 时，∑位于Ek 。
定义1.1 设有随机过程}{T n X n ∈，，若对任意的整数T n ∈和任意的,,...,110I i i i n ∈+条件概率满足}i {},...,i X i {1n 10001n 1n n n n n n i X X P i X X P ======++++ 则称}{T n X n ∈，为马尔可夫链，简称为马氏链。
实际中常常碰到具有下列性质的运动系统∑。
如果己知它在t=n 时的状态，则关于它在n 时以前所处的状态的补充知识，对预言∑在n 时以后所处的状态，不起任何作用。
或者说，在己知的“现在”的条件下， “将来”与“过去”是无关的。
这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。
假设马尔可夫过程}{T n X n ∈，的参数集T 是离散时间集合，即T={0,1,2,…},其相应Xn 可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。
定义1.2 条件概率}{P 1)(i X j X p n n n ij ===+称为马尔可夫链}{T n X n ∈，在时刻n 的一步转移矩阵，其中i ，j ∈I ，简称为转移概率。
一般地，转移概率)(P n ij 不仅与状态i,j 有关，而且与时刻n 有关。
当)(P n ij 不依赖于时刻n 时，表示马尔可夫链具有平稳转移概率。
若对任意的i ，j ∈I ，马尔可夫链Xn,n ∈T}的转移概率)(P n ij 与n 无关，则称马尔可夫链是齐次的。
随机过程-第五章-连续时间的马尔可夫链
第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质:;0)1(≥ij p (2);1=∑∈ij Ij p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程. 证明 只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足:⎩⎨⎧≠==→.,0,1)(lim 0j i ji t p ij t(5.3)称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任 一0≥t 记 },)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2),1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii Ii i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义 它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为})()({11n n n n i t X i t X P ==++=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t eij t---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j ij i j t e t p t s p i j t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明 设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+ ),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj ir ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+ 综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+ 由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h 即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在 (1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v t t p (2).,)(lim 0j i q tt p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量. 推论 对有限齐次马尔可夫过程,有 ∞<=∑≠ij ij ii q q证明 由定理5.1 ,有)()(1,1)(t p t p t pij ij ii Ij ij∆=∆-=∆∑∑≠∈由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4)对于状态空间无限的齐次马尔可夫过程,一般只有 ∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q qq q q Q .....................11111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q 利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有 ),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到 )()()(lim )()(lim 00t p q t p hh p ht p h t p ij ii kj ik ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有≥∑≠→)()(inflim 0t p hh p kj ik ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj Nk i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以)()()(inflim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以 ≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0Nk ik kj Nk i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj Nk i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤Nk i k ikii kj Nk i k ikqq t p q令∞→N ,由定理5.3和条件得)()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得 )()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik Ik kj Ik ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以 )}.()(1)()({lim )()(lim 00t p h h p h h p t p ht p h t p ij jj kj jk ik h ij ij h --=-+∑≠→→假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件 .,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij 时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10) ,)()(Q t P t P =' (5.11) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---= (222120121110)020100q q q q q qq q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=............ (222120121110)020100p p p p p pp p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为 .!)()(0∑∞===j jQtj Qt et P定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程:.)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明 由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj jk ikiIi jj ijiIi ijIi iq t pp q t pp t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得 ,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的.定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj jk k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有 .)(lim j j t t p π=∞→ (2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 ),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得 ,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' ,)()(lim )(1lim 1001010011011q h p dhdhh p h h p q h h h ====-==→→μ,)()(lim )(1lim 0100101000000q h p dhdhh p h h p q h h h ====-==→→λ可解得 ,)()(0001t e t p μλλλ+--= 由对称性知,)()(0011t e t p μλμλ+-+= ,)()(0010t e t p μλμμ+--= 转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ 由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为 0100,λπμπ== 若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P 则过程在时刻t 的绝对概率分布为 )()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率. 解 由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫⎝⎛--=μμλλQ .根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可. 由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p 因为P{X(0)=0}=1=,0p 所以)()()(1010101t p p t p p t p +=====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ,0,0),()(01,=>+=-μμμi i i i h o h h p),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率, i μ为死亡率.若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程. 若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+-由定理5.3得到,0,)()(,0≥+=-==i h p dhd t q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh d t q ii h ij ij μλ ,2,0≥-=j i q ij故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 ,2),()(,≥-=j i h o h p j i,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ逐步递推得,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j j j μμμλλλπ, 112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ 例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务. 假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ .0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得 .0),1()()(1)(1≥-=+=∑∞=n n n nnn μλμλμλμλπ。
第五章 连续时间马尔可夫链-随机过程
二、连续时间马尔可夫链的状态逗留时间和转移速率 命题 以 i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t } ，因此， 随机变量 i 是无记忆的必有指数分布，其参数设为 v i
证明： P{ i t s | i s}
P{T1 t } 1 e t
P{T1 T2 t } P{T1 T2 t | T1 x } e t dx
0 t
= (1 e 2 ( t x ) ) e x dx (1 e t )2
0
t
P{T1 T2 T3 t } P{T1 T2 T3 t | T1 T2 x }dFT1 T2 ( x )
i 1 n
其中 f 是密度函数(5.3.2)
e (t x) ,0 x t f ( x) 1 et 0, 其它
但因为(5.3.1)是 n 个密度为 f 的随机变量的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的联合密度函数。于是得 命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子 样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
0 1 2 3
…Байду номын сангаас
n
n
2
3
… (n 1)
若对一切 n， n 0 (即若死亡是不可能的)，则生灭过程称为纯 生过程，i 个个体开始的纯生过程，生长率为 n , n i 。
随机过程课件-马尔可夫链
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
随机过程_C4马尔可夫链
0.5丿 当初始分布为P{ X 0 = 1} =P{X 0 =2} = 0, P{ X 0 = 3} = 1时经三步转移后处于状态 3的概率。
7 .已知本月销售状态的初始分布和转移概率矩阵如下：1•设质点在区间［0 , 4］的整数点作随机游动，到达 0点或4点后以概率1停留在原处, 1 —向左、右移动一格或停留在原处。
求质点随机游动的一 3在其它整数点分别以概率 步和二步转移的概率矩阵。
2.独立地重复抛掷一枚硬币， 1, 2或3,这些值分别对应于第 n -1次和第n 次抛掷的结果为(正，正)，(正，反)， (反，正)或(反，反)。
求马尔可夫链{X n ,n 0,1,2,…}的一步和二步转移的概 率矩阵。
设{X n , n _0}为马尔可夫链，试证： (1 ) P{X n.1=i n1,X n.2=i n.2, ,X n^ ~lnm |X 0 - i 0,X ^i 1, ,X n=i n }= P{X n ・1 =in1,X n 2 - i n 2 , , X n m - i n m | X n - i n }(2) P{X 0 =i°,X 1 , X n - i n , Xn 2 ~ i n 2 , , X n ~ i n m | Xn ~ i n 1}= P{X ° = i°,X 1 二「…，X n -i n |X n^^i n-1} P{X n-2 ~ i n 2 / , Xn m i n m | Xn 1 _ i n 1}设{X n , n _1}为有限齐次马尔可夫链，其初始分布和转移概率矩阵为 每次抛掷出现正面的概率为 p ,对于n 一 2求，令X n =0, 3. 4. P i 二 P{X 。
5. P{X 2=4|X 设{X(t),r T}为随机过程 立同分布随机变量序列，令 {Y n , n _0}是马尔可夫链。
1/4 1/4 1/4 1/4"1/4 1/4 1/4 1/4 1/4 1/8 1/4 3/8J/4 1/4 1/4 1/4』0=1, 1 <X 1<4^ P{X ，且 X 1 =X(t 1),X 2，试证 1 「4"3,4，八 2 = 4 |1 :： X r :： 4}= X(t 2),…，X n = X(tJ …为独 Y 0 -0,Y ^-Y(t 1W X 1,Y ncY n 4^X n, n 一2，试证0.5 0.56.已知随机游动的转移概率矩阵为0.5 0.5 ,求三步转移概率矩阵 P (3)及0.5(1) P T(O) =(0.4, 02 0.4), P 二0.80.80.1 0.10.70.2 020.20.60.7 0.1 0.1 0.1?0.1 0.6 0.2 0.1(2) P T(0)=(02 02 0.3, 0.3) , p =0.1 0.1 0.6 0.230.1 0.2 0.5」求下一、二个月的销售状态分布。
随机过程Ch连续时间的马尔可夫链课件
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约旳，则有下列性质：
(1)若它是正常返旳，则极限
lim
t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj ,
j 1
k j
jI
旳唯一非负解，此时称{j >0，jI}是该过
对任意0 t1 t2 tn tn1有
PX tn1 in1 / X t1 i1,, X tn in P{X tn1 X tn in1 in / X t1 X 0 i1,
X t2 X t1 i2 i1,, X tn X tn1 in in1} PX tn1 X tn in1 in
pii h 1 qiih oh
pij
h
qij h
oh
称qij 为齐次马尔可夫过程从状态i 到状态j 的转移
速率或跳跃强度，定理的概率含义为：在一个长
为h的时间区间内，从状态i 转移到其它状态的概率
为：1 pii h 等于 qiih o h ；而由状态i转移 到状态j的概率pij h 等于qij h o h 。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
dpij t
随机过程-9马尔科夫链的状态分类
1 2
P
0 1
1 0
0 1
2 0
1
2 0
1 0 1
P2
2 0
1
2 0
1 2
1
1
1 2
2
3
1 2
1
由1出发，经过一步首次回到1：无
由1出发，经过两步首次回到1：1→2→1
由1出发，经过三步首次回到1：无
由1出发，经过四步首次回到1：1→2→3→2→1
f (1) 0 11
f (2) 1
11
2
f (3) 0 11
f (4) 1
11
4
f (5) 0 11
f (6) 1
马尔科夫链状态的分类
1、周期性
• 例：从状态1出发，再回到状态1，可能的步数为 3,6,9，...，例如：1→3→6→1，或 1→4→6→2→5→6→1，等等。
• 步数的最大公约数，称为周期。周期为3.
4.2 马尔可夫链的状态分类
例4.6 设马尔可夫链的状态空间 I={1,2,,9}，转移概率如下图
• 定义4.3 状态i的周期d： d=G.C.D{n: p(n) >0}
ii
(最大公约数greatest common divisor) • 如果d>1，就称i为周期的， • 如果d=1，就称i为非周期的
4.2 马尔可夫链的状态分类
注(1)如果i有周期d，则对一切非零的n,
n0 mod d，有 p(n) 0
同理可得
4.2 马尔可夫链的状态分类
f (n) 13
( (
p1q2 p1q2
第四章-马尔可夫链-随机过程
计算 n 步转移概率的方法。
切普曼一柯尔莫哥格夫方程：对一切n,m 0，一切 i，j，有(4.2.1)
P nm ij
Pikn Pkmj
k0
证明：
P nm ij
P{ X nm
j|
X0
i}
P{Xn k | X0 i}P{Xnm j | Xn k, X0 i}
顾客数构成一个泊松过程。所以，
Pi, j
e t (t )i1 j dG(t ), j 1,
0
(i 1 j)!
i 1
这是因为若一个来客发现有 i 个人在系统中，那么下一个来客将
发现人数为 i+1 减去已服务完毕的人数，易知有 i+1-j 个人被服
务完毕的概率(对相继来到之间的时间取条件)等于上式的右端。
0
0
0 P43
例 4．1(b) G/M/1 排队系统。假设顾客 依照一个任意的更新过
程来到一个单服务台的服务中心，来到间隔分布为 G。进一步
假设服务分布是指数分布，参数为。若以 Xn 记第 n 个顾客来
到时见到系统中的顾客数，以 Yn 记第 n 个顾客与第(n+1)个顾客
不可被 d 整除的 n 有 Piin 0，且 d 是具有此性质的最大整数(d 是
{n : Piin 0}的最大公约数)。(若对一切 n>0， Piin 0，则定义 i 的周 期是无穷大。)具有周期 1 的状态称为非周期的(aperiodic)。以 d(i)记 i 的周期。
例设马尔可夫链的状态空间I={1,2,,9}， 转移概率如下图
P nm ij
随机过程第五章连续时间的马尔可夫链
第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率. 定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布; (2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质: ;0)1(≥ij p (2);1=∑∈ij Ij p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.证明 只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足: ⎩⎨⎧≠==→.,0,1)(lim 0j i ji t p ij t (5.3) 称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任 一0≥t 记 },)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2),1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii Ii i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义 它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为})()({11n n n n i t X i t X P ==++=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t eij t---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j ij i j t e t p t s p i j t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性. 5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明 设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+ ),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj ir ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+ 综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+ 由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在 (1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v t t p (2).,)(lim 0j i q tt p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量. 推论 对有限齐次马尔可夫过程,有 ∞<=∑≠ij ij ii q q证明 由定理5.1 ,有)()(1,1)(t p t p t pij ij ii Ij ij∆=∆-=∆∑∑≠∈由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4)对于状态空间无限的齐次马尔可夫过程,一般只有 ∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q qq q q Q .....................11111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q 利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有 ),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到 )()()(lim )()(lim 00t p q t p hh p ht p h t p ij ii kj ik ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有 ≥∑≠→)()(inflim 0t p hh p kj ik ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj Nk i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以)()()(inflim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0Nk ik kj Nk i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj Nk i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤Nk i k ikii kj Nk i k ikqq t p q令∞→N ,由定理5.3和条件得 )()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得 )()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik Ik kj Ik ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以 )}.()(1)()({lim )()(lim 00t p h h p h h p t p ht p h t p ij jj kj jk ik h ij ij h --=-+∑≠→→假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件 .,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij 时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10) ,)()(Q t P t P =' (5.11) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---= (222120121110)020100q q q q q qq q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=............ (222120121110)020100p p p p p pp p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为 .!)()(0∑∞===j jQtj Qt et P定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程:.)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明 由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj jk ikiIi jj ijiIi ijIi iq t pp q t pp t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得 ,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj jk k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有 .)(lim j j t t p π=∞→ (2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 ),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知,)()(lim )(1lim 1001010011011q h p dhdhh p h h p q h h h ====-==→→μ,)()(lim )(1lim 0100101000000q h p dhdhh p h h p q h h h ====-==→→λ由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得 ,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' 可解得 ,)()(0001t e t p μλλλ+--= 由对称性知,)()(0011t e t p μλμλ+-+= ,)()(0010t e t p μλμμ+--= 转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ 由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为 0100,λπμπ== 若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P 则过程在时刻t 的绝对概率分布为 )()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率.解 由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫⎝⎛--=μμλλQ .根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可. 由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p 因为P{X(0)=0}=1=,0p 所以====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p 5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ)()()(1010101t p p t p p t p +=,0,0),()(01,=>+=-μμμi i i i h o h h p ),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率,i μ为死亡率.若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程.若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+- 由定理5.3得到 ,0,)()(,0≥+=-==i h p dhdt q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh dt q i i h ij ij μλ,2,0≥-=j i q ij 故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 ,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ 逐步递推得,2),()(,≥-=j i h o h p j i,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j jj μμμλλλπ,112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务. 假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ.0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得.0),1()()(1)(1≥-=+=∑∞=n n n nnn μλμλμλμλπ。
随机过程-马尔可夫链4.3-4.4
∑ 下面证明对任一 j ∈ Gr , 有 k∈G
p jk = 1
r +1
。
实际上
1 = ∑ p jk =
k∈C
k∈Gr +1
∑
p jk +
k∉Gr +1
∑
p jk =
k∈Gr +1
∑
p jk
r+1
p i(jn d + r ) > 0 , 故当 k ∉ G 最后一个等式是因设
( ( piimd + s + h ) ≥ pijmd + s ) p(jih ) > 0.
由此可见 r+h 及 s+h 都能被 d 除 从而其差(r+h)-( s+h)=r-s 也可被 d 尽， 从而其差 除尽，但 0 ≤ r , s ≤ d − 1 ，故只能 r-s=0， 除尽， ， 因 而 Gr = Gs , 这 说 明 当 r ≠ s 时 ，
试分解此链并指出各状态的常返性及周期性。 试分解此链并指出各状态的常返性及周期性。
解
由图 4.8 知
∞ n =1
( ( f113) =1, f11n ) =0,n≠3。所以 ≠ 。
( u1 = ∑ n f11n ) = 3
1
3
1
可见1 可见1为正常返状态且 周期等于3 周期等于3。含1的基本 常返闭集为
d −1
( nd + r ) ij
> 0}
其 次 ， 如 存 在 j ∈ Gr ∩ Gs ， 由 上 式 必 存 在 n 及 m 使 ( nd + r ) ( md + s ) p (jih ) > 0, 于是 pij > 0, pij > 0, 又因 j ↔ i, 故必存在 h,使 使
随机过程Ch4 马尔可夫链
Markov过程
有P{Xn+1=in+1|X0=i0,X1=i1,X2=i2,…,Xn=in}=P{Xn+1=in+1| Xn=in}. 5. 条件概率pij(m)=P{Xm+1=j|Xm=i}称为马氏链{Xn,n∈T} 在时刻m的一步转移概率. 条件概率pij(k)(m)=P{Xm+k=j|Xm=i}称为马氏链{Xn,n∈ T}在时刻m的k步转移概率. 6.马尔可夫链{Xn,n∈T}的转移概率pij(k)(m)具有性质: (1) pij(k)(m)≥0, i,j∈I; (k)(m)=1, i,j∈I且规定p (0)(m)= 1, i=j, (2) pij ij 0, i≠j. 7. 如果对于任意的i,j∈I,马尔可夫链{Xn,n∈T}的转移 概率只与i,j有关,而与时刻n无关,则称{Xn,n∈T}是时齐 的或齐次的,并记pij(m)=pij.
第四章 马尔可夫链
4.1 马尔可夫链与转移概率
定义 设 {X(t)，t T }为随机过程，若对任意 正整数n及t1< t2<< tn， P{X(t1)=x1,, X(tn-1)=xn-1}>0，且条件分布 P{X(tn)xn|X(t1)=x1,, X(tn-1)=xn-1} = P{X(tn) xn|X(tn-1)=xn-1}， 则称{X(t)，t T }为马尔可夫过程。 ☆若t1,t2,,tn-2表示过去，tn-1表示现在，tn表示 将来，马尔可夫过程表明：在已知现在状态 的条件下，将来所处的状态与过去状态无关。
随机过程{Xn，nT }， 参数T={0, 1, 2, },状态空间I={i0, i1, i2, } 定义 若随机过程{Xn，nT }，对任意nT和 i0,i1,,in+1 I，条件概率 P{Xn+1=in+1|X0=i0,X1=i1,,Xn=in} = P{Xn+1=in+1|Xn=in}， 则称{Xn，nT }为马尔可夫链，简称马氏链。
随机过程 第4章 马尔可夫链
一步转移概率矩阵
p11 P p 21 p12 p 22 p1n p2n
性质： (1) p ij 0 , i , j I
(2)
j I
p ij 1 , i I
（随机矩阵）
n 步转移概率
[定义] 称条件概率
p q q p
0 1
p, i j pij q, i j (i , j 0,1)
二步转移概率矩阵：
P
( 2)
2 2 p q P2 2 pq
2 pq 2 2 p q
[例2] （例4.4）具有吸收壁和反射壁的随机游动
设质点在线段 [1,4] 上作随机游动。假设ห้องสมุดไป่ตู้只能在时刻 nT 发生移动，且只能停留在1,2,3,4点上。当质点转移 到2,3点时，它以1/3的概率向左或向右移动一格，或停 留在原处。当质点移动到点 1 时，它以概率 1 停留在原 处。当质点移动到点4时，它以概率1移动到点3。若以 Xn 表示质点在时刻 n 所处的位置，则{ Xn , n T }是一 个齐次马尔可夫链。
f
(n) 12
( q1 p 3 ) m 1 q1 q 3 , m ( q1 p 3 ) p1 ,
n 2m, m 1 n 2 m 1, m 0
(n) f13
( p1 q 2 ) m 1 p1 p 2 , n 2 m , m 1 m n 2 m 1, m 0 ( p1 q 2 ) q1 ,
pij(n) 不仅与状态 i , j 有关，而且与时刻 n 有关。
当 pij(n) 与时刻 n 无关时，表示马尔可夫链具有平稳 转移概率。
随机过程-7马尔科夫链的概念和转移概率1
4.1 马尔可夫链与转移概率
• 马尔可夫链的性质 P{X0=i0, X1=i1, , Xn=in}
=P{Xn=in|X0=i0, X1=i1, , Xn-1=in-1} P{X0=i0, X1=i1, , Xn-1=in-1}
= P{Xn=in|Xn-1=in-1} P{Xn-1=in-1 |X0=i0,X1=i1,,Xn-2=in-2} P{X0=i0,X1=i1,,Xn-2=in-2}
用泛函中二元函数的范数进行研究）
4.1 马尔可夫链与转移概率
随机过程{Xn，nT }， 参数T={0, 1, 2, },状态空间I={i0, i1, i2, }
定义 若随机过程{Xn，nT }，对任意nT和 i0,i1,,in+1 I，条件概率 P{Xn+1=in+1|X0=i0,X1=i1,,Xn=in} = P{Xn+1=in+1|Xn=in}， 则称{Xn，nT }为马尔可夫链，简称马氏链。
• 可以用状态转移图和转移概率矩阵表示 齐次马尔科夫链：
• 例1 某地只有甲、乙、丙三家公司的产品在 该地销售，据统计一个月后，使用甲产品 的用户有10%转向乙，20%转向丙；使用 乙产品的用户有10%转向甲，20%转向丙； 使用丙产品的用户有8%转向甲，4%转向乙。 已知甲、乙、丙现在的市场占有率是 30%,20%,50%,问四个月后的各自市场占有 率是多少？经过足够长的时间，市占率是 否会稳定？稳定到多少？
= P(X0=2)P22 P22 P23 P34 =0.420.32 若 P(X0=2)=P0,则2→2→2→3→4的概率为：P00.420.32
例2(蜘蛛和苍蝇)
转移矩阵：
1
0
0
《随机过程——计算与应用》课件-马尔科夫连 4
(3)若i j，则j i
（互通的对称性）
上述性质的验证留作ห้องสมุดไป่ตู้习.
定理6.3.5 设i, j S,则
(1) i j fij 0 （2）若i是常返的，且i j 则有f ji 1，从而有i j,
证明 (1) 设i j 则 n 1 使pi(jn) 0
因而也有
fij
p(n) ij
0
或者同为零常返的;或者同为正常返周期态,且周期 相同.或者同为正常返非周期(遍历态).
证明 i j, i j, j i, 存在正整数l, n，使
p(l ) ij
0
p(n) ji
0
由C-K方程，对任意的正整数m有
p (lmn) ii
p p p p(l) ik
p(m) ks
p(n) si
周 期 为 4.
例6.3.9 设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,}, 其一步转移概率矩阵为
0 0 1 0 0 0
0
0
0
0
0
1
0 0 0 0 1 0
P
1 3
1 3
0
1 3
0
0
1 0 0 0 0 0
0
1 2
0
0
0
12
试分解此马尔可夫链,并写出各状态类型及周期.
1
1
1 3
下面证明 当i ,j 同为正常返态时,周期相同
设i, j同为正常返状态，周期分别为di , d j
由C-K方程
p (nl ) jj
p(n) jk
p(l) kj
p p (n) (l ) ji ij
0
k
dj nl
又因为，对任意的m有
随机过程 第三章 马尔科夫链
马尔可夫链的状态分类
周期、非周期 常返、非常返 正常返、零常返 遍历状态
20
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态间的概率转移图如下 图
8
9
2
7
1
3
6
5
4
21
假设{Xn,n≥0}是齐次马尔可夫链，其状态空间I={0,1,2,3, …}，转移概率 是pij，i,j∈I，初始分布为{pj,j ∈I}。 定义 如集合{n: n≥1,pii(n)>0}非空，则称该集合的最大公约数 d=d(i)=G.C.D{n:pii(n)>0}为状态i的周期。 如d>1就称i为周期的，如d=1就称i为非周期的。 如果i有周期D，则对一切非零的n≠0(mod(D))都有pii(n)=0。 但这也并不是说对任意n有pii(nd)>0。例如上图中状态1的d=2，但 pii(2)=0。 引理 如i的周期为d，则存在正整数M，对一切n≥M，有pii(nd)>0。
例题：无限制随机游动 设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动 的概率为q=1-p，这种运动称为无限制随机游动。以Xn表示时刻n质点 所处的位置，则{Xn,n∈T}是一个齐次马尔可夫链，求一步和k步转移概 率。
例题：有吸收壁随机游动 甲、乙进行赌博，甲有a元，乙有b元，每赌一局输家给赢家1元，没有 和局，直到一人输光为止。设每一局甲赢的概率为p，输的概率为q=1-p， 求甲输光的概率。
设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马 氏链. 求 (1)一步转移概率矩阵; (2)已知计算机在某一时段(15分钟)的状态为0，问在此条件下，从此 时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率.
随机过程课件-马尔可夫链
第n次抽取后甲袋的球数，n=1,2,….{Xn,n=1,2,…}
甲
是一随机过程，状态空间I={0,1,2,3,4,5},当Xn=i
时，Xn+1=j的概率只与i有关，与n时刻之前如何取到
i值是无关的，这是时齐马氏链，一步转移矩阵为：
0 1 2 34 5
乙
0
1 2
1 2
0 0 0 0
1
1 2
0
1 2
0
1
2
3 奶酪
456
7猫 8 9
浙江大学随机过程
21
解：一旦老鼠跑到3号或7号房间，我们就认为老鼠将永
远呆在那个房间。用X n表示n时老鼠所在的位置。则 {X n}是一时齐Markov链，状态空间是{1, 2,...,9},3和7是两 个吸收态。所求的就是从2出发最终被7吸收的概率。
令hi P(最终被7吸收 | X 0 i),则h7 1, h3 0.
性质 : pij (m, m n) 0, pij (m, m n) 1 jI
记P(m, m n) ( pij (m, m n))II 为对应的n步转移矩阵
性质: 各元素非负，每行之和为1
浙江大学随机过程
7
定义： 如果对任何状态i, j, P( X n1 j | X n i）不依赖于n, 则称{X n}是时齐的Markov链
pij： P( X n1 j | X n i）称为从i到j的一步转移概率
P （pij）II 称为一步转移概率
浙江大学随机过程
8
例2（. 0 1传输系统）
X0
1
X1
2
… X2
Xn-1
n
Xn …
只传输0和1的串联系统中，设每一级的传真率为p,误码率
随机过程中的马尔可夫链与时间平稳性
模型选择的准则
模型的复杂度：选 择简单有效的模型， 避免过度拟合或欠 拟合
数据特征：根据数 据的分布和特点选 择合适的模型
预测精度：选择能 够提供较高预测精 度的模型
解释性：选择易于 理解和解释的模型 ，有助于分析和推 断
模型诊断与检验
模型拟合优度检验：通过比较实际数据与模型预测结果的差异，评估模型对数据的拟合程度。
定义：马尔可夫链 的状态空间是指马 尔可夫链中所有可 能的状态集合。
分类：离散状态 空间和连续状态 空间。
状态空间的性质： 马尔可夫性、可 到达性和遍历性。
应用：在随机过 程、统计学、物 理学等领域有广 泛应用。
马尔可夫链的转移概率
性质：转移概率具有非负性、 归一性和时齐性
计算方法：通过状态转移矩 阵或转移函数来计算
02 马 尔 可 夫 链 的 定 义 与 性 质 04 马 尔 可 夫 链 的 遍 历 性 及 其 与
时间平稳性的关系
06 时 间 非 平 稳 马 尔 可 夫 链 及 其应用
Part One
单击添加章节标题
Part Two
马尔可夫链的定义 与性质
马尔可夫链的基本定义
定义：马尔可夫链是一个随机过程， 其中每个状态只与前一个状态有关， 当前的状态只依赖于前一个状态。
定义：马尔可夫链中从一个 状态转移到另一个状态的概 率
应用：在统计学、经济学、 生物学等领域有广泛应用
Part Three
时间平稳性及其在 马尔可夫链中的应
用
时间平稳性的定义
时间平稳性是指一 个随机过程在时间 上的统计特性不随 时间的推移而改变
在马尔可夫链中， 时间平稳性意味 着状态转移概率 的稳定性
随机过程中的马尔可夫 链与时间平稳性
随机过程-第五章 马尔可夫链
0.95 0.02 0.02 0.01 0.3 0.6 0.06 0.04 P 0.2 0.1 0.7 0 0.2 0.2 0.1 0.5
P
jS
ij
1, i S 。则称该矩阵为随机矩阵。
显然，随机矩阵的各行元素之和都等于 1。
例 5.1 赌徒输光问题 ：考虑一赌徒，在每局赌博中他以概率 p 赢得 1 元，以概率
q 1 p 输掉 1 元，假设各局赌博是相互独立的，赌徒开始有 i （ ቤተ መጻሕፍቲ ባይዱ i n ）元，且他在赌
显然， Markov 链的统计特征由其初始分布 P{ X 0 i0 } 和转移概率 P{ X k i X k 1 ik 1} （ k 1, 2,, n ）决定。
定义 5.3 时齐 Markov 链： 当 Markov 链的转移概率 P{ X n1 j X n i} 只与状态 i, j 有
m n m, n 0 使得 P ij 0, Pjk 0 ，利用 C-K 方程（1）可知
n n Pikm n Pirm Prk Pijm Pjk 0 rS
K 类似地可以证明存在 K 0 使得 Pki 0 。
称互通的两个状态属于同一个类，且由命题 5.1 可知，任何一个状态不能同时属于两个 不同的类，即任意两个不同的类不相交。 思考：对例 5.1 中的赌徒问题的状态分类？ 定义 5.7 可约：若 Markov 链只存在一个类，则称它为不可约的；否则称为可约的。 在不可约的 Markov 链中，一切状态都是彼此互通的。
马尔可夫链
部的医生却必然要转出去，分配到产科病房的机会是
妇科病房机会的4倍。则 p13 0 p11 0.4 p12 0.6 p22 0.4 p23 0.6 p21 0 p33 0 p31 0.8 p32 0.2
0.4 0.6 0
P
0
0.4 0.6
0.8 0.2 0
2019年7月10日
概率统计-马尔可夫链
第10页
例：院方规定：一个在产科病房(1)工作的医生不能
分配到门诊部(3)工作，但有40%的机会仍可以分配到 产科病房，60%的机会转移到妇科病房(2)；在妇科病 房工作的医生，有40%的机会可以保留在妇科病房， 60%的机会转移到门诊部，但不能转到产科；在门诊
p11 p12 p13 p11 p12 p13
P (2)
p21
p22
p23
p21
p22
p23
P2
p31 p32 p33 p31 p32 p33
对
0.4 0.6 0
P
0
0.4 0.6
0.8 0.2 0
0.4 0.6 0 0.4 0.6 0 0.16 0.48 0.36
2019年7月10日
概率统计-马尔可夫链
第16页
(2) 未知X0的确切值, 但知的X0分布(初始分布), 则 可求: pi(n) P( Xn i) —— 状态概率 记 p(n) ( p1(n) , p2(n) ,, p(Nn) ) —— 状态概率行向量
则 p(n) p(0)P(n)
Yt：t1，2，） （随机过程）
描述一个离散随机变量用分布列
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
马尔可夫链
马尔可夫链是一种特殊的随机过程，最初由 A.A .M arkov 所研究。
它的直观背景如下 : 设有一随机运动的系统 E ( 例如运动着的质点等 ) ，它可能处的状态记为E 0 , E1 ,..., E n ,.... 总共有可数个或者有穷个。
这系统只可能在时刻t=1,2, n, 上改变它的状态。
随着的运动进程，定义一列随机变量 Xn,n=0,1, 2, ?其中Xn=k，如在 t=n 时，位于 Ek。
定义 1.1 设有随机过程 X n， n T ，若对任意的整数 n T 和任意的
i 0 , i1 ,...i n 1 I , 条件概率满足
{ i
n 1 X
i ,...,
X n i n
}{ i
n 1
X
n i n
}
P X n 1 0 P X n 1
则称 X n， n T为马尔可夫链，简称为马氏链。
实际中常常碰到具有下列性质的运动系统。
如果己知它在t=n 时的状态，则关于它在 n时以前所处的状态的补充知识，对预言在 n时以后所处的状态，不起任何作用。
或者说，在己知的“现在”的条件下，“将来”与“过去”是
无关的。
这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性” 。
假设马尔可夫过程 X n， n T 的参数集T是离散时间集合，即T={0,1,2, }, 其相应 Xn可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。
定义 1.2 条件概率
P( n) {
j X n i }
ij
p X n 1
称为马尔可夫链X n， n T 在时刻n的一步转移矩阵，其中i，j I ，简称为转移概率。
一般地，转移概率 P ij( n )不仅与状态 i,j 有关，而且与时刻 n有关。
当 P ij( n)不依赖于时刻 n时，表示马尔可夫链具有平稳转移概率。
若对任意的 i ，j I，马尔可夫
链 Xn,n T} 的转移概率 P ij( n)与 n无关，则称马尔可夫链是齐次的。
定义 1.3设p表示一步转移概率p，所组成的矩阵，且状态空间1={1,2，n}，则
称为马尔可夫链的一步转移概率矩阵。
它具有如下性质：
(2) P ij1,i I
（1）P ij 0， i, j I ;. j I
定理 1.1设X n, n T为马尔可夫链，则对任意的i1, i2 ,....i n I和 n1，有。
这表明马尔可夫链的有限维分布完全由它的初始概率和一部转移概率所决
定。
因此，只要知道初始概率和一部转移概率，就可以知道马尔可夫链的统
计特性。
定义 1.4 假设 {Xn，n } 是齐次马尔可夫链，其状态空间为I ，转移概率为 Pij ，
称概率分布 { j , j I} 为马尔可夫链的平稳分布，若它满足
对于不可约马尔可夫链，若它的状态是非周期，正常返的，则它是遍历的；对于不可约马尔可夫链，若它的状态是有限且非周期的，则它是遍历的。
值得注意的是，对于一个马尔可夫链，并不是一定存在（ n）
lim p 。
例如设马尔可
n
夫链的一部转移矩阵为：
（2n）（ 2n 1）（ n）不存在。
易知 p I (单位矩阵)， p p ，所以lim p
n
在随机过程理论中，马尔可夫链是一类占有重要地位，具有普遍意义的随机
过程。
它广泛应用于现代社会的各个领域，尤其在预测领域有着广泛的应用。
马尔可夫链的预测方法分为很多种。
根据指标值序列分组有 3种。
1）数据序列约定俗成的分组方法：根据人们长久的经验进行分组 : 由于人们在现实生活中积累了生活经验，人们对认识的事物有了感性的了解，就可以对现象进行分组。
2）样本均值一均方差分组法：对于数据序列x1 , x2 ,..., x n，可看作是一个时间序列的前n个观测值，算出样本均值 x 和
样本均方差 s，根据具体情况以样本均值为中心， s为标准进行分组。
3）有序聚类分组法：有序聚类是对有序样品进行分类的一种方法，更加充分地考虑序列的数据结构，使划分的区间更加合理。
有序聚类实现的经典算法是 Fisher 算法，其基本原理为 : 设时间序列x1, x2,..., x n的某一归类是
定义其均值向量为
将公式
定义为 { x1, x2,..., x n } 的直径，其含义表示该变量段内部各变量之间的差异情况。
其值越小，表示该段内变量之间差异越小，或说相互间越接近 ; 反之，表示该段内
变量之间差异越大，或说相互间越分散。
三种马氏链预测方法：
1）基于绝对分布的马尔可夫链预测
步骤 1 对历史数据进行分组 ;
步骤 2 确定观测值的状态，写出频数矩阵（n ij）i，j E，和一步转移矩阵（f ij）i，j E，
n ij
其中 f ij
，其中 n为样本容量，当时n ，可用频数估计概率p ij f ij ，从n -1
而得到一步转移概率矩阵p1p ij。
步骤 3 “马氏性”检验
步骤 4 已知时刻 l 时系统取各个状态的概率可视为马尔可夫链的初始分布，
比如 x1取状态 2, m=5 ，则始分布P(0)=（0，1，0，0，0），于是 l+1 时的绝对分布
（）P
(0) P (1) (2) (3) (4) (5)
)
，可认为时刻 1+1时系统所取的状态 j 满足
P 1 (P1 ,P2 , P3 , P4 , P5
j （i）
P1 max{ P1 } ，从而预测 1+ t 时刻的状态。
1 i 5
步骤 5 还可以用马氏链的平稳性，遍历性对系统分析。
2）叠加马氏链预测
步骤 1 对历史数据进行分组 ;
步骤 2 计算各阶的一步转移矩阵1，2，k， I k ，其中 P2 ( f ij )i , j E，
P P ...P {1,2,... } 2
f ij2 n ij(2)
，其他类推。
n - 2
步骤 3“马氏性”检验
步骤 4 如果要预测时刻 1+1的状态，可分别利用 1, 1-1, ?，1-k+1 作为初始态，，l+1 所处的状态 j 满足 P max{ P } 。
列表分析
（j ） 1 i 5 （i）
图1 叠加马氏链预测分析表
步骤 5 重复步骤 1-4 递推预测 ;
步骤 6 进行平稳性，遍历性及其他分析。
3）加权马氏链预测
步骤 1 对历史数据进行分组 ;
步骤 2 计算各阶的一步转移矩阵P P ...P {1,2,... }
，其中 P2
2 )
i , j E
，1， 2 ， k，I k ( f ij
f ij2 n ij(2)
，其他类推。
n - 2
步骤 3 “马氏性”检验 ;
步骤 4 计算各阶相关系数：
计算规范的相关系数 :
步骤 5 预测 n+1时刻的状态
步骤 6 重复 1-5 ，预测 n+2时刻的状态，其余类推
步骤 7 讨论其他性质。
马尔可夫预测方法是马尔可夫链在预测领域的一种应用方法。
最初这种方法在水文，气象，地震等方面有广泛的应用，之后经济学家将其应用于研究市场占有率，预测经营利润等方面。
在马尔可夫预测方法中，一个非常重要的问题就是对一步状态转移概率矩阵的估算。
下面以实例分析马尔可夫链在现实生活中的应用。
下面给出长江水域 6类水质所占的比例。
现在要对长江未来 10年的水质污染的发展趋势做一个总体的预测。
为此可建立长江水质污染的马尔可夫链趋势预测的一步转移概率矩阵估计的
最优化模型。
设枯水期长江全流域水质在第t 年属于Ⅰ类、Ⅱ类、Ⅲ类、Ⅳ类、Ⅴ类、劣Ⅴ类这 6类状态的比例向量分别为
（ t）（ P t (1),P t (2),...P t (6)）,t 0,1,2,....9 .设 P( p ij ) 6 6为6类状态矩阵的一步转移概率，根据误差平方和达到最小的准则，建立如下最优化模型：
用 matlab 软件求解得
由下式
可以对长江未来 10年的水质污染属于Ⅰ类、Ⅱ类、Ⅲ类、Ⅳ类、Ⅴ类、劣Ⅴ类这6类状态的比例向量作出预测，预测结果见下表
从预测计算结果可以看出：枯水期长江全流域水质属于Ⅳ类、Ⅴ类、劣Ⅴ类这 3 类状态的比例并没有发生根本性的减少，水质污染程度依然十分严重。
因此我们要采取积极措施，例如要严加控制企业废水和城市生活垃圾乱排乱
放，政府要大力推进城市发展生态农业和有机农业，综合防治面源污染。
加大宣传力度，使群众能够清醒地认识到水资源危机和保护环境的意识等。
只有这样才能保护我们的长江。
马尔可夫链预测模型，关键在于转移概率矩阵的可靠性，因此该预测模型要求足够多足够准确的统计数据，才能保证预测精度。
如何利用马氏链做出更符合实际的预测结果是我们今后研究的课题，影响预测结果的因素很多，比如分组情况，分组不同有时候会得出不同的预测结果，有没有更科学的分组方法 ? 这些都是值得探讨的问题。