第五章连续时间马尔可夫链-随机过程

合集下载

马尔可夫链随机过程

马尔可夫链随机过程（Markov chain）是一种数学模型，用于描述具有马尔可夫性质的随机过程。

马尔可夫性质表示在给定当前状态下，未来状态的概率只与当前状态有关，而与过去的状态无关。

马尔可夫链由一组状态和状态转移概率组成。

每个状态表示系统可能处于的一种情况，状态转移概率表示从一个状态转移到另一个状态的概率。

马尔可夫链的数学描述如下：
状态空间：马尔可夫链中所有可能的状态的集合；
初始概率分布：描述系统初始状态的概率分布；
状态转移概率：描述从一个状态转移到另一个状态的概率分布；
转移矩阵：由状态转移概率组成的矩阵，用于表示状态之间的转移关系。

马尔可夫链可以用于模拟各种随机事件，例如天气预测、金融市场分析、蛋白质折叠等。

它在实际应用中有着广泛的应用，尤其在概率论、统计学和计算机科学领域。

通过分析马尔可夫链的状态转移概率，我们可以获得系统的稳定性、收敛性和平稳分布等重要特性。

此外，我们还可以利用马尔可夫链进行预测、推断和决策等任务。

总之，马尔可夫链随机过程是一种强大的数学工具，用于描述具有马尔可夫性质的随机系统。

它的简单性和广泛应用性使其成为概率模型、统计分析和计算机模拟中的重要组成部分。

随机过程Ch5-连续时间的马尔可夫链

推论：对有限齐次马尔可夫过程，有
qii qij ji
称该马尔可夫过程为保守的。
证： pij (h) 1 1 pii (h) pij (h)
jI
ji
lim1
h0
pii (h) h
lim h0
ji
pij (h) h
qij
ji
即 qii qij 状态空间有限 ji
若状态空间为I 1，2,, N有限，
为的指数变量，而在回到状态0之前，它停留在状态1的时间是参数为的指数变量。显然该
马氏链是一个齐次马氏链。
其状态转移概率为：
p01h p10 h
h h
0h 0h
由指数分布的无后效性得到。
理由如下：设正常工作为0状态，故障为1状态。
设器件寿命X服从参数为的指数分布。
f
x
ex
,
x0
0, x 0
则器件在0, t 正常工作，即寿命超过t的概率为： PX t exdx et
t
已知器件用了t小时，器件寿命超过t h，
即在t,t h器件不坏的概率为：
p00h PX t h / X t
PX
t h, X
PX t
t
PX PX
t h t
eth eh 1 h 0h
互通：i j i j，j i。若所有状态都是互通的，则称此马尔可夫链为不可约的。
定理5.7 设连续时间马尔可夫链是不可约的，则有下列性质：
(1)若它是正常返的，则极限 lim t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj,
j 1
k j
jI
的唯一非负解，此时称{j >0，jI}是该

随机过程-第五章-连续时间的马尔可夫链

第五章连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质:(1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质:;0)1(≥ij p(2) ;1=∑∈ij I j p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.证明只证(3).由全概率公式及马尔可夫性可得===+=+)})0()({)(i X j s t X P s t p ij=∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足:⎩⎨⎧≠==→.,0,1)(lim 0j i j i t p ij t (5.3) 称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任一0≥t 记},)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布. 定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质:(1) ,0)(≥t p j(2) ,1)(=∑∈t p j I j(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii I i i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链.证明先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++=,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X }= })()({11n n n n i i t X t X P -=-++ .另一方面,因为})()({11n n n n i t X i t X P ==++ =})0()()()({11n n n n n n i X t X i i t X t X P =--=-++=})()({11n n n n i i t X t X P -=-++ 所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++.即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性.当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t e ij t ---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j i j i j t e t p t s p ij t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj i r ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在(1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v tt p(2).,)(lim 0j i q t t p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量.推论对有限齐次马尔可夫过程,有∞<=∑≠ij ij ii q q证明由定理5.1 ,有)()(1,1)(t p t p t pij ij ii I j ij ∆=∆-=∆∑∑≠∈ 由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4) 对于状态空间无限的齐次马尔可夫过程,一般只有∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q q q q q Q .....................101111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到)()()(lim )()(lim 00t p q t p hh p h t p h t p ij ii kj i k ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论:定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有≥∑≠→)()(inf lim 0t p h h p kj i k ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj N k i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以 )()()(inf lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0N k ik kj N k i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj N k i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤N k i k ik ii kj N k i k ik q q t p q令∞→N ,由定理5.3和条件得)()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得)()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik I k kj I k ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得 ),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以)}.()(1)()({lim )()(lim 00t p hh p h h p t p h t p h t p ij jj kj j k ik h ij ij h --=-+∑≠→→ 假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的.定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件.,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10),)()(Q t P t P =' (5.11)其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=............ (222120121110)020100q q q q q q q q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡= (22)2120121110020100p p p p p p p p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为.!)()(0∑∞===j jQt j Qt e t P 定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程: .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj j k ik i I i jj ij iI i ij I i i q t p p q t p p t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的. 定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj j k k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有.)(lim j j t t p π=∞→(2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则 ,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' 可解得 ,)()(0001t e t p μλλλ+--=由对称性知,)()(0011t e t p μλμλ+-+=,)()(0010t e t p μλμμ+--=转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为0100,λπμπ==若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P则过程在时刻t 的绝对概率分布为,)()(lim )(1lim 1001010011011q h p dh d h h p h h p q h h h ====-==→→μ,)()(lim )(1lim 010********00q h p dhd h h p h h p q h h h ====-==→→λ)()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例 5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率.解由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫ ⎝⎛--=μμλλQ . 根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可.由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p因为P{X(0)=0}=1=,0p 所以====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下.定义 5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ,0,0),()(01,=>+=-μμμi i i i h o h h p),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率,i μ为死亡率.)()()(1010101t p p t p p t p +=,2),()(,≥-=j i h o h p j i若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程.若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程.生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+-由定理5.3得到,0,)()(,0≥+=-==i h p dh d t q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh d t q i i h ij ij μλ ,2,0≥-=j i q ij故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ逐步递推得,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j j j μμμλλλπ, 112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ 例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务.假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ .0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得.0),1()()(1)(1≥-=+=∑∞=n n n nn n μλμλμλμλπ。

随机过程马尔可夫链

随机过程马尔可夫链随机过程是研究随机事件在时间和空间上的变化规律的数学模型。

而马尔可夫链是随机过程的一种，它的特别之处在于，当前时刻的状态只与前一时刻的状态有关，而与其它时间的状态无关。

现在，让我们来详细了解一下随机过程与马尔可夫链。

一、随机过程随机过程实际上就是由一系列随机变量组成的，这些随机变量的取值是在某些规定的时间或空间上进行的。

它是一个随机事件的序列或集合，因此其本质是一种时间或空间上的随机演化。

二、马尔可夫链马尔可夫链是一种特殊的随机过程，其特征在于它只与其前一状态有关。

其实，马尔可夫链是一种转移概率的数学模型，它描绘了系统从一个状态到另一个状态的转移概率，而这些概率只与前一时刻的状态有关。

马尔可夫链的形式化描述就是一个状态空间和一个转移矩阵。

这里，状态空间可以是任意形式的集合，而转移矩阵则是一个矩阵，其每个元素表示从一个状态到另一个状态的概率。

三、马尔可夫链的性质马尔可夫链具有多种性质：1、马尔可夫性质：当前时刻的状态只与前一时刻的状态有关。

2、无记忆性质：其将来的状态与过去的状态无关。

3、多步转移概率：马尔可夫链具有的多步转移概率与初始状态无关。

4、周期性：若马尔可夫链从一个状态出发始终无法到达其它状态，可以说其为周期性的。

四、应用1、生物统计：马尔科夫链应用到多态遗传研究。

2、分子动力学：马尔可夫链应用到高分子链的构象和动力学研究。

3、自然语言处理：将一个英文句子转化为标签序列可以看做是一个马尔可夫链。

总之，随机过程和马尔可夫链是最基础的统计学习模型。

它们在多个领域都有广泛的应用，如金融、医学、工业等。

深刻了解它们的特性和应用将有助于我们更好地理解大量数据背后的规律。

连续时间马氏链

X (n) i 有关，而与以前的状态 X(n 1 ) in1 ，…， X( 0 ) i0 无关。
一、连续时间马尔科夫链的有关定义及其性质
现在讨论时间连续状态离散的马尔可夫过程，取时间参数 t 0 ，状态空间 I={0,1,2,…} 定义 4.17 设随机过程 { X (t ), t 0} 的状态空间为 I={in，n0}，若对任意的 0t1<t2<…<tn<tn+1，及 i1 , i2 ,
pij ( s,t ) P{ X (t s ) j | X ( s ) i }
它表示系统在 s 时刻处于状态 i，经过时间 t 后转移到状态 j 的转移概率。若上述概率与 s 无关，则称连续时间马尔科夫链为齐次马尔科夫链，此时转移概率简记为
pij ( s,t ) pij (t )
定义 4.16 设随机过程 { X(t),t T } ，其中时间 T={0,1,…}，状态空间 I={0,1,2,…}，若对任一时刻 n，以及任意状态 i0 ,i1, ,in1,i,j ，
1 2014 年 12 月 11 日星期四大连海事大Байду номын сангаас数学系
第五章连续时间马氏链
有 P{ X(n 1 ) j | X(n) i, X(n 1 ) in1 ,
定义 4.18 对于任一 t0，记
p j (t ) P{ X (t ) j }
p j p j (0) P{ X (0) j }, j I
分别称 { p j (t ), j I } 和 { p j , j I } 为齐次马氏链的绝对概率分布和初始概率分布。性质 2：对任意 0 t0 t1 tn ， i0 ,i1, ,in I ，有

第五章连续时间马尔可夫链

的停留时间
i 超过x的概率为1,则称状态i为吸收状态. 随机过程讲义
第五章连续时间的马尔可夫链
定理5.1 齐次马尔可夫过程的转移概率具有下列性：
(1) pij(t) 0; (2)
kI
p (t ) 1;
jI ij
(3) pij ( t s ) pik ( t ) pkj ( s ) 证由概率的定义, (1)(2)显然成立, 下证(3).
ji
p ( t )
ijtຫໍສະໝຸດ qij .ji
说明对状态空间无限的齐次马尔可夫过程, 一般只有
qii qij .
ji
随机过程讲义
第五章连续时间的马尔可夫链
二、柯尔莫哥洛夫方程
问题：若连续时间齐次马尔可夫链具有有限状态空间为 I={0,1,2, ,n}, 则其转移速率可构成矩阵
iI iI
(4) p j ( t ) pi ( t ) pij ( );
iI
jI
pi pii1 ( t1 ) pi1i2 ( t 2 t1 )
, X ( t n ) in }
pin1in ( t n t n1 ).
随机过程讲义
第五章连续时间的马尔可夫链
分布律
(n) pij 0,
转移方程
( n) ( l ) ( nl ) pij pik pkj k I

j I
(n) pij 1
时间连续
1 , i j lim pij ( t ) t 0 0 , i j
pij ( t ) 0
p (t ) 1
j I ij
则对一切i,j及t 0, 有
( t ) qik pkj ( t ) qii pij ( t ) Qi Pj . pij

随机过程与马尔可夫链

随机过程与马尔可夫链随机过程是数学中一种常见的描述随机变量随时间变化的模型。

它可以用于建模和分析各种随机现象，如股票价格的波动、人员流动、网络数据传输等。

而马尔可夫链则是一种常见的随机过程，它具有马尔可夫性质，即未来状态的概率分布仅依赖于当前状态，与过去的状态无关。

一、随机过程的定义与特点随机过程可以用数学模型来描述，其中最常见的是通过概率函数来定义。

对于离散时间的随机过程，我们可以用一个序列{Xn}来表示，其中Xn表示在第n个时间点的随机变量。

同样地，对于连续时间的随机过程，我们可以用一个函数X(t)来表示，在不同的时间点t上取不同的随机值。

随机过程具有以下几个特点：1. 随机过程描述了随机变量在时间上的演化规律；2. 随机过程是随机变量的集合，它可以包含无穷个甚至连续无穷个随机变量；3. 随机过程可以是离散时间的，也可以是连续时间的；4. 随机过程可以是有限维的，也可以是无限维的。

二、马尔可夫链的定义与性质马尔可夫链是一种特殊的随机过程，它满足马尔可夫性质。

具体来说，给定一个随机过程{Xn}，如果对于任意的时刻n，给定过去的状态Xn-1，未来状态Xn+1的条件概率分布仅依赖于当前状态Xn，则称该过程具有马尔可夫性质。

马尔可夫链的定义包括以下几个要素：1. 状态空间：马尔可夫链的状态空间是指随机变量Xn取值的范围，可以是有限的或者可数的。

2. 转移概率：对于任意两个状态i和j，转移概率Pij表示从状态i转移到状态j的概率。

3. 初始概率：初始概率πi表示初始状态为i的概率。

马尔可夫链具有以下几个重要性质：1. 马尔可夫性质：未来状态的概率分布只依赖于当前状态，与过去的状态无关。

2. 时齐性：马尔可夫链的转移概率在时间上保持不变。

3. 不可约性：任意两个状态之间存在一条路径，使得转移到目标状态的概率大于0。

4. 非周期性：不存在周期性的状态循环。

三、马尔可夫链的应用马尔可夫链在实际问题中有着广泛的应用。

随机过程第五章

对于任一t≥0，记
p j (t ) P{ X (tபைடு நூலகம்) j}, p j p j (0) P{ X (0) j}, jI
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概率分布。定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 1. 2. 3. 4.
例题：证明泊松过程为连续时间齐次马尔可夫链，并求其pij (t) 、qij 。例题：一个城市划分成两个区域A和B，各区被指定一辆消防车1和2负责。当接到报警电话时，不论其来自A区还是B区，只要有一辆消防车空闲就会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松分布（参数为λ j ，j=A，B，也用1，2表示），两辆车服务于不同区的时间为独立的指数分布（参数为μ ij ，i=1，2 ，j=A，B ），则两辆消防车的状态为连续时间齐次马尔可夫链。

定理5.6 齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程
pj (t ) p j (t )q jj
p (t)q
k k j
kj
定义5.4 设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得
pij (t1 ) 0, p ji (t2 ) 0
p j (t ) 0
p
jI
j
(t ) 1
i ij
p j (t ) pj
p p (t ) (t ) p (t ) p
iI i iI
ij (
)
5.
P{X (t1 ) i1 ,, X (t n ) in }
p p
i iI
ii1 (t1 ) pi1i2

随机过程第五章连续时间的马尔可夫链

第五章连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率. 定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布; (2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质: ;0)1(≥ij p (2);1=∑∈ij Ij p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.证明只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足: ⎩⎨⎧≠==→.,0,1)(lim 0j i ji t p ij t (5.3) 称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任一0≥t 记 },)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2),1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii Ii i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为})()({11n n n n i t X i t X P ==++=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t eij t---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j ij i j t e t p t s p i j t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性. 5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+ ),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj ir ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+ 综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+ 由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在 (1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v t t p (2).,)(lim 0j i q tt p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量. 推论对有限齐次马尔可夫过程,有 ∞<=∑≠ij ij ii q q证明由定理5.1 ,有)()(1,1)(t p t p t pij ij ii Ij ij∆=∆-=∆∑∑≠∈由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4)对于状态空间无限的齐次马尔可夫过程,一般只有 ∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q qq q q Q .....................11111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q 利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有 ),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到 )()()(lim )()(lim 00t p q t p hh p ht p h t p ij ii kj ik ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有 ≥∑≠→)()(inflim 0t p hh p kj ik ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj Nk i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以)()()(inflim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0Nk ik kj Nk i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj Nk i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤Nk i k ikii kj Nk i k ikqq t p q令∞→N ,由定理5.3和条件得 )()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得 )()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik Ik kj Ik ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以 )}.()(1)()({lim )()(lim 00t p h h p h h p t p ht p h t p ij jj kj jk ik h ij ij h --=-+∑≠→→假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件 .,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij 时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10) ,)()(Q t P t P =' (5.11) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---= (222120121110)020100q q q q q qq q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=............ (222120121110)020100p p p p p pp p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为 .!)()(0∑∞===j jQtj Qt et P定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程:.)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj jk ikiIi jj ijiIi ijIi iq t pp q t pp t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得 ,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj jk k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有 .)(lim j j t t p π=∞→ (2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 ),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知,)()(lim )(1lim 1001010011011q h p dhdhh p h h p q h h h ====-==→→μ,)()(lim )(1lim 0100101000000q h p dhdhh p h h p q h h h ====-==→→λ由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得 ,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' 可解得 ,)()(0001t e t p μλλλ+--= 由对称性知,)()(0011t e t p μλμλ+-+= ,)()(0010t e t p μλμμ+--= 转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ 由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为 0100,λπμπ== 若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P 则过程在时刻t 的绝对概率分布为 )()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率.解由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫⎝⎛--=μμλλQ .根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可. 由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p 因为P{X(0)=0}=1=,0p 所以====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p 5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ)()()(1010101t p p t p p t p +=,0,0),()(01,=>+=-μμμi i i i h o h h p ),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率,i μ为死亡率.若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程.若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+- 由定理5.3得到 ,0,)()(,0≥+=-==i h p dhdt q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh dt q i i h ij ij μλ,2,0≥-=j i q ij 故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 ,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ 逐步递推得,2),()(,≥-=j i h o h p j i,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j jj μμμλλλπ,112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务. 假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ.0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得.0),1()()(1)(1≥-=+=∑∞=n n n nnn μλμλμλμλπ。

第五章马尔可夫过程

P{X(tn) < xn | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1}
= P{X(tn)- X(tn-1) < xn- xn-1 | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1}
= P{X(tn)- X(tn-1) < xn- xn-1 }= P{X(tn) < xn | X(tn-1) = xn-1}
k为转移步长。显然， 0≤ pij (m,k) ≤ 1 。
5.2 马尔可夫链
5.2.1 பைடு நூலகம்尔可夫链的概念
马尔可夫链的转移概率及其矩阵：
对于有限状态空间E={1,2,…,N},由马尔可夫链 {X(n), n=0,1,2,…}在时刻m的k步转移概率pij (m,k)形成的下列矩阵
p11(m, k)
P(m,
5 马尔可夫过程
马尔可夫过程的概念离散参数马尔可夫链连续参数马尔可夫链生灭过程及应用
5 马尔可夫过程
有限维概率分布(簇) 转移概率绝对概率极限分布平稳分布状态空间的性质
5.1 马尔可夫过程的概念
5.1.1 有关定义
随机过程马尔可夫性：（物理描述）
当随机过程在时刻 ti 所处的状态为已知的条件下，过程在时刻 t(>ti)所处的状态，与过程在ti时刻以前的状态无关，而仅与在ti时刻的状态有关。这种已知“现在”状态的条件下，“将来”状态与“过去”状态无关的性质，称为马尔可夫性或无后效性。
或 F{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= F{xn; tn| xn-1 ; tn-1} 或 f{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= f{xn; tn| xn-1 ; tn-1}

连续时间马尔可夫链

5 连续时间马尔可夫链5.1引言本章中我们考虑与离散时间马尔可夫链类似的连续时间马尔可夫链。

如离散情形一样，它们由马尔可夫性刻画，即已知现在的状态时将来与过去独立。

在5.2节中。

我们定义连续时间马尔可夫链且把它们与第四章的离散时间马尔可夫链相联系。

在5.3节中，我们引入一类重要的连续时间马尔可夫链，即所谓生灭过程。

这些过程可用作在任何时刻其总量的变化仅为一个单位的群体的模型。

在5.4节中，我们导出两组描述系统的概率规律的微分方程——向前与向后方程。

5.5节的内容是确定连续时间马尔可夫链的有关的极限（或长时间后的）概率。

在5.6节中，我们考虑时间可逆的问题。

其中，我们证明一切生灭过程是时间可逆的，而后阐明这事实对于排队系统的重要性。

在这一节中也提供了时间可逆性对随机群体模型的应用。

在5.7节中，我们阐明逆向链的重要性，即使过程不是时间可逆的。

利用它我们研究排队网络模型。

导出爱尔朗消失公式，分析共用加工系统。

5.8节中我们表面如何“一致化”马尔可夫链——对于数值计算有用的一种技巧。

5.2连续时间马尔可夫链考虑取非负整数值的连续时间随机过程t,0X t，与第四章中给出的离散时间马尔可夫链的定义类似，过程t,0X t称为连续时间马尔可夫链，如果对一切,0s t及非负整数,i j，x u，0u s，有|X,X,0P X t s j s i u x u u sP X t s j X s i|换言之，连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在s时是状态及一切过去的状态的套件下在将来时刻t s的状态的条件分布只依赖现在的状态而与过去独立。

若又有|P X t s j X s i与s无关则称连续时间马尔可夫链具有平稳的或其次的转移概率。

将假定我们所考虑的马尔可夫链都有平稳转移概率。

假设在某时刻，比如说时刻0，马尔可夫链进入状态i，而且假设在接下来的s个单位时间中过程未离开状态i（即未发生转移）。

在随后的t个单位时间中过程仍不离开状态i的概率是多少呢？为了回答这个问题。

随机过程与马尔可夫链

随机过程与马尔可夫链随机过程是概率论中研究随机系统演化的一种数学模型。

在随机过程中，状态会随着时间的推移而发生变化，而这些状态的变化是由概率决定的。

马尔可夫链是随机过程的一种特殊形式，具有重要的理论和应用价值。

一、随机过程的基本定义与特点随机过程是指一个描述随机现象随着时间的变化而变化的数学模型。

它的基本定义如下：定义1：设(t,ω)∈R×Ω，Ω是样本空间，则对于每个固定的t，X(t,ω)是定义在Ω上的随机变量。

在随机过程中，每个随机变量都代表着某个特定时间点的系统状态。

随机过程的演化过程是通过在随机变量之间建立联系来描述的。

随机过程的特点之一是时间的不可预测性。

由于随机过程具有随机性质，未来的状态是不可完全预测的。

但是，通过概率论的方法，我们可以对未来的状态做出一定程度的概率估计。

二、马尔可夫链的定义与性质马尔可夫链是一种特殊的随机过程，具有“无记忆性”的特点。

在一个马尔可夫链中，当前状态的概率分布只依赖于其前一个状态的概率分布，与前面的状态无关。

定义2：设{X(t), t≥0}为一个随机过程，若对任意的n≥1，任意的0≤t1<t2<...<tn，以及对任意的实数B1, B2, ..., Bn，有：P{X(t1)∈B1, X(t2)∈B2, ..., X(tn)∈Bn} =P{X(t1)∈B1}P{X(t2)∈B2|X(t1)∈B1}...P{X(tn)∈Bn|X(tn-1)∈Bn-1}其中，B1, B2, ..., Bn是状态空间S的子集。

马尔可夫链的无记忆性使得其具有许多有趣的性质。

例如，给定当前状态，未来的演化是与过去的历史无关的，这使得马尔可夫链可以用来对一些时间无关的随机系统进行建模和分析。

三、马尔可夫链的应用马尔可夫链在很多领域都有广泛的应用。

以下是一些典型的应用例子：1. 马尔可夫链在自然语言处理中的应用马尔可夫链被广泛用于自然语言处理中的语言模型。

通过对大量文本数据的分析，可以建立马尔可夫链模型，以预测下一个词语出现的概率。

第5章马尔可夫链

转移),而后M→M(无转移).于是转移概率为 P{U→U|M}·P{
M→M}=0.8×0.7=0.56.其它转移概率类似可得.转移方
式
.
是 UM→UM UM→DM UM→UW UM→DW
DM→UM DM→DM DM→UW DM→DW UW→UM UW→DM UW→UW UW→DW 转移概PD=率W矩→阵U为M DW→DM DW→UW DW→DW
硬币W具有转移概率
.
在任何给定时刻硬币被替换的概率为30%,替换完成时,
硬币的状态不变.这一Markov链有4个状态,分别记为 1:UM; 2:DM; 3:UW; 4:DW.
状态1,3表示正面U,状态2,4表示反面D. 转移矩阵为4×4
马尔可夫链
我们可以计算转移概率, 比如UM→UM,首先有 U→U(无
pij表示过程处在状态i时, 下一次转移到状态j的概率. 由于概率值非负且过程必须转移到某个状态,所以有
pij≥0, i,j≥0(即i,j∈I);
pij=j10, i=0,1,2,…(即i∈I)
(★)
我们称P{Xn+1=j|Xn=i}=pij为Markov链 {Xn,n=0,1,2,…}的
马尔可夫链
马尔可夫链
可夫链的特性为Markov性,亦称“无后效性”.此性质说明:
要确定过程将来的状态, 知道它此刻的状态就足够了,
并不需要对它以往状况的认识. 也就是说
对于一个马尔可夫链,在给定过去的状态X0,X1,…,Xn-1 和过现在的状态Xn时, 将来的状态Xn+1的条件分布独立于
去的状态而只依赖于现在的状态.
PU4U
=0.5648.
马尔可夫链
例5.13(隐Markov链模型) 这里用简单例子引出隐 Markov

5.连续时间的马尔可夫链3

顾客以及每个顾客所需的服务时间服从怎样的分布，常用的分布有指数分布，定长分布等;
（三）各种排队模型的记号排队模型将如下六个特征按顺序由各自的符号给出，
并用斜线隔开：
输入过程/服务分布/服务台个数/系统容量/顾客源数/排队规则
例4 M/M/S/n/∞/FIFO
表示顾客按泊松过程来到，时间间距为指数分布，服务时间为指数分布，有s个服务员，系统容量为n 个，顾客来源无限，排队规则是先到先服务。
j1 12 j
即当状态空间 I 1,2, , 时，平稳分布为
0=
1+
j 1
01 12
1
j1 j
1=
0 1
0，
2=
01 12
，
0
，
j
=
01 12
j1 j
，
0
，
应用举例
例1 泊松过程 N t ,t 0 是生率为
的纯生过程。
状态空间 I 0,1,2, , 状态转移速率图如下
顾客
到达等待服务排队规则
提供服务的服务台服务时间
随机服务系统示意图
顾客离去
这里“顾客”和“服务台”是广义的，如病人到医院看病， “顾客”是病人，“服务台”是医院；某人去商店去购物， “顾客”是购买货物者，“服务台”是柜台；打电话到寻呼台， “顾客”是打电话的人，“服务台” 是寻呼台；……
解：此系统为M/M/1损失制 = 4，= 2
53
（1）平稳分布
0
=5, 11
1
=
6. 11
（2）系统处于无顾客状态的概率为即可以接通的
概率为 0 = 151，因每分钟呼唤 =0.8 次，故每分钟
每分钟可以接通的概率

随机过程-第五章马尔可夫链

假设当前四种鲜奶的市场份额为 (vA , vB , vC , vD ) (25%,30%,35%,10%) ，试求半年后鲜奶的市场份额。解：根据题设首先可写出一步转移概率矩阵
0.95 0.02 0.02 0.01 0.3 0.6 0.06 0.04 P 0.2 0.1 0.7 0 0.2 0.2 0.1 0.5
P
jS
ij
1, i S 。则称该矩阵为随机矩阵。
显然，随机矩阵的各行元素之和都等于 1。
例 5.1 赌徒输光问题：考虑一赌徒，在每局赌博中他以概率 p 赢得 1 元，以概率
q 1 p 输掉 1 元，假设各局赌博是相互独立的，赌徒开始有 i （ ቤተ መጻሕፍቲ ባይዱ i n ）元，且他在赌
显然， Markov 链的统计特征由其初始分布 P{ X 0 i0 } 和转移概率 P{ X k i X k 1 ik 1} （ k 1, 2,, n ）决定。
定义 5.3 时齐 Markov 链：当 Markov 链的转移概率 P{ X n1 j X n i} 只与状态 i, j 有
m n m, n 0 使得 P ij 0, Pjk 0 ，利用 C-K 方程（1）可知
n n Pikm n Pirm Prk Pijm Pjk 0 rS
K 类似地可以证明存在 K 0 使得 Pki 0 。
称互通的两个状态属于同一个类，且由命题 5.1 可知，任何一个状态不能同时属于两个不同的类，即任意两个不同的类不相交。思考：对例 5.1 中的赌徒问题的状态分类？定义 5.7 可约：若 Markov 链只存在一个类，则称它为不可约的；否则称为可约的。在不可约的 Markov 链中，一切状态都是彼此互通的。

随机过程的连续时间马尔可夫过程与转移概率

随机过程的连续时间马尔可夫过程与转移概率随机过程是概率论中研究的重要课题，它描述了随机事件在时间上的演化规律。

马尔可夫过程是一类常见的随机过程，它具有马尔可夫性质，即在给定当前状态下，未来状态的概率分布只与当前状态有关，与过去的状态无关。

本文将重点讨论随机过程中的连续时间马尔可夫过程以及与之相关的转移概率。

一、连续时间马尔可夫过程的定义连续时间马尔可夫过程是指在时间上呈连续变化的随机过程，它的状态空间和状态转移概率在时间的任意一段内都保持不变。

具体而言，对于一个连续时间马尔可夫过程，其状态空间可以用S表示，状态转移概率可以用P(t)表示，其中t表示时间。

二、连续时间马尔可夫过程的特点1. 马尔可夫性质：连续时间马尔可夫过程具有马尔可夫性质，即在给定当前状态下，未来状态的概率分布只与当前状态有关，与过去的状态无关. 这一性质使得马尔可夫过程具有很好的简化性和计算性.2. 独立增量性质：连续时间马尔可夫过程具有独立增量性质，即在不重叠的时间间隔上的状态变量是相互独立的.3. 示性函数的连续性：连续时间马尔可夫过程中，随机变量状态的转移概率是连续函数，这也是它与离散时间马尔可夫过程的一个重要区别。

三、连续时间马尔可夫链与转移概率对于连续时间马尔可夫过程，其状态转移概率可以由转移概率矩阵来表示。

转移概率矩阵是一个关于时间t的函数，记作P(t)。

它的元素Pij(t)表示在时间t内从状态i转移到状态j的概率。

转移概率矩阵满足以下性质：1. Pij(t) ≥ 0，对于所有的i、j和t都成立。

2. 对于任意固定的i和t，有ΣjPij(t) = 1，即在固定时间t内，从状态i出发转移到所有可能状态j的概率之和为1。

3. 转移概率矩阵P(t)的乘积P(s+t)等于P(s)乘以P(t)，即P(s+t) =P(s)P(t)，其中s和t为任意的正实数。

根据转移概率矩阵P(t)的性质，我们可以得出连续时间马尔可夫过程的转移概率随时间的推移而改变，但在任意一段时间内始终保持一致。

第五章 连续时间马尔可夫链-随机过程

马尔可夫链随机过程

随机过程Ch5-连续时间的马尔可夫链

随机过程-第五章-连续时间的马尔可夫链

随机过程 马尔可夫链

连续时间马氏链

第五章 连续时间马尔可夫链

随机过程与马尔可夫链

随机过程第五章

随机过程第五章连续时间的马尔可夫链

第五章马尔可夫过程

连续时间马尔可夫链

随机过程与马尔可夫链

第5章 马尔可夫链

5.连续时间的马尔可夫链3

随机过程-第五章 马尔可夫链

随机过程的连续时间马尔可夫过程与转移概率

第五章连续时间马尔可夫链-随机过程

随机过程马尔可夫链

第五章连续时间马尔可夫链

第5章马尔可夫链

随机过程-第五章马尔可夫链