随机过程第五章
随机过程课程第五章 平稳过程
（1）均值函数为常数： m(t) E[X (t)] m
（2）相关函数仅是时间差 t1 t2 的函数：
记
B( ) R(t1,t2 )
证 只对连续型的情况
m(t) E[ X (t)] xf (t；x)dx
xf (x)dx m
首页
R(t1,t2 ) E[ X (t1) X (t2 )]
而与时间起点无关。
证
首页
一对维任意的 ，必有 f (t；x) f (t ；x) 若令 t ，得
f (t；x) f (0；x) f (x) 即一维概率密度 f (t；x) 与 t 无关。
同理有一维分布函数也与t无关，
即 F(t；x) F(0；x)
证 二维 对于二维概率密度，有
f (t1,t2；x1, x2 ) f (t1 ,t2 ；x1, x2 )
首页
返回
第三节 平稳正态过程与正交增量过程
一、平稳正态过程
定义1 若正态随机过程{ X (t) ,t (,) }，满足
E[X (t)] m
R(t1,t2 ) E[ X (t1) X (t2 )] B( )
则称 X (t)为平稳正态过程。
t1 t2
注 平稳正态过程一定是严平稳过程。
证
由于
第五章 平稳过程
第一节 基本概念 第二节 平稳过程相关函数的性质 第三节 平稳正态过程与正交增量过程 第四节 遍历性定理
第一节 基本概念
一、严平稳过程
定义1 设随机过程{ X (t) ,t T }， 若对任意n，任意 t1，t2 , , tn T t1 t2 tn 当t1 ，t2 ，…，tn T 时，有 F (t1, t2 , , tn；x1, x2 , , xn ) P{X (t1） x1, X (t2 ) x2 , , X (tn ) xn )}
随机过程-第五章-连续时间的马尔可夫链
第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质:;0)1(≥ij p (2);1=∑∈ij Ij p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程. 证明 只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足:⎩⎨⎧≠==→.,0,1)(lim 0j i ji t p ij t(5.3)称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任 一0≥t 记 },)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2),1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii Ii i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义 它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为})()({11n n n n i t X i t X P ==++=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t eij t---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j ij i j t e t p t s p i j t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明 设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+ ),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj ir ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+ 综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+ 由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h 即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在 (1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v t t p (2).,)(lim 0j i q tt p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量. 推论 对有限齐次马尔可夫过程,有 ∞<=∑≠ij ij ii q q证明 由定理5.1 ,有)()(1,1)(t p t p t pij ij ii Ij ij∆=∆-=∆∑∑≠∈由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4)对于状态空间无限的齐次马尔可夫过程,一般只有 ∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q qq q q Q .....................11111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q 利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有 ),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到 )()()(lim )()(lim 00t p q t p hh p ht p h t p ij ii kj ik ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有≥∑≠→)()(inflim 0t p hh p kj ik ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj Nk i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以)()()(inflim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以 ≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0Nk ik kj Nk i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj Nk i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤Nk i k ikii kj Nk i k ikqq t p q令∞→N ,由定理5.3和条件得)()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得 )()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik Ik kj Ik ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以 )}.()(1)()({lim )()(lim 00t p h h p h h p t p ht p h t p ij jj kj jk ik h ij ij h --=-+∑≠→→假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件 .,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij 时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10) ,)()(Q t P t P =' (5.11) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---= (222120121110)020100q q q q q qq q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=............ (222120121110)020100p p p p p pp p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为 .!)()(0∑∞===j jQtj Qt et P定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程:.)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明 由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj jk ikiIi jj ijiIi ijIi iq t pp q t pp t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得 ,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的.定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj jk k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有 .)(lim j j t t p π=∞→ (2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 ),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得 ,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' ,)()(lim )(1lim 1001010011011q h p dhdhh p h h p q h h h ====-==→→μ,)()(lim )(1lim 0100101000000q h p dhdhh p h h p q h h h ====-==→→λ可解得 ,)()(0001t e t p μλλλ+--= 由对称性知,)()(0011t e t p μλμλ+-+= ,)()(0010t e t p μλμμ+--= 转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ 由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为 0100,λπμπ== 若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P 则过程在时刻t 的绝对概率分布为 )()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率. 解 由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫⎝⎛--=μμλλQ .根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可. 由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p 因为P{X(0)=0}=1=,0p 所以)()()(1010101t p p t p p t p +=====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ,0,0),()(01,=>+=-μμμi i i i h o h h p),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率, i μ为死亡率.若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程. 若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+-由定理5.3得到,0,)()(,0≥+=-==i h p dhd t q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh d t q ii h ij ij μλ ,2,0≥-=j i q ij故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 ,2),()(,≥-=j i h o h p j i,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ逐步递推得,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j j j μμμλλλπ, 112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ 例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务. 假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ .0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得 .0),1()()(1)(1≥-=+=∑∞=n n n nnn μλμλμλμλπ。
第五章 连续时间马尔可夫链-随机过程
二、连续时间马尔可夫链的状态逗留时间和转移速率 命题 以 i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t } ，因此， 随机变量 i 是无记忆的必有指数分布，其参数设为 v i
证明： P{ i t s | i s}
P{T1 t } 1 e t
P{T1 T2 t } P{T1 T2 t | T1 x } e t dx
0 t
= (1 e 2 ( t x ) ) e x dx (1 e t )2
0
t
P{T1 T2 T3 t } P{T1 T2 T3 t | T1 T2 x }dFT1 T2 ( x )
i 1 n
其中 f 是密度函数(5.3.2)
e (t x) ,0 x t f ( x) 1 et 0, 其它
但因为(5.3.1)是 n 个密度为 f 的随机变量的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的联合密度函数。于是得 命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子 样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
0 1 2 3
…Байду номын сангаас
n
n
2
3
… (n 1)
若对一切 n， n 0 (即若死亡是不可能的)，则生灭过程称为纯 生过程，i 个个体开始的纯生过程，生长率为 n , n i 。
随机过程_课件---第五章
随机过程_课件---第五章第五章离散参数Markov 链5.1 Markov 链的基本概念1、Markov 链和转移概率矩阵定义5-1考虑只取有限个或可数个值的随机过程{},0,1,2,n X n = 。
把过程所取可能值得全体称为它的状态空间，记之为E ，通常假设{}0,1,2,E= 。
若n X i =就说“过程在时刻n 处于状态i ”，假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ij p ，即对任意时刻n1(|)n n ij P X j X i p +===若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有11111001(|,,,,)(|)n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链。
称矩阵00010201011121012j j i i i ij p p p p p p p p P p p p p ??=是一步转移概率矩阵，简称为转移矩阵。
由ij p 的定义可知，这是一种带有平稳转移概率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链。
且具有，0ij p ≥ , 01ij j p ∞==∑2、例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =。
于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率,1,10,jk p k j p q k j =+??==-其他当12p q ==时，称为简单对称随机游动。
例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务。
随机过程第五章(下)
n n n d E i ( xi i ) E i ( xi i ) j ( x j j ) i 1 i 1 j 1
2
i j E ( xi i )( x j j )
即若 X 为正态，则Y AX b ，亦为正态随机变量。
5、若 X 为n维正态随机变量，那么X1,X2, …,Xn相互独立的充要条件
是两两互不相关。
定义： 若随机过程X(t)的任意n维分布都是n维正态分布，则称X(t)是正态随机 过程（高斯过程）。 正态随机过程的性质：
1. 若正态随机过程为宽平稳，则必为严平稳。
第五章（下）：正态过程
多维随机变量的定义与协方差矩阵 多维正态随机变量的性质 正态随机过程的定义 正态随机过程的性质
二维正态随机变量： 讨论随机变量X1,X2的联合概率密度函数 x a ( x a )( x a ) x a 1 1 f ( x1 , x2 ) exp{ [( 1 1 )2 2 1 1 2 2 ( 2 2 )2 ]} 2(1 2 ) 1 1 2 2 21 2 1 2 称X1,X2为二维正态随机变量。其中ρ 为X1和X2的相关函数。 对于上述二维随机变量，其边际密度可表示为
f X ( x)
1 (2 ) | C |
n 2 1 2
1 exp{ ( x a )C 1 ( x a ) ' } 2
则称 X 为n维正态随机变量，其中C为n维实对称正定阵。ห้องสมุดไป่ตู้为X ~ N (a, C)
协方差矩阵
C11 C12 C1n C C22 C2 n 21 C Cn1 Cn 2 Cnn
第五章 随机过程中的马尔可夫过程
p(k m) ij
(n)
p(k il
)
(n)
p(m lj
)
(n
k
),
i, j S,
n, k, m 0
l
或
P(km) (n) P(k) (n)P(m) (n k)
证明
2006年9月
p(k ij
m)
(n)
P{X
nk
m
j|
Xn
i}
P{U( X nk l), X nkm j | X n i} l
i
P( X 0 i)P( Xt1 i1 | X 0 i)P( X t2 i2 | X 0 i, X t1 i1)L i
• P( X tn in | X 0 i, X t1 i1, X t2 i2 ,L , X tn1 in1)
P( X 0 i)P( X t1 i1 | X 0 i)P( X t2 i2 | X 0 i)P( X tn in | X tn1 in1)
i
qi0
pt1 ii1
(0)
pt2 i1i2
t1
(t1
)L
p (t ) tn tn1
in1in
n1
i
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
3) 绝对分布
称q(jn) P(Xn j), n 0, j S为马尔可夫链{Xn，n 0}的绝对分布。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
一种最简单的形式:
P{X (t1) i1, X (t2 ) i2,L , X (tn1) in1, X (tn ) in} P{X (t1) i1}P{X (t2) i2}L P{X (tn ) in}
随机过程课件-c5
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
5 连续时间的马尔可夫链
12
转移速率
5 连续时间的马尔可夫链
13
Q矩阵
若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,…,n}
λ
λ
26
求其平稳分布。
pij(t)极限存在且与i无关，存在平稳分布
5 连续时间的马尔可夫链
27
或者
此Markov链是不可约的
5 连续时间的马尔可夫链
28
5 连续时间的马尔可夫链
29
5.3 生灭过程
5 连续时间的马尔可夫链
30
Q矩阵
I = {0,1,2,3,...}
⎛ − λ0 ⎜ ⎜ μ1 ⎜ Q=⎜ ⎜ ⎜ ⎜ ⎜ ⎝
⎛ − q00 ⎜ ⎜ q10 Q =⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎟ q1n ⎟ ⎟ ⎟ − qnn ⎟ ⎠
Q= P′ (0)
利用Q可以推出任意时间间隔的转移概率所满足的方程组，从 而求解转移概率。
5 连续时间的马尔可夫链
14
微分方程
P′(t)=QP(t) 定理5.5 (科尔莫戈罗夫向前方程) 在适当的正则条件下有
5 连续时间的马尔可夫链
22
渐近性质
5 连续时间的马尔可夫链
23
5 连续时间的马尔可夫链
24
回顾
转移概率： pij(s,t)= P{X(s+t)=j|X(s)=i} P(s+t)=P(s)P(t) 转移速率 Q= P′ (0) 科尔莫戈罗夫微分方程 向后方程：P′(t)=QP(t) 向前方程：P′(t)=P(t)Q
随机过程第五章
p j (t ) P{ X (tபைடு நூலகம்) j}, p j p j (0) P{ X (0) j}, jI
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概 率分布。 定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 1. 2. 3. 4.
例题：证明泊松过程为连续时间齐次马尔可夫链，并求其pij (t) 、qij 。 例题：一个城市划分成两个区域A和B，各区被指定一辆消防车1和2负责。 当接到报警电话时，不论其来自A区还是B区，只要有一辆消防车空闲就 会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松 分布（参数为λ j ，j=A，B，也用1，2表示 ），两辆车服务于不同区的时 间为独立的指数分布（参数为μ ij ，i=1，2 ，j=A，B ），则两辆消防车的 状态为连续时间齐次马尔可夫链。
定理5.6 齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程
pj (t ) p j (t )q jj
p (t)q
k k j
kj
定义5.4 设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得
pij (t1 ) 0, p ji (t2 ) 0
p j (t ) 0
p
jI
j
(t ) 1
i ij
p j (t ) pj
p p (t ) (t ) p (t ) p
iI i iI
ij (
)
5.
P{X (t1 ) i1 ,, X (t n ) in }
p p
i iI
ii1 (t1 ) pi1i2
研究生课程 随机过程 课件第五章2
µ −λ
p 'ij (t ) = λi pi +1, j (t ) − (λi + µi ) pij (t ) + µi pi −1, j (t ) 向后方程： p '0 j (t ) = λ0 p0 j (t ) + λ0 p0 j (t )
类似向前方程，绝对概率也有如下方程： p′ (t ) = −(µ j + λ j ) p j (t ) + λ j −1 p j −1 (t ) + µ j +1 p j +1 (t ) j ′ p0 (t ) = − p0 (t )λ0 + µ1 p1 (t )
λ λ −λ −µ 2µ − λ − 2µ
λ
sµ
状态转移图如下：
λ
0
λ
1 2
λ
⋯⋯
3µ
λ
S
λ
S+1
λ
sµ
µ
2µ
sµ
sµ
平稳分布： − λπ 0 + µπ 1 = 0 λπ k −1 − (λ + kµ )π k + (k + 1)µπ k +1 = 0 1 ≤ k ≤ s − 1 λπ − (λ + sµ )π + sµπ = 0 k ≥ s k −1 k k +1
qi ,i +1 = λ iµ , i < s qi ,i −1 = sµ , i ≥ s − λ − iµ , i < s qii = − λ − sµ , i ≥ s qij = 0,
− λ µ Q=
i− j ≥2
− λ − sµ λ ⋯
(解答)《随机过程》第五章习题
T 2 (u)du
0
T 0
2
(v)dv
P
2
1 T T E{ 2 (u) 2 (v)}dudv P 2 T2 0 0
1 T2
T 0
T 0
[
R2
(0)
2
R2
(u
v)]dudv
P
2
2
T2
T 0
T 0
R2
(u
v)dudv
H ( j) 2 1
j
2 2
由维纳－辛嵌定理，有：
S
()
F[R
(
)]
2
2
2
2
由输入输出功率谱的关系，有：
因此，我们有
S ()
H ( j) 2 S ()
( 2
2
2
2 )( 2
2)
2
2
2 2
2
H ( j) 2 Sn ()
N0 2( 2 2 )
由维纳－辛嵌定理，有：
由于
R
( )
F
1[S
()]
N0 4
e
E{(t)} 0 ， D{(t)}
E{(t)(t)} 2[R (0) R (T )]
N0 2
1 eT
ˆ
（1）在 t 0 时输出(0) 大于 y 的概率 P{(0) y}；
（2）求条件概率 P{(0) y (T ) 0}，其中T 0 ；
（3）求条件概率 P{(0) y (T ) 0}，其中T 0 。
随机过程第5章(Galton-Waston分支过程)
存在性
对于给定的生育概率函数， Galton-Watson分支过程存在。
唯一性
对于给定的生育概率函数， Galton-Watson分支过程是唯一 的。
灭绝概率
定义
灭绝概率是指种群最终消亡的概率。
计算方法
通过递归方式计算每一代种群数量的概率分布， 最终得到灭绝概率。
应用
灭绝概率在生态学、遗传学等领域有广泛应用， 如评估种群稳定性、预测种群发展趋势等。
计算机科学
在计算机科学中，GaltonWatson分支过程可用于模拟网络 流量、路由协议等。
统计学
在统计学中，Galton-Watson分 支过程可用于估计事件的概率分 布和参数估计。
02
Galton-Watson分支过程的 数学模型
模型建立
01
02
03
定义
初始条件
繁殖规则
Galton-Watson分支过程是一个 离散时间的马尔可夫链，描述了 一代代繁殖的种群数量变化。
01
02
03
无重叠世代
每一代种群与下一代种群 没有重叠，即每一代种群 中的个体不会在下一代中 出现。
无移民和迁出
种群中没有新的个体加入 或离开，即种群数量只受 繁殖和死亡的影响。
独立同分布
每一代种群中个体的繁殖 数量独立且服从相同的概 率分布。
03
Galton-Watson分支过程的 性质与定理
存在性与唯一性
生物多样性研究
通过模拟不同环境下的物种繁殖和灭 绝过程，可以研究生物多样性的形成 和维持机制，为保护生物多样性提供 理论支持。
遗传学中的应用
基因传递模型
Galton-Watson分支过程可以用于描述基因在世代之间的传 递过程，帮助遗传学家理解基因突变和进化的机制。
随机过程第五章 平稳随机过程
1,
0,
T st;
其他.
E{Y (s)Y (t)} E{E[Y (s)Y (t) ]}
st
1 P{ T s t } 1 ,
T 对于 t 的其它情形可做类似推理.
电子科技大学
随机二元传输过程是一个平稳过程,记τ=s－t,
其自相关函数为
0,
),
a;
0,
a
RX(t, t+τ)与 t 无关, 故X(t) 是宽平稳过程.
P128例12 泊松过程不是平稳过程，
是平稳增量过程.
电子科技大学
三、两种平稳性的关系
1）严平稳过程不一定是宽平稳的; 因宽平稳过程一定是二阶矩过程,而严平稳 过程未必是二阶矩过程. 2）宽平稳不一定 严平稳;
CX (s,t) RX (s,t) mX 2 RX () mX 2
电子科技大学
注 自协方差函数与自相关函数都仅依赖于t－s.
平稳过程在实际中是常见过程,如
照明电网中电压的波动过程; 电子系统中的随机噪声; 稳定气象条件下海域中一定点处的海浪高度 随时间的变化或随地点的变化(平稳随机场)； 卫星图片中相同条件下的灰度水平.
t 0,
随机变量与 随机过程》
其中X0 与N(t)相互独立，且
美 A.帕普
力斯，p303
C C
X0 ～ 1 1 C > 0,
2 2
电子科技大学
讨论｛X(t), t≥0｝的平稳性.
C
－C
解 因 X (t) X0(1)N(t) , t 0, mX (t) E[X(t)] E(X0 )E[(1)N(t)] 0, t 0
随机过程第五章
显然，绝对分布与初始分布和n步转移概率有如下 关系：
( q(jn ) qi(0) pijn ) (0), n 0, i , j S i
或
q
( n)
q P (0)
( 0) ( n)
4．齐次马尔可夫链
定义 设{ X n , n 0} 是一马尔可夫链，如果其一步转移 概率 pij (n) 恒与起始时刻n无关，记为 pij , 则称
r0 q 0 P 0 0
p0 r q 0 0
0 p r 0 0
0 0 0 0 p 0
0 0 0
0 q r 0 0 qa
0 0 0 p ra
例5.3 设一个坛子中装有m个球，它们或是红色的， 或是黑色的，从坛子中随机的摸出一球，并换入一 个相反颜色的球。设经过n次摸球坛中黑球数为Xn,则 { X n , n 0}是以 S {0,1,, m} 为状态空间的齐次 马尔可夫链，其一步转移概率矩阵为
{ X n , n 0} 在n 时处于状态i的条件下经过k+m步转移
于n+k+m时到达状态j,可以先在n时从状态i出发， 经过k步于n+k时到达某种中间状态l,再在n+k时从状 态l出发经过m步转移于n+k+m时到达最终状态j,而 中间状态l要取遍整个状态空间。
定理 马尔可夫链的k 步转移概率由一步转移概率所 完全确定。
为系统首次到达状态j的时间，简称首达时. 当 {n n 1, X n j} 时，定义Tj
引理2
(1) fij(n) P{Tj n X 0 i} (2) fij P{Tj X 0 i}
(3) ij E[T j X 0 i] n fij( n )
卢正新《随机过程》第五章 布朗运动与鞅-全
解：B(2) ~ N (0, 2) P{B(2) 0} 0.5，则
PB(t) 0,t 1, 2 PB(1) 0, B(2) 0
PB(1) 0, B(1) B(2) B(1) 0
PB(1) 0, B(2) B(1) B(1)
5
布朗运动定义2：随机过程{B(t)，t≥0}为布朗运动，如果满足： 1）（正态增量）B(t)-B(s)~N(0,t-s) ； 2）（独立增量）B(t)-B(s)独立于过去的状态B(v)，0≤v ≤ s； 3）（轨道连续） {B(t)，t≥0}的轨道是t的连续函数。
注：并未强调B(0)=0，如果B(0)=x，可用B(t)-x进行变换。 定理：设{B(t)，t≥0}是正态过程，轨道连续，B(0)=0，对任意的s， t>0，有EB(t)=0，E[B(s)B(t)]=min(s,t)，则{B(t)，t≥0}为布朗运动， 反之亦然。
2）设Y0=0，{Yn， n≥0}是随机变量序列， E|Yn|<∞， EYn= μn≠0， n≥1， 定义X0=0，则Xn =Y1Y2…Yn/ μ1 μ2… μn是鞅。
n
解：1)E | X n | | Yk | ，n 1, 2 k 1
E X n+1 | Yn Y0 E X n Yn+1 | Yn Y0
6
证： 1）充分性 若B(t),t 0是布朗运动，则其为正态过程。
设0 s t，则：
E B(s)B(t) E B(s)B(t) B(s) B(s) E B(s)B(t) B(s) E B(s)B(s) s
2）必要性，当B(t),t 0为正态过程，且 E B(s)B(t) min(s,t)，则多s,t 0，有 E B(t) B(s) 0; E B(t) B(s)2 EB2(t) EB2(s) 2E B(t)B(s)
随机过程Ch5连续时间的马尔可夫链ppt课件
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
则器件在0, t 正常工作，即寿命超过t的概率为： PX t exdx et
t
已知器件用了t小时，器件寿命超过t h，
即在t,t h器件不坏的概率为：
p00h PX t h / X t
PX
t h, X
PX t
t
PX t h PX t
e t h et
eh
1 h
5.2柯尔莫哥洛夫微分方程
一.连续性条件(正则性条件)
规定lim t 0
pij t ij
1 0
i j i j
或lim Pt I t 0
称此为连续性条件(正则性条件)
阐明：过程刚进入某状态不可能立即又 跳跃到另一状态，这恰好阐明一种物理系统要 在有限时间内发生无限屡次跳跃，从而消耗无 穷多旳能量这是不可能旳，亦即经过很短时间 系统旳状态几乎是不变旳。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
dpij t
dt
t 0
lim
h0
pij h
h
pij 0
lim
h0
pij h ij
h
Hale Waihona Puke qij即: 1dpii t
dt
t 0
lim
h0
pii h 1
h
随机过程第五章 Poisson过程
第四节 更新过程
一、更新过程的定义及概念
1、定义
二、更新过程的均值函数 1、更新函数的定义
详细证明见本教材72页
定理4-12
三、更新方程
1、定义
定理4-14
例1：
四、极限定理和基本更新定理
1、定理4-15，设N={N(t),t≥0}为更新过程，则有 P(N(∞)=∞）=1
定理4-1的结论是合理的。事实上，由于Poisson过程 具有平稳独立增量，即过程在任何时刻都重新开始，所以 从任何时刻起，过程独立于先前发生的一切情况，且有与 原过程完全一样的分布，即过程是无记忆的。由于指数分 布具有无记忆性，因此，从直观上讲，到达时间间隔序列 服从指数分布是合理的。
二、等待时间服从卡方分布
• 所以，由式 • 和定理2-5，可知Sn的距母函数为：
• 而等式右边正是参数为n，λ的Γ分布的母距 函数，由母距函数的唯一定理，于是就证 明了Sn服从Γ分布。于是就得出下面的定理。
二、定理4-2
三、定理4-3
四、顺序统计量
五、定理4-4
例1：
六、定理4-5
例2：
第二节 非齐次Poisson过程和复合Poisson过程
注： 关于矩母函数的定义见下一页或参阅本教材P28
矩母函数
案例
二、定理4-2
1、伽马分布 • 伽玛分布是统计学中的一种连续概率函数， 包含两个参数α和β，其中α称为形状参数， β称为尺度参数。
• 假如，第n个事件到来的时刻Sn,也称为第n 个事件的等待时间，显然有
• • • •
若令S0=0,则 Sn=inf{t:t>Sn-1,Nt=n}, n≥1 用距母函数和订立2-5容易证明Sn~Γ（n,λ) 事实上，到达时间间隔序列{Xn}的距母函数 为:
随机过程第5章
(3) 00
p03 p33 p30 1/ 8,
进一步地： 1 1 0 n n n n 2 4 2 n4 2 n2
0是正常返态
当n 4时，
( n) n 2 n 4 f00 p03 p33 p30 p01 p12 p23 p33 p30
1 2n
正常返态返回速度快于零常返态
P （ i | X 0 i)和i的计算：
令 fij(n) P( X n j, X n1 j,..., X1 j | X 0 i)
从i出发第n步首次击中j的概率
fij P( j | X 0 i) 从i出发能击中j的概率
给出这个Markov链状态的等价类, 并且试给出 其n步转移概率矩阵.
答: 等价类为: {1, 4}, {2, 5}和{3}. 其中3为吸 收态.
(n) 定义5.9 设i为Markov链的一个状态, 使 pii 0 的
所有正整数n (n1)的最大公约数, 称为状态i
的周期, 记作d(i) 或 di .
n 1
(n) ij
则 fij 表示从状态i出发最终到达状态j的概率. 性质：当i j 时, 则 i j fij > 0.
定义5.5 如果 fii = 1, 则称状态i是常返的. 否则, 即
fii<1, 称状态i为非常返的或瞬过的. 注: 如果状态i是常返的, 那么从状态i出发经过有 限步转移后最后又回到i的概率为1.
则 fij fij( n )
n 1
i常返 fii 1
若i常返，则
i nfii( n )
n 1
例1. 设{ X n }是时齐Markov链，I {0,1, 2,3}，其一步转移 0 0.5 0 0.5 0 0 1 0 ，讨论状态0和3的常返性。 矩阵P 0 0 0 1 0.5 0 0 0.5
周荫清《随机过程理论》第5章 高斯随机过程
X s (t ) X c (t )
ˆ X (t ) X s (t ) sin 0t X c (t ) cos 0t
式中
ˆ X c (t ) X (t ) cos 0 (t ) X (t ) sin 0 (t ) ˆ X s (t ) X (t ) sin 0 (t ) X (t ) cos 0 (t )
2
0
exp{x cos }d
所以，相位的二维分布为
p (1 , 2 ) C
2 1 2
4 x
1
2
[
(1 cos )
2
1 2
cos
3 2
(1 cos )
2 2
] 0 1 , 2 2
式中 = cos
r ( ) cos(
1 )
i 2 D[ X (ti )] 2
二、高斯随机过程
高斯过程是二阶矩过程 严格平稳和广义平稳等价
E[ X 2 (t )]
相互独立和互不相关等价
特征函数
1 n n n n (v1 , v2 ,, vn ; t1 , t2 ,, tn ) exp j aivi CX (ti , tk )vivk 2 i 1 k 1 i 1
四、随机相位正弦波加窄带平稳高斯随机过程之和
设随机相位正弦波加窄带平稳高斯过程之和为
Y (t ) s(t ) N (t ) 式中 s(t ) B cos[0t ] B cos 0t cos B sin 0t sin
N(t)为窄带噪声，是一个平稳高斯过程
N (t ) An (t )cos[0t n (t )] Nc (t )cos 0t Ns (t )sin 0t
随机过程-第五章 马尔可夫链
0.95 0.02 0.02 0.01 0.3 0.6 0.06 0.04 P 0.2 0.1 0.7 0 0.2 0.2 0.1 0.5
P
jS
ij
1, i S 。则称该矩阵为随机矩阵。
显然，随机矩阵的各行元素之和都等于 1。
例 5.1 赌徒输光问题 ：考虑一赌徒，在每局赌博中他以概率 p 赢得 1 元，以概率
q 1 p 输掉 1 元，假设各局赌博是相互独立的，赌徒开始有 i （ ቤተ መጻሕፍቲ ባይዱ i n ）元，且他在赌
显然， Markov 链的统计特征由其初始分布 P{ X 0 i0 } 和转移概率 P{ X k i X k 1 ik 1} （ k 1, 2,, n ）决定。
定义 5.3 时齐 Markov 链： 当 Markov 链的转移概率 P{ X n1 j X n i} 只与状态 i, j 有
m n m, n 0 使得 P ij 0, Pjk 0 ，利用 C-K 方程（1）可知
n n Pikm n Pirm Prk Pijm Pjk 0 rS
K 类似地可以证明存在 K 0 使得 Pki 0 。
称互通的两个状态属于同一个类，且由命题 5.1 可知，任何一个状态不能同时属于两个 不同的类，即任意两个不同的类不相交。 思考：对例 5.1 中的赌徒问题的状态分类？ 定义 5.7 可约：若 Markov 链只存在一个类，则称它为不可约的；否则称为可约的。 在不可约的 Markov 链中，一切状态都是彼此互通的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.1 连续时间马尔可夫链
(2)设τi的分布函数为F(x) (x≥0), 则生存函 数G(x)=1-F(x) { } { | } P τi > t = P τi > s + t τi > s { , } { } P τi > s + t τi > s P τi > s + t { } { } = = P τi > s P τi > s } { } { } 移项得： { P τi > s + t = P τi > s ⋅ P τi > t ( ) ( ) ( ) G s+t =G s G t 由此可推出G(x)为指数函数，G(x)=e-λx, 则F(x)=1-G(x)=1-e-λx为指数分布函数。
5.1 连续时间马尔可夫链
过程在状态转移之前处于状态i的时间τi服 从指数分布 Fτ i ( x ) = 1 − e − λi x F (1)当λi=+∞时， τ ( x ) = 1, P{τ i > x} = 1 − Fτ ( x ) = 0, 状态i的停留时间τi 超过x的概率为0， 则称状态i为瞬时状态； F (2)当λi=0时，τ ( x ) = 0, P{τ i > x} = 1 − Fτ ( x ) = 1, 状态i的停留时间τi 超过x的概率为1，则 称状态i为吸收状态。
j ≠i
1 − pii (Δt ) qii = lim = lim Δt →0 Δt →0 Δt 注：一般而言qii ≥ ∑ qij
j ≠i
∑ p (Δt )
j ≠i ij
Δt
= ∑ qij
j ≠i
5.2 柯尔莫哥洛夫微分方程
若连续时间齐次马尔可夫链具有有限状态 空间I={0,1,2,…,n}, 则
p = { p j , j ∈ I}
t≥0
5.1 连续时间马尔可夫链
定理5.2 齐次马尔可夫过程的绝对概率及有 限维概率分布具有下列性质： (1) pj(t)≥0 (2) (3)
∑ p (t ) = 1 p (t ) = ∑ p p
j∈I j
j
(4) p j (t + τ ) = ∑ pi (t ) pij (τ ) (5) P{ X (t1 ) = i1 , , X (t n ) = in } = ∑ pi pii (t1 ) pi i (t 2 − t1 ) pi
pij (t + s) = ∑ pik (t) pkj (s)
k∈I
= ( pi1(t) pi 2 (t)
pik (t)
⎛ p1 j (s) ⎞ ⎜ p (s) ⎟ ⎜ 2j ⎟ ⎟ )⎜ ⎜ ⎟ ⎜ pkj (s) ⎟ ⎜ ⎟ ⎝ ⎠
P(t + s) = P(t)P(s) P(0) = I
I
i pi(0)
第五章 连续时间马尔可夫链
I
5 4 3 2 1 0 1
马尔可夫链
2
3
4
5
T
5.1 连续时间马尔可夫链
定义5.1 设随机过程{X(t)，t ≥0 }，状态空间 I={0,1,2,…}，若对任意 0≤t1< t2<…< tn+1及非负整数i1,i2, …,in+1 ，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,…, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t ≥0 }为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间t后 转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i}
pij (t + s ) = P{ X (t + s ) = j | X (0) = i} = ∑ P{ X ( t + s ) = j , X ( t ) = k | X ( 0 ) = i } = ∑ P{ X (t + s ) = j | X (t ) = k , X (0) = i}
k ∈I k ∈I
5.1 连续时间马尔可夫链
初始概率、绝对概率
pi(t)
j pij(t,τ)
t
t+τ
T
5.1 连续时间马尔可夫链
定义5.3 (1)初始概率 p j = p j (0) = P{ X (0) = j}, j ∈ I (2)绝对概率 p j (t ) = P{ X (t ) = j}, j ∈ I , t ≥ 0 (3)初始分布 (4)绝对分布 p (t ) = { p j (t ) , j ∈ I }
定理5.5(柯尔莫哥洛夫向前方程) 5.5 在适当的正则条件下有
p′ (t ) = ∑ pik (t )qkj − pij (t )q jj ij
5.1 连续时间马尔可夫链
★正则性条件
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
5.1 连续时间马尔可夫链
正则性 时间 离散 时间 连续
p p
(0) ii (0) ij
分布律
( p ijn ) ≥ 0,
转移方程
( ( ( pijn ) = ∑ pikl ) pkjn − l ) k ∈I
i∈I
1 1 2
i∈I
i
ij
(t )
i∈I
n−1i n
(t n − t n −1 )
5.1 连续时间马尔可夫链
例5.1 证明泊松过程{X(t), t≥0}为连续时间 齐次马尔可夫链。 证明：先证泊松过程的马尔可夫性。 证明： 泊松过程是独立增量过程，且X(0)=0，对 任意0<t1< t2<…< tn< tn+1有
= 1, = 0 (i ≠ j )
∑
j∈ I
( p ijn ) = 1
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
pij (t ) ≥ 0
∑ p (t ) = 1
j∈I ij
pij (t + s ) = ∑ pik (t ) pkj ( s )
k ∈I
5.1 连续时间马尔可夫链
5.2 柯尔莫哥洛夫微分方程
定理5.4(柯尔莫哥洛夫向后方程) 5.4 假设 qii = ∑ qik ，则对一切i, j及t ≥ 0，有
k ≠i
′ pij (t ) = ∑ qik pkj (t ) − qii pij (t ) = Qi Pj
k ≠i
证明：由切普曼-柯尔莫哥洛夫方程有 证明：
pij (t + h) = ∑ pik (h) pkj (t ) pij (t + h) − pij (t ) = ∑ pik (h) pkj (t ) − [1 − pii (h)] pij (t )
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j∈I，t ≥0 命题：若τi为过程在状态转移之前停留在 命题： 状态i的时间，则对s, t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从指数分布 证(1) 事实上
5.1 连续时间马尔可夫链
另一方面
P{ X (t n+1 ) = in +1 | X (t n ) = in }
= P{ X (t n+1 ) − X (t n ) = in+1 − in | X (t n ) − X (0) = in } = P{ X (t n+1 ) − X (t n ) = in+1 − in } 所以 P{ X (t n +1 ) = in+1 | X (t1 ) = i1 , , X (t n ) = in }
P{ X (t n +1 ) = in +1 | X (t1 ) = i1 , X (t 2 ) − X (t1 ) = i2 − i1 , , X (t n ) = in } = P{ X (t n +1 ) − X (t n ) = in +1 − in | X (t1 ) − X (0) = i1 , , X (t n ) − X (t n−1 ) = in − in−1} = P{ X (t n +1 ) − X (t n ) = in +1 − in }
5.2 柯尔莫哥洛夫微分方程
★称为齐次马尔可夫过程从状态i到状态j的转 移速率（跳跃强度）。 推论 对有限齐次马尔可夫过程，有
qii = ∑ qij < ∞
j ≠i
满足上述关系的Q＝（qij）称为保守矩阵。
5.2 柯尔莫哥洛夫微分方程
证明：
∑ p (Δt ) = 1,
j∈I ij
1 − pii (Δt ) = ∑ pij (Δt )
5.1 连续时间马尔可夫链
P{τ i > s + t | τ i > s} = P{ X (u ) = i, 0 < u ≤ s, X (v) = i, s < v ≤ s + t | X (u ) = i, 0 ≤ u ≤ s} = P{ X (v) = i, s < v ≤ s + t | X (u ) = i, 0 ≤ u ≤ s} 条件概率 = P{ X (v) = i, s < v ≤ s + t | X ( s ) = i} 马尔可夫性 齐次性 = P{ X (u ) = i, 0 < u ≤ t | X (0) = i} = P{τ i > t}