随机过程Ch5-连续时间的马尔科夫链
5马尔可夫链(精品PPT)
pij P( X n 1 j X n i ) P( f i, Yn 1 j ) P( f i, Y1 j )
二、切普曼-柯尔莫哥洛夫方程
1，随机矩阵 定义：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且
i S , 有 aij 1
例5 Polya（波利亚）模型
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以
i b r nc , i P X n 1 j X n i 1 , b r nc 0,
x
j i 1
( j i 1)!
dG x ,
j i 1, i 1 其它
Pij 0,
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参 数为 ，且与顾客到达过程独立。 Xn-----第n个顾客来到时见到系统中的顾客数（包括 该顾客），则{Xn，n≥1}是马尔可夫链。记
jS
显然马尔可夫链{Xn,n≥0}的一步转移概率矩阵P为 随机矩阵。 2，n步转移概率 定义：设{Xn,n≥0}是一马尔可夫链，称
n pij P X n m j X m i ,
n 0, i, j 0
为马尔可夫链{Xn,n≥0}的n步转移概率。记
i (n) P X n i ,
j ic j i else
这是一个非齐次的马尔可夫链，在传染病研究中有用。
下面的定理提供了一个非常有用的获得马尔可夫链的方 法，并可用于检验一随机过程是否为马尔可夫链。
随机过程中的马尔可夫链理论
随机过程中的马尔可夫链理论随机过程是概率论中的一个重要分支，研究时间上的变化不确定性。
马尔可夫链是随机过程中的一种特殊形式，它具有马尔可夫性质，即未来状态只依赖于当前状态，与过去状态无关。
在本文中，我们将深入探讨随机过程中的马尔可夫链理论。
一、马尔可夫链的定义马尔可夫链是一种离散随机过程，它由一系列的状态和状态转移概率组成。
设S={S1, S2, ...}为状态空间，P={Pij}为状态转移概率矩阵，其中Pij表示从状态Si到状态Sj的概率。
马尔可夫链满足以下两个条件：1) 转移概率只与当前状态有关；2) 对于任意状态Si，状态转移概率之和等于1。
二、马尔可夫链的性质1. 马尔可夫性质由定义可知，马尔可夫链具有马尔可夫性质，即未来状态只与当前状态有关，与过去状态无关。
这一性质使得马尔可夫链在建模和分析中具有较大的灵活性。
2. 随机游走马尔可夫链可以看作是一种随机游走的过程。
在状态空间S中，根据状态转移概率进行转移，从而实现状态之间的随机变动。
通过研究随机游走的路径和特性，可以揭示马尔可夫链的一些重要特性。
3. 平稳分布对于某些马尔可夫链，存在一个平稳分布使得在长时间模拟中，状态分布趋于稳定。
这一性质在实际应用中广泛使用，例如在排队论、金融风险管理等领域。
三、马尔可夫链的应用1. 自然语言处理马尔可夫链在自然语言处理中得到广泛应用，特别是在文本生成和语音识别方面。
通过学习语料库中的转移概率，可以生成新的语句或者识别语音中的词组。
2. 生物信息学在DNA和蛋白质序列的分析中，马尔可夫链可以用于模拟和预测相关的状态变化。
通过构建转移矩阵，可以研究序列中的概率事件和模式。
3. 市场分析马尔可夫链在市场分析中具有较大的潜力。
通过研究股票价格或者交易策略的状态转移，可以辅助投资决策和风险管理。
四、马尔可夫链的改进为了更好地描述现实世界中复杂的系统和过程，研究者们对传统的马尔可夫链进行了改进。
例如，高阶马尔可夫链能够捕捉更长期的状态依赖性；隐马尔可夫模型则能够处理观测序列的概率计算问题。
Ch5 连续时间的Markov链
Th.5.4 (Kolmogorov后方程) 假设 qij =qii ,
j i
则i, j及t 0,有 pij (t )= qik pkj (t ) qii pij (t ).
k i
Th.5.5(Kolmogorov前方程) 在适当的正则条件下 pij (t )= pik (t )qkj pij (t )qij .
(1) 在转移到另一状态之前处于状态 i 的时间服从参数 为 vi 的指数分布 (2) 当过程离开状态 i 时,接着以概率 pij 进入状态 i ,
p
j i
ij
1
当 vi 时, 称状态 i 为瞬时状态,因为过程一进入此 状态就立即离开. 当 vi 0时, 称状态 i 为吸收状态, 过程一进入此状态就永远不再离开了.
j i
(1) 对无限齐次MP,只有 qii qij
j i
(2) 对有限状态I {0,1, , n}，定义 q00 q01 qij q10 q11 Q矩阵 q ji qnn 矩阵的每一行元素之和为0, 对角线元素为负或0 问题: 如何由Q矩阵求出转移矩阵.
Th.5.2 齐次MP有下列性质： (1) p j (t ) 0; (2)
p (t ) 1;
jI j iI
(3) p j (t ) pi pij (t ); (4) p j (t ) pi (t ) pij ( );
iI
(5) P ( X (t1 ) i1 , , X (tn ) in )
定义.5.2 若(5.2)式的转移概率与s无关,则称连续时间 Markov链具有平衡的或齐次的转移概率, 此时转移 概率简记为:pij ( s, t ) pij (t ) 注:下面仅讨论齐次Markov过程(MP)
第五章 连续时间马尔可夫链-随机过程
二、连续时间马尔可夫链的状态逗留时间和转移速率 命题 以 i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t } ，因此， 随机变量 i 是无记忆的必有指数分布，其参数设为 v i
证明： P{ i t s | i s}
P{T1 t } 1 e t
P{T1 T2 t } P{T1 T2 t | T1 x } e t dx
0 t
= (1 e 2 ( t x ) ) e x dx (1 e t )2
0
t
P{T1 T2 T3 t } P{T1 T2 T3 t | T1 T2 x }dFT1 T2 ( x )
i 1 n
其中 f 是密度函数(5.3.2)
e (t x) ,0 x t f ( x) 1 et 0, 其它
但因为(5.3.1)是 n 个密度为 f 的随机变量的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的联合密度函数。于是得 命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子 样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
0 1 2 3
…Байду номын сангаас
n
n
2
3
… (n 1)
若对一切 n， n 0 (即若死亡是不可能的)，则生灭过程称为纯 生过程，i 个个体开始的纯生过程，生长率为 n , n i 。
随机过程课件-马尔可夫链
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
随机过程Ch5-连续时间的马尔可夫链
推论：对有限齐次马尔可夫过程，有
qii qij ji
称该马尔可夫过程为保守的。
证： pij (h) 1 1 pii (h) pij (h)
jI
ji
lim1
h0
pii (h) h
lim h0
ji
pij (h) h
qij
ji
即 qii qij 状态空间有限 ji
若状态空间为I 1，2,, N有限，
为的指数变量，而在回到状态0之前，它停留 在状态1的时间是参数为的指数变量。显然该
马氏链是一个齐次马氏链。
其状态转移概率为：
p01h p10 h
h h
0h 0h
由指数分布的无后效性得到。
理由如下：设正常工作为0状态，故障为1状态。
设器件寿命X服从参数为的指数分布。
f
x
ex
,
x0
0, x 0
则器件在0, t 正常工作，即寿命超过t的概率为： PX t exdx et
t
已知器件用了t小时，器件寿命超过t h，
即在t,t h器件不坏的概率为：
p00h PX t h / X t
PX
t h, X
PX t
t
PX PX
t h t
eth eh 1 h 0h
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约的，则有下列性质：
(1)若它是正常返的，则极限 lim t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj,
j 1
k j
jI
的唯一非负解，此时称{j >0，jI}是该
随机过程 马尔可夫链
随机过程马尔可夫链随机过程是研究随机事件在时间和空间上的变化规律的数学模型。
而马尔可夫链是随机过程的一种，它的特别之处在于，当前时刻的状态只与前一时刻的状态有关，而与其它时间的状态无关。
现在，让我们来详细了解一下随机过程与马尔可夫链。
一、随机过程随机过程实际上就是由一系列随机变量组成的，这些随机变量的取值是在某些规定的时间或空间上进行的。
它是一个随机事件的序列或集合，因此其本质是一种时间或空间上的随机演化。
二、马尔可夫链马尔可夫链是一种特殊的随机过程，其特征在于它只与其前一状态有关。
其实，马尔可夫链是一种转移概率的数学模型，它描绘了系统从一个状态到另一个状态的转移概率，而这些概率只与前一时刻的状态有关。
马尔可夫链的形式化描述就是一个状态空间和一个转移矩阵。
这里，状态空间可以是任意形式的集合，而转移矩阵则是一个矩阵，其每个元素表示从一个状态到另一个状态的概率。
三、马尔可夫链的性质马尔可夫链具有多种性质：1、马尔可夫性质：当前时刻的状态只与前一时刻的状态有关。
2、无记忆性质：其将来的状态与过去的状态无关。
3、多步转移概率：马尔可夫链具有的多步转移概率与初始状态无关。
4、周期性：若马尔可夫链从一个状态出发始终无法到达其它状态，可以说其为周期性的。
四、应用1、生物统计：马尔科夫链应用到多态遗传研究。
2、分子动力学：马尔可夫链应用到高分子链的构象和动力学研究。
3、自然语言处理：将一个英文句子转化为标签序列可以看做是一个马尔可夫链。
总之，随机过程和马尔可夫链是最基础的统计学习模型。
它们在多个领域都有广泛的应用，如金融、医学、工业等。
深刻了解它们的特性和应用将有助于我们更好地理解大量数据背后的规律。
随机过程中的马尔可夫链
随机过程中的马尔可夫链随机过程是描述随机演化的数学模型。
其中，马尔可夫链是一种广泛应用于许多领域的随机过程。
马尔可夫链具有马尔可夫性质，即未来的演化仅依赖于当前状态，而与历史状态无关。
本文将介绍马尔可夫链的基本概念和特性，并探讨其在不同领域中的应用。
一、马尔可夫链的定义马尔可夫链是一个离散状态的随机过程，其转移概率只与当前状态有关，与历史状态无关。
具体而言，设S为状态空间，P为状态转移概率矩阵，则对于任意的状态i和j，转移概率满足条件P(i, j) ≥ 0，且对于任意的i，ΣP(i, j) = 1。
二、马尔可夫链的特性1. 马尔可夫性质：马尔可夫链的核心特性是马尔可夫性质，即未来的状态只与当前状态有关。
这一性质使得马尔可夫链具有一种"无记忆"的特点，使得其在很多问题中提供了简化假设的可能。
2. 连通性：如果对于任意的状态i和j，存在一系列状态k1, k2, ..., kn，使得从状态i出发，通过这些状态最终能够到达状态j，则称该马尔可夫链是连通的。
3. 遍历性：如果从任意一个状态出发，经过有限步骤，能够回到该状态，则称该马尔可夫链是遍历的。
4. 非周期性：如果从任意一个状态出发，经过有限步骤，能够回到该状态的概率为1，则称该马尔可夫链是非周期的。
三、马尔可夫链的应用1. 自然语言处理：马尔可夫链被广泛应用于自然语言处理领域，用于语言模型的建模。
通过分析文本数据中的词语之间的转移概率，可以生成具有一定连贯性的文本。
2. 金融市场：马尔可夫链在金融市场中的应用较为广泛。
通过分析过去的市场数据，可以构建马尔可夫链模型，预测未来的市场状态，用于投资决策和风险管理。
3. 生物信息学：马尔可夫链在DNA序列分析和蛋白质结构预测等生物信息学问题中得到了应用。
通过建立马尔可夫链模型，可以推断基因序列中的隐藏状态和转移概率，进而揭示生物系统的运作机制。
4. 推荐系统：马尔可夫链在推荐系统中也有一定的应用。
随机过程Ch5-连续时间的马尔科夫链
连续时间马尔可夫链I 马尔可夫链543210 1 2 3 4 5 T25.1 连续时间马尔可夫链定义5.1 设随机过程{X(t)，t 0}，状态空间I={0,1,2,}，若对任意0t1<t2<<t n+1 及非负整数i1,i2, ,i n+1 I，有P{X(t n+1)=i n+1|X(t1)=i1, X(t2)=i2,, X(t n)=i n}=P{X(t n+1)=i n+1|X(t n)=i n}，则称{X(t)，t 0}为连续时间马尔可夫链。
转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率p ij(s,t)= P{X(s+t)=j|X(s)=i} 35.1 连续时间马尔可夫链定义5.2 齐次转移概率p ij(s,t)=p ij(t)(与起始时刻s无关，只与时间间隔t有关) •转移概率矩阵P(t)=(p ij(t)) ，i,j I，t 0，称为齐次马尔科夫过程性质：若i为过程在状态转移之前停留在状态i的时间，则对s, t0有P{ s t | s} P{ t}i(1)i i(2)i 服从指数分布45.1 连续时间马尔可夫链证(1) 事实上i i i its s+ti{ s} {X(u) i,0 u s | X(0) i} i{ s t} {X(u) i,0 u s,iX(v) i, s v s t | X(0) i}55.1 连续时间马尔可夫链P{ s t | s} P{X (u) i,0 u s,i iX (v) i,s v s t | X (u) i,0 u s} P{X (v) i,s v s t | X (u) i,0 u s}条件概率P{X (v) i,s v s t | X (s) i}马尔可夫性P{X (u) i,0 u t | X (0) i}齐次性P{ t}i65.1 连续时间马尔可夫链(2)设i的分布函数为F(x), (x0),则生存函数G(x)=1-F(x)P{ t} P{ s t | s }i i iP {isP { t,i s}Ps}iP { s t}t}P{ s}P {iiiG (s t) G(s)G (t)7 由此可推出G(x)为指数函数，G(x)=e -x,则F(x)=1-G(x)=1-e -x为指数分布函数。
第四章 马尔可夫链
第四章 马尔可夫链随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（Markov ）过程就是描述一类状态之间具有某种特殊统计联系的随机过程.Markov 过程在近代物理学、生物学、管理科学、信息处理与数字计算方法等领域都有重要的应用.按其状态和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的Markov 过程，称为Markov 链；（2）时间连续、状态离散的Markov 过程，称为连续时间的Markov 链；（3）时间、状态都连续的Markov 过程.本章主要讨论Markov 链，有关连续时间的Markov 链的相关理论将在下章讨论.4.1 马尔可夫链的概念和例子独立随机试验模型最直接的推广就是Markov 链模型，早在1906年俄国数学家Markov 对它进行研究而得名，以后Kolmogorov 、Feller 、Doob 等数学家发展了这一理论.4.1 .1 Markov 链的定义假设Markov 过程{,}n X n T ∈的参数集T 是离散时间集合，即{0,1,2,}T =，相应n X 可能取值的全体组成的状态空间是离散状态集012{,,,}I i i i =.定义 4.1 设有一随机过程{,}n X n T ∈，若对于任意整数n T ∈和任意011,,,n i i i I +∈，条件概率满足11001111{|,,,}{|}n n n n n n n n P X i X i X i X i P X i X i ++++=======则称{,}n X n T ∈为离散时间的Markov 链，简称Markov 链（Markov chains ）或马氏链.从定义可以看出：Markov 链具有Markov 性（即无后效性），如果把时刻n 看作现在，那么，1n +是将来的时刻，而0,1,2,,1n -是过去的时刻.Markov 性表示在确切知道系统现在状态的条件下，系统将来的状况与过去的状况无关，而且Markov 链的统计特征完全由条件概率11{|}n n n n P X i X i ++==所决定. 因此，如何确定这个条件概率，是研究Markov 链理论和应用中十分重要的问题之一. 4.1.2 转移概率定义 4.2 称条件概率1(){|}ij n n p n P X j X i +=== （4.1）为Markov 链{,}n X n T ∈在时刻n 的一步转移概率，其中,i j I ∈，简称转移概率（transition probability ）.一般地，转移概率()ij p n 不仅仅与状态,i j 有关，而且与时刻n 有关，如果()ij p n 不依赖时刻n 时，则称Markov 链具有平稳转移概率.定义 4.3 若对任意,i j I ∈，Markov 链{,}n X n T ∈的转移概率()ij p n 与n 无关，则称Markov 链是齐次的（或称时齐的）（time homogeneous -），并记()ij p n 为ij p . 下面只讨论齐次Markov 链，并且通常将“齐次”两字省去.定义 4.4 设P 表示一步转移概率ij p 所组成的矩阵，且状态空间{1,2,}I =，则1112121222...........................n n p p p P p p p ⎛⎫ ⎪= ⎪ ⎪⎝⎭称为系统状态的一步转移概率矩阵（transition probability matrix ），它具有性质： （1）0,,ij p i j I ≥∈； （2）1,ijj Ipi I ∈=∈∑.（2）式说明一步转移概率矩阵中任一行元素之和为1，通常称满足性质（1）（2）的矩阵为随机矩阵.定义 4.5 称条件概率(){|},n ij m n m p P X j X i +=== ,,0,1i j I m n ∈≥≥ （4.2）为Markov 链{,}n X n T ∈的n 步转移概率，并称()()()n n ij P p =为Markov 链{,}n X n T ∈的n 步转移矩阵.其中()()0,1n n ij ij j Ip p ∈≥=∑，即()n P 也是一个随机矩阵.特别地，当1n =时，(1)ij ij p p =，此时，一步转移矩阵(1)P P =.我们还规定(0)0,1,iji jpi j ≠⎧=⎨=⎩Markov 链n 步转移概率满足重要的Chapman Kolmogorov -方程（简称C K -方程）。
随机过程第五章
p j (t ) P{ X (tபைடு நூலகம்) j}, p j p j (0) P{ X (0) j}, jI
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概 率分布。 定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 1. 2. 3. 4.
例题：证明泊松过程为连续时间齐次马尔可夫链，并求其pij (t) 、qij 。 例题：一个城市划分成两个区域A和B，各区被指定一辆消防车1和2负责。 当接到报警电话时，不论其来自A区还是B区，只要有一辆消防车空闲就 会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松 分布（参数为λ j ，j=A，B，也用1，2表示 ），两辆车服务于不同区的时 间为独立的指数分布（参数为μ ij ，i=1，2 ，j=A，B ），则两辆消防车的 状态为连续时间齐次马尔可夫链。
定理5.6 齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程
pj (t ) p j (t )q jj
p (t)q
k k j
kj
定义5.4 设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得
pij (t1 ) 0, p ji (t2 ) 0
p j (t ) 0
p
jI
j
(t ) 1
i ij
p j (t ) pj
p p (t ) (t ) p (t ) p
iI i iI
ij (
)
5.
P{X (t1 ) i1 ,, X (t n ) in }
p p
i iI
ii1 (t1 ) pi1i2
随机过程第五章连续时间的马尔可夫链
第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率. 定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布; (2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质: ;0)1(≥ij p (2);1=∑∈ij Ij p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.证明 只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足: ⎩⎨⎧≠==→.,0,1)(lim 0j i ji t p ij t (5.3) 称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任 一0≥t 记 },)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2),1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii Ii i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义 它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为})()({11n n n n i t X i t X P ==++=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t eij t---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j ij i j t e t p t s p i j t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性. 5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明 设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+ ),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj ir ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+ 综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+ 由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在 (1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v t t p (2).,)(lim 0j i q tt p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量. 推论 对有限齐次马尔可夫过程,有 ∞<=∑≠ij ij ii q q证明 由定理5.1 ,有)()(1,1)(t p t p t pij ij ii Ij ij∆=∆-=∆∑∑≠∈由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4)对于状态空间无限的齐次马尔可夫过程,一般只有 ∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q qq q q Q .....................11111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q 利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有 ),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到 )()()(lim )()(lim 00t p q t p hh p ht p h t p ij ii kj ik ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有 ≥∑≠→)()(inflim 0t p hh p kj ik ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj Nk i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以)()()(inflim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0Nk ik kj Nk i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj Nk i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤Nk i k ikii kj Nk i k ikqq t p q令∞→N ,由定理5.3和条件得 )()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得 )()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik Ik kj Ik ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以 )}.()(1)()({lim )()(lim 00t p h h p h h p t p ht p h t p ij jj kj jk ik h ij ij h --=-+∑≠→→假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件 .,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij 时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10) ,)()(Q t P t P =' (5.11) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---= (222120121110)020100q q q q q qq q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=............ (222120121110)020100p p p p p pp p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为 .!)()(0∑∞===j jQtj Qt et P定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程:.)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明 由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj jk ikiIi jj ijiIi ijIi iq t pp q t pp t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得 ,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj jk k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有 .)(lim j j t t p π=∞→ (2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 ),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知,)()(lim )(1lim 1001010011011q h p dhdhh p h h p q h h h ====-==→→μ,)()(lim )(1lim 0100101000000q h p dhdhh p h h p q h h h ====-==→→λ由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得 ,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' 可解得 ,)()(0001t e t p μλλλ+--= 由对称性知,)()(0011t e t p μλμλ+-+= ,)()(0010t e t p μλμμ+--= 转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ 由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为 0100,λπμπ== 若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P 则过程在时刻t 的绝对概率分布为 )()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率.解 由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫⎝⎛--=μμλλQ .根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可. 由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p 因为P{X(0)=0}=1=,0p 所以====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p 5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ)()()(1010101t p p t p p t p +=,0,0),()(01,=>+=-μμμi i i i h o h h p ),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率,i μ为死亡率.若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程.若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+- 由定理5.3得到 ,0,)()(,0≥+=-==i h p dhdt q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh dt q i i h ij ij μλ,2,0≥-=j i q ij 故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 ,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ 逐步递推得,2),()(,≥-=j i h o h p j i,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j jj μμμλλλπ,112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务. 假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ.0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得.0),1()()(1)(1≥-=+=∑∞=n n n nnn μλμλμλμλπ。
连续时间的Markov链
第五章 连续时间的马尔可夫链第四章我们讨论了时间和状态都是离散的Markov 链，本章我们研究的是时间连续、状态离散的Markov 过程，即连续时间的Markov 链. 连续时间的Markov 链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov 链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立.连续时间马尔可夫链的基本概念定义 设随机过程{(),0}X t t ≥，状态空间{,1}n I i n =≥，若对任意的正整数1210n t t t +≤<<<L 及任意的非负整数121,,,n i i i I +∈L ，条件概率满足{}111122()|(),(),,()n n n n P X t i X t i X t i X t i ++====L{}11()|()n n n n P X t i X t i ++=== （）则称{(),0}X t t ≥为连续时间的Markov 链.由定义知，连续时间的Markov 链是具有Markov 性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻n t 及一切过去时刻所处状态的条件下，将来时刻1n t +的状态只依赖于现在的状态而与过去的状态无关.记式条件概率的一般形式为{()|()}(,)ij P X s t j X s i p s t +=== （）它表示系统在s 时刻处于状态i ，经过时间t 后在时刻s t +转移到状态j 的转移概率，通常称它为转移概率函数.一般地，它不仅与t 有关，还与s 有关.定义 若式的转移概率函数与s 无关，则称连续时间Markov 链具有平稳的转移概率函数，称该Markov 链为连续时间的齐次（或时齐）Markov 链. 此时转移概率函数简记为(,)()ij ij p s t p t =.相应地，转移概率矩阵简记为()(()),(,,0)ij P t p t i j I t =∈≥.若状态空间{0,1,2,}I =L ，则有()000102101112012()()()...()()()()()............()()()............ij n n n p t p t p t p t p t p t P t p t p t p t p t ⎛⎫ ⎪ ⎪⎪== ⎪ ⎪ ⎪⎝⎭L L （）假设在某时刻，比如说时刻0，Markov 链进入状态i ，在接下来的s 个单位时间内过程未离开状态i （即未发生转移），我们要讨论的问题是在随后的t 个单位时间中过程仍不离开状态i 的概率是多少？由Markov 性知，过程在时刻s 处于状态i 的条件下，在区间[,]s s t +中仍处于状态i 的概率正是它处在状态i 至少t 个单位时间的（无条件）概率，若记i τ为过程在转移到另一状态之前停留在状态i 的时间，则对一切,0s t ≥有{|}{}i i i P s t s P t τττ>+>=>可见，随机变量i τ具有无记忆性，因此，i τ服从指数分布.因此，一个连续时间的Markov 链，每当它进入状态i ，具有如下性质： （1） 在转移到另一个状态之前处在状态i 的时间服从参数为i v 的指数分布； （2） 当过程离开状态i 时，接着以概率ij p 进入状态j ,且1ijj ip≠=∑.当i v =∞时，称状态i 是瞬时状态，因为过程一旦进入状态就离开；若0i v =，称状态为吸收状态. 因为过程一旦进入永远不再离开.尽管瞬时状态在理论上是可能的，但我们以后还是假设一切i ，0i v ≤<∞.因此，考虑连续时间Markov 链，可以按照离散时间的Markov 链从一个状态转移到另个状态，但在转移到另一状态之前，它在各个状态停留的时间服从指数分布，而且在状态i 停留的时间与下一个状态必须是相互独立的随机变量.定理 齐次Markov 链的转移概率函数具有下列性质：（1）()0ij p t ≥； （2）()1ij j Ip t ∈=∑；（3）()()()ij ikkj k Ip t s pt p s ∈+=∑.（2）式表明转移概率矩阵中任一元素行和为1；（3）式称为连续时间齐次Markov 链的Chapman Kolmogorov -方程，简称C K -方程.证明 （1）和（2）由概率定义及()ij p t 的定义易知，下面只证明（3）式 由全概率公式和Markov 性可得(){()|(0)}ij p t s P X t s j X i +=+=={(),()|(0)}k IP X t s j X t k X i ∈=+===∑{()|(0)}{()|()}k IP X t k X i P X t s j X t k ∈===+==∑{()|(0)}{()|(0)}k IP X t k X i P X s j X k ∈=====∑()()ikkj k Ipt p s ∈=∑对于转移概率函数，我们约定1,,lim ()0ij ij t i j p t i jδ→=⎧==⎨≠⎩ （） 称上式为连续性条件或正则性条件.连续性条件保证转移概率函数()ij p t 在边界点0t =处右连续.它的直观意义在于：当系统经过很短时间，其状态几乎不变，也就是认为系统刚进入一个状态又立刻离开这个状态是不可能的.定义 连续时间Markov 链{(),0}X t t ≥在初始时刻（即零时刻）取各状态的概率(0){(0)},i i p p P X i i I ===∈ （）称为它的初始分布.{(),0}X t t ≥在t 时刻取各状态的概率(){()},j p t P X t j == ,0j I t ∈≥称为它在时刻t 的绝对（概率）分布.初始分布和绝对分布都是概率分布，对于任意0t ≥，()j p t 总满足： （1）0()1j p t ≤≤； （2）()1j jp t =∑.利用全概率公式容易得到()(0)(),j i ij i Ip t p p t j I ∈=∈∑ （）（）式表明：连续时间Markov 链的绝对概率分布完全由其初始分布和转移概率函数所确定.下面举一个简单的例子说明转移概率函数的计算方法.例 证明Poisson 过程{(),0}N t t ≥是连续时间的齐次Markov 链. 证明 先证明Poisson 过程具有Markov 性.由Poisson 过程的独立增量性和()0N t =，对任意1210n n t t t t +<<<<<L ，有1111{()|(),,()}n n n n P N t i N t i N t i ++===L=1111{()()|()(0),n n n n P N t N t i i N t N i ++-=--=212111()(),,()()}n n n n N t N t i i N t N t i i ---=--=-L11{()()}n n n n P N t N t i i ++=-=- 另一方面，因为11{()|()}n n n n P N t i N t i ++===11{()()|()(0)}n n n n n n P N t N t i i N t N i ++-=--==11{()()}n n n n P N t N t i i ++-=-因此 1111{()|(),,()}n n n n P N t i N t i N t i ++===L =11{()|()}n n n n P N t i N t i ++== 即Poisson 过程是连续时间的Markov 链.再证齐次性. 当j i ≥时，由Poisson 过程的定义，得到{()|()}{()()}P N s t j N s i P N s t N s j i +===+-=-()()!j itt ej i λλ--=-当j i <时，由于过程的增量只取非负整数值，因此，(,)0ij p s t =，故(),(,)()()!0,j it ij ij t ej i p s t p t j i j iλλ--⎧≥⎪==-⎨⎪<⎩即转移概率函数只与t 有关，因此，Poisson 过程具有齐次性.容易看出，固定,i j 时，()ij p t 是关于t 的连续可微函数。
连续时间马尔可夫链的研究和应用
连续时间马尔可夫链的研究和应用马尔可夫链是用于描述随机过程的数学工具，其特点是未来状态的转移仅依赖于当前状态，与过去状态无关。
在时间离散的情况下，马尔可夫链的数学理论已经十分成熟且应用广泛。
然而，在实际问题中，许多系统的状态变化是连续的，如金融市场、生产流程、医疗领域等。
为了更好地描述和分析这类系统，连续时间马尔可夫链成为了研究的焦点之一。
一、连续时间马尔可夫链的基本定义和性质连续时间马尔可夫链是一个连续时间随机过程，其状态在时间上的变化满足马尔可夫性质。
与离散时间马尔可夫链不同的是，在连续时间马尔可夫链中，状态的转移并不是以离散的时刻进行，而是在连续的时间区间内发生。
连续时间马尔可夫链可以用状态转移概率密度函数描述，记为P(t)。
该函数表示在时间t到t+dt之间，状态从i转移到状态j的概率为P(t)dt。
连续时间马尔可夫链的转移概率满足总概率为1的条件，即∫P(t)dt=1。
连续时间马尔可夫链的状态转移矩阵可用生成矩阵(Q)表示。
该矩阵的元素q(i,j)表示在单位时间内，状态从i转移到j的概率。
连续时间马尔可夫链的状态转移矩阵满足非负性和行和为零的条件。
二、连续时间马尔可夫链的稳定性与收敛性连续时间马尔可夫链的稳定性是指在长时间模拟中，系统的状态分布是否趋于稳定。
对于稳定的连续时间马尔可夫链，其状态转移概率在时间的演化中不再发生显著改变。
连续时间马尔可夫链的稳定性与其转移速率矩阵相关。
转移速率矩阵是连续时间马尔可夫链中的关键概念，它描述了系统在各个状态之间转移的速率。
只有当连续时间马尔可夫链的转移速率矩阵满足一定条件时，系统的状态分布才会趋于稳定。
在实际应用中，连续时间马尔可夫链的稳定性常被用来分析系统的可靠性、资源分配方案以及市场行为等。
利用连续时间马尔可夫链模型，可以预测系统在不同状态下的持续时间、发展趋势以及转移概率，为决策提供科学依据。
三、连续时间马尔可夫链的应用案例1. 金融市场预测连续时间马尔可夫链可以应用于金融市场的预测和风险评估。
随机过程-第五章-连续时间的马尔可夫链
随机过程-第五章-连续时间的马尔可夫链第五章连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记 i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有 },{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质:(1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质:;0)1(≥ij p(2) ;1=∑∈ij I j p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程. 证明只证(3).由全概率公式及马尔可夫性可得===+=+)})0()({)(i X j s t X P s t p ij=∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足:≠==→.,0,1)(lim 0j i j i t p ij t (5.3)称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任一0≥t 记},)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质:(1) ,0)(≥t p j(2) ,1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i ii i ii I i i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链.证明先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程,且X(0)=0.11,...0+<<<="" n="" p="" t=""> })(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++=,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X }= })()({11n n n n i i t X t X P -=-++ .另一方面,因为})()({11n n n n i t X i t X P ==++ =})0()()()({11n n n n n n i X t X i i t X t X P =--=-++=})()({11n n n n i i t X t X P -=-++ 所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性.当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+。
连续时间markov链的原理
连续时间markov链的原理连续时间马尔可夫链是一个随机过程，其状态空间是离散的（有限个或可数个状态），并且状态的转移是依赖于连续时间而非离散的。
这种类型的马尔可夫链在许多应用中具有重要的作用，例如物理、生物、金融等领域都可以使用连续时间马尔可夫链对系统的动态特性进行建模和分析。
连续时间马尔可夫链的基本原理是状态之间的转移是基于指数分布的。
具体来说，对于一个连续时间马尔可夫链，每个状态都有一个转移率，表示从当前状态转移到其他状态的速率。
这些转移率可以表示为矩阵的形式，称为转移率矩阵。
转移率矩阵中的每个元素都代表了从一个状态转移到另一个状态的速率。
连续时间马尔可夫链的数学模型可以通过一组微分方程来描述。
假设该马尔可夫链有n个状态，那么对于任意时刻t，我们可以定义n个状态的概率分布向量P(t)，其中P(t)的元素表示在时刻t处于各个状态的概率。
那么离散时间马尔可夫链的转移概率矩阵可以表示为Q，其中Q(i,j)表示从状态i转移到状态j 的速率。
那么状态向量P(t)满足以下微分方程：dP(t)/dt = P(t)Q上述方程表明，在给定的时刻t，状态向量P(t)在单位时间内的变化量等于当前状态向量P(t)与转移概率矩阵Q的乘积。
这个微分方程系统可以通过求解得到状态向量P(t)在任意时刻t的概率分布。
连续时间马尔可夫链的数学模型还与特定的概率分布函数相关联。
具体来说，假设某个状态的转移率为λ，那么从该状态转移到其他状态的时间间隔符合指数分布，其概率密度函数为f(t) = λexp(-λt)，其中λ是转移率。
这个指数分布的性质使得连续时间马尔可夫链在模拟和预测系统状态的改变方面具有许多有用的特性。
在实际应用中，连续时间马尔可夫链可用于模拟和分析一些复杂的系统。
例如，在金融领域中，我们希望根据历史数据预测未来的市场走势。
通过构建一个连续时间马尔可夫链模型，我们可以根据当前市场状态和转移率矩阵预测未来的股票价格或市场波动性。
随机过程中的马尔可夫链模型
随机过程中的马尔可夫链模型马尔可夫链是一种描述随机过程的数学模型，它具有“无记忆性”的特点，即未来状态仅受当前状态的影响，与过去状态无关。
在这篇文章中，我们将探讨随机过程中的马尔可夫链模型及其应用。
一、什么是马尔可夫链模型马尔可夫链是一种随机过程，指的是一系列的随机事件，其中每个事件的发生仅依赖于前一个事件的状态。
这种“无记忆性”使得马尔可夫链具有简洁的数学描述和计算特性。
马尔可夫链由五个基本要素组成：状态空间、状态转移概率、初始概率分布、时间步长和转移矩阵。
1. 状态空间：马尔可夫链的状态空间表示系统可能处于的所有状态的集合。
例如，掷骰子的状态空间是{1, 2, 3, 4, 5, 6}。
2. 状态转移概率：状态转移概率表示从一个状态转移到另一个状态的概率。
通常用转移矩阵表示，其中每个元素表示从一个状态到另一个状态的转移概率。
3. 初始概率分布：初始概率分布表示系统在初始时刻处于各个状态的概率分布。
通常用向量形式表示，其中每个元素表示系统处于对应状态的概率。
4. 时间步长：时间步长表示系统从一个状态转移到下一个状态所经过的时间。
5. 转移矩阵：转移矩阵是一个方阵，其中的每个元素表示从一个状态到另一个状态的转移概率。
转移矩阵的每一行之和为1。
二、马尔可夫链模型的应用马尔可夫链模型在许多领域都有广泛的应用，包括自然语言处理、金融市场分析、生物信息学、网络传播模型等。
1. 自然语言处理：在自然语言处理中，马尔可夫链模型被用于文本生成、机器翻译和语音识别等任务。
通过建立一个马尔可夫链模型，可以根据已知的文本数据生成具有相似特征的新文本。
2. 金融市场分析：马尔可夫链模型被广泛应用于金融市场的分析和预测。
通过分析历史数据，建立一个马尔可夫链模型，可以预测未来的市场变化趋势，帮助投资者做出决策。
3. 生物信息学：在生物信息学中，马尔可夫链模型被用于基因序列分析、蛋白质结构预测等任务。
通过构建一个马尔可夫链模型，可以识别基因序列中的编码区域和非编码区域，进而对基因功能进行推断。
随机过程-第五章 马尔可夫链
0.95 0.02 0.02 0.01 0.3 0.6 0.06 0.04 P 0.2 0.1 0.7 0 0.2 0.2 0.1 0.5
P
jS
ij
1, i S 。则称该矩阵为随机矩阵。
显然，随机矩阵的各行元素之和都等于 1。
例 5.1 赌徒输光问题 ：考虑一赌徒，在每局赌博中他以概率 p 赢得 1 元，以概率
q 1 p 输掉 1 元，假设各局赌博是相互独立的，赌徒开始有 i （ ቤተ መጻሕፍቲ ባይዱ i n ）元，且他在赌
显然， Markov 链的统计特征由其初始分布 P{ X 0 i0 } 和转移概率 P{ X k i X k 1 ik 1} （ k 1, 2,, n ）决定。
定义 5.3 时齐 Markov 链： 当 Markov 链的转移概率 P{ X n1 j X n i} 只与状态 i, j 有
m n m, n 0 使得 P ij 0, Pjk 0 ，利用 C-K 方程（1）可知
n n Pikm n Pirm Prk Pijm Pjk 0 rS
K 类似地可以证明存在 K 0 使得 Pki 0 。
称互通的两个状态属于同一个类，且由命题 5.1 可知，任何一个状态不能同时属于两个 不同的类，即任意两个不同的类不相交。 思考：对例 5.1 中的赌徒问题的状态分类？ 定义 5.7 可约：若 Markov 链只存在一个类，则称它为不可约的；否则称为可约的。 在不可约的 Markov 链中，一切状态都是彼此互通的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.1 连续时间马尔可夫链
另一方面
P{ X (t n 1 ) in 1 | X (t n ) in }
P{ X (tn 1 ) X (t n ) in 1 in | X (t n ) X (0) in } P{ X (tn 1 ) X (t n ) in 1 in }
4
5.1 连续时间马尔可夫链
证(1) 事实上 i 0 i s t i s+t i
i
{ i s} {X (u) i ,0 u s | X (0) i}
{ i s t} { X (u) i ,0 u s, X (v ) i , s v s t | X (0) i}
（固定最后状态 j 时用）
k i
k i
• 定理5.5 (柯尔莫哥洛夫向前方程) 在适当的正则条件下有
p ij (t ) pik ( t )qkj pij (t )q jj
k j
（固定状态 i 时用， 有限或生灭过程适用）
21
5.2 柯尔莫哥洛夫微分方程
注： 向后方程的矩阵形式：P (t)=QP(t) 向前方程的矩阵形式：P (t)=P(t)Q
pij (t ) 0
p (t ) 1
jI ij
pij (t s) pik (t ) pkj ( s)
kI
9
5.1 连续时间马尔可夫链
•
定理5.1 齐次马尔可夫过程的转移概率 具有下列性质： (1) pij(t)0;（非负性） (2)
p
jI
ij
(t ) 1; （行和为1）
i i i i
8
正则性 时间 离散
p p
(0) ii (0) ij
分布律
(n) pij 0,
转移方程
( n) ( l ) ( n l ) pij pik pkj kI
1, 0(i j )
jI
(n) pij 1
时间 连续
1 , i j lim pij (t ) t 0 0 , i j
(5)P{ X (t1 ) i1 , , X (t n ) in }
iI
iI
pi pii1 (t1 ) pi1i2 (t 2 t1 ) pin1in (t n t n1 )
13
5.1 连续时间马尔可夫链
• 例5.1 证明泊松过程{X(t), t0}为连续时 间齐次马尔可夫链。 证 先证泊松过程的马尔可夫性。 泊松过程是独立增量过程，且X(0)=0，对 任意0<t1< t2<< tn< tn+1有
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关)
• 转移概率矩阵P(t)=(pij(t)) ，i,jI，t 0 ，称为 齐次马尔科夫过程 性质：若i为过程在状态转移之前停留在状态 i的时间，则对s, t0有 (1) P{ i s t | i s} P{ i t} (2) i 服从指数分布
12
5.1 连续时间马尔可夫链
• 定理5.2 齐次马尔可夫过程的绝对概率及有限 维概率分布具有下列性质：
(1) pj(t)0
jIห้องสมุดไป่ตู้j
p (t ) 1 (2) (3) p (t ) p p (t ) (4) p j (t ) pi (t ) pij ( )
j iI i ij
• 定义5.3 (1)初始概率 p j p j (0) P{X (0) j}, j I (2)绝对概率 p j (t ) P{X (t ) j}, j I , t 0
(4)绝对分布 p (t ) , j I
(3)初始分布 p j , j I
j
t 0
(3) pij (t s)
p
kI
ik
(t ) pkj ( s) （C-K方程）
10
5.1 连续时间马尔可夫链
• 注：
1 , i j lim pij (t ) t 0 0 , i j
此为转移概率的正则性条件。
含义：过程刚进入某状态不可能立即 跳跃到另一状态。
11
5.1 连续时间马尔可夫链
P { i s t } P { i s } P { i t } G ( s t ) G ( s )G (t )
由此可推出G(x)为指数函数，G(x)=e-x, 则F(x)=1-G(x)=1-e-x为指数分布函数。
7
5.1 连续时间马尔可夫链
• 过程在状态转移之前处于状态i的时间i 服从指数分布 F ( x) 1 e i x i F ( x) 1, P{ i x} 1 F ( x) 0, (1)当i=时， 状态i的停留时间i 超过x的概率为0，则 称状态i为瞬时状态； F ( x) 0, P{ i x} 1 F ( x) 1, (2)当i=0时， 状态i的停留时间i 超过x的概率为1，则 称状态i为吸收状态。
qii qij
ji
19
5.2 柯尔莫哥洛夫微分方程
• 若连续时间齐次马尔可夫链具有有限状 态空间I={0,1,2,,n}
q00 q10 Q qn 0 q01 q11 qn1 q0 n Q0 q1n Q1 qnn Qn
所以 P{X (tn1) in1 | X (t1) i1,, X (tn ) in} P{X (tn1) in1 | X (tn ) in}
即泊松过程是一个连续时间马尔可夫链。
15
5.1 连续时间马尔可夫链
P{ X ( s t ) j | X ( s) i} P{ X ( s t ) X ( s) j i} e t (t ) j i ( j i )!
再证齐次性 当j i时，
当j<i时,因增量只取非负整数值,故pij(s,t)=0， 所以 t ( t ) j i
, ji e pij ( s, t ) pij (t ) ( j i )! 0 , j i
转移概率与s无关，泊松过程具有齐次性。
16
5.2 柯尔莫哥洛夫微分方程
问题：能否由Q可求转移概率？
20
5.2 柯尔莫哥洛夫微分方程
用Q解微分方程求转移概率pij (t)的方法 • 定理5.4 (柯尔莫哥洛夫向后方程) 假设 qii qik ，则对一切i, j及t 0，有
(t ) qik pkj (t ) qii pij (t ) Qi Pj pij
17
5.2 柯尔莫哥洛夫微分方程
• 定理5.3 设pij(t)是齐次马尔可夫过程的 转移概率，则下列极限存在 1 pii (t ) (1) lim i qii t 0 t pij (t ) (2) lim qij , j i t 0 t 称为齐次马尔可夫过程从状态i到状态j 的转移速率（跳跃强度）。
P{ X (t n1 ) in1 | X (t1 ) i1 ,, X (t n ) in } P{ X (t n1 ) X (t n ) in1 in | X (t1 ) X (0) i1 , X (t 2 ) X (t1 ) i2 i1 ,, X (t n ) X (t n1 ) in in1} P{ X (t n1 ) X (t n ) in1 in }
18
5.2 柯尔莫哥洛夫微分方程
推论（1）对有限齐次马尔可夫过程，有
qii =∑qij < ∞
j≠i
转移速率矩阵为
q00 q01 q q11 10 Q qn1 qn 0
q0 n q1n qnn
行和为0，任意i, jI，qij ≥0 （2）对 I无限齐次马尔可夫过程，有 （行和非正）
5.2 柯尔莫哥洛夫微分方程
定理5.6 齐次马尔可夫过程在t时刻处于状 态jI的绝对概率pj(t) 满足方程：
pj (t ) pk (t )qkj p j (t )q jj
k j
23
5.2 柯尔莫哥洛夫微分方程
• 定义5.4 设pij(t)是连续时间马尔可夫链的转 移概率，若存在时刻t1和t2，使得 pij(t1)>0， pji(t2)>0，则称状态i与j是互通 的。 若所有状态都是互通的，则称此马 尔可夫链为不可约的。
24
5.2 柯尔莫哥洛夫微分方程
• 定理5.7 设连续时间马尔可夫链是不可 约的，则有下列性质： pij (t )存在 (1)若它是正常返的，则极限 lim t 且等于j >0，jI。这里j 是 j q jj k qkj , j 1
k j jI
的唯一非负解，此时称{j >0，jI}是该 p j (t ) j 过程的平稳分布，并且有lim t (2)若它是零常返的或非常返的，则
5
5.1 连续时间马尔可夫链
P{ i s t | i s} P{ X (u ) i, 0 u s, X (v) i, s v s t | X (u ) i, 0 u s} P{ X (v) i, s v s t | X (u ) i, 0 u s} 条件概率 P{ X (v) i, s v s t | X ( s ) i} 马尔可夫性 P{ X (u ) i, 0 u t | X (0) i} P{ i t}
• 引理5.1 设齐次马尔可夫过程满足正则 性条件 1 , i j lim pij (t ) t 0 0 , i j