第四章 连续时间马尔科夫链
连续时间马尔可夫链定义
为连续时间马氏链的齐次转移矩阵 其中
p00 (t ) p10 (t ) P(t ) pi j (t ) p20 (t ) ...
pij (t ) 0
p01 (t ) p11 (t ) p21 (t ) ...
p02 (t ) p12 (t ) p22 (t ) ...
0
6 4 10 例：Q 2.5 2.5 0 1 1 2
2.5 1
4
6
1
2 1
状态流图
8
4 Q矩阵P(t)
依据K氏微分方程，可以从Q矩阵求得P(t), P(0)=I. 例：考察E＝{0,1}的连续时间马氏链X，设t极小
p01 (t ) t o(t ) p10 (t ) t o(t )
lim j '(t ) lim i (t ) qij
t t i
写成矩阵形式： Q 0
12
4 平稳概率例题
一个连续时间的马氏链E={0,1,2},其状态强度转移矩阵和状 态转移图为 1 1 0 平衡方程： Q 2 3 1 0 1 1 ( 0 , 1, 2 ) Q 0 列出方程组
k
初值： i (0) pi
为求瞬时概率分布函数的方程组
10
5 平稳分布
定义 j (t ) j ( j E ) 存在，且 j 1 ，则{ }称为齐次 若lim t j j 马尔可夫链的平稳分布 如何判别连续马尔可夫链的平稳分布必定存在？
转移概率矩阵是标准的 不可约的齐次马氏链，则极限存在，且与初始分布无关 正常返的齐次马氏链，则此极限值为平稳分布，且全部大 于0
11
第四章 马尔可夫链
股市预测
预测股票价格变化 基于历史数据建立模型 考虑股票之间的相关性 用于投资决策和风险管理
05
马尔可夫链的算法
状态转移矩阵算法
定义：状态转移 矩阵算法是马尔 可夫链中用于描 述状态转移概率 的算法
计算方法：根据 历史数据和当前 状态计算未来的 状态转移概率
应用场景：广泛 应用于自然语言 处理、语音识别、 机器翻译等领域
类问题等。
可扩展性强： 马尔可夫链可 以通过增加状 态和转移概率 来扩展模型， 以处理更复杂
的问题。
缺点
状态转移概率矩 阵必须已知
无法处理连续时 间或非齐次过程
无法处理多维或 多状态过程
无法处理非马尔 可夫过程
YOUR LOGO
THANK YOU
汇报人：儿
特点：隐马尔可夫链的状态转移和观测概率是参数化的，需要通过训练数据来估计。
应用：隐马尔可夫链在语音识别、自然语言处理、机器翻译等领域有广泛应用。
算法：隐马尔可夫链的算法包括前向-后向算法、Viterbi算法和Baum-Welch算法等。
04
马尔可夫链的应用
自然语言处理
文本分类：利 用马尔可夫链 对文本进行分 类，如垃圾邮 件过滤、情感
01
添加章节标题
02
马尔可夫链的定义
状态转移
定义：马尔可夫链的状态转移概率是描述状态之间转移的规则
特性：状态转移具有无记忆性，即下一个状态只与当前状态有关，与过去状态无关
转移矩阵：描述状态转移概率的矩阵
稳态分布：在长期状态下，马尔可夫链将趋于一个稳态分布，该分布描述
YOUR LOGO
马尔可夫链
,a click to unlimited possibilities
第四章 马尔可夫链
一步转移概率
定义4.2 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn，nT }在时刻n的一步转移概率， 简称转移概率，其中i,jI。 定义4.3 若对任意的i,jI，马尔可夫链{Xn,nT } 的转移概率pij(n)与n无关，则称马尔可夫链是 齐次的，并记pij(n)为pij。
如果d>1，就称i为周期的， 如果d=1，就称i为非周期的。
引理4.1 如果i的周期为d，则存在正整数M，对一切 ( nd ) n≥M ，有 p ii 0。
例4.6
设马尔可夫链的状态空间I={1,2,,9}，转移概率如 下图所示。
1 1
8
9
1
1 3
2
1
7
1
1 6
1
3
1
5
2 3
4
1
从状态1出发再返回状态1的可能步数为T={4,6,8,10, }，T的最大公约数为2，从而状态1的周期为2。
P{ X n j | X n1 i}P{ X n1 i} pi (n 1) pij
iI iI iI
(3)(4)为(1)(2)的矩阵表示。
定理4.3 设{Xn，nT }为马尔可夫链，则对任意 整数i1, i2,,inI和n1 ，有性质
P{ X1 i1 ,, X n in } pi pii1 pi1i2 pin1in
证明： (1) p j (n) P{ X n j} P{ X 0 i , X n j}
P{ X n j | X 0 i}P{ X 0 i}
iI ( p i p ijn ) iI iI
(2) p j (n) P{ X n j} P{ X n1 i , X n j}
连续时间马尔科夫链
∑
r∈E \EK
pi,r (h) . h
(4.35)
∑ p ( t + h ) − p ( t ) i,j i,j lim ± − qi,r pr,j (t) h→0+ h ≤ qi − lim ≤ qi − ∑
r∈EK \{i} r∈EK
h→0+
pi,r (h) h
∑
r ∈E
, pi,j (t) , ,
.
0<h<t Kolmogorov
, .
t−h
t,
4.69 设 qj < ∞ 且 limh→0+ pr,j (h)/h = qr,j 关于 r ∈ E \ {j } 一致成立, 则 p′ i,j (t) = ∑
r∈E
pi,r (t)qr,j ,
∀i, j ∈ E, t ≥ 0.
qqijlimh0pijh?pij0h?????????????iij?1?i??iij?iij10i?j2kolmogorovpijtj?1pij?1t?i?ipijt?j1pij1t
草稿 不要打印
4.7
, .
4.7.1
4.62 设随机过程 {Xt : t ≥ 0} 的状态空间 E 是至多可数集, 若对任何整数 n ≥ 1, 参数 0 ≤ t0 < t1 < · · · < tn < tn+1 以及状态 i0 , i1 , · · ·, in+1 ∈ E , 有 P {Xtn+1 = in+1 |Xt0 = i0 , · · · , Xtn = in } = P {Xtn+1 = in+1 |Xtn = in }, 则称 {Xt : t ≥ 0} 为连续时间马尔可夫链. (4.28) , P {Xt+s = j |Xs = i}, s i, t s, t ≥ 0, i, j ∈ E. j , (4.28)
马尔可夫链
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
第6讲 第4章马尔科夫链
P=
2 1/3 1/3 1/3 0 0
3
0
1/3 1/3 1/3
0
1
2
345源自4 0 0 1/3 1/3 1/3
5 0 0 0 0 1
.
称状态 5 为吸收态。 吸收态是位于对角线上的概率1所对应的状态。 吸收态也是马尔科夫链研究的一个问题。 ---- 但是本教材对此不作过多讨论
.
例4.3 无限制随机游动
质点在数轴的整点上做随机游动，每次移动一格，向 右移动概率为p，向左移动概率为q（p+q=1）， X n 表 示质点在n时所处的位置，则 Xn 是一齐次马尔科夫链， 写出一步和k步转移概率。
解 状态空间I={0,±1,±2,…}
pi,i1 p,
pi,i1 q,
M M M M L
L
0
p
L
P L q 0 p
L
q
0
p
L
MMMM
.
例4. 生灭链
某种生物群体在n时刻的数量为 X n ，n时刻有 量时，到n+1时刻增加到 i 1 个数量的概率为
i 个数
bi ，
减少到 i 1 个数量的概率为 ai ，保持数量不变的概
率为 ri 1 ai bi 。 a0 0
则 Xn ,n 0 是齐次马尔科夫链。
状态空间I={0, 1，2,…}
P X 0 i0 P X n1 i1 | X 0 i0 L P X nm im | X 0 i0 ,L X nm1 im1
在甲获得1分的情况下, 再赛2局比赛结束的概率： p(1 r) .
.
注1：为方便，我们也可把这5个状态依次用序号表示。
比如 p23表示：甲现处于第二个状态，一步后变为第3
随机过程Ch5-连续时间的马尔科夫链
连续时间马尔可夫链I 马尔可夫链543210 1 2 3 4 5 T25.1 连续时间马尔可夫链定义5.1 设随机过程{X(t)，t 0}，状态空间I={0,1,2,}，若对任意0t1<t2<<t n+1 及非负整数i1,i2, ,i n+1 I，有P{X(t n+1)=i n+1|X(t1)=i1, X(t2)=i2,, X(t n)=i n}=P{X(t n+1)=i n+1|X(t n)=i n}，则称{X(t)，t 0}为连续时间马尔可夫链。
转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率p ij(s,t)= P{X(s+t)=j|X(s)=i} 35.1 连续时间马尔可夫链定义5.2 齐次转移概率p ij(s,t)=p ij(t)(与起始时刻s无关，只与时间间隔t有关) •转移概率矩阵P(t)=(p ij(t)) ，i,j I，t 0，称为齐次马尔科夫过程性质：若i为过程在状态转移之前停留在状态i的时间，则对s, t0有P{ s t | s} P{ t}i(1)i i(2)i 服从指数分布45.1 连续时间马尔可夫链证(1) 事实上i i i its s+ti{ s} {X(u) i,0 u s | X(0) i} i{ s t} {X(u) i,0 u s,iX(v) i, s v s t | X(0) i}55.1 连续时间马尔可夫链P{ s t | s} P{X (u) i,0 u s,i iX (v) i,s v s t | X (u) i,0 u s} P{X (v) i,s v s t | X (u) i,0 u s}条件概率P{X (v) i,s v s t | X (s) i}马尔可夫性P{X (u) i,0 u t | X (0) i}齐次性P{ t}i65.1 连续时间马尔可夫链(2)设i的分布函数为F(x), (x0),则生存函数G(x)=1-F(x)P{ t} P{ s t | s }i i iP {isP { t,i s}Ps}iP { s t}t}P{ s}P {iiiG (s t) G(s)G (t)7 由此可推出G(x)为指数函数，G(x)=e -x,则F(x)=1-G(x)=1-e -x为指数分布函数。
第四章 马尔可夫链
第四章 马尔可夫链随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（Markov ）过程就是描述一类状态之间具有某种特殊统计联系的随机过程.Markov 过程在近代物理学、生物学、管理科学、信息处理与数字计算方法等领域都有重要的应用.按其状态和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的Markov 过程，称为Markov 链；（2）时间连续、状态离散的Markov 过程，称为连续时间的Markov 链；（3）时间、状态都连续的Markov 过程.本章主要讨论Markov 链，有关连续时间的Markov 链的相关理论将在下章讨论.4.1 马尔可夫链的概念和例子独立随机试验模型最直接的推广就是Markov 链模型，早在1906年俄国数学家Markov 对它进行研究而得名，以后Kolmogorov 、Feller 、Doob 等数学家发展了这一理论.4.1 .1 Markov 链的定义假设Markov 过程{,}n X n T ∈的参数集T 是离散时间集合，即{0,1,2,}T =，相应n X 可能取值的全体组成的状态空间是离散状态集012{,,,}I i i i =.定义 4.1 设有一随机过程{,}n X n T ∈，若对于任意整数n T ∈和任意011,,,n i i i I +∈，条件概率满足11001111{|,,,}{|}n n n n n n n n P X i X i X i X i P X i X i ++++=======则称{,}n X n T ∈为离散时间的Markov 链，简称Markov 链（Markov chains ）或马氏链.从定义可以看出：Markov 链具有Markov 性（即无后效性），如果把时刻n 看作现在，那么，1n +是将来的时刻，而0,1,2,,1n -是过去的时刻.Markov 性表示在确切知道系统现在状态的条件下，系统将来的状况与过去的状况无关，而且Markov 链的统计特征完全由条件概率11{|}n n n n P X i X i ++==所决定. 因此，如何确定这个条件概率，是研究Markov 链理论和应用中十分重要的问题之一. 4.1.2 转移概率定义 4.2 称条件概率1(){|}ij n n p n P X j X i +=== （4.1）为Markov 链{,}n X n T ∈在时刻n 的一步转移概率，其中,i j I ∈，简称转移概率（transition probability ）.一般地，转移概率()ij p n 不仅仅与状态,i j 有关，而且与时刻n 有关，如果()ij p n 不依赖时刻n 时，则称Markov 链具有平稳转移概率.定义 4.3 若对任意,i j I ∈，Markov 链{,}n X n T ∈的转移概率()ij p n 与n 无关，则称Markov 链是齐次的（或称时齐的）（time homogeneous -），并记()ij p n 为ij p . 下面只讨论齐次Markov 链，并且通常将“齐次”两字省去.定义 4.4 设P 表示一步转移概率ij p 所组成的矩阵，且状态空间{1,2,}I =，则1112121222...........................n n p p p P p p p ⎛⎫ ⎪= ⎪ ⎪⎝⎭称为系统状态的一步转移概率矩阵（transition probability matrix ），它具有性质： （1）0,,ij p i j I ≥∈； （2）1,ijj Ipi I ∈=∈∑.（2）式说明一步转移概率矩阵中任一行元素之和为1，通常称满足性质（1）（2）的矩阵为随机矩阵.定义 4.5 称条件概率(){|},n ij m n m p P X j X i +=== ,,0,1i j I m n ∈≥≥ （4.2）为Markov 链{,}n X n T ∈的n 步转移概率，并称()()()n n ij P p =为Markov 链{,}n X n T ∈的n 步转移矩阵.其中()()0,1n n ij ij j Ip p ∈≥=∑，即()n P 也是一个随机矩阵.特别地，当1n =时，(1)ij ij p p =，此时，一步转移矩阵(1)P P =.我们还规定(0)0,1,iji jpi j ≠⎧=⎨=⎩Markov 链n 步转移概率满足重要的Chapman Kolmogorov -方程（简称C K -方程）。
连续时间的Markov链
第五章 连续时间的马尔可夫链第四章我们讨论了时间和状态都是离散的Markov 链，本章我们研究的是时间连续、状态离散的Markov 过程，即连续时间的Markov 链. 连续时间的Markov 链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov 链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立.连续时间马尔可夫链的基本概念定义 设随机过程{(),0}X t t ≥，状态空间{,1}n I i n =≥，若对任意的正整数1210n t t t +≤<<<L 及任意的非负整数121,,,n i i i I +∈L ，条件概率满足{}111122()|(),(),,()n n n n P X t i X t i X t i X t i ++====L{}11()|()n n n n P X t i X t i ++=== （）则称{(),0}X t t ≥为连续时间的Markov 链.由定义知，连续时间的Markov 链是具有Markov 性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻n t 及一切过去时刻所处状态的条件下，将来时刻1n t +的状态只依赖于现在的状态而与过去的状态无关.记式条件概率的一般形式为{()|()}(,)ij P X s t j X s i p s t +=== （）它表示系统在s 时刻处于状态i ，经过时间t 后在时刻s t +转移到状态j 的转移概率，通常称它为转移概率函数.一般地，它不仅与t 有关，还与s 有关.定义 若式的转移概率函数与s 无关，则称连续时间Markov 链具有平稳的转移概率函数，称该Markov 链为连续时间的齐次（或时齐）Markov 链. 此时转移概率函数简记为(,)()ij ij p s t p t =.相应地，转移概率矩阵简记为()(()),(,,0)ij P t p t i j I t =∈≥.若状态空间{0,1,2,}I =L ，则有()000102101112012()()()...()()()()()............()()()............ij n n n p t p t p t p t p t p t P t p t p t p t p t ⎛⎫ ⎪ ⎪⎪== ⎪ ⎪ ⎪⎝⎭L L （）假设在某时刻，比如说时刻0，Markov 链进入状态i ，在接下来的s 个单位时间内过程未离开状态i （即未发生转移），我们要讨论的问题是在随后的t 个单位时间中过程仍不离开状态i 的概率是多少？由Markov 性知，过程在时刻s 处于状态i 的条件下，在区间[,]s s t +中仍处于状态i 的概率正是它处在状态i 至少t 个单位时间的（无条件）概率，若记i τ为过程在转移到另一状态之前停留在状态i 的时间，则对一切,0s t ≥有{|}{}i i i P s t s P t τττ>+>=>可见，随机变量i τ具有无记忆性，因此，i τ服从指数分布.因此，一个连续时间的Markov 链，每当它进入状态i ，具有如下性质： （1） 在转移到另一个状态之前处在状态i 的时间服从参数为i v 的指数分布； （2） 当过程离开状态i 时，接着以概率ij p 进入状态j ,且1ijj ip≠=∑.当i v =∞时，称状态i 是瞬时状态，因为过程一旦进入状态就离开；若0i v =，称状态为吸收状态. 因为过程一旦进入永远不再离开.尽管瞬时状态在理论上是可能的，但我们以后还是假设一切i ，0i v ≤<∞.因此，考虑连续时间Markov 链，可以按照离散时间的Markov 链从一个状态转移到另个状态，但在转移到另一状态之前，它在各个状态停留的时间服从指数分布，而且在状态i 停留的时间与下一个状态必须是相互独立的随机变量.定理 齐次Markov 链的转移概率函数具有下列性质：（1）()0ij p t ≥； （2）()1ij j Ip t ∈=∑；（3）()()()ij ikkj k Ip t s pt p s ∈+=∑.（2）式表明转移概率矩阵中任一元素行和为1；（3）式称为连续时间齐次Markov 链的Chapman Kolmogorov -方程，简称C K -方程.证明 （1）和（2）由概率定义及()ij p t 的定义易知，下面只证明（3）式 由全概率公式和Markov 性可得(){()|(0)}ij p t s P X t s j X i +=+=={(),()|(0)}k IP X t s j X t k X i ∈=+===∑{()|(0)}{()|()}k IP X t k X i P X t s j X t k ∈===+==∑{()|(0)}{()|(0)}k IP X t k X i P X s j X k ∈=====∑()()ikkj k Ipt p s ∈=∑对于转移概率函数，我们约定1,,lim ()0ij ij t i j p t i jδ→=⎧==⎨≠⎩ （） 称上式为连续性条件或正则性条件.连续性条件保证转移概率函数()ij p t 在边界点0t =处右连续.它的直观意义在于：当系统经过很短时间，其状态几乎不变，也就是认为系统刚进入一个状态又立刻离开这个状态是不可能的.定义 连续时间Markov 链{(),0}X t t ≥在初始时刻（即零时刻）取各状态的概率(0){(0)},i i p p P X i i I ===∈ （）称为它的初始分布.{(),0}X t t ≥在t 时刻取各状态的概率(){()},j p t P X t j == ,0j I t ∈≥称为它在时刻t 的绝对（概率）分布.初始分布和绝对分布都是概率分布，对于任意0t ≥，()j p t 总满足： （1）0()1j p t ≤≤； （2）()1j jp t =∑.利用全概率公式容易得到()(0)(),j i ij i Ip t p p t j I ∈=∈∑ （）（）式表明：连续时间Markov 链的绝对概率分布完全由其初始分布和转移概率函数所确定.下面举一个简单的例子说明转移概率函数的计算方法.例 证明Poisson 过程{(),0}N t t ≥是连续时间的齐次Markov 链. 证明 先证明Poisson 过程具有Markov 性.由Poisson 过程的独立增量性和()0N t =，对任意1210n n t t t t +<<<<<L ，有1111{()|(),,()}n n n n P N t i N t i N t i ++===L=1111{()()|()(0),n n n n P N t N t i i N t N i ++-=--=212111()(),,()()}n n n n N t N t i i N t N t i i ---=--=-L11{()()}n n n n P N t N t i i ++=-=- 另一方面，因为11{()|()}n n n n P N t i N t i ++===11{()()|()(0)}n n n n n n P N t N t i i N t N i ++-=--==11{()()}n n n n P N t N t i i ++-=-因此 1111{()|(),,()}n n n n P N t i N t i N t i ++===L =11{()|()}n n n n P N t i N t i ++== 即Poisson 过程是连续时间的Markov 链.再证齐次性. 当j i ≥时，由Poisson 过程的定义，得到{()|()}{()()}P N s t j N s i P N s t N s j i +===+-=-()()!j itt ej i λλ--=-当j i <时，由于过程的增量只取非负整数值，因此，(,)0ij p s t =，故(),(,)()()!0,j it ij ij t ej i p s t p t j i j iλλ--⎧≥⎪==-⎨⎪<⎩即转移概率函数只与t 有关，因此，Poisson 过程具有齐次性.容易看出，固定,i j 时，()ij p t 是关于t 的连续可微函数。
连续时间马尔可夫链例题
连续时间马尔可夫链例题假设有一个连续时间马尔可夫链，描述一个人的健康状态。
该马尔可夫链包含三个状态：健康、生病和康复。
人的健康状态可以根据以下转移概率进行模拟：1. 在任何时间点，一个健康的人以0.1的速率生病。
2. 在任何时间点，一个生病的人以0.2的速率康复。
3. 在任何时间点，一个康复的人以0.05的速率重新生病。
现在假设一个人的初始状态是健康，我们可以使用连续时间马尔可夫链模型来模拟他的健康状态随时间的变化。
假设每个时间单位是一周，我们希望模拟他一年内的健康状态。
根据上面的转移概率，我们可以得到如下的转移矩阵：```| 健康 | 生病 | 康复 |----------------------------健康 | 0.9 | 0.1 | 0 |生病 | 0.05 | 0.75 | 0.2 |康复 | 0 | 0.05 | 0.95|```该矩阵中的每个元素表示从当前状态转移到下一个状态的概率。
例如，一个健康的人在一周后仍然健康的概率为0.9，在一周后生病的概率为0.1，在一周后康复的概率为0。
使用该转移矩阵，我们可以模拟一个人一年内的健康状态。
假设每个时间单位是一周，则一年共有52个时间单位。
我们可以使用随机数生成器来生成每个时间单位的状态。
假设生成的随机数在[0,1)之间，我们可以根据转移概率进行状态转移。
例如，如果生成的随机数小于0.9，则人在下一个时间单位仍然健康；如果生成的随机数介于0.9和0.95之间，则人在下一个时间单位康复；如果生成的随机数大于等于0.95，则人在下一个时间单位重新生病。
使用这种方法，我们可以模拟一个人一年的健康状态，并观察他在这段时间内的状态变化。
这可以帮助我们更好地了解和预测一个人的健康动向。
连续时间马尔可夫链的研究和应用
连续时间马尔可夫链的研究和应用马尔可夫链是用于描述随机过程的数学工具，其特点是未来状态的转移仅依赖于当前状态，与过去状态无关。
在时间离散的情况下，马尔可夫链的数学理论已经十分成熟且应用广泛。
然而，在实际问题中，许多系统的状态变化是连续的，如金融市场、生产流程、医疗领域等。
为了更好地描述和分析这类系统，连续时间马尔可夫链成为了研究的焦点之一。
一、连续时间马尔可夫链的基本定义和性质连续时间马尔可夫链是一个连续时间随机过程，其状态在时间上的变化满足马尔可夫性质。
与离散时间马尔可夫链不同的是，在连续时间马尔可夫链中，状态的转移并不是以离散的时刻进行，而是在连续的时间区间内发生。
连续时间马尔可夫链可以用状态转移概率密度函数描述，记为P(t)。
该函数表示在时间t到t+dt之间，状态从i转移到状态j的概率为P(t)dt。
连续时间马尔可夫链的转移概率满足总概率为1的条件，即∫P(t)dt=1。
连续时间马尔可夫链的状态转移矩阵可用生成矩阵(Q)表示。
该矩阵的元素q(i,j)表示在单位时间内，状态从i转移到j的概率。
连续时间马尔可夫链的状态转移矩阵满足非负性和行和为零的条件。
二、连续时间马尔可夫链的稳定性与收敛性连续时间马尔可夫链的稳定性是指在长时间模拟中，系统的状态分布是否趋于稳定。
对于稳定的连续时间马尔可夫链，其状态转移概率在时间的演化中不再发生显著改变。
连续时间马尔可夫链的稳定性与其转移速率矩阵相关。
转移速率矩阵是连续时间马尔可夫链中的关键概念，它描述了系统在各个状态之间转移的速率。
只有当连续时间马尔可夫链的转移速率矩阵满足一定条件时，系统的状态分布才会趋于稳定。
在实际应用中，连续时间马尔可夫链的稳定性常被用来分析系统的可靠性、资源分配方案以及市场行为等。
利用连续时间马尔可夫链模型，可以预测系统在不同状态下的持续时间、发展趋势以及转移概率，为决策提供科学依据。
三、连续时间马尔可夫链的应用案例1. 金融市场预测连续时间马尔可夫链可以应用于金融市场的预测和风险评估。
第4章 马尔可夫链
（2）状态的常返性
首中概率——状态 i 经 n 步首次到达状态 j 的概率：
f ij( n ) P{ X m n j , X m v j , 1 v n 1 X m i}, n 1
f ij( 0 ) 0
系统从状态 i 出发，经有限步迟早会（首次）到达 状态 j 的概率：
i I
p i p ii1 p i n 1i n
马尔可夫链的有限维分布完全由它的初始概率和 一步转移概率所决定。
马尔可夫链的几个简单例子
[例1] 二进制对称信道模型——是常用 于表征通信系统的错误产生机制的离 散无记忆信道模型。假设某级信道输 入0, 1数字信号后，其输出正确的概 1 率为p，产生错误的概率为q，则该级 信道输入状态和输出状态构成一个两 状态的齐次马尔可夫链。 一步转移概率矩阵： p q P q p 0
目录
4.2 马尔可夫链的状态分类
设 { Xn , n >0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j I ，初始分布 为{ Pj , j I } 。
8 1 9 2 1 1 6 1 5 2/3 1/3 1 4 1
1 7
( 2 ) P{ X n 2 c X n b}
17 30 1 3 1 2 1 ( 2) 2 8 (1) P P 15 4 5 3 5 50 17 30 1 (2) ( 2 ) P{ X n 2 c X n b} Pbc 6 9 40 3 10 3 20 5 24 1 6 17 90
连续马尔可夫过程（或扩散过程）
4.1 马尔可夫链的概念及转移概率
连续时间markov链的原理
连续时间markov链的原理连续时间马尔可夫链是一个随机过程，其状态空间是离散的（有限个或可数个状态），并且状态的转移是依赖于连续时间而非离散的。
这种类型的马尔可夫链在许多应用中具有重要的作用，例如物理、生物、金融等领域都可以使用连续时间马尔可夫链对系统的动态特性进行建模和分析。
连续时间马尔可夫链的基本原理是状态之间的转移是基于指数分布的。
具体来说，对于一个连续时间马尔可夫链，每个状态都有一个转移率，表示从当前状态转移到其他状态的速率。
这些转移率可以表示为矩阵的形式，称为转移率矩阵。
转移率矩阵中的每个元素都代表了从一个状态转移到另一个状态的速率。
连续时间马尔可夫链的数学模型可以通过一组微分方程来描述。
假设该马尔可夫链有n个状态，那么对于任意时刻t，我们可以定义n个状态的概率分布向量P(t)，其中P(t)的元素表示在时刻t处于各个状态的概率。
那么离散时间马尔可夫链的转移概率矩阵可以表示为Q，其中Q(i,j)表示从状态i转移到状态j 的速率。
那么状态向量P(t)满足以下微分方程：dP(t)/dt = P(t)Q上述方程表明，在给定的时刻t，状态向量P(t)在单位时间内的变化量等于当前状态向量P(t)与转移概率矩阵Q的乘积。
这个微分方程系统可以通过求解得到状态向量P(t)在任意时刻t的概率分布。
连续时间马尔可夫链的数学模型还与特定的概率分布函数相关联。
具体来说，假设某个状态的转移率为λ，那么从该状态转移到其他状态的时间间隔符合指数分布，其概率密度函数为f(t) = λexp(-λt)，其中λ是转移率。
这个指数分布的性质使得连续时间马尔可夫链在模拟和预测系统状态的改变方面具有许多有用的特性。
在实际应用中，连续时间马尔可夫链可用于模拟和分析一些复杂的系统。
例如，在金融领域中，我们希望根据历史数据预测未来的市场走势。
通过构建一个连续时间马尔可夫链模型，我们可以根据当前市场状态和转移率矩阵预测未来的股票价格或市场波动性。
连续时间马尔可夫链例题
连续时间马尔可夫链连续时间马尔可夫链（Continuous-time Markov Chain）是马尔可夫链在连续时间下的一种模型。
它受到时间的连续性限制，可以用于描述一些随机过程。
马尔可夫链基本概念马尔可夫链是指具有“无记忆性”的随机过程。
在离散时间中，马尔可夫链指的是一个随机变量序列，其中每个随机变量的取值依赖于其前一时刻的取值。
这个过程可以用一个状态转移概率矩阵来描述。
在连续时间中，马尔可夫链则是一个具有无记忆性的连续随机过程。
与离散时间不同，连续时间马尔可夫链的状态在一定时间段内可以发生任意多次的改变。
连续时间马尔可夫链的定义连续时间马尔可夫链是一个随机过程，其状态空间为有限个数。
该过程在任意时刻处于某个状态，并且满足无记忆性的马尔可夫性质。
连续时间马尔可夫链的演变是通过指数分布来描述的。
在每个状态之间的转移时间服从指数分布，转移时间的参数与当前状态有关。
连续时间马尔可夫链的转移速率矩阵与离散时间马尔可夫链中的状态转移矩阵类似，连续时间马尔可夫链使用转移速率矩阵来描述状态之间的转换关系。
设连续时间马尔可夫链的状态空间为{1, 2, …, n}，转移速率矩阵为Q。
矩阵Q的元素qij表示从状态i到状态j的速率，且满足以下条件：•qij≥0, i≠j;•对于每一个状态i，有qii = -∑qij（i≠j）。
在连续时间马尔可夫链中，从状态i到状态j的转移概率为pij(t)，t表示时间。
转移概率在给定时间段内满足以下等式：equation1其中X(t)表示在时刻t的状态，P表示概率。
连续时间马尔可夫链的性质连续时间马尔可夫链有许多属性与离散时间马尔可夫链类似。
•遍历性：如果状态空间中的每一个状态在有限时间内是可达的，则称连续时间马尔可夫链是遍历的。
•稳态概率分布：马尔可夫链可能存在稳态概率分布，对于连续时间马尔可夫链也是如此。
稳态概率分布表示在长时间内各个状态的概率分布。
•等距离转换概率：等距离转换概率描述了在任意的相同时间间隔内，从一个状态转移到另一个状态的概率。
连续时间马尔可夫链
于是，记：
P X ( s t ) j X ( s ) i pij ( s, t )
2、齐次马氏链：
pij (s, t ) pij (t s)
齐次马氏链的转移矩阵：
P(t ) pij (t )
t1 0, t2 0, t3 这些点处取状态值 0,
pij (t ) t
i
对跳变现象，考察转移概率：pij (t ),i j
以及跳变强度
t 0
lim
,i j
（二） 停留现象（P75）
引入“停留之前停留在状态
f (t ) vi e
pii (0) 1, pij (0) 0, 当i j
为了以后能对转移概率 pij (t ) 作微分运算
（即，对连续时间变量 t ，分析
(t )与pij (t ) pij
的关系，找到它们之间的等量表达式。）
它是一个微分方程。 需要作出正则性规定，才能保证其一致连续性。 正则性条件的物理意义： P 74
可以看出，连续时间下，马尔可夫链的状态是“跳
跃式”变化。
3、跃变（或跳变）与停留现象
X(t)
..………….....
i2 …… i1
t
0
t1
t2
t3
t4
t5
（一）跳变现象： 跳变时刻
t1 , t2 , t3 , 与跳变强度都是随机的。
） xt
（为连续性考虑，一般认为X(t)在跃变点是右连续的， 即X(t)在
1 E i vi
vi t
i 的时间。
i 服从指数分布（参数为 v i ）, 其特征是无记忆性。
第四章连续时间马尔科夫链
定理
设连续时间的马尔可夫链是不可约的，则有下列性质：
1.
若它是正常返的，则极限
lim
t
pij
(t)
存在且等于πj＞0，j∈I。这里πj是
方程组
j q jj
k qkj
k j
j 1
jI
的唯一非负解，此时称{πj,j∈I}是该过程的平稳分布，并且有
lim
t
pij (t)
lim
t
p j (t)
3、pij (t s) pik (t) pkj (s) kI
正则性条件
1, i j
lim
t 0
pij
(t )
0,
i
j
4
定义
对于任一t≥0，记 p j (t) P{X (t) j},
p j p j (0) P{X (0) j},
jI
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概 率分布。
16
一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态 转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的 时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态 必须移概率具有下列性质：
1、pij (t) 0
2、 pij (t) 1 jI
则称{X(t),t≥0}为连续时间马尔可夫链。
上式中条件概率的一般表现形式为
定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐 次的转移概率，此时转移概率简记为 其转移概率矩阵简记为P(t) ( pij (t))
1
在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离 开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？
连续时间马尔可夫链
5 连续时间马尔可夫链5.1引言本章中我们考虑与离散时间马尔可夫链类似的连续时间马尔可夫链。
如离散情形一样，它们由马尔可夫性刻画，即已知现在的状态时将来与过去独立。
在5.2节中。
我们定义连续时间马尔可夫链且把它们与第四章的离散时间马尔可夫链相联系。
在5.3节中，我们引入一类重要的连续时间马尔可夫链，即所谓生灭过程。
这些过程可用作在任何时刻其总量的变化仅为一个单位的群体的模型。
在5.4节中，我们导出两组描述系统的概率规律的微分方程——向前与向后方程。
5.5节的内容是确定连续时间马尔可夫链的有关的极限（或长时间后的）概率。
在5.6节中，我们考虑时间可逆的问题。
其中，我们证明一切生灭过程是时间可逆的，而后阐明这事实对于排队系统的重要性。
在这一节中也提供了时间可逆性对随机群体模型的应用。
在5.7节中，我们阐明逆向链的重要性，即使过程不是时间可逆的。
利用它我们研究排队网络模型。
导出爱尔朗消失公式，分析共用加工系统。
5.8节中我们表面如何“一致化”马尔可夫链——对于数值计算有用的一种技巧。
5.2连续时间马尔可夫链考虑取非负整数值的连续时间随机过程t,0X t，与第四章中给出的离散时间马尔可夫链的定义类似，过程t,0X t称为连续时间马尔可夫链，如果对一切,0s t及非负整数,i j，x u，0u s，有|X,X,0P X t s j s i u x u u sP X t s j X s i|换言之，连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在s时是状态及一切过去的状态的套件下在将来时刻t s的状态的条件分布只依赖现在的状态而与过去独立。
若又有|P X t s j X s i与s无关则称连续时间马尔可夫链具有平稳的或其次的转移概率。
将假定我们所考虑的马尔可夫链都有平稳转移概率。
假设在某时刻，比如说时刻0，马尔可夫链进入状态i，而且假设在接下来的s个单位时间中过程未离开状态i（即未发生转移）。
在随后的t个单位时间中过程仍不离开状态i的概率是多少呢？为了回答这个问题。
连续时间马尔可夫链的稳态概率
一、概述连续时间马尔可夫链是一种随机过程，它具有许多重要的应用场景，如系统建模、信号处理、金融领域等。
在连续时间马尔可夫链中，稳态概率是一个重要的概念，它描述了系统在长时间尺度上的行为。
本文将对连续时间马尔可夫链的稳态概率进行深入探讨。
二、连续时间马尔可夫链的基本概念连续时间马尔可夫链是一种状态空间和时间的随机过程。
在连续时间马尔可夫链中，系统在不同状态之间发生转移，并且转移的概率是与时间连续的。
假设系统有N种状态，则系统的状态空间可以表示为S={1,2,...,N}。
系统从状态i转移到状态j的转移概率可以表示为Pij(t)，其中t为时间。
连续时间马尔可夫链满足马尔可夫性质，即系统的下一个状态只与当前状态有关，与过去的状态无关。
三、稳态概率的定义稳态概率描述了系统在长时间尺度上，各个状态的分布情况。
如果系统在一个特定的状态上停留的时间足够长，那么系统处于该状态的概率将会趋于一个固定的值。
这个固定的值就是稳态概率。
对于连续时间马尔可夫链，它的稳态概率可以通过求解系统的平稳分布得到。
四、连续时间马尔可夫链的平稳分布连续时间马尔可夫链的平稳分布满足以下方程：π(t)Q=0其中π(t)为系统的状态分布向量，Q为系统的转移速率矩阵。
通过求解上述方程，可以得到系统的平稳分布。
平稳分布表示了系统在长时间尺度上各个状态的分布情况，也就是系统的稳态概率。
五、求解稳态概率的方法求解连续时间马尔可夫链的稳态概率有多种方法，其中比较常用的方法包括幂迭代法、特征向量法和对数化法。
这些方法都是基于连续时间马尔可夫链的平稳分布方程进行求解的。
六、幂迭代法幂迭代法是求解稳态概率的一种常用方法。
它的基本思想是通过迭代计算系统的状态分布向量，直至收敛为止。
具体步骤如下：1. 初始化系统的状态分布向量π(0)；2. 通过迭代计算得到π(k+1)=π(k)Q，直至π(k)收敛为止。
幂迭代法的收敛性和计算效率较高，是连续时间马尔可夫链稳态概率求解的一种有效方法。
马尔可夫链
Pij 0
其它（ j i 2, i 2 )
例 4．1(b) G/M/1 排队系统。假设顾客依照一个任意的更新过 程来到一个单服务台的服务中心，来到间隔分布为 G。进一步 假设服务分布是指数分布，参数为。若以 Xn 记第 n 个顾客来 到时见到系统中的顾客数， 以 Yn 记第 n 个顾客与第(n+1)个顾客 到达间隔时间内服务完的顾客数，则 X n1 X n 1 Yn ，易知过程
i 1 n
可夫链，其转移概率 Pij a j i , {Sn,n0}称为一般的随机游动。 若 Xi 表示数轴上 0 时刻位于原点的随机质点从时刻 i-1 到时刻 i 的位移，则 Sn 表示随机质点在时刻 n 的位置。
例 4.1(d)
n
简 单 随 机 游 动 。 若 对 于 某 个 p,0 p 1 有
3. 切 普 曼 —— 柯 尔 莫 哥 洛 夫 方 程 (chapman-kolmogorov equations)、n 步转移概率(the n-steptransition probability)矩阵 已经定义了一步转移概率 Pij。 现在我们定义 n 步转移概率 Pijn 为处于状态 i 的过程经 n 次转移后处于状态 j 的概率。即
Pijn P{ X n m j | X m i }, n 0, i , j 0 1 i j 1 0 当然有 Pij , Pij Pij 。切普曼一柯尔莫哥格夫方程提供了 0 i j
计算 n 步转移概率的方法。 切普曼一柯尔莫哥格夫方程：对一切 n, m 0 ，一切 i，j，有(4.2.1)
第4章 马尔可夫链
d0
两式相比
r j rc
uj 1 rc
故
ua
ra rc 1 rc
(
q )a p
(
q )c p
1
(
q p
)c
当 r 1
u0 uc 1 cd0
而
u j (c j)d0
c j
因此 故
u j c c a b
ua
c
c
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
当r
pi
p(n) ij
iI
(2) pj (n) pi (n 1) pij iI
(3)PT (n) PT (0)P(n)
(4)PT (n) PT (n 1)P
由（1）知，绝对概率由初始分布和n步转移概率完全确定
（1）
pn ( j)
pi
p(n) ij
iI
证 P{X n j} P{X n j, X 0 i} P{X n j, X 0 i} i
需讨论 r
当 r 1
c 1
1 u0 uc
(u j u j1)
c 1
j0
j0 c1
d j
c1 j 0
r jd0
1 rc 1 r
d0
而 u j u j uc (ui ui1)
i j
c 1
c 1
di
rid0
i j
i j
r j (1 r r c j1)d0
r j rc 1 r
称概率向量
PT (n) ( p1(n), p2(n),L ),(n 0)
为 n 时刻的绝对概率向量，而称
PT (0) ( p1 , p2 ,L )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
状态i持续时间τ 状态i
i
0
s
s+t
时间轴
P{ i s t | i s} P{ i t}
3
一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：
1、在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布； 2、当过程离开状态i时，接着以概率pij进入状态j， pij 1
6
无穷小转移概率矩阵
引理 设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,j∈I， pij(t)是t的一致连续函数。 定理 设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在： 1. 2.
1 pii (t ) vi qii t 0 t lim
P (t ) e
Qt
j 0
(Qt ) j j!
11
定理 齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程
pj (t ) p j (t )q jj
p (t )q
k k j
kj
定义 设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得
t 0
lim
pij (t ) t
qij , i j
推论：对有限齐次马氏过程，有 qii qij
j i
7
若连续时间齐次马尔可夫链是具有有限状态空间I={1,2, …,n}，则其转 移速率可构成以下形式的矩阵
q00 q 10 Q qn 0 q01 q11 qn1 q0 n q1n qnn
pij (t1 ) 0, p ji (t2 ) 0
则称状态i和j是互通的。若所有状态都是互通的，则称此马尔可夫链 为不可约的。
12
转移概率pij(t)在t→∞时的性质及其平稳分布关系
定理 设连续时间的马尔可夫链是不可约的，则有下列性质： 1. 若它是正常返的，则极限 tlim pij (t ) 存在且等于πj＞0，j∈I。这里πj是 方程组 j q jj k qkj
i ij
p j (t ) pj
p p (t ) (t ) p (t ) p
iI i iI
ij
( )
5.
P{X (t1 ) i1 ,, X (t n ) in }
p p
i iI
ii1 (t1 ) pi1i2
(t 2 t1 ) pin1in (t n t n1 )
j i
当vi=∞时，称状态i为瞬时状态； 当vi＝0时，称状态i为吸收状态。 一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态 转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的 时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态 必须是相互独立的随机变量。
4
第四章：连续时间的马尔可夫链
连续时间马尔可夫链定义 无穷小转移概率矩阵 Kolmogorov向前方程与向后方程 连续时间马尔可夫链的应用
1
定义： 设随机过程{X(t),t≥0}，状态空间I={in, n≥0}，若对任意0≤t1<t2<… <tn＋1及i1,i2,…,in+1∈I，有
P{ X (t n 1 ) in 1 | X (t1 ) i1 , X (t 2 ) i2 ,, X (t n ) in } P{ X (t n 1 ) in 1 | X (t n ) in }
ห้องสมุดไป่ตู้
定理： 齐次马尔可夫过程的转移概率具有下列性质：
1、pij (t ) 0
2、 pij (t ) 1
jI
3、pij (t s) pik (t ) pkj (s)
kI
正则性条件
1, i j lim pij (t ) t 0 0, i j
5
定义
对于任一t≥0，记 p j (t ) P{ X (t ) j},
p
k j
ik (t )qkj
pij (t )q jj
利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得pij(t)
pii (0) 1 pij (0) 0; j i
10
Kolmogorov向后和向前方程所求得的解pij(t)是相同的
在实际应用中，当固定最后所处状态j，研究pij(t)时（i=0,1, …），采 用向后方程较方便； 当固定状态i，研究pij(t)时（j=0,1, …），采用向前方程较方便； Kolmogorov向后和向前方程的矩阵表达形式为 P(t ) Q P(t) P(t ) P(t )Q 连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解 问题，其转移概率由其转移速率矩阵Q决定。 若Q是一个有限维矩阵，则上述矩阵方程的解为
其状态空间为I {0,1, 2,}，i为出生率，i为死亡率。
若i =i，i i，称{ X (t ), t 0}为线性生灭过程。
若i =0，称{ X (t ), t 0}为纯生过程。
若i =0，称{ X (t ), t 0}为纯灭过程。
15
例题（理发店问题）：一个理发店有两位理发师，两个等待座位，顾客的 到达率为每小时5个，理发师一小时可给两个人理发。假定顾客到达为泊 松分布，理发师的服务时间为指数分布，用X(t)表示理发店内的顾客数， 则X(t)为生灭过程。
t
13
例题 考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态0停留的 时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是 参数为的指数分布，求该马尔可夫链的平稳分布。
例题：机器维修问题1
设例题5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转 移概率与例题5.2相同，即在h时间内，及其从正常工作变为出故障的概率 为p01(h)=λ h+o(h)；在h时间内，机器从有故障变为经修复后正常工作的 概率为p10(h)=h+o(h)，试求在t=0时正常工作的机器，在t=5时为正常工 作的概率。
例题（M/M/1排队系统）：顾客到达为参数为λ的泊松过程，系统内只有一 个服务台，每个顾客的服务时间为的指数分布且与顾客到达时间相互独 立。用X(t)表示系统t时刻的顾客数，则X(t)为生灭过程，求 1）求平稳分布； 2）系统的平均队长； 3）平均等待的顾客数；
16
例题（机器维修问题2）设有m台机床，s个维修工，s m，机床或是工作， 或是损坏等待修理。机床损坏后，空着的维修工立即修理，若维修工不空， 则机床按先坏先修队列排队等待修理。假定每台机床从工作到损坏的时间 服从参数为λ的指数分布；每台修理的机床修理好的时间为参数为μ的指数 分布。用X(t)表示时刻t损坏的机床台数，则{X(t)，t 0}是状态空间 E={0,1,2， m}的时间连续的生灭过程。
p j p j (0) P{ X (0) j},
jI
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概 率分布。 定理 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 1. 2. 3. 4.
p j (t ) 0
p
jI
j
(t ) 1
14
生灭过程
设马氏链{ X (t ), t 0}具有转移概率 pii 1 ( h) i h 0(h), i 0 pii 1 ( h) i h 0( h), i 0, 0 0 p ( h) 1 ( ) h 0( h) i i ii pij ( h) 0( h), i j 2 称{ X (t ), t 0}为生灭过程。
9
定理（ Kolmogorov向后方程） 假设
q
k i
ik
qii ，则对一切i,j及t≥0，有
pij (t )
q
k i
ik
pkj (t ) qii pij (t )
定理（ Kolmogorov向前方程） 在适当的正则条件下，则对一切i,j及t≥0，有
pij (t )
则称{X(t),t≥0}为连续时间马尔可夫链。 上式中条件概率的一般表现形式为 定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐 次的转移概率，此时转移概率简记为 其转移概率矩阵简记为 P(t ) ( pij (t ))
2
在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离 开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？
jI
k j
j
1
的唯一非负解，此时称{πj,j∈I}是该过程的平稳分布，并且有
lim pij (t ) lim p j ( t ) j
t t
2. 若它是零常返的或非常返的，则
t
lim pij (t ) lim p j (t ) 0, i, j I
17
Q矩阵的每一行元素之和为0，对角线元素为负或0，其余qij≥0
8
例题：证明泊松过程为连续时间齐次马尔可夫链，并求其pij、qij 。 例题：一个城市划分成两个区域A和B，各区被指定一辆消防车1和2负责。 当接到报警电话时，不论其来自A区还是B区，只要有一辆消防车空闲就 会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松 分布（参数为λ j ，j=A，B ），两辆车服务于不同区的时间为独立的指数 分布（参数为μ ij ，i=1，2 ，j=A，B ），则两辆消防车的状态为连续时间 齐次马尔可夫链。