随机过程第四章3
随机过程第四章
1.定义：设有随机过程{},n X n T ∈若对任意的整数n T ∈和任意的121,,...,n i i i I +∈,条件概率满足()()111111,...,n n n n n n n n p x i x i x i p x i x i ++++======则称其为马尔科夫链。
2.马尔科夫链的统计特性完全有条件概率()11n n n n p x i x i ++==决定。
3.一步转移概率称条件概率()()1p xjx i n ij n n p ==+=为马尔科夫链{},n X n T ∈在时刻n 的一步转移概率。
,i j I ∈,若()ij p n 与n 无关，则称马尔科夫链为齐次的。
();0;1;,ij ij ij ij j Ip n p p p j i I ∈=>==∈∑4.n 步转移概率称()()n p x j x i m m n ijp ==+=,i j I ∈0,1m n >=>=为马尔科夫链{},n X n T ∈的n步转移概率。
()()0;1;,n n ijijj Ip p j i I ∈>==∈∑5.n 步转移矩阵。
()()()n n ijP p =；()()()1011;0;;;ij ijij i p p P P j p i j=⎧=⎨≠==⎩6.()n p ij具有如下性质：设{},n X n T ∈为马尔科夫链，则对任意整数n>=0,1=<l<n ；,i j I ∈()()()11112........n n i k Ik Il n l n p p p p p p ijikkjik k k I k k j--∈∈-=∑∈=∑∑； ()()1n n n PP PP-==7初始概率：()0i p p X i == 8.初始概率向量：()()120,....TPp p =9.初始分布：{},i p i I ∈10绝对概率：()()j n p n p X j == 11绝对概率向量：()()()()12,....TPn p n p n =12绝对分布：(){},j p n j I ∈13性质如下：()()()()10;n TT T Pn P n P P P =-=()()()1;nj i ij i ij i Ii Ip n p p p n p ∈∈==-∑∑14马氏链的有限维分布：设{},n X n T ∈为马氏链，则对任意的12,,...,;1n i i i I n ∈≤有{}11....11,....,n n i Ip p p i ii i i n n p X i X i ∈-===∑完全有初始概率和一步转移概率决定。
随机过程习题集-第四章马尔可夫过程
1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。
随机过程第四章
pii
(n)
1
i
0
证：(1)如i为零常返则i
，由lim n
pii nd
d
i
0
而当n不能被周期d整除时n 0modd ,
必然有pii
(n)
0，故
lim
n
pii
n
0
反之，若lim n
pii
(n)
0,
而i是正常返，
则由lim n
pii (nd )
d
i
0矛盾.
(2) 如i为遍历，即d 1，由上面定理得
即 Tij minn：X m i, X mn j，n 1
而称：
fij (n) P Tij n
P{X mv j，1 v n 1，X mn j / X m i}，n 1 为自状态i出发，经n步首次到达状态j的概率， 简称首达概率。
注：由齐次马氏链性质知，首达概率与出发时刻
p3
① q1 q2
p1
③ q3 ②
p2
求从状态1出发经n步转移首次到达各个状态的概率。
f12
(n)qq11p3 p3源自q m1 1m p1,
q3
,
n 2m, n 2m 1,
m 1 m0
同理：
f13 (n)
p1q2 p1q2
p m1 1
m q1,
p2
,
n 2m, n 2m 1,
m 1 m0
互通关系的状态是同一类型.
定理：如果i j， 则
(1) i与j同为常返或非常返，如为常返，则它们
同为正常返或零常返；
(2) i与j有相同的周期。
1证：因为i j，故存在正整数k与m，使
pij (m) 0, p ji (k ) 0
随机过程-第四章 更新过程
4.1 更新过程定义
上一章我们看到泊松过程的到达时间间隔是服从独立同分布的指数随机变量。现将其 进行推广，考虑到达时间间隔服从独立同分布，但分布函数任意，这样得到的计数过程称为 更新过程。 设 X n , n 1, 2, 是一列服从独立同分布的非负随机变量，分布函数为 F ( x) ，为避 免显而易见的平凡情形， 假设 F (0) P X n 0 1 。 将 X n 解释为第 n 1 个与第 n 个事件 之间相距的时间，记 E ( X n ) 有 0 。令 Tn
这其中利用了 X n , n 1, 2, 的独立同分布性质，这里 [1 F (b)] (0,1) 。又因为
k
Tmk t Tk T0 t , T2k Tk t ,, Tmk T( m1)k t
而且更新区间（相当于时间间隔）服从独立同分布，即
P 1 因 此 存 在 a 0 ， 使 得 P Xn a 0 ， 从 而 由 于 F( 0 ) X n 0 ， P X n a 1 。而 F (a) P X n a P X n a P X n a
为 避 免 因 可 能 的
N (t ) sup n, Tn t
定义 4.1 更新过程：计数过程 N (t ), t 0 称为更新过程。
在更新过程中我们将事件发生一次叫做一次更新， 从而 X n 就是第 n 1 次与第 n 次更新 相距的时间，Tn 表示第 n 次更新发生的时刻， 而 N (t ) 就是 t 时刻或 t 时刻之前发生的总的更 新次数。更新过程一个典型的例子是机器零件的更换。 我们首先要回答是第一个问题是在有限时间内是否会有无限多次更新发生。答案是不 会发生这种情况的概率为 1。由强大数定律可知
《随机过程》第四章作业解答
20. 解：由例 4.8 中的结果可知甲最终赢的概率为：
(1)
P (甲最终赢)
=
(
1−p p
)a
−
1
(
1−p p
)a+b
−
1
=
(
2 3
)16
(
2 3
)36
− −
1 ;
1
(2)
P (甲最终赢)
=
(
1−p p
)a
−
1
(
1−p p
)a+b
−
1
=
(
2 3
)4
−
1
(
2 3
)24
−
1
21. 解：(1) 状态空间可以分为三个等价类：{1, 2}, {3, 4}, {5, 6}。其中 {1, 2} 与 {3, 4} 是常 返的，{5, 6} 是瞬时的，而且状态 {1, 2, 3, 4} 是非周期的。从而由推论 4.1 可知：
不妨记 p11 ≥ p12 ≥ · · · ≥ pn1 ≥ 0，若 p11 > p12 严格成立，从而有：
n
n
p11 = p1ipi1 < p11 p1i = p11
i=1
i=1
得到矛盾，从而有 p11 = p12。类似可证：对 ∀j ≤ n，p11 = p1j 均成立。从而类似可证：
对 ∀i, j ≤ n, p1j = pjj。
19.
解：结合概率转移矩阵画出有向图，可以得到： f1(1n) = a,
n=1 ， 从而状态{1}是
0, n > 1
如有疏漏，欢迎指正
4
《随机过程》第四章作业解答
第四章 随机过程中的平稳过程
RX ( ) E[ X (t )X (t )] =E[ X (t ) X (t )] RX ( )
R(s, t ) E[ X (s)X (t )] R( )
则称{X(t),t∈T} 为宽（弱、广义）平稳过程，简称宽 平稳过程
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
由于在许多工程技术问题中，常常仅在相关理论(一、二
阶矩)的范围内讨论问题，因此划分出广义平稳随机过程来。
而相关理论之所以重要，是因为在实际中，一、二阶矩能给出 有关平稳随机过程平均功率的几个主要指标，比如，如果随机
过程如果代表噪声电压信号，那么在相关理论范围内就可以给
出直流分量、交流分量，平均功率及功率在频域上的分布(我 们将在后面讨论功率谱密度)等。另外，在电子系统中经常遇
到最多的是正态随机过程，对于正态随机过程而言，它的任意
若令 t 2 ，得
f (t1 , t 2；x1 , x2 ) f (t1 t 2 ,0；x1 , x2 ) f (；x1 , x2 )
其中 同理
t1 t2
二维分布函数也仅与时间差 而与时间起点无关，即
t1 t2
有关，
F (t1 , t 2；x1 , x2 ) F (；x1 , x2 )
j [ l ( t ) k t ] E X X e k l k 1 l 1
bk e jk
k 1
RY ( )
所以， {Y (t ), t }具有平稳性。
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
P
k 0
随机过程第4章Markov过程（PDF）
第四章 Markov 过程本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为0{0,1,2,}T N ==L ，状态空间为可列{1,2,}I =L 或有限{1,2,,}I n =L 的情况，即讨论的过程为Markov 链。
Markov 链最初由Markov 于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。
之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。
§4.1 Markov 链的定义与性质一、Markov 链的定义定义 4.1设随机序列{;0}n X n ≥的状态空间为I ，如果对0n N ∀∈，及0110011,,,,,{,,,}0n n n n i i i i I P X i X i X i +∈===>L L ，有：11001111{,,,}{}n n n n n n n n P X i X i X i X i P X i X i ++++=======L （4.1.0)则称{;0}n X n ≥为Markov 链。
注1：等式（4.1.0）刻画了Markov 链的特性，称此特性为Markov 性或无后效性，简称为马氏性。
Markov 链也称为马氏链。
定义4.2 设{;0}n X n ≥为马氏链，状态空间为I ，对于,i j I ∀∈，称1{}()ˆn n i j P X j X i p n +===为马氏链{;0}n X n ≥在n 时刻的一步转移概率。
注2：一步转移概率满足：()0,,()1,i j i jj Ip n i j Ipn i I ∈≥∈=∈∑若对于,i j I ∀∈，有1{}()ˆn n i j i j P X j X i p n p +===≡即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。
设{}0()(0),p i P X i i I ==∈，如果对一切i I ∈都有00()0,()1i Ip i p i ∈≥=∑，称0()p i 为马氏链的初始分布。
随机过程 4.3
关，亦即如对某固定的i,状态j与k同属于某Gr,则对另
外选定的i′,状态j与k仍属于同一Gr′(r与r′可以不同).实 际上，设对i分得G0,G1,…,Gd-1，对i′分得G0′,G1′,…,Gd1′又假定j，k∈Gr，
i′∈Gs,则
分解定理2的证明
当r≥s时，自i′出发，只能在r-s,r-s+d,r-s+2d,…等 步上到达j或k，故j和k都属于Gr-s′ 当r<s时，自i′出发，只能在d-(s-r)=r-s+d,rs+2d,…等步上到达j或k，故j和k都属于Gr-s+d′ 证毕。
P，试分解此链并指出各状态的常返性及周期性。
1
③
1
⑤ ①
1
可见2是遍历状态。 由于f44(1)=1/3,f44(n)=0,n≠1,故4为非常
返，周期为1，于是I可分解为
I D C1 C2
1/3
④
1/3
1/3
1
{4} {1, 3, 5} {2, 6}
②
1/2
⑥
1/2
随机矩阵
[定义] 若矩阵 (a ij ) 的元素非负且对每个 i 都有 则称矩阵 (a ij ) 为随机矩阵。
0 1/ 4
[例] （例4.14）设不可约马氏链的状态空间 C = { 1, 2, 3, 4,
5, 6 }，转移矩阵为P，试对其状态空间进行分解。 由状态转移图易见各状态的周期为
1/2
①
1/3 1 1/2 1
⑤
3/4 1/3 1/3
d=3，今固定i=1，令
G0={j:对某n≥0有p1,j(3n)>0}={1,4,6} G1={j:对某n≥0有p1,j(3n+1)>0}={3,5} G2={j:对某n≥0有p1,j(3n+2)>0}={2}
随机过程4(3.4)
例4. 已知平稳过程的功率谱密度为 2 4 S X ( ) 4 10 2 9 求其相关函数与平均功率.
利用留数定理
1 RX ( ) 2
e j S X ( )d
1 2
e
j
2 4 d 2 2 ( 9)( 1)
1 2 4 j 2 j[Res( 2 e , j) 2 ( 9)( 2 1)
2 4 j Res( 2 e ,3 j )] ( 9)( 2 1)
3 5 3 3 5 3 e j( e e ) e 16 j 48 j 16 48
2 4 2 4 3 j j Res( 2 e , j ) lim( j ) 2 e e 2 2 j ( 9)( 1) ( 9)( 1) 16 j
F [ f (t t0 )] e jt0 F [ f (t )]
● 位移性质
F [ f ( n ) (t )] ( j )n F [ f (t )] ● 微分性质
例1：计算电报信号过程的谱密度.
解：电报信号过程的相关函数为
RX ( ) e
2
,
(, )
解
mY (t ) E (Y (t )) E ( X (t ) X (t 1)) 0
RY (t , t ) E (Y (t )Y (t )) E ( X (t ) X (t 1))( X (t ) X (t 1)) 1 {E[ X (t ) X (t 1)]2 E[ X (t ) X (t )]2 2 E[ X (t 1) X (t )]2 E[ X (t 1) X (t 1)]2 }
第四章-马尔可夫链-随机过程
计算 n 步转移概率的方法。
切普曼一柯尔莫哥格夫方程：对一切n,m 0，一切 i，j，有(4.2.1)
P nm ij
Pikn Pkmj
k0
证明：
P nm ij
P{ X nm
j|
X0
i}
P{Xn k | X0 i}P{Xnm j | Xn k, X0 i}
顾客数构成一个泊松过程。所以，
Pi, j
e t (t )i1 j dG(t ), j 1,
0
(i 1 j)!
i 1
这是因为若一个来客发现有 i 个人在系统中，那么下一个来客将
发现人数为 i+1 减去已服务完毕的人数，易知有 i+1-j 个人被服
务完毕的概率(对相继来到之间的时间取条件)等于上式的右端。
0
0
0 P43
例 4．1(b) G/M/1 排队系统。假设顾客 依照一个任意的更新过
程来到一个单服务台的服务中心，来到间隔分布为 G。进一步
假设服务分布是指数分布，参数为。若以 Xn 记第 n 个顾客来
到时见到系统中的顾客数，以 Yn 记第 n 个顾客与第(n+1)个顾客
不可被 d 整除的 n 有 Piin 0，且 d 是具有此性质的最大整数(d 是
{n : Piin 0}的最大公约数)。(若对一切 n>0， Piin 0，则定义 i 的周 期是无穷大。)具有周期 1 的状态称为非周期的(aperiodic)。以 d(i)记 i 的周期。
例设马尔可夫链的状态空间I={1,2,,9}， 转移概率如下图
P nm ij
随机过程-第四章
三、分类 马氏过程{X(t)，t∈T }按参数 T 和状态空间 E 的情况一般分三类
（1）T离散 如例2
E离散的马氏过程，称为马氏链
（2 ）T 连续，E 离散称为马氏过程 如：例 1 ，电话…
它表示，已知 n 时刻处于状态 i，经 k 个单位时间 后处于（转移到）状态 j 的概率（条件概率）
一般 pij ( n, n k ) 与 n 有关，如果不依赖于 n，则称过 程{X(n)，n=0，1，2… }为时齐（齐次）马氏链，即 有 pij ( n, n k ) = pij ( k ) ， k≥1 的马氏链是时齐马氏链，
或说：如果过程{ X(t)，t∈T }的 n 维联合分布函 数可表示为
Fn ( x1 , x 2 , , x n ; t1 , t 2 , , t n )
n
F ( x k , t k ) ，n=1，2… =k 1
则称{ X(t)，t∈T }为独立随机过程。
证明：设 0≤t1<t2<… tn<t∈T 由条件 X(t1)，X(t2)，…X(tn)相互独立 故事件 ( X ( t 1 )
一般规定
1, i j pij (0) ij 0, i j
说明：k 步转移概率，可由一步转移概率矩阵获 得， 这说明一步转移概率矩阵是马氏过程最基本 的，它完全确定了链的状态转移的统计规律。
花粉位置，用平面直角坐标系描述，t 时刻花粉的位 置。X(t)( 模标) Y(t)（纵标）t≥0，都是马氏过程。
二、马氏过程。“无后效性”的特点在数学上的定义
第四章随机过程
设状态空间为 S ，一步转移概率为 P ，初始分布为 p i = P( X 0 = i ), i ∈ S 的齐次
Markov 链 {X n , n ≥ 0}，令 Pij( n ) = P ( X n + m = j X m = i ) = P (X n = j X 0 = i ), n ≥ 2 ，表示
证：
5
Pij( n ) = P( X n = j X 0 = i ) = ∑ P(τ ij = l , X n = j X 0 = i )
l =1 n n
= ∑ P(τ ij = l X 0 = i ) P( X n = j τ ij = l , X 0 = i )
l =1 n
= ∑ P(τ ij = l X 0 = i ) P( X n = j X 0 = i, X 1 ≠ j , L X l −1 ≠ j , X l = j )
4.4 常返与瞬过
在事件 {X 0 = i}上引入一个重要的概率 f ij( n ) ，表示从 i 出发在 n 步转移时首次 到达 j 的概率。用式子表示即是
f ij( 0) = 0, f ij( n ) = P( X n = j , X k ≠ j , k = 1, L n − 1 X 0 = i ) 。
i =1
(m) 定理 4.3.3 的一个直接推论是： 若 Pji > 0 ，存在正整数 N 使得对所有的 ( m + nd ( i )) n > N 恒有 Pji > 0。
定理 4.3.4：设 P 为不可约、非周期、有限状态 Markov 链的一步转移概率矩阵， 则存在正整数 N 使得当 n > N 时， n 步转移概率矩阵 P ( n ) 的所有元素都大于 0。
随机过程4-3
pi(0) pii1 (n1 ) pi1i2 (n2 n1 ) pi2i3 (n3 n2 ) pim1im (nm nm 1 )
i
遍历性
lim pij ( n) p j , i , j E
n
(２.15)
如果 { p j , j 1, 2,...} 满足 率的极限分布。
第17页
二、柯尔莫哥洛夫向前和向后方程
设 { X (t ), t [0, )} 是状态有限（即具有有限多个状态） 的马尔科夫过程，E {0,1, 2,..., N }
定义 设状态有限的马尔科夫过程 X(t) 的转移概率函数 为 pij (t ) ，若 1, i j （3.10) lim pij (t ) ij t 0 0, i j
个时刻 t1 , t2 ,..., tm (0 t1 t 2 ... tm ) ，任意正数 s 以及任意 i1 , i2 ,..., im , j E ，满足
第4章 马尔科夫过程
第11页
P{ X (tm s) j | X (t1 ) i1 , X (t2 ) i2 ,...., X (tm ) im } P{ X (tm s) j | X (tm ) im }
以后我们只讨论时齐马尔科夫过程。
（3.2）
根据条件概率性质。转移概率函数具有下列两条性质：
（有限多个或无限多个） (1) 0 pij ( s) 1, i , j 0,1, 2,...
(2)
p ( s) 1, i 0,1, 2, ...
ij j
第4章 马尔科夫过程 通常，我们规定
则称 { X (t ), t [0, )}为马尔科夫过程。 （3.1）
随机过程-马尔可夫链4.3-4.4
∑ 下面证明对任一 j ∈ Gr , 有 k∈G
p jk = 1
r +1
。
实际上
1 = ∑ p jk =
k∈C
k∈Gr +1
∑
p jk +
k∉Gr +1
∑
p jk =
k∈Gr +1
∑
p jk
r+1
p i(jn d + r ) > 0 , 故当 k ∉ G 最后一个等式是因设
( ( piimd + s + h ) ≥ pijmd + s ) p(jih ) > 0.
由此可见 r+h 及 s+h 都能被 d 除 从而其差(r+h)-( s+h)=r-s 也可被 d 尽， 从而其差 除尽，但 0 ≤ r , s ≤ d − 1 ，故只能 r-s=0， 除尽， ， 因 而 Gr = Gs , 这 说 明 当 r ≠ s 时 ，
试分解此链并指出各状态的常返性及周期性。 试分解此链并指出各状态的常返性及周期性。
解
由图 4.8 知
∞ n =1
( ( f113) =1, f11n ) =0,n≠3。所以 ≠ 。
( u1 = ∑ n f11n ) = 3
1
3
1
可见1 可见1为正常返状态且 周期等于3 周期等于3。含1的基本 常返闭集为
d −1
( nd + r ) ij
> 0}
其 次 ， 如 存 在 j ∈ Gr ∩ Gs ， 由 上 式 必 存 在 n 及 m 使 ( nd + r ) ( md + s ) p (jih ) > 0, 于是 pij > 0, pij > 0, 又因 j ↔ i, 故必存在 h,使 使
随机过程_课件---第四章
随机过程_课件---第四章第四章 Poisson 过程4.1 齐次Poisson 过程到达时间间隔与等待时间的分布1、定理4-1强度为λ的齐次Poisson 过程{,0}t N t≥的到达时间间隔序列{},1,2,n X n = 是独立同分布的随机变量序列，且是具有相同均值1λ的指数分布。
证：事件{}1X t >发生当且仅当Poisson 过程在区间[]0,t 内没有事件发生，即事件{}1X t >等价于{0}tN =，所以有()(0)t t t P X t P N e λ->===因此，1X 具有均值为1λ的指数分布，再求已知1X 的条件下，2X 的分布。
(](](]211(|)(|)((0tP X t X s P X s P P e λ->====在s,s+t 内没有事件发生（由独立增量性）在s,s+t 内没有事件发生)（由平稳增量性）在,t 内没有事件发生)上式表明2X 与1X 相互独立，而且2X 也是一个具有均值为1λ的指数分布的随机变量，重复同样的推导可以证明定理4-1的结论。
2、定理4-2等待时间n S 服从参数为n ，λ的Γ分布，即分布密度为1()(),(1)!n tt f t e n λλλ--=- 0t ≥证：因为第n 个事件在时刻t 或之前发生当且仅当到时间t 已发生的事件数目至少是n ，即事件{}{}t n N n S t ≥?≤是等价的，因此()()()!j tn t j nt P S t P N n ej λλ∞-=≤=≥=∑上式两边对t 求导得n S 的分布密度为11()()()!(1)!(),0(1)!j j tt j nj nn tt t f t e e j j t et n λλλλλλλλλ-∞∞--==--=-+-=≥-∑∑注：定理4-2又给出了定义Poisson 过程的另一种方法。
从一列均值为1/λ的独立同分布的指数随机变量序列{},1n X n ≥出发，定义第n 个事件发生的时刻为n S ，则12n n S X X X =+++这样就定义了一个计数过程，且所得计数过程{},0t N t ≥就是参数为λ的Poisson 过程。
(解答)《随机过程》第四章习题
（2）如果 X ~ N (0,1) ，问过程 (t) 是否均方可微？说明理由。
解：计算随机过程 (t) 的相关函数：
R (s,t) E{ (s) (t)} E{( X cos 2s Y sin 2s)(X cos 2t Y sin 2t)} cos 2s cos 2tE{X 2} sin 2s sin 2tE{Y 2} [cos 2s sin 2t sin 2s cos 2t]E{XY}
4、 设有随机过程 X (t) 2Z sin(t ) ， t ，其中 Z 、 是相互独立的随机 变量，Z ~ N (0,1) ，P( / 4) P( / 4) 1/ 2 。问过程 X (t) 是否均方可积
过程？说明理由。
解：由 Z 、 的相互独立性，计算随机过程 X (t) 的均值函数和相关函数： E{X (t)} E{2Z sin(t )} 2E{Z}E{sin(t )} 0
Y (t) 2X (t) 1， t 0 。试求过程{Y (t), t 0} 的相关函数 RY (s,t) 。
解：由相关函数的定义，有：
RY (s,t) E{Y (s)Y (t)} E{(2X (s) 1)(2X (t) 1)} 4E{X (s) X (t)} 2E{X (s)} 2E{X (t)} 1 4E{X (s) X (t)} 4 1
0
T 2 T T E{X (s) X (u)}dsdu m2 00
T 2
T 0
T 0
R
X
(
s
u
)dsdu
m
2
T 2
T 0
T 0
[C
刘次华随机过程 第四章马尔可夫(Markov)链
p
-1
0
1
i-1
i
i+1
一步转移概率:
pi,i+1 = p pi,i−1 = q = 1− p pii = 0
4.1 马尔可夫链与转移概率
k步转移概率:
i经过k步进入j,向右移了x步,向左移了y步
则
⎧x
⎨ ⎩
x
+ −
y y
= =
k j
−
i
⇒
⎧ ⎪⎪
x
⎨
⎪ ⎪⎩
y
= =
k k
+ −
(j 2 (j 2
定义4.1：若随机过程{Xn，n∈T }，对任意 n∈T和i0, i1, …, in+1 ∈I，条件概率 P{Xn+1=in+1|X0=i0,X1=i1,…,Xn=in} = P{Xn+1=in+1|Xn=in}， 则称{Xn，n∈T }为马尔可夫链，简称马氏 链。
4.1 马尔可夫链与转移概率
定义4.2：称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn，n∈T }在时刻n的一 步转移概率，简称转移概率，其中i,j∈I。 I j
)
=
⎧0 , i ≠ ⎩⎨1 , i =
j j
4.1 马尔可夫链与转移概率
定义4.5：
初始概率 绝对概率
p j = P{X 0 = j} pj( n ) = P{ Xn = j }
{ } 初始分布
pj , j∈I
{ } 绝对分布
pj (n) , j ∈ I
初始概率向量
pT (0) = ( p1, p2 , )
− i) − i)
第四章 随机过程
（已经编辑到115页2008-3-20）第四章随机过程（电子版：盛艳霞OCR，编辑张学文2007.12 -2008.01）1. 随机过程的概念及其分布律原书91-132页90第四章随机过程为了从统计角度研究气象要素随时间和空间的变化,最好是利用近数十年发展起来的一个统计数学分支----随机过程和随机场理论。
为研究气象信息随时间和空间的分布也要对随机过程有所了解。
针对如上情况我们在这一章对随机过程的有关概念、性质和在气象上的个别应用作简要介绍。
1、随机过程的概念及其分布律孤立的研究各点的气压、温度或风等气象要素时，我们把它看成随机变量（矢量）。
这时可以分析它的期望值、方差、概率分布等等。
然而当把不同时刻的同一点的气压、温度或风连贯起来看时，这就是一连串的随机变量（矢量）。
它们以时间为参数而有所变化。
随机变量随某一参数（这里指时间）的变化给人们以过程的概念。
所以就把随机变量随参数值的变化而变化的过程这一总体称为随机过程。
当掷骰子时，骰子出现的点数是随机变量。
某次“3”点向上，就说这一次随机变量取值为3。
而我们所谓的随机变量远不仅只有一个“3”，而应理解为很多次点子数的集合。
同样地，随机过程一词也是指一个总体集合，而不是仅指某一时段的变量取值。
例如说“春季北京的气温是一个随机过程”，则是指很多很多年的每年春季北京的气温的变化过程这个总体而言的。
如1978年北京春季气温的变程仅是总体中的一个个例。
它在随机过程中的地位和骰子为“3”点在随机变量中原书91-132页91的地位是相当的。
我们把这一条春季气温曲线称为这个随机过程的一个“现实”这样一个随机过程实际上是由无数具有同一的统计属性的现实组成的。
图4.1是乌鲁木齐冬季1月份的四年的气温曲线。
它们就代表了1月气温这个随机过程的四个现实。
而这一随机过程应为无数条这种曲线组成。
如以T示表气温，y代表年代，d 代表日期，则一个随机过程可以表示为T=T(y,d) （4．1）图4.1 乌鲁木齐1月份气温曲线、式中y有固定值时，例如y=1963年，则得到随机过程的一个现实。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n→∞
与之有关 ? 对于( 2)实际上是一个平稳分布 是否存在的问题。 这两个问题有密切联系 。
解：由转移矩阵可得转移图.
1 3
1
1 1 3 1 3
3 1 1
1 2
5
1 2
4
f11 (3) = 1，f11 (n) = 0，n ≠ 3，f11 = 1 ∴ µ1 = ∑ nf11 (n) = 3 < ∞
n =1 ∞
2
1
6
即1为正常返状态，且周期等于3 含1的基本常返闭集为：C1 = {k : 1 → k } = {1,3,5} 从而状态3及5也为正常返且周期为3；
0 1 3 P = 0 0 0 0
1 1 0 0 2 2 1 0 0 0 3 1 0 0 0 0 1 0 0 1 0 0 0 1 3 0 0 4 4
0 1 3 0 0 0 0
1 4
1 3
1 3
4
1
1
6
2
1
1 3
3 1 5
1 2 1 2
故I = G0 U G1 U G2 = {1， ， }U {3， }U {2} 46 5 此链在I中的运动如图
G 0 = {1,4,6}
G2 = {2}
G 1 = {3,5}
经一步转移可从Gi → Gi +1
定理：设{X n , n ≥ 0}是周期为d的不可约马氏链， 则在上面定理的结论下有 马氏链，其转移阵P (d ) = ( pij (d ) )， 的状态是非周期的； ( 2)如原马氏链{X n }常返， nd }也常返。 {X (1)如只在时刻0, d，d， 上考虑{X n }，即得一新 2 L
引理：C是闭集的充要条件为对任意i ∈ C及k ∉ C 都有pik (n) = 0，n ≥ 1。
证：只需证必要性，用归纳法，设C为闭集， 由定义知当n = 1时结论成立，现设n = m时，
pik (m + 1) = ∑ pij (m) p jk + ∑ pij (m) p jk
j∈c j∉c
pik (m) = 0，i ∈ c，k ∉ c，则
j∈I j∈c j∉c j∈c
显然pij ( k ) ≥ 0，故G为随机矩阵。
可见对I的一个子集C，可考虑C上的原马氏链 的子马氏链，其状态空间为C，转移矩阵为： i，j ∈ I的子矩阵。 G = ( pij )，i，j ∈ C是原马氏链转移矩阵G = ( pij )
例： 设不可约马氏链状态空 间 I = {1,2,3,4,5,6}转移矩阵为 P，其转移图如下：
状态转移图为：
1 2
1 2
1 1
1 2
1 2
2
1 5
4
3
由转移图可知，状态3是吸收的，故{3}是闭集 其中{3}、， 是不可约的，I本身是最大闭集， {1 4}
(最小闭集)，另外{1，}、，，}、，，，}都是闭集。 4 {1 4 3 {1 4 2 3
又I含有子闭集，故马氏链{X n }不是不可约链。
1 1 同理，f 66 (1) = ，f 66 ( 2) = ，f 66 (n) = 0，n > 2 2 2 1 1 f 66 = + = 1， Q p66 (n) > 0，周期为1， 2 2 3 故6为正常返状态，u6 = , 周期为1。 2 含6 含6的基本常返闭集为： C2 = {k：→ k } = {2,6} 可见2是遍历状态。 6 1 由于f 44 (1) = ，f 44 (n) = 0，n ≠ 1，故4为非常返。 3 于是I可分解为：
定义：状态空间I的子集C称为闭集，如对任意 i ∈ C及k ∉ C都有pik = 0，闭集C称为不可约的， 如C的状态互通；称马氏链为不可约的，如其 状态空间不可约。 若单点集{i}为闭集，称i为吸收状态。pii = 1) ( 闭集的直观含义是自C的内部不能到达C的外部， 这意味着一旦质点进入闭集C中，它将永远留在 C中。
3 4
从图易见，从I的任一个状态出发, 都有一个 首尾相连接的“三角形”，故各状态的周期 都为3现固定状态1，并令： G0 = {k , 对某个n有p1k (3n) > 0} = {1,4,6}； G1 = {k , 对某个n有p1k (3n + 1) > 0} = {3,5}； G2 = {k , 对某个n有p1k (3n + 2) > 0} = {2}。 注：取n = 0易看出
§4.3 状态空间的分解
前面给出了马氏链状态分类的一些基本概念 以及如何判别状态分类的定理，但如果对状态空 间中的每个状态都按照这些定理逐一检查分类， 这不仅是很繁琐的甚至是不可能的，因此,如果能 够借助状态之间的转移使得对状态分类不再是一 个一个地进行，而是“群体”地进行，也就是说 如果能从某个状态的分类来确定一类状态的分类， 无疑这将给我们带来很大方便。从某种意义上看 相当于对状态空间进行分解。
n
基本常返闭集。
但定理中的D不一定是闭集，如马氏链的初态为 某一非常返态，则当D为闭集时，状态转移一直 在D中进行，反之，则可能在某一时刻离开D而 进入某个基本常返闭集Ck，当然一旦进入Cn，它 将永远在Cn中运动。 Cn是不可约的闭集) (Q
注：I为有限集时，则D一定不是闭集，即不管系统 自什么状态出发迟早要进入常返闭集。
I = D U C1 U C2 = {4} U {1，5} U {2， 。 3， 6}
下面是周期为d的不可约马氏链的分解定理： 定理：周期为d的不可约马氏链，其状态空间I 可唯一地分解为d个互不相交的子集之和。
即： ) I = U Gr , Gr I Gs = Φ (1
r =0
d −1Biblioteka (r ≠ s )证：)记C为全体常返状态组成的集合，D = I − C (1 为非常返状态全体，将C按互通关系进行分解, 则 I = D U C1 U C2 U L；
(2) 其中每一个Cn是由常返状态组成的不可约的闭
集，而不可约闭集中状态是互通的，又由互通关系 知状态是同一类型的； (3) 显然, 从C 中的状态不能到达D中状态一般称Cn为
对此新链，每一Gr是不可约闭集，且Gr中
在实际应用中，人们常关心的问题有两个：
(1)当n → ∞时，p{X n = j} = p j (n )的极限是否存在？ ( 2)在什么条件下，一个马尔可夫链是一个平稳序列。 由于p j ( n) = ∑ pi (0) pij (n)
i∈I
故可转化为研究pij (n)的渐近性质 (n
分解定理：任一马氏链的状态空间I，可唯一地 分解成有限个或可列个互不相交的子集D, C1 , C2 ,L 之和，使得且Cn的状态
Cm (m ≠ n )中的状态到达； (1) 每一个cn是常返态组成的不可约闭集不可能从 ( 2) Cn中的状态同类，或全是正常返，或全是零
常返，它们有相同的周期且f jk = 1，j，k ∈ Cn； (3) D由全体非常返状态组成，自Cn中的状态不能 到达D中的状态。
= ∑ pij (m) × 0 + ∑ 0 × p jk = 0
j∈c j∉c
由归纳法引理得证。
例：设马氏链{X n }的状态空间I = {1,2,3,4,5} 转移矩阵为： 1 2 1 p = 2 0 1 0 0 0 0 0 1 1 0 0 2 1 0 0 2 1 0 0 0 0 0 0 0 0
G0
(2) 从任一Gr中某一状态出发，经一步转移必 进入Gr +1中，其中Gd = G0
任取状态i Gr = { j：对某个n ≥ 0, pij nd + r） 0} （ > r = 0，L，d − 1 1，
Gd − 1
G1 G2
下面考虑在不可约闭集C中的运动情况。
定义： 称矩阵( pij )为随机矩阵，如元素非负，且对
j∈I
每个i ∈ I，有∑ pij = 1 ，其k步转移矩阵P (k ) = ( pij (k ) )
引理：设C为闭集，又G = ( pij (k ) )，i，j ∈ C是C 上所得的k步转移子矩阵，则G仍是随机矩阵。
也为随机矩阵。
证：任取i ∈ C，则有 1 = ∑ pij ( k ) = ∑ pij ( k ) + ∑ pij (k ) = ∑ pij (k )
例 设I = {1， ,L,6}转移矩阵为 2 0 0 0 P = 1 3 1 0 0 0 0 1 3 0 1 2 1 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 3 0 0 0 0 1 0 0 0 2
试分解此链并指出各状态的常返性及周期性