随机过程第四章
随机过程 第四章4
lim
n
n
k 1
0， 如 j 为非常返或零常返 f p ij ( k ) ij ， 如 j 为正常返 j
练习
1设状态空间S={1,2,3,4}的齐次马氏链，它的 一步转移概率矩阵为
1 2 1 P 2 1 4 0 1 1 2 1 4 0 1 4 0 0 0 2 0 1 4 1 0
1 2
n 1 ， p 23 ( n ) 0，
n
极限 lim p i 3 ( n ) 存在 i 2 , 3 , 5
对正常返状态
j ，我们一般不讨论极限 1 n
lim p ij ( n )，
n
而只研究： (1) lim p ij ( nd )；2 ) lim (
n
j 0
定理：不可约非周期马 是存在平稳分布，且此 1 ，j u j 证：先证充分性 I
氏链是正常返的充要条 平稳分布就是极限分布
件
设 j， j I 是平稳分布， j
由于 得
i I
i
p ij ( n )
顺序，
j I
i
1， i 0，故可交换极限与求和
N
1 p kj ( n ) kI k
(1)
下面来证明等号成立， 1
由
p ik ( n )
kI
N
p ik ( n )
k 0
先令 n ，再令 N 取极限得： 1 1 kI u k
2 1 j ， 式为严格大于
n
j lim
i I
随机过程第四章
1.定义：设有随机过程{},n X n T ∈若对任意的整数n T ∈和任意的121,,...,n i i i I +∈,条件概率满足()()111111,...,n n n n n n n n p x i x i x i p x i x i ++++======则称其为马尔科夫链。
2.马尔科夫链的统计特性完全有条件概率()11n n n n p x i x i ++==决定。
3.一步转移概率称条件概率()()1p xjx i n ij n n p ==+=为马尔科夫链{},n X n T ∈在时刻n 的一步转移概率。
,i j I ∈,若()ij p n 与n 无关，则称马尔科夫链为齐次的。
();0;1;,ij ij ij ij j Ip n p p p j i I ∈=>==∈∑4.n 步转移概率称()()n p x j x i m m n ijp ==+=,i j I ∈0,1m n >=>=为马尔科夫链{},n X n T ∈的n步转移概率。
()()0;1;,n n ijijj Ip p j i I ∈>==∈∑5.n 步转移矩阵。
()()()n n ijP p =；()()()1011;0;;;ij ijij i p p P P j p i j=⎧=⎨≠==⎩6.()n p ij具有如下性质：设{},n X n T ∈为马尔科夫链，则对任意整数n>=0,1=<l<n ；,i j I ∈()()()11112........n n i k Ik Il n l n p p p p p p ijikkjik k k I k k j--∈∈-=∑∈=∑∑； ()()1n n n PP PP-==7初始概率：()0i p p X i == 8.初始概率向量：()()120,....TPp p =9.初始分布：{},i p i I ∈10绝对概率：()()j n p n p X j == 11绝对概率向量：()()()()12,....TPn p n p n =12绝对分布：(){},j p n j I ∈13性质如下：()()()()10;n TT T Pn P n P P P =-=()()()1;nj i ij i ij i Ii Ip n p p p n p ∈∈==-∑∑14马氏链的有限维分布：设{},n X n T ∈为马氏链，则对任意的12,,...,;1n i i i I n ∈≤有{}11....11,....,n n i Ip p p i ii i i n n p X i X i ∈-===∑完全有初始概率和一步转移概率决定。
随机过程习题集-第四章马尔可夫过程
1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。
随机过程第四章
pii
(n)
1
i
0
证：(1)如i为零常返则i
，由lim n
pii nd
d
i
0
而当n不能被周期d整除时n 0modd ,
必然有pii
(n)
0，故
lim
n
pii
n
0
反之，若lim n
pii
(n)
0,
而i是正常返，
则由lim n
pii (nd )
d
i
0矛盾.
(2) 如i为遍历，即d 1，由上面定理得
即 Tij minn：X m i, X mn j，n 1
而称：
fij (n) P Tij n
P{X mv j，1 v n 1，X mn j / X m i}，n 1 为自状态i出发，经n步首次到达状态j的概率， 简称首达概率。
注：由齐次马氏链性质知，首达概率与出发时刻
p3
① q1 q2
p1
③ q3 ②
p2
求从状态1出发经n步转移首次到达各个状态的概率。
f12
(n)qq11p3 p3源自q m1 1m p1,
q3
,
n 2m, n 2m 1,
m 1 m0
同理：
f13 (n)
p1q2 p1q2
p m1 1
m q1,
p2
,
n 2m, n 2m 1,
m 1 m0
互通关系的状态是同一类型.
定理：如果i j， 则
(1) i与j同为常返或非常返，如为常返，则它们
同为正常返或零常返；
(2) i与j有相同的周期。
1证：因为i j，故存在正整数k与m，使
pij (m) 0, p ji (k ) 0
随机过程-第四章 更新过程
4.1 更新过程定义
上一章我们看到泊松过程的到达时间间隔是服从独立同分布的指数随机变量。现将其 进行推广，考虑到达时间间隔服从独立同分布，但分布函数任意，这样得到的计数过程称为 更新过程。 设 X n , n 1, 2, 是一列服从独立同分布的非负随机变量，分布函数为 F ( x) ，为避 免显而易见的平凡情形， 假设 F (0) P X n 0 1 。 将 X n 解释为第 n 1 个与第 n 个事件 之间相距的时间，记 E ( X n ) 有 0 。令 Tn
这其中利用了 X n , n 1, 2, 的独立同分布性质，这里 [1 F (b)] (0,1) 。又因为
k
Tmk t Tk T0 t , T2k Tk t ,, Tmk T( m1)k t
而且更新区间（相当于时间间隔）服从独立同分布，即
P 1 因 此 存 在 a 0 ， 使 得 P Xn a 0 ， 从 而 由 于 F( 0 ) X n 0 ， P X n a 1 。而 F (a) P X n a P X n a P X n a
为 避 免 因 可 能 的
N (t ) sup n, Tn t
定义 4.1 更新过程：计数过程 N (t ), t 0 称为更新过程。
在更新过程中我们将事件发生一次叫做一次更新， 从而 X n 就是第 n 1 次与第 n 次更新 相距的时间，Tn 表示第 n 次更新发生的时刻， 而 N (t ) 就是 t 时刻或 t 时刻之前发生的总的更 新次数。更新过程一个典型的例子是机器零件的更换。 我们首先要回答是第一个问题是在有限时间内是否会有无限多次更新发生。答案是不 会发生这种情况的概率为 1。由强大数定律可知
随机过程第四章马尔可夫链
0,
p(n) ij
1, i,
jI
jI
即P(n)也为随机矩阵.
当n
1时,
p (1) ij
pij
,
P (1)
P
当n
0时,规定pi(j0)
0 , i 1 , i
j j
13
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn, nT}为马尔可夫链, 则对任意 整数n0, 0l<n和i,jI, n步转移概率 p具i(jn) 有性
Ckx 0
pxqy ，
,
k ( j i)为偶数 k ( j i)为奇数
11
4.1 马尔可夫链与转移概率
例4.4 具有吸收壁和反射壁的随机游动状态空间 {1,2,3,4}, 1为吸收壁, 4为反射壁.
解：状态转移图
状态转移矩阵
1 3
1 0 0 0
1
1
3
1 1
3
1
1
1 1 1
1 3
1 3
2
P 3
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
6
4.1 马尔可夫链与转移概率
定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn, nT}在时刻n的一步转移概率,简 称转移概率,其中i,jI.
P{X 0 i}P{X1 i1 | X 0 i} iI
P{X 2 i2 | X1 i1} P{X n in | X n1 in1}
《随机过程》第四章作业解答
20. 解：由例 4.8 中的结果可知甲最终赢的概率为：
(1)
P (甲最终赢)
=
(
1−p p
)a
−
1
(
1−p p
)a+b
−
1
=
(
2 3
)16
(
2 3
)36
− −
1 ;
1
(2)
P (甲最终赢)
=
(
1−p p
)a
−
1
(
1−p p
)a+b
−
1
=
(
2 3
)4
−
1
(
2 3
)24
−
1
21. 解：(1) 状态空间可以分为三个等价类：{1, 2}, {3, 4}, {5, 6}。其中 {1, 2} 与 {3, 4} 是常 返的，{5, 6} 是瞬时的，而且状态 {1, 2, 3, 4} 是非周期的。从而由推论 4.1 可知：
不妨记 p11 ≥ p12 ≥ · · · ≥ pn1 ≥ 0，若 p11 > p12 严格成立，从而有：
n
n
p11 = p1ipi1 < p11 p1i = p11
i=1
i=1
得到矛盾，从而有 p11 = p12。类似可证：对 ∀j ≤ n，p11 = p1j 均成立。从而类似可证：
对 ∀i, j ≤ n, p1j = pjj。
19.
解：结合概率转移矩阵画出有向图，可以得到： f1(1n) = a,
n=1 ， 从而状态{1}是
0, n > 1
如有疏漏，欢迎指正
4
《随机过程》第四章作业解答
第四章 随机过程中的平稳过程
RX ( ) E[ X (t )X (t )] =E[ X (t ) X (t )] RX ( )
R(s, t ) E[ X (s)X (t )] R( )
则称{X(t),t∈T} 为宽（弱、广义）平稳过程，简称宽 平稳过程
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
由于在许多工程技术问题中，常常仅在相关理论(一、二
阶矩)的范围内讨论问题，因此划分出广义平稳随机过程来。
而相关理论之所以重要，是因为在实际中，一、二阶矩能给出 有关平稳随机过程平均功率的几个主要指标，比如，如果随机
过程如果代表噪声电压信号，那么在相关理论范围内就可以给
出直流分量、交流分量，平均功率及功率在频域上的分布(我 们将在后面讨论功率谱密度)等。另外，在电子系统中经常遇
到最多的是正态随机过程，对于正态随机过程而言，它的任意
若令 t 2 ，得
f (t1 , t 2；x1 , x2 ) f (t1 t 2 ,0；x1 , x2 ) f (；x1 , x2 )
其中 同理
t1 t2
二维分布函数也仅与时间差 而与时间起点无关，即
t1 t2
有关，
F (t1 , t 2；x1 , x2 ) F (；x1 , x2 )
j [ l ( t ) k t ] E X X e k l k 1 l 1
bk e jk
k 1
RY ( )
所以， {Y (t ), t }具有平稳性。
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
P
k 0
随机过程第4章Markov过程（PDF）
第四章 Markov 过程本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为0{0,1,2,}T N ==L ，状态空间为可列{1,2,}I =L 或有限{1,2,,}I n =L 的情况，即讨论的过程为Markov 链。
Markov 链最初由Markov 于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。
之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。
§4.1 Markov 链的定义与性质一、Markov 链的定义定义 4.1设随机序列{;0}n X n ≥的状态空间为I ，如果对0n N ∀∈，及0110011,,,,,{,,,}0n n n n i i i i I P X i X i X i +∈===>L L ，有：11001111{,,,}{}n n n n n n n n P X i X i X i X i P X i X i ++++=======L （4.1.0)则称{;0}n X n ≥为Markov 链。
注1：等式（4.1.0）刻画了Markov 链的特性，称此特性为Markov 性或无后效性，简称为马氏性。
Markov 链也称为马氏链。
定义4.2 设{;0}n X n ≥为马氏链，状态空间为I ，对于,i j I ∀∈，称1{}()ˆn n i j P X j X i p n +===为马氏链{;0}n X n ≥在n 时刻的一步转移概率。
注2：一步转移概率满足：()0,,()1,i j i jj Ip n i j Ipn i I ∈≥∈=∈∑若对于,i j I ∀∈，有1{}()ˆn n i j i j P X j X i p n p +===≡即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。
设{}0()(0),p i P X i i I ==∈，如果对一切i I ∈都有00()0,()1i Ip i p i ∈≥=∑，称0()p i 为马氏链的初始分布。
(解答)《随机过程》第四章习题
第四章 二阶矩过程、平稳过程和随机分析 习题解答1、 设∑=-=Nk k k kn U n X 1)cos(2ασ，其中k σ和k α为正常数，)2,0(~πU U k ，且相互独立，N k ,,2,1 =，试计算},1,0,{ ±=n X n 的均值函数和相关函数，并说明其是否是平稳过程。
解：计算均值函数和相关函数如下0)}{cos(2)cos(2}{)(11=-=⎭⎬⎫⎩⎨⎧-==∑∑==Nk k k k N k k k k n X U n E U n E X E n ασασμ∑∑∑∑∑∑======-=--=--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-⋅⎥⎦⎤⎢⎣⎡-=Ni i i N i i i i i i Ni Nj j j i i j i N j j j j N i i i i X m n U m U n E U m U n E U m U n E m n R 12121111)](cos[)}cos(){cos(2)}cos(){cos(2)cos(2)cos(2),(ασαασαασσασασ因此可知，},1,0,{ ±=n X n 是平稳随机过程。
2、 设有随机过程))(cos()(t t A t X πηω+=，其中0>ω为常数，}0),({≥t t η是泊松过程，A 是与)(t η独立的随机变量，且2/1}1{}1{===-=A P A P 。
（1） 试画出此过程的样本函数，并问样本函数是否连续？ （2） 试求此过程的相关函数，并问该过程是否均方连续？ 解：（1）样本函数不连续。
（2）令：012≥>t t ，下面求相关函数：)(221)(212210)(1212211212121211212212122112221122121121212cos cos )]}(cos[)]({cos[21!)]([)]}(cos[)]({cos[)1(21))]}()(()(cos[))]()(()(2)({cos[21))]}()(()(cos[))]()(()({cos[21))}(cos())({cos(}{))}(cos())(cos({)}()({),(t t t t k t t k kX e t t e t t t t e k t t t t t t t t t t t t t t t E t t t t t t t t E t t t t E A E t t t t A E t X t X E t t R ----∞=--⋅=⋅-++=⋅-⋅-++-=-+-+-+++=-+-++++=++⋅=++==∑λλλωωωωλωωηηπωηηππηωηηπωηηπωπηωπηωπηωπηω因为：t t t R ωξ2cos ),(=因此该过程是均方连续的随机过程。
第四章-马尔可夫链-随机过程
计算 n 步转移概率的方法。
切普曼一柯尔莫哥格夫方程：对一切n,m 0，一切 i，j，有(4.2.1)
P nm ij
Pikn Pkmj
k0
证明：
P nm ij
P{ X nm
j|
X0
i}
P{Xn k | X0 i}P{Xnm j | Xn k, X0 i}
顾客数构成一个泊松过程。所以，
Pi, j
e t (t )i1 j dG(t ), j 1,
0
(i 1 j)!
i 1
这是因为若一个来客发现有 i 个人在系统中，那么下一个来客将
发现人数为 i+1 减去已服务完毕的人数，易知有 i+1-j 个人被服
务完毕的概率(对相继来到之间的时间取条件)等于上式的右端。
0
0
0 P43
例 4．1(b) G/M/1 排队系统。假设顾客 依照一个任意的更新过
程来到一个单服务台的服务中心，来到间隔分布为 G。进一步
假设服务分布是指数分布，参数为。若以 Xn 记第 n 个顾客来
到时见到系统中的顾客数，以 Yn 记第 n 个顾客与第(n+1)个顾客
不可被 d 整除的 n 有 Piin 0，且 d 是具有此性质的最大整数(d 是
{n : Piin 0}的最大公约数)。(若对一切 n>0， Piin 0，则定义 i 的周 期是无穷大。)具有周期 1 的状态称为非周期的(aperiodic)。以 d(i)记 i 的周期。
例设马尔可夫链的状态空间I={1,2,,9}， 转移概率如下图
P nm ij
随机过程-第四章
三、分类 马氏过程{X(t)，t∈T }按参数 T 和状态空间 E 的情况一般分三类
（1）T离散 如例2
E离散的马氏过程，称为马氏链
（2 ）T 连续，E 离散称为马氏过程 如：例 1 ，电话…
它表示，已知 n 时刻处于状态 i，经 k 个单位时间 后处于（转移到）状态 j 的概率（条件概率）
一般 pij ( n, n k ) 与 n 有关，如果不依赖于 n，则称过 程{X(n)，n=0，1，2… }为时齐（齐次）马氏链，即 有 pij ( n, n k ) = pij ( k ) ， k≥1 的马氏链是时齐马氏链，
或说：如果过程{ X(t)，t∈T }的 n 维联合分布函 数可表示为
Fn ( x1 , x 2 , , x n ; t1 , t 2 , , t n )
n
F ( x k , t k ) ，n=1，2… =k 1
则称{ X(t)，t∈T }为独立随机过程。
证明：设 0≤t1<t2<… tn<t∈T 由条件 X(t1)，X(t2)，…X(tn)相互独立 故事件 ( X ( t 1 )
一般规定
1, i j pij (0) ij 0, i j
说明：k 步转移概率，可由一步转移概率矩阵获 得， 这说明一步转移概率矩阵是马氏过程最基本 的，它完全确定了链的状态转移的统计规律。
花粉位置，用平面直角坐标系描述，t 时刻花粉的位 置。X(t)( 模标) Y(t)（纵标）t≥0，都是马氏过程。
二、马氏过程。“无后效性”的特点在数学上的定义
第四章随机过程
设状态空间为 S ，一步转移概率为 P ，初始分布为 p i = P( X 0 = i ), i ∈ S 的齐次
Markov 链 {X n , n ≥ 0}，令 Pij( n ) = P ( X n + m = j X m = i ) = P (X n = j X 0 = i ), n ≥ 2 ，表示
证：
5
Pij( n ) = P( X n = j X 0 = i ) = ∑ P(τ ij = l , X n = j X 0 = i )
l =1 n n
= ∑ P(τ ij = l X 0 = i ) P( X n = j τ ij = l , X 0 = i )
l =1 n
= ∑ P(τ ij = l X 0 = i ) P( X n = j X 0 = i, X 1 ≠ j , L X l −1 ≠ j , X l = j )
4.4 常返与瞬过
在事件 {X 0 = i}上引入一个重要的概率 f ij( n ) ，表示从 i 出发在 n 步转移时首次 到达 j 的概率。用式子表示即是
f ij( 0) = 0, f ij( n ) = P( X n = j , X k ≠ j , k = 1, L n − 1 X 0 = i ) 。
i =1
(m) 定理 4.3.3 的一个直接推论是： 若 Pji > 0 ，存在正整数 N 使得对所有的 ( m + nd ( i )) n > N 恒有 Pji > 0。
定理 4.3.4：设 P 为不可约、非周期、有限状态 Markov 链的一步转移概率矩阵， 则存在正整数 N 使得当 n > N 时， n 步转移概率矩阵 P ( n ) 的所有元素都大于 0。
随机过程4-3
pi(0) pii1 (n1 ) pi1i2 (n2 n1 ) pi2i3 (n3 n2 ) pim1im (nm nm 1 )
i
遍历性
lim pij ( n) p j , i , j E
n
(２.15)
如果 { p j , j 1, 2,...} 满足 率的极限分布。
第17页
二、柯尔莫哥洛夫向前和向后方程
设 { X (t ), t [0, )} 是状态有限（即具有有限多个状态） 的马尔科夫过程，E {0,1, 2,..., N }
定义 设状态有限的马尔科夫过程 X(t) 的转移概率函数 为 pij (t ) ，若 1, i j （3.10) lim pij (t ) ij t 0 0, i j
个时刻 t1 , t2 ,..., tm (0 t1 t 2 ... tm ) ，任意正数 s 以及任意 i1 , i2 ,..., im , j E ，满足
第4章 马尔科夫过程
第11页
P{ X (tm s) j | X (t1 ) i1 , X (t2 ) i2 ,...., X (tm ) im } P{ X (tm s) j | X (tm ) im }
以后我们只讨论时齐马尔科夫过程。
（3.2）
根据条件概率性质。转移概率函数具有下列两条性质：
（有限多个或无限多个） (1) 0 pij ( s) 1, i , j 0,1, 2,...
(2)
p ( s) 1, i 0,1, 2, ...
ij j
第4章 马尔科夫过程 通常，我们规定
则称 { X (t ), t [0, )}为马尔科夫过程。 （3.1）
随机过程-课件-第四章
随机过程-课件-第四章第四章Poion过程4.1齐次Poion过程到达时间间隔与等待时间的分布1、定理4-1强度为的齐次Poion过程{Nt,t0}的到达时间间隔序列某n,n1,2,是独立1同分布的随机变量序列，且是具有相同均值证：事件的指数分布。
即事件某1t等某1t发生当且仅当Poion过程在区间0,t内没有事件发生，价于{Nt0}，所以有P(某tt)P(Nt0)et因此，某1具有均值为1的指数分布，再求已知某1的条件下，某2的分布。
P(某2t|某1)P(在,+t内没有事件发生|某1)（由独立增量性）（由平稳增量性）et上式表明P(在,+t内没有事件发生)P(在0,t内没有事件发生)某2与某1相互独立，而且某2也是一个具有均值为1的指数分布的随机变量，重复同样的推导可以证明定理4-1的结论。
2、定理4-2等待时间Sn服从参数为n，的分布，即分布密度为f(t)et证：(t)n1,t0(n1)!因为第n个事件在时刻t或之前发生当且仅当到时间t已发生的事件数目至少是n，即事件NtnSnt是等价的，因此P(Snt)P(Ntn)ejnt(t)jj!上式两边对t求导得Sn的分布密度为f(t)etjnj1(t)j(t)etj!(j1)!jnet(t),t0(n1)!n1注：定理4-2又给出了定义Poion过程的另一种方法。
从一列均值为1/的独立同分布的指数随机变量序列某n,n1出发，定义第n个事件发生的时刻为Sn，则Sn某1某2某n这样就定义了一个计数过程，且所得计数过程Nt,t0就是参数为的Poion过程。
3、定理4-3条件随机变量(某1证：对|Nt1)U(0,t)，即在区间0,t内为均匀分布。
t,(某1|Nt1)的分布函数为P(某1,Nt1)P(某1|Nt1)P(Nt1)P(在0,内有一个事件发生，在，t内没有事件发生)P(Nt1)P(在0,内有一个事件发生)P(在，t内没有事件发生)P(Nt1)P(N1)P(Nt0)P(N1)ee(t)tett这说明(某14、顺序统计量|Nt1)在0,t上服从均匀分布。
随机过程第四章习题解答
第四章习题解答4.1Y1,Y2,···是来自总体Y的随机变量，与X0独立，h(x,y)是实函数.对于n 1，取X n=h(X n−1,Y n).设{X n}的状态空间为I，验证{X n}是马氏链，给出转移概率p ij.解：由题知，Y k与X1,···,X k−1独立,k 1,∀n,i,j,i1,...,i n−1∈I有，P(X n+1=j|X n=i,X n−1=i n−1, (X0)i0)=P(h(i,Y n+1)=j|X n=i,X n−1=i n−1,···,X0=i0)=P(h(i,Y n+1)=j|X n=i)=P(h(i,Y)=j)=P(h(i,Y1)=j|X0=i)=P(X1=j|X0=i).∴X n是马氏链，P ij=P(h(i,Y)=j).4.2设{X i,i 0}是取非负整数值的独立同分布的随机变量序列，V ar(X0)>0.验证以下随机序列是马氏链：(a){X n,n 0};(b){S n,n 0}，其中S n=∑ni=0X i;(c){ξn,n 0}，其中ξn=∑ni=0(1+X i).解：∀n,i,j,i0,···,i n−1∈N+,(a).P(X n+1=j|X n=i,X n−1=i n−1,···,X0=i0)=P(X n+1=j)= P(X n+1=j|X n=i)=P(X1=j)=P(X1=j|X0=i).1第四章离散时间马尔可夫链第四章离散时间马尔可夫链(b).P(S n+1=j|S n=i,S n−1=i n−1,···,X0=i0)=P(X n+1=j−i|X n=i−i n−1,···,X0=i0)=P(X n+1=j−i)=P(X n+1=j−i,S n=i|S n=i)=P(S n+1=j|S n=i)=P(X1=j−i)=P(X1=j−i|X0=i)=P(S1=j|S0=i).(c).P(ξn+1=j|ξn=i,ξn−1=i n−1,···,ξ0=i0)=P(X n+1=ji −1)=P(X n+1=ji−1|ξn=i)=P(ξn+1=j|ξn=i)=P(X1=ji −1)=P(X1=ji−1|X0=i)=P(ξ1=j|ξ0=i).4.3马氏链的状态空间是I=(1,2,3,4,5)，转移概率矩阵P=0.20.80000.50.5000000.50.500.20.3000.500001界定马氏链的状态。
(解答)《随机过程》第四章习题
（2）如果 X ~ N (0,1) ，问过程 (t) 是否均方可微？说明理由。
解：计算随机过程 (t) 的相关函数：
R (s,t) E{ (s) (t)} E{( X cos 2s Y sin 2s)(X cos 2t Y sin 2t)} cos 2s cos 2tE{X 2} sin 2s sin 2tE{Y 2} [cos 2s sin 2t sin 2s cos 2t]E{XY}
4、 设有随机过程 X (t) 2Z sin(t ) ， t ，其中 Z 、 是相互独立的随机 变量，Z ~ N (0,1) ，P( / 4) P( / 4) 1/ 2 。问过程 X (t) 是否均方可积
过程？说明理由。
解：由 Z 、 的相互独立性，计算随机过程 X (t) 的均值函数和相关函数： E{X (t)} E{2Z sin(t )} 2E{Z}E{sin(t )} 0
Y (t) 2X (t) 1， t 0 。试求过程{Y (t), t 0} 的相关函数 RY (s,t) 。
解：由相关函数的定义，有：
RY (s,t) E{Y (s)Y (t)} E{(2X (s) 1)(2X (t) 1)} 4E{X (s) X (t)} 2E{X (s)} 2E{X (t)} 1 4E{X (s) X (t)} 4 1
0
T 2 T T E{X (s) X (u)}dsdu m2 00
T 2
T 0
T 0
R
X
(
s
u
)dsdu
m
2
T 2
T 0
T 0
[C
《随机过程答案》第四章习题
第四章 二阶矩过程、平稳过程和随机分析 习题完整答案，请搜淘宝1、 设∑=-=N k k k k n U n X 1)cos(2ασ，其中k σ和k α为正常数，)2,0(~πU U k ，且相互独立，N k ,,2,1 =，试计算},1,0,{ ±=n X n 的均值函数和相关函数，并说明其是否是平稳过程。
2、 设有随机过程))(cos()(t t A t X πηω+=，其中0>ω为常数，}0),({≥t t η是泊松过程，A 是与)(t η独立的随机变量，且2/1}1{}1{===-=A P A P 。
（1） 试画出此过程的样本函数，并问样本函数是否连续？（2） 试求此过程的相关函数，并问该过程是否均方连续？3、 设}0),({≥t t X 是一实的零初值正交增量过程，且),(~)(2t N t X σμ。
令1)(2)(-=t X t Y ，0≥t 。
试求过程}0),({≥t t Y 的相关函数),(t s R Y 。
4、 设有随机过程)sin(2)(Θ+=t Z t X ，+∞<<∞-t ，其中Z 、Θ是相互独立的随机变量，)1,0(~N Z ，2/1)4/()4/(=-=Θ==ΘππP P 。
问过程)(t X 是否均方可积过程？说明理由。
5、 设随机过程t Y t X t 2sin 2cos )(+=ξ，+∞<<∞-t ，其中随机变量X 和Y 独立同分布。
（1） 如果)1,0(~U X ，问过程)(t ξ是否平稳过程？说明理由；（2） 如果)1,0(~N X ，问过程)(t ξ是否均方可微？说明理由。
6、 设随机过程});({+∞<<∞-t t X 是一实正交增量过程，并且0)}({=t X E ，及满足：{}+∞<<∞--=-t s s t s X t X E ,,)]()([2；令：+∞<<∞---=t t X t X t Y ),1()()(，试证明)(t Y 是平稳过程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
r
泊松过程可分解为r个相互独立的泊松过程，参数分别为
pi i 1,2,, r
4.2 随机质点的到达时间与时间间隔
泊松过程 N (t ), t [0,) 的一条样本路径一般是 跳跃度为1的阶梯函数，如下图所示：
N (t )
Tn , n 1,2,3 是第n个随机 质点到达的时刻,规定T0 0;
第四章 泊松过程
泊松过程概念
随机质点的到达时间与时间间隔
其它计数过程
4.1 泊松过程概念
以N (t ) t 0表示在时间间隔 0, t 内出现得质点数，
N (t ), t 0 是一状态取非负整数、时间连续的随机过程，
称为计数过程。
N (t )
等 间 隔 的
它表示时间间隔 t0 , t 内出现的质点数， 其概率记为： Pk (t0 , t ) P N (t0 , t ) k k 0,1, 2
Y (t ) X (n)
n 1 N (t )
注： 复合泊松过程不一定是计数过程，故更不一定是泊松 过程，但是当 X (n) const, n 1,2, 时，它化为泊松 过程。
设如上复合泊松过程 定理4.1.2：
Y (t ) X (n)
n 1
N (t )
则
（1）Y(t)是独立增量过程 （2）若 E X (n) 则
PN (s t ) N (s) 0 N (s) N (0) 1
PN (s t ) N (s) 0
PN (t ) N (0) 0 （增量平稳性） et （与s的取值无关） 所以 X 1与 X 2 独立，且都服从参数为 的指数分布。
法二 注意事件 N (t ) n 等价于Tn t
PTn t PN (t ) n et
j n
(t ) j j!
对上式两边求导得 Tn 的密度函数为
fTn (t ) e t
j n
j 1 (t ) j ( t ) je t j! j! j n
PX1 t 1 PX1 t 1 et 即 X1 ~ Exp( )
再来看 X 2的分布
PX1 t PN (t ) 0 et
PX 2 t X1 s PN (s t ) N (s) 0 X1 s
利用N(t)的独立 增量性
再利用特征函数与数字特征的关系式
EY (t )
(t ) (0) Y
E Y (t )
2
(t ) (0) Y (i)
2
i
t EX (1)
t EX (1) tE X (1)
2 2
例： 事件A的发生形成强度为 的泊松过程N (t ), t 0 若每次事件发生时以概率p能够被记录下来，并以M(t)表示 到t时刻被记录下来的事件总数，则 M (t ), t 0是强度为 Proof 下证
pk (t t ) PN (t t ) k PN (t ) k , N (t t ) 0 PN (t ) k 1, N (t t ) 1
PN (t ) k i, N (t t ) i
k
PN (t ) k PN (t t ) 0 PN (t ) k 1PN (t t ) 1
p0 (t t ) PN (t t ) 0
PN (t ) 0, N (t , t t ) 0
PN (t ) 0PN (t, t t ) 0 N (t ) 0
PN (t ) 0PN (t , t t ) 0 p0 (t )1 t (t )
P( N (t ) 1) t (t ) P( N (t ) 0) 1 t (t ) P( N (t ) 2) (t )
的泊松过程，则对任意固定的 t , N (t ) ~ (t )，即
定理4.1.1： 设 N (t ), t T [0,)是一强度为
PN (t ) k i PN (t t ) i
k
i 2
pk (t ) pk (t )t pk 1 (t )t (t )
整理， 两边同时除以 t , 并令 t 0, 得
i 2
dp k (t ) pk (t ) pk 1 (t ) dt
Tn (Tn Tn1 ) (Tn1 Tn2 ) (T2 T1 ) (T1 T0 )
X n X n1 X 2 X1 由于 X1, X 2 , , X n i.i.d 且均服从指数分布即 ( ,1) 分布。
利用 分布的可加性，易得 Tn ~ (n, )。
重复上面的推导， 进一步看 X n 的分布
PX n t X n1 sn1 PN (sn1 t ) N (sn1 ) 0 X n1 sn1
PN (sn1 t ) N (sn1 ) 0
PN (t ) 0 et
综上，定理得证。□ 定理4.2.2：Tn , n 1,2,3 服从参数为 n和 的 分布。 Proof 由 X n Tn Tn1 及 T0 0 得
RN (t1 , t2 ) EN (t1 ) N (t2 )
EN (t1 )N (t2 ) N (t1 ) EN (t1 ) N (0)N (t2 ) N (t1 ) EN (t1 ) N (0)EN (t2 ) N (t1 ) t1 t2 t1
2
EY (t ) t EX (1) DY (t ) t E X (1)
2
Proof 令 0 t0 t1 tn
Y (tk ) Y (tk 1 )
N (tk )
n N ( t k 1 1)
X (n)
由泊松过程的独立增量性及各 X (n), n 1,2, 之间
e t
即 Tn ~ (n, )。
(t ) n1 (n 1)!
X n , n 1,2,3服从参数为 的指数分布， 根据如上分析，
p的泊松过程。
(pt) pt PM (t ) k e k!
k
k 0,1,2,
参照《概率书》蛋孵小鸡的例子！
则利用上例得 泊松过程分解定理： 对于参数为 的泊松过程N (t ), t 0
0 pi 1, i 1,2,, r 且 pi 1
i 1
N (t ) t
2 N 2
N
DN (t ) t
2
(t ) (t ) DN (t ) t t
RN (t1, t2 ) EN (t1 ) N (t2 ) min(t1, t2 ) 2t1t2
Proof 不妨设 t1 t2 [0,),
1. N(0)=0 （零初值性） 2. N(t)是独立增量过程 3. 对于任意 t1 t2 [0,), k 0,1,2,
P( N (t 2 ) N (t1 ) k ) PN (t2 t1 ) k
0 k ( t ) t
k! e
泊松过程的数字特征与特征函数 可以认为 是单位时间内事件发生的平均次数
X n , n 1,2,3是第n个随机
质点与第n-1个随机质点到达 的时间间隔。
3
2 1
T0
T1 T2 T3 T4 X1 X 2 X 3 X 4
T5
X5
一、 X n和 Tn 的分布
X n , n 1,2,3 服从参数为 的指数分布， 定理4.2.1：
且相互独立。 由于事件 X1 t 等价于事件 Proof 首先考虑 X 1 的分布， N (t ) 0, 即 (0, t ) 内没有质点到达。因此
t1
记N (t0 , t ) N (t ) N (t0 ) 0 t0 t
t2
t3
t4
t5
不等间隔的
定义：计数过程N (t )满足如下条件，称作强度为的泊松过程。
1. N(0)=0 （零初值性） 2. 对于任意的 s t 0, t 0,
N (S t ) N (t t )与 N ( S ) N (t )具有相同的分布 ３. 在不相重叠的区间上增量具有独立性 4. 对于足够小的时间 t
整理得 p0 (t t ) p0 (t ) p0 (t )t p0 (t ) (t ) 两边同时除以 t , 并令 t 0, 得
dp0 (t ) p0 (t ) dt p0 (0) 1
解得
p0 (t ) e
t
t [0,)
EN (t1 )N (t2 ) N (t1 ) EN (t1 )
2
EN (t1 ) DN(t1 ) EN(t1 ) t1 (t1 ) 2 所以 RN (t1 , t2 ) EN (t1 ) N (t2 ) t1 t1t2
2 2
2
CN (t1, t2 ) RN (t1, t2 ) EN(t1 ) EN(t2 ) min(t1, t2 )
n 0 n 0 n 0
Biblioteka E eiv( X (1) E eiv( X ( n ) e t
(t ) n n!
(t ) n n!
(t ) n n!
E eiv( X (1)
n 0
e
n
t
(t ) n n!
e
t E ivX (1) 1
( t ) k t PN (t ) k e k 0,1,2, k! Proof 令 pk (t ) PN (t ) k , k 0,1,2,