随机过程第四章4

合集下载

随机过程习题集-第四章马尔可夫过程

1第四章马尔可夫过程内容提要1. 马尔可夫过程的概念（1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。

称(){}:,==∈E x X t x t T 为状态空间。

参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。

若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。

随机过程第四章

n
pii
(n)
1
i
0
证：(1)如i为零常返则i
，由lim n
pii nd
d
i
0
而当n不能被周期d整除时n 0modd ,
必然有pii
(n)
0，故
lim
n
pii
n
0
反之，若lim n
pii
(n)
0,
而i是正常返，
则由lim n
pii (nd )
d
i
0矛盾.
(2) 如i为遍历，即d 1，由上面定理得
即 Tij minn：X m i, X mn j，n 1
而称：
fij (n) P Tij n
P{X mv j，1 v n 1，X mn j / X m i}，n 1 为自状态i出发，经n步首次到达状态j的概率，简称首达概率。
注：由齐次马氏链性质知，首达概率与出发时刻
p3
① q1 q2
p1
③ q3 ②
p2
求从状态1出发经n步转移首次到达各个状态的概率。
f12
(n)qq11p3 p3源自q m1 1m p1,
q3
,
n 2m, n 2m 1,
m 1 m0
同理：
f13 (n)
p1q2 p1q2
p m1 1
m q1,
p2
,
n 2m, n 2m 1,
m 1 m0
互通关系的状态是同一类型.
定理：如果i j，则
(1) i与j同为常返或非常返，如为常返，则它们
同为正常返或零常返；
(2) i与j有相同的周期。
1证：因为i j，故存在正整数k与m，使
pij (m) 0, p ji (k ) 0

随机过程-第四章更新过程

t
N (t ) 的情况。 t
为考虑 N (t ) 的发散速度，我们先考虑到达时刻 TN (t ) （ TN (t ) 表示在时刻 t 或时刻 t 之前最后一次更新发生的时刻，以此类推，则 TN (t )1 表示在时刻 t 之后第一次更新发生的时刻）。利用 TN (t ) 和 TN (t )1 ，我们提出并证明以下命题。
X
i 1
n
i
n

Tn n
以概率 1 成立。因 0 ，这意味着当 n 时，Tn ，这即是说无穷多次更新只可能在无限长的时间内发生，因此在有限时间内至多只能发生有限次更新。因此，更新过程亦可写成
N (t ) max n, Tn t
4.2 N (t ) 的分布
这其中利用了 X n , n 1, 2, 的独立同分布性质，这里 [1 F (b)] (0,1) 。又因为
k
Tmk t Tk T0 t , T2k Tk t ,, Tmk T( m1)k t
而且更新区间（相当于时间间隔）服从独立同分布，即
N (t ) 的分布至少在理论上能够得到，首先我们注意这样一个重要的关系：到时刻 t 为
止的更新次数大于或等于 n 当且仅当在 t 之前或在时刻 t 发生第 n 次更新，即
N (t ) n Tn t
所以
P N (t ) n P N (t ) n P N (t ) n 1 P Tn t P Tn1 t
N (t ) sup n, Tn t
定义 4.1 更新过程：计数过程 N (t ), t 0 称为更新过程。
在更新过程中我们将事件发生一次叫做一次更新，从而 X n 就是第 n 1 次与第 n 次更新相距的时间，Tn 表示第 n 次更新发生的时刻，而 N (t ) 就是 t 时刻或 t 时刻之前发生的总的更新次数。更新过程一个典型的例子是机器零件的更换。我们首先要回答是第一个问题是在有限时间内是否会有无限多次更新发生。答案是不会发生这种情况的概率为 1。由强大数定律可知

随机过程 4.4

常返或到达的平均次数
[推论] 若 { Xn } 不可约常返，则对任意 i , j ，有
1 n (k ) 1 lim pij n n j k 1
（2）平稳分布
[定义] 称概率分布 { j , j I } 为马氏链的平稳分布，若它满足
j i pij iI i 1, j 0 iI
k N 1

n
f ij( k )
固定N，先令n→∞，由定理4.7的推论知，上式右方第一项因pjj(n)→0而趋于0.
（1）pij(n)的渐近性质
再令N→∞，第二项因 fij( k ) 1 而趋于0，故
k 1
( lim pijn ) 0 n
[推论1] 有限状态的马氏链，不可能全是非常返态，也不可能含有零常返态；不可约的有限马氏链必为正常返的。证：设I={0,1,…,N}。如全是非常返，则对任意i， j∈I，由定理4.13知pij(n)→0，故当n→∞时，就有
பைடு நூலகம்
1
1
1
2
3
[例2]
下图给出了焦作、郑州等几个车站间的公路连接情况，设汽车从一个车站驶向一直接相邻车站，并当晚到达该车站留宿。次日继续相同的活动。设每天开往临近任一车站都是等可能的。试说明经过很长的时间后，各站每晚留宿的汽车比例趋于稳定，求出这个比例。
解：依次给各个车站编焦作洛阳新乡
1
j

kI
1
k
平稳分布
故有
1
j

kI
1
k
( pkjn )
再令n→∞取极限得
1
kI
1
j
k

随机过程4-4

X (t3 ) X (t2 ), ..., X (tm ) X (tm1 ) 相互独立。
需要指出，这个定义并不要求随机过程的状态空间是离散的。在本节关于电话交换站的例1中, X(t) 显然是平稳独立增量过程。
第4章马尔科夫过程
第5页
定理3 若 { X (t ), t [0, )} 是状态离散的平稳独立增量过程，则它是时齐马尔科夫过程。证往证“无后效性”成立。
P{ X ( t t ) X ( t ) 2} o( t )
(4.3)
这两种定义中的条件 (1) 是相同的，所不同的是条件 (2) .
前者给出增量的具体概率分布，后者给出在小时间间隔 t 内引起增量分布的极限性质。可以说，前者从宏观上给出增量的概率分布，后者从微观上给出增量的分布。泊松过程是独立增量过程，由上节定理3可以判断它是马尔科夫过程，且 X (0) 0 。
其中 0 .如果从零时刻起算， X 1 理解为第一个“事件” 的发生时刻，X 2 理解为第一个“事件”发生与第二个“事件” 发生的相隔时间， X 3 理解为第二个“事件”发生与第三个 “事件”发生的相隔时间，……。
第4章马尔科夫过程
第15页
X 一般地， n 理解为第 n-1 个“事件”发生与第 n 个“事件” 发生的相隔时间。见上图。令 Sn X1 X 2 ... X n , n 1, 2, ... 它表示第 n 个 “事件”发生的时刻。在 [0, t] 时间内发生的事件数记为 X(t) ，即
第1页
内容回顾
P{ X a x | X a } 1 e
x
P{ X x}
遍历性 lim pij ( t ) p j , i , j E 与 i 无关。 t

第四章随机过程中的平稳过程

证
RX ( ) E[ X (t )X (t )] =E[ X (t ) X (t )] RX ( )
R(s, t ) E[ X (s)X (t )] R( )
则称{X(t),t∈T} 为宽（弱、广义）平稳过程，简称宽平稳过程
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
由于在许多工程技术问题中，常常仅在相关理论(一、二
阶矩)的范围内讨论问题，因此划分出广义平稳随机过程来。
而相关理论之所以重要，是因为在实际中，一、二阶矩能给出有关平稳随机过程平均功率的几个主要指标，比如，如果随机
过程如果代表噪声电压信号，那么在相关理论范围内就可以给
出直流分量、交流分量，平均功率及功率在频域上的分布(我们将在后面讨论功率谱密度)等。另外，在电子系统中经常遇
到最多的是正态随机过程，对于正态随机过程而言，它的任意
若令 t 2 ，得
f (t1 , t 2；x1 , x2 ) f (t1 t 2 ,0；x1 , x2 ) f (；x1 , x2 )
其中同理
t1 t2
二维分布函数也仅与时间差而与时间起点无关，即
t1 t2
有关，
F (t1 , t 2；x1 , x2 ) F (；x1 , x2 )
j [ l ( t ) k t ] E X X e k l k 1 l 1
bk e jk
k 1

RY ( )
所以， {Y (t ), t }具有平稳性。
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
P

k 0

《随机过程及其在金融领域中的应用》习题四答案

第四章习题41、对泊松过程{},0t N t ≥（1）证明：当s t <时，{}1,0,1,,kn ks t n s s P N k N n k n k t t -⎛⎫⎛⎫⎛⎫===-= ⎪⎪⎪⎝⎭⎝⎭⎝⎭（2）当2λ=时，试求：()()()112112;1,3;21P N P N N P N N ≤==≥≥（3）设顾客到达某商店是泊松事件，平均每小时以30人的速度到达。

求下列事件的概率：相继到达的两顾客的时间间隔为大于2分钟、小于2分钟、在1分钟到3分钟之间。

答：（1）证明：{}()()()()()()()()()()()()()()()()()()(),,!!!!!!!1!!s t s t s s t s s t t t t n kkt s sk n kn k nk n ktn kk n kk nP N k N n P N k N n k P N k P N n k P N k N n P N n P N n P N n t s s e ek n k s t s n k n k t t t e n n s t s n s s k t k n k t t λλλλλλλλλλ------------====-==-========-⎡⎤⎣⎦--==--⎛⎫⎛⎫⎛⎫==- ⎪⎪ ⎪-⎝⎭⎝⎭⎝⎭（2）()()()()()()()()11110121112222201211120!1!2!225P N P N N N e e e e e e e λλλλλλλ-------≤==+=+==++-=++=()()()()12121224111,31,3112224P N N P N N P N P N ee e----=====-=====()()()()()()()()()()111111121112112,122111121011311101P N N P N P N N P N P N P N P N P N e P N P N e --≥≥≥≥≥==≥≥-<-=-=-===-<-=-（3）解法一：顾客到达事件间隔服从参数为λ的指数分布：()()()30,03030,0x x Z Z f t e x f t e x λλλ--=≥=⇒=≥①()30301111303023030106030x x P Z e dx e e e ∞∞----⎧⎫>===--=⎨⎬-⎩⎭⎰②()11303011303000230301116030x x P Z e dx e e e ----⎧⎫<===--=-⎨⎬-⎩⎭⎰ ③1131133030202022221160601330301606030x x P Z e dx e e e e e ------⎛⎫⎧⎫<<===--=-⎨⎬ ⎪-⎩⎭⎝⎭⎰解法二：()3030==0.560λ∴平均每小时有人到达人/分钟根据齐次Poisson 过程的到达时间间隔{},1,2,n X n =是独立同分布于均值为1λ的指数分布的，故可有：相继到达的顾客的时间间隔大于2分钟的概率为：()12t n P X e e λ-->== 相继到达的顾客的时间间隔小于2分钟的概率为：()1211t n P X e e λ--<=-=-相继到达的顾客的时间间隔在1分钟到3分钟之间的概率为：()()()()1.50.50.5 1.5133111n n n P X P X P X e e e e ----<<=<-<=---=-2、{},0t N t ≥是强度为λ的泊松过程。

第四章-马尔可夫链-随机过程

计算 n 步转移概率的方法。
切普曼一柯尔莫哥格夫方程：对一切n,m 0，一切 i，j，有(4.2.1)

P nm ij

Pikn Pkmj
k0

证明：
P nm ij

P{ X nm

j|
X0
i}
P{Xn k | X0 i}P{Xnm j | Xn k, X0 i}
顾客数构成一个泊松过程。所以，
Pi, j
e t (t )i1 j dG(t ), j 1,
0
(i 1 j)!
i 1
这是因为若一个来客发现有 i 个人在系统中，那么下一个来客将
发现人数为 i+1 减去已服务完毕的人数，易知有 i+1-j 个人被服
务完毕的概率(对相继来到之间的时间取条件)等于上式的右端。

0
0
0 P43

例 4．1(b) G/M/1 排队系统。假设顾客依照一个任意的更新过
程来到一个单服务台的服务中心，来到间隔分布为 G。进一步
假设服务分布是指数分布，参数为。若以 Xn 记第 n 个顾客来
到时见到系统中的顾客数，以 Yn 记第 n 个顾客与第(n+1)个顾客
不可被 d 整除的 n 有 Piin 0，且 d 是具有此性质的最大整数(d 是
{n : Piin 0}的最大公约数)。(若对一切 n>0， Piin 0，则定义 i 的周期是无穷大。)具有周期 1 的状态称为非周期的(aperiodic)。以 d(i)记 i 的周期。
例设马尔可夫链的状态空间I={1,2,,9}，转移概率如下图
P nm ij

随机过程-第四章

例如曾介绍过在射击过程中若以 X(n)表示 n 次射击中击中目标的次数，{X(n)， n=1，2，3… } 是一随机过程，易知它是独立随机过程。
三、分类马氏过程{X(t)，t∈T }按参数 T 和状态空间 E 的情况一般分三类
（1）T离散如例2
E离散的马氏过程，称为马氏链
（2 ）T 连续，E 离散称为马氏过程如：例 1 ，电话…
它表示，已知 n 时刻处于状态 i，经 k 个单位时间后处于（转移到）状态 j 的概率（条件概率）
一般 pij ( n, n k ) 与 n 有关，如果不依赖于 n，则称过程{X(n)，n=0，1，2… }为时齐（齐次）马氏链，即有 pij ( n, n k ) = pij ( k ) ， k≥1 的马氏链是时齐马氏链，
或说：如果过程{ X(t)，t∈T }的 n 维联合分布函数可表示为
Fn ( x1 , x 2 , , x n ; t1 , t 2 , , t n )
n
F ( x k , t k ) ，n=1，2… =k 1
则称{ X(t)，t∈T }为独立随机过程。
证明：设 0≤t1<t2<… tn<t∈T 由条件 X(t1)，X(t2)，…X(tn)相互独立故事件 ( X ( t 1 )
一般规定
1, i j pij (0) ij 0, i j
说明：k 步转移概率，可由一步转移概率矩阵获得，这说明一步转移概率矩阵是马氏过程最基本的，它完全确定了链的状态转移的统计规律。
花粉位置，用平面直角坐标系描述，t 时刻花粉的位置。X(t)( 模标) Y(t)（纵标）t≥0，都是马氏过程。
二、马氏过程。“无后效性”的特点在数学上的定义

第四章随机过程

设状态空间为 S ，一步转移概率为 P ，初始分布为 p i = P( X 0 = i ), i ∈ S 的齐次
Markov 链 {X n , n ≥ 0}，令 Pij( n ) = P ( X n + m = j X m = i ) = P (X n = j X 0 = i ), n ≥ 2 ，表示
证：
5
Pij( n ) = P( X n = j X 0 = i ) = ∑ P(τ ij = l , X n = j X 0 = i )
l =1 n n
= ∑ P(τ ij = l X 0 = i ) P( X n = j τ ij = l , X 0 = i )
l =1 n
= ∑ P(τ ij = l X 0 = i ) P( X n = j X 0 = i, X 1 ≠ j , L X l −1 ≠ j , X l = j )
4.4 常返与瞬过
在事件 {X 0 = i}上引入一个重要的概率 f ij( n ) ，表示从 i 出发在 n 步转移时首次到达 j 的概率。用式子表示即是
f ij( 0) = 0, f ij( n ) = P( X n = j , X k ≠ j , k = 1, L n − 1 X 0 = i ) 。
i =1
(m) 定理 4.3.3 的一个直接推论是：若 Pji > 0 ，存在正整数 N 使得对所有的 ( m + nd ( i )) n > N 恒有 Pji > 0。
定理 4.3.4：设 P 为不可约、非周期、有限状态 Markov 链的一步转移概率矩阵，则存在正整数 N 使得当 n > N 时， n 步转移概率矩阵 P ( n ) 的所有元素都大于 0。

随机过程4-3

pi(0) pii1 (n1 ) pi1i2 (n2 n1 ) pi2i3 (n3 n2 ) pim1im (nm nm 1 )
i
遍历性
lim pij ( n) p j , i , j E
n
(２.15)
如果 { p j , j 1, 2,...} 满足率的极限分布。
第17页
二、柯尔莫哥洛夫向前和向后方程
设 { X (t ), t [0, )} 是状态有限（即具有有限多个状态）的马尔科夫过程，E {0,1, 2,..., N }
定义设状态有限的马尔科夫过程 X(t) 的转移概率函数为 pij (t ) ，若 1, i j （3.10) lim pij (t ) ij t 0 0, i j
个时刻 t1 , t2 ,..., tm (0 t1 t 2 ... tm ) ，任意正数 s 以及任意 i1 , i2 ,..., im , j E ，满足
第4章马尔科夫过程
第11页
P{ X (tm s) j | X (t1 ) i1 , X (t2 ) i2 ,...., X (tm ) im } P{ X (tm s) j | X (tm ) im }
以后我们只讨论时齐马尔科夫过程。
（3.2）
根据条件概率性质。转移概率函数具有下列两条性质：
（有限多个或无限多个） (1) 0 pij ( s) 1, i , j 0,1, 2,...
(2)
p ( s) 1, i 0,1, 2, ...
ij j
第4章马尔科夫过程通常，我们规定
则称 { X (t ), t [0, )}为马尔科夫过程。（3.1）

随机过程-马尔可夫链4.3-4.4

Gr ∩ Gs = ∅ 。
∑ 下面证明对任一 j ∈ Gr , 有 k∈G
p jk = 1
r +1
。
实际上
1 = ∑ p jk =
k∈C
k∈Gr +1
∑
p jk +
k∉Gr +1
∑
p jk =
k∈Gr +1
∑
p jk
r+1
p i(jn d + r ) > 0 , 故当 k ∉ G 最后一个等式是因设
( ( piimd + s + h ) ≥ pijmd + s ) p(jih ) > 0.
由此可见 r+h 及 s+h 都能被 d 除从而其差(r+h)-( s+h)=r-s 也可被 d 尽，从而其差除尽，但 0 ≤ r , s ≤ d − 1 ，故只能 r-s=0，除尽，，因而 Gr = Gs , 这说明当 r ≠ s 时，
试分解此链并指出各状态的常返性及周期性。试分解此链并指出各状态的常返性及周期性。
解
由图 4.8 知
∞ n =1
( ( f113) =1, f11n ) =0,n≠3。所以 ≠ 。
( u1 = ∑ n f11n ) = 3
1
3
1
可见1 可见1为正常返状态且周期等于3 周期等于3。含1的基本常返闭集为
d −1
( nd + r ) ij
> 0}
其次，如存在 j ∈ Gr ∩ Gs ，由上式必存在 n 及 m 使 ( nd + r ) ( md + s ) p (jih ) > 0, 于是 pij > 0, pij > 0, 又因 j ↔ i, 故必存在 h,使使

随机过程-课件-第四章

随机过程-课件-第四章第四章Poion过程4.1齐次Poion过程到达时间间隔与等待时间的分布1、定理4-1强度为的齐次Poion过程{Nt,t0}的到达时间间隔序列某n,n1,2,是独立1同分布的随机变量序列，且是具有相同均值证：事件的指数分布。

即事件某1t等某1t发生当且仅当Poion过程在区间0,t内没有事件发生，价于{Nt0}，所以有P(某tt)P(Nt0)et因此，某1具有均值为1的指数分布，再求已知某1的条件下，某2的分布。

P(某2t|某1)P(在,+t内没有事件发生|某1)（由独立增量性）（由平稳增量性）et上式表明P(在,+t内没有事件发生)P(在0,t内没有事件发生)某2与某1相互独立，而且某2也是一个具有均值为1的指数分布的随机变量，重复同样的推导可以证明定理4-1的结论。

2、定理4-2等待时间Sn服从参数为n，的分布，即分布密度为f(t)et证：(t)n1,t0(n1)!因为第n个事件在时刻t或之前发生当且仅当到时间t已发生的事件数目至少是n，即事件NtnSnt是等价的，因此P(Snt)P(Ntn)ejnt(t)jj!上式两边对t求导得Sn的分布密度为f(t)etjnj1(t)j(t)etj!(j1)!jnet(t),t0(n1)!n1注：定理4-2又给出了定义Poion过程的另一种方法。

从一列均值为1/的独立同分布的指数随机变量序列某n,n1出发，定义第n个事件发生的时刻为Sn，则Sn某1某2某n这样就定义了一个计数过程，且所得计数过程Nt,t0就是参数为的Poion过程。

3、定理4-3条件随机变量(某1证：对|Nt1)U(0,t)，即在区间0,t内为均匀分布。

t,(某1|Nt1)的分布函数为P(某1,Nt1)P(某1|Nt1)P(Nt1)P(在0,内有一个事件发生，在，t内没有事件发生)P(Nt1)P(在0,内有一个事件发生)P(在，t内没有事件发生)P(Nt1)P(N1)P(Nt0)P(N1)ee(t)tett这说明(某14、顺序统计量|Nt1)在0,t上服从均匀分布。

《随机过程答案》第四章习题

第四章二阶矩过程、平稳过程和随机分析习题完整答案，请搜淘宝1、设∑=-=N k k k k n U n X 1)cos(2ασ，其中k σ和k α为正常数，)2,0(~πU U k ，且相互独立，N k ,,2,1 =，试计算},1,0,{ ±=n X n 的均值函数和相关函数，并说明其是否是平稳过程。

2、设有随机过程))(cos()(t t A t X πηω+=，其中0>ω为常数，}0),({≥t t η是泊松过程，A 是与)(t η独立的随机变量，且2/1}1{}1{===-=A P A P 。

（1）试画出此过程的样本函数，并问样本函数是否连续？（2）试求此过程的相关函数，并问该过程是否均方连续？3、设}0),({≥t t X 是一实的零初值正交增量过程，且),(~)(2t N t X σμ。

令1)(2)(-=t X t Y ，0≥t 。

试求过程}0),({≥t t Y 的相关函数),(t s R Y 。

4、设有随机过程)sin(2)(Θ+=t Z t X ，+∞<<∞-t ，其中Z 、Θ是相互独立的随机变量，)1,0(~N Z ，2/1)4/()4/(=-=Θ==ΘππP P 。

问过程)(t X 是否均方可积过程？说明理由。

5、设随机过程t Y t X t 2sin 2cos )(+=ξ，+∞<<∞-t ，其中随机变量X 和Y 独立同分布。

（1）如果)1,0(~U X ，问过程)(t ξ是否平稳过程？说明理由；（2）如果)1,0(~N X ，问过程)(t ξ是否均方可微？说明理由。

6、设随机过程});({+∞<<∞-t t X 是一实正交增量过程，并且0)}({=t X E ，及满足：{}+∞<<∞--=-t s s t s X t X E ,,)]()([2；令：+∞<<∞---=t t X t X t Y ),1()()(，试证明)(t Y 是平稳过程。

刘次华随机过程第四章马尔可夫(Markov)链

p
-1
0
1
i-1
i
i+1
一步转移概率:
pi,i+1 = p pi,i−1 = q = 1− p pii = 0
4.1 马尔可夫链与转移概率
k步转移概率:
i经过k步进入j,向右移了x步,向左移了y步
则
⎧x
⎨ ⎩
x
+ −
y y
= =
k j
−
i
⇒
⎧ ⎪⎪
x
⎨
⎪ ⎪⎩
y
= =
k k
+ −
(j 2 (j 2
定义4.1：若随机过程{Xn，n∈T }，对任意 n∈T和i0, i1, …, in+1 ∈I，条件概率 P{Xn+1=in+1|X0=i0,X1=i1,…,Xn=in} = P{Xn+1=in+1|Xn=in}，则称{Xn，n∈T }为马尔可夫链，简称马氏链。
4.1 马尔可夫链与转移概率
定义4.2：称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn，n∈T }在时刻n的一步转移概率，简称转移概率，其中i,j∈I。 I j
)
=
⎧0 , i ≠ ⎩⎨1 , i =
j j
4.1 马尔可夫链与转移概率
定义4.5：
初始概率绝对概率
p j = P{X 0 = j} pj( n ) = P{ Xn = j }
{ } 初始分布
pj , j∈I
{ } 绝对分布
pj (n) , j ∈ I
初始概率向量
pT (0) = ( p1, p2 , )
− i) − i)

第四章随机过程

（已经编辑到115页2008-3-20）第四章随机过程（电子版：盛艳霞OCR，编辑张学文2007.12 -2008.01）1. 随机过程的概念及其分布律原书91-132页90第四章随机过程为了从统计角度研究气象要素随时间和空间的变化,最好是利用近数十年发展起来的一个统计数学分支----随机过程和随机场理论。

为研究气象信息随时间和空间的分布也要对随机过程有所了解。

针对如上情况我们在这一章对随机过程的有关概念、性质和在气象上的个别应用作简要介绍。

1、随机过程的概念及其分布律孤立的研究各点的气压、温度或风等气象要素时，我们把它看成随机变量（矢量）。

这时可以分析它的期望值、方差、概率分布等等。

然而当把不同时刻的同一点的气压、温度或风连贯起来看时，这就是一连串的随机变量（矢量）。

它们以时间为参数而有所变化。

随机变量随某一参数（这里指时间）的变化给人们以过程的概念。

所以就把随机变量随参数值的变化而变化的过程这一总体称为随机过程。

当掷骰子时，骰子出现的点数是随机变量。

某次“3”点向上，就说这一次随机变量取值为3。

而我们所谓的随机变量远不仅只有一个“3”，而应理解为很多次点子数的集合。

同样地，随机过程一词也是指一个总体集合，而不是仅指某一时段的变量取值。

例如说“春季北京的气温是一个随机过程”，则是指很多很多年的每年春季北京的气温的变化过程这个总体而言的。

如1978年北京春季气温的变程仅是总体中的一个个例。

它在随机过程中的地位和骰子为“3”点在随机变量中原书91-132页91的地位是相当的。

我们把这一条春季气温曲线称为这个随机过程的一个“现实”这样一个随机过程实际上是由无数具有同一的统计属性的现实组成的。

图4.1是乌鲁木齐冬季1月份的四年的气温曲线。

它们就代表了1月气温这个随机过程的四个现实。

而这一随机过程应为无数条这种曲线组成。

如以T示表气温，y代表年代，d 代表日期，则一个随机过程可以表示为T=T(y,d) （4．1）图4.1 乌鲁木齐1月份气温曲线、式中y有固定值时，例如y=1963年，则得到随机过程的一个现实。

随机过程第四章习题解答

第四章习题解答4.1Y1,Y2,···是来自总体Y的随机变量，与X0独立，h(x,y)是实函数.对于n 1，取X n=h(X n−1,Y n).设{X n}的状态空间为I，验证{X n}是马氏链，给出转移概率p ij.解：由题知，Y k与X1,···,X k−1独立,k 1,∀n,i,j,i1,...,i n−1∈I有，P(X n+1=j|X n=i,X n−1=i n−1, (X0)i0)=P(h(i,Y n+1)=j|X n=i,X n−1=i n−1,···,X0=i0)=P(h(i,Y n+1)=j|X n=i)=P(h(i,Y)=j)=P(h(i,Y1)=j|X0=i)=P(X1=j|X0=i).∴X n是马氏链，P ij=P(h(i,Y)=j).4.2设{X i,i 0}是取非负整数值的独立同分布的随机变量序列，V ar(X0)>0.验证以下随机序列是马氏链：(a){X n,n 0};(b){S n,n 0}，其中S n=∑ni=0X i;(c){ξn,n 0}，其中ξn=∑ni=0(1+X i).解：∀n,i,j,i0,···,i n−1∈N+,(a).P(X n+1=j|X n=i,X n−1=i n−1,···,X0=i0)=P(X n+1=j)= P(X n+1=j|X n=i)=P(X1=j)=P(X1=j|X0=i).1第四章离散时间马尔可夫链第四章离散时间马尔可夫链(b).P(S n+1=j|S n=i,S n−1=i n−1,···,X0=i0)=P(X n+1=j−i|X n=i−i n−1,···,X0=i0)=P(X n+1=j−i)=P(X n+1=j−i,S n=i|S n=i)=P(S n+1=j|S n=i)=P(X1=j−i)=P(X1=j−i|X0=i)=P(S1=j|S0=i).(c).P(ξn+1=j|ξn=i,ξn−1=i n−1,···,ξ0=i0)=P(X n+1=ji −1)=P(X n+1=ji−1|ξn=i)=P(ξn+1=j|ξn=i)=P(X1=ji −1)=P(X1=ji−1|X0=i)=P(ξ1=j|ξ0=i).4.3马氏链的状态空间是I=(1,2,3,4,5)，转移概率矩阵P=0.20.80000.50.5000000.50.500.20.3000.500001界定马氏链的状态。

随机过程 第四章4

随机过程习题集-第四章马尔可夫过程

随机过程第四章

随机过程-第四章 更新过程

随机过程 4.4

随机过程4-4

第四章 随机过程中的平稳过程

《随机过程及其在金融领域中的应用》习题四答案

第四章-马尔可夫链-随机过程

随机过程-第四章

第四章随机过程

随机过程4-3

随机过程-马尔可夫链4.3-4.4

随机过程-课件-第四章

《随机过程答案》第四章习题

刘次华随机过程 第四章马尔可夫(Markov)链

第四章 随机过程

随机过程第四章习题解答

随机过程第四章4

随机过程-第四章更新过程

第四章随机过程中的平稳过程

刘次华随机过程第四章马尔可夫(Markov)链

第四章随机过程