中南大学随机过程第四章
随机过程第四章
pii
(n)
1
i
0
证：(1)如i为零常返则i
，由lim n
pii nd
d
i
0
而当n不能被周期d整除时n 0modd ,
必然有pii
(n)
0，故
lim
n
pii
n
0
反之，若lim n
pii
(n)
0,
而i是正常返，
则由lim n
pii (nd )
d
i
0矛盾.
(2) 如i为遍历，即d 1，由上面定理得
即 Tij minn：X m i, X mn j，n 1
而称：
fij (n) P Tij n
P{X mv j，1 v n 1，X mn j / X m i}，n 1 为自状态i出发，经n步首次到达状态j的概率， 简称首达概率。
注：由齐次马氏链性质知，首达概率与出发时刻
p3
① q1 q2
p1
③ q3 ②
p2
求从状态1出发经n步转移首次到达各个状态的概率。
f12
(n)qq11p3 p3源自q m1 1m p1,
q3
,
n 2m, n 2m 1,
m 1 m0
同理：
f13 (n)
p1q2 p1q2
p m1 1
m q1,
p2
,
n 2m, n 2m 1,
m 1 m0
互通关系的状态是同一类型.
定理：如果i j， 则
(1) i与j同为常返或非常返，如为常返，则它们
同为正常返或零常返；
(2) i与j有相同的周期。
1证：因为i j，故存在正整数k与m，使
pij (m) 0, p ji (k ) 0
随机过程4-4
X (t3 ) X (t2 ), ..., X (tm ) X (tm1 ) 相互独立。
需要指出，这个定义并不要求随机过程的状态空间是离 散的。在本节关于电话交换站的例1中, X(t) 显然是平稳独 立增量过程。
第4章 马尔科夫过程
第5页
定理3 若 { X (t ), t [0, )} 是状态离散的平稳独立增量过程， 则它是时齐马尔科夫过程。 证 往证“无后效性”成立。
P{ X ( t t ) X ( t ) 2} o( t )
(4.3)
这两种定义中的条件 (1) 是相同的，所不同的是条件 (2) .
前者给出增量的具体概率分布，后者给出在小时间间隔 t 内引起增量分布的极限性质。 可以说，前者从宏观上给出增量的概率分布，后者从 微观上给出增量的分布。 泊松过程是独立增量过程，由上节定理3可以判断它是 马尔科夫过程，且 X (0) 0 。
其中 0 .如果从零时刻起算， X 1 理解为第一个“事件” 的发生时刻，X 2 理解为第一个“事件”发生与第二个“事件” 发生的相隔时间， X 3 理解为第二个“事件”发生与第三个 “事件”发生的相隔时间，……。
第4章 马尔科夫过程
第15页
X 一般地， n 理解为第 n-1 个“事件”发生与第 n 个“事件” 发生的相隔时间。见上图。令 Sn X1 X 2 ... X n , n 1, 2, ... 它表示第 n 个 “事件”发生的时刻。在 [0, t] 时间 内发生的事件数记为 X(t) ，即
第1页
内容 回顾
P{ X a x | X a } 1 e
x
P{ X x}
遍历性 lim pij ( t ) p j , i , j E 与 i 无关。 t
随机过程 第4章
2
2 n
lim D( X n ) D( l .i .m X n ) D( X );
n
n
) E( X
2
)
n
5)
若实随机变量 X， X n H , 则
E (e
it l i m X n
n
) E (e ) lim E[e
n
itX
itX n
].
11
4.1 二阶矩过程
lim d X ( t ), X lim X t X 0
t t0
15
4.2 均方连续
注 l .i .m X t X 成立的充分必要条件是
对任意的数列 t k , 若 t k t 0 ( k ), 有
l .i .m X t k X
tk t0
对 s 0 , t 0 T , 有
4.2 均方连续
定理1
i .m X t X t 0 l .i .m X s X s0 , lt. t
s s0
t t0
lim R s, t lim E X s X t E X s0 X t0 R s0 , t0 s s0 s s0
称X(t)在t处均方可微(可导)，称Y为X(t) 在 t 处的均方导数, 记为
dX t dt 或 X ( t ) .
23
4.3 均方导数
若对t∈T, X( t )都均方可微,称 { X ( t ), t T } 为 均方可微过程. 其均方导数过程 { X ( t ), t T } 仍是二阶矩过程. 类似地,可定义 { X ( t ), t T }的均方导数过程
(解答)《随机过程》第四章习题
第四章 二阶矩过程、平稳过程和随机分析 习题解答1、 设∑=-=Nk k k kn U n X 1)cos(2ασ，其中k σ和k α为正常数，)2,0(~πU U k ，且相互独立，N k ,,2,1 =，试计算},1,0,{ ±=n X n 的均值函数和相关函数，并说明其是否是平稳过程。
解：计算均值函数和相关函数如下0)}{cos(2)cos(2}{)(11=-=⎭⎬⎫⎩⎨⎧-==∑∑==Nk k k k N k k k k n X U n E U n E X E n ασασμ∑∑∑∑∑∑======-=--=--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-⋅⎥⎦⎤⎢⎣⎡-=Ni i i N i i i i i i Ni Nj j j i i j i N j j j j N i i i i X m n U m U n E U m U n E U m U n E m n R 12121111)](cos[)}cos(){cos(2)}cos(){cos(2)cos(2)cos(2),(ασαασαασσασασ因此可知，},1,0,{ ±=n X n 是平稳随机过程。
2、 设有随机过程))(cos()(t t A t X πηω+=，其中0>ω为常数，}0),({≥t t η是泊松过程，A 是与)(t η独立的随机变量，且2/1}1{}1{===-=A P A P 。
（1） 试画出此过程的样本函数，并问样本函数是否连续？ （2） 试求此过程的相关函数，并问该过程是否均方连续？ 解：（1）样本函数不连续。
（2）令：012≥>t t ，下面求相关函数：)(221)(212210)(1212211212121211212212122112221122121121212cos cos )]}(cos[)]({cos[21!)]([)]}(cos[)]({cos[)1(21))]}()(()(cos[))]()(()(2)({cos[21))]}()(()(cos[))]()(()({cos[21))}(cos())({cos(}{))}(cos())(cos({)}()({),(t t t t k t t k kX e t t e t t t t e k t t t t t t t t t t t t t t t E t t t t t t t t E t t t t E A E t t t t A E t X t X E t t R ----∞=--⋅=⋅-++=⋅-⋅-++-=-+-+-+++=-+-++++=++⋅=++==∑λλλωωωωλωωηηπωηηππηωηηπωηηπωπηωπηωπηωπηω因为：t t t R ωξ2cos ),(=因此该过程是均方连续的随机过程。
随机过程精品课件 (4)
续EX.3 醉汉问题 酒吧
1 2 3 4 5
家
醉汉在街上徘徊, 在每一个街口以1/3的概 率停下, 以1/3的概率向前或向后. 若他又返回酒吧或到家门, 不再游动 . 状态转移图为
湖南大学
1 1 1/3
1/3 2
1/3 1/3
1/3 3
1/3 1/3
1/3 4
1/3
1 5
分析状态“ 2”的类型很困难 .
1 ]2 [ 1 2 3 2 1, 3 3 1 1 3 湖南大学
1 n 2( ) , 3
n 2,3,
状态3是非常返的.
1 因 , d 3 1, 3 由于 2 3， 3 4，
(1) p3的，且 E={1}∪{5}∪{2, 3, 4}. 关于常返状态有下结论： 定理4.3.6 设i , j∈E, 且i ≠j，则
湖南大学
1）若状态i 和j 互通, i 是常返态,则j 也是 常返态； 2）若状态i 和j 互通, 且 j 是常返态, 则 f ij 1; 3）若状态i 是常返的, 且 i j , 则 j i .
( i j )
四、闭集、状态空间的分解
一步转 移概率
定义4.3.9 设E 是状态空间, C E , 若对
其中H=C(j ).
证明 f kj
1, k H ; 0, k H 且 k N .
f ij P {经有限步到达 j X ( 0) i }
k E
P {经有限步到达 j X (0) i , X (1) k }
P { X (1) k X ( 0 ) i }
湖南大学
定理4.3.8 分解定理 齐次马氏链的状态空间可唯一地分解 成有限个或可列多个不相交的状态子集之 并. E=N∪C1∪C2∪… 其中 1）N是所有非常返态所成之集； 2）每个Cn,（n=1,2,…）均为常返状态 组成的不可约闭集.
随机过程第四讲(部分)
§4.1 随机过程的收敛性随机过程的收敛性是研究随机分析的基础，由于随机过程的不确定性，其收敛性的选择也是多种多样的，本节主要介绍均方收敛，这是因为均方收敛能简化分析、比较实用。
今后，本书分析和研究问题一般都使用均方收敛概念。
定义依均方收敛： 考虑随机变量序列 ，如果存在随机变量 X 满足则称随机变量序列X (n )依均方收敛于随机变量X ，并记为 或 m ·s ——是英文Mean —Square 缩写） 2. 均方收敛的性质（1）如果随机变量序列 依均方收敛于随机变量X ，则有（2）均方收敛是唯一的。
如果 则必有X=Y（3）如果 ，则有 （4）如果 ，a 和b 是任意常数，则有研究随机过程的统计变化规律，在一定条件下，有时我们也可以借助数学分析的工具建立起随机过程的收敛性、连续性、可微性、可积性等概念，进而可对随机过程的变化规律有更清楚的分析了解。
这部分内容属于随机分析，这里我们只作简介。
当然在此基础上，我们还可建立随机微分方程，自从伊藤1961年建立随机微分方程理论以来，随机微分方程发展很快，已渗透到各领域。
§4.2 随机过程的连续性定义：若随机过程X (t )满足 则称随机过程X (t )于t 时刻在均方意义下连续（简称 连续）。
另一方面，由定义知∴有均方连续的充要条件是 RX (s ,t ) 是二元连续函数。
性质 若随机过程X (t )是 连续的，则它的数学期望也必定连续，即： 证 设 是一个随机变量 又∵ 均方连续 {(),0,1,2}X n n = {}2lim ()0n E X n X →∞-=lim ()n X n X→∞=()m s X n X ⋅−−−→{(),0,1,2,}X n n = lim {()}{lim ()}{}n n E X n E X n E X →∞→∞==()()m s m sX n X X n Y ⋅⋅−−−→−−−→和()()m s m sX n X Y n Y ⋅⋅−−−→−−−→和,lim [()()][]n m E X n Y n E XY →∞=lim (()())n aX n bYn aX bY →∞+=+()()m s m sX n X Y n Y⋅⋅−−−→−−−→和2lim [|()()|]0,t E X t t X t ∆→∞+∆-=m s⋅2()()()()()()()()()()E X t t X t E X t t X t t X t t X t X t X t t X t X t ⎡⎤+∆-⎣⎦=⎡+∆+∆-+∆-+∆+⎤⎣⎦(,)(,)(,)(,)X X X X R t t t t R t t t R t t t R t t =+∆+∆-+∆-+∆+20lim ()()t E X t t X t ∆→⎡⎤+∆-⎣⎦[]0lim (,)(,)(,)(,)X X X X t R t t t t R t t t R t t t R t t ∆→=+∆+∆-+∆-+∆+m s⋅0lim [()][()]t E X t t E X t ∆→+∆=()()Y X t t X t =+∆-22[][]{()}D Y E Y E Y =-222[][]{[]}{[]}E Y D Y E Y E Y =+≥22[]{[]}E Y E Y ≥22[|()()|]{[()()]}0E X t t X t E X t t X t +∆-+∆-≥≥()X t 20lim [|()()|]0t E X t t X t ∆→+∆-=由夹挤定理知这表明求极限和求数学期望的次序可以交换，这是一个非常有用的结果，以后经常可用到。
随机过程4-3
pi(0) pii1 (n1 ) pi1i2 (n2 n1 ) pi2i3 (n3 n2 ) pim1im (nm nm 1 )
i
遍历性
lim pij ( n) p j , i , j E
n
(２.15)
如果 { p j , j 1, 2,...} 满足 率的极限分布。
第17页
二、柯尔莫哥洛夫向前和向后方程
设 { X (t ), t [0, )} 是状态有限（即具有有限多个状态） 的马尔科夫过程，E {0,1, 2,..., N }
定义 设状态有限的马尔科夫过程 X(t) 的转移概率函数 为 pij (t ) ，若 1, i j （3.10) lim pij (t ) ij t 0 0, i j
个时刻 t1 , t2 ,..., tm (0 t1 t 2 ... tm ) ，任意正数 s 以及任意 i1 , i2 ,..., im , j E ，满足
第4章 马尔科夫过程
第11页
P{ X (tm s) j | X (t1 ) i1 , X (t2 ) i2 ,...., X (tm ) im } P{ X (tm s) j | X (tm ) im }
以后我们只讨论时齐马尔科夫过程。
（3.2）
根据条件概率性质。转移概率函数具有下列两条性质：
（有限多个或无限多个） (1) 0 pij ( s) 1, i , j 0,1, 2,...
(2)
p ( s) 1, i 0,1, 2, ...
ij j
第4章 马尔科夫过程 通常，我们规定
则称 { X (t ), t [0, )}为马尔科夫过程。 （3.1）
随机过程-马尔可夫链4.3-4.4
∑ 下面证明对任一 j ∈ Gr , 有 k∈G
p jk = 1
r +1
。
实际上
1 = ∑ p jk =
k∈C
k∈Gr +1
∑
p jk +
k∉Gr +1
∑
p jk =
k∈Gr +1
∑
p jk
r+1
p i(jn d + r ) > 0 , 故当 k ∉ G 最后一个等式是因设
( ( piimd + s + h ) ≥ pijmd + s ) p(jih ) > 0.
由此可见 r+h 及 s+h 都能被 d 除 从而其差(r+h)-( s+h)=r-s 也可被 d 尽， 从而其差 除尽，但 0 ≤ r , s ≤ d − 1 ，故只能 r-s=0， 除尽， ， 因 而 Gr = Gs , 这 说 明 当 r ≠ s 时 ，
试分解此链并指出各状态的常返性及周期性。 试分解此链并指出各状态的常返性及周期性。
解
由图 4.8 知
∞ n =1
( ( f113) =1, f11n ) =0,n≠3。所以 ≠ 。
( u1 = ∑ n f11n ) = 3
1
3
1
可见1 可见1为正常返状态且 周期等于3 周期等于3。含1的基本 常返闭集为
d −1
( nd + r ) ij
> 0}
其 次 ， 如 存 在 j ∈ Gr ∩ Gs ， 由 上 式 必 存 在 n 及 m 使 ( nd + r ) ( md + s ) p (jih ) > 0, 于是 pij > 0, pij > 0, 又因 j ↔ i, 故必存在 h,使 使
《随机过程》第4章离散部分习题及参考答案
湖南大学本科课程《随机过程》第4章习题及参考答案主讲教师：何松华 教授30．设X(n)为均值为0、方差为σ2的离散白噪声，通过一个单位脉冲响应为h(n)的线性时不变离散时间线性系统，Y(n)为其输出，试证：2[()()](0)E X n Y n h σ=，2220()Y n h n σσ∞==∑证：根据离散白噪声性质，220()[()()]()0X m R m E X n m X n m m σσδ⎧==+==⎨≠⎩()()()()()m Y n X n h n X n m h m ∞==⊗=-∑220[()()]{()()()][()()]()()()()()(0)m m X m m E X n Y n E X n X n m h m E X n X n m h m R m h m m h m h σδσ∞∞==∞∞===-=-===∑∑∑∑12121222112202121221210000[()]{()()()()][()()]()()[()()]()Y m m m m m m E Y n E X n m h m X n m h m E X n m X n m h m h m m m h m h m σσδ∞∞==∞∞∞∞======--=--=-∑∑∑∑∑∑(对于求和区间内的每个m 1,在m 2的区间内存在唯一的m 2=m 1,使得21()0m m δ-≠)1222110()()()m n h m h m h n σσ∞∞====∑∑(求和变量置换) 31．均值为0、方差为σ2的离散白噪声X(n)通过单位脉冲响应分别为h 1(n)=a n u(n)以及h 2(n)=b n u(n)的级联系统(|a|<1,|b|<1)，输出为W(n)，求σW 2。
解：该级联系统的单位脉冲响应为121211100()()()()()()()1(/)()1/n m m m m mn n n nnn m m n nm m h n h n h n h n m h m a u n m b u m b b a aba b a a u n a b a a b∞∞-=-∞=-∞+++-===⊗=-=---⎛⎫====⎪--⎝⎭∑∑∑∑参照题30的结果可以得到21122222211212000222222222()[()2()()]()2(1)[]()111(1)(1)(1)n n n n n W n n n a b h n a ab b a b a b a ab b ab a b a ab b a b ab σσσσσσ++∞∞∞+++===⎡⎤-===-+⎢⎥--⎣⎦+=-+=-------∑∑∑32．设离散系统的单位脉冲响应为()() (1)n h n na u n a -=>，输入为自相关函数为2()()X X R m m σδ=的白噪声，求系统输出Y(n)的自相关函数和功率谱密度。
(解答)《随机过程》第四章习题
（2）如果 X ~ N (0,1) ，问过程 (t) 是否均方可微？说明理由。
解：计算随机过程 (t) 的相关函数：
R (s,t) E{ (s) (t)} E{( X cos 2s Y sin 2s)(X cos 2t Y sin 2t)} cos 2s cos 2tE{X 2} sin 2s sin 2tE{Y 2} [cos 2s sin 2t sin 2s cos 2t]E{XY}
4、 设有随机过程 X (t) 2Z sin(t ) ， t ，其中 Z 、 是相互独立的随机 变量，Z ~ N (0,1) ，P( / 4) P( / 4) 1/ 2 。问过程 X (t) 是否均方可积
过程？说明理由。
解：由 Z 、 的相互独立性，计算随机过程 X (t) 的均值函数和相关函数： E{X (t)} E{2Z sin(t )} 2E{Z}E{sin(t )} 0
Y (t) 2X (t) 1， t 0 。试求过程{Y (t), t 0} 的相关函数 RY (s,t) 。
解：由相关函数的定义，有：
RY (s,t) E{Y (s)Y (t)} E{(2X (s) 1)(2X (t) 1)} 4E{X (s) X (t)} 2E{X (s)} 2E{X (t)} 1 4E{X (s) X (t)} 4 1
0
T 2 T T E{X (s) X (u)}dsdu m2 00
T 2
T 0
T 0
R
X
(
s
u
)dsdu
m
2
T 2
T 0
T 0
[C
《随机过程答案》第四章习题
第四章 二阶矩过程、平稳过程和随机分析 习题完整答案，请搜淘宝1、 设∑=-=N k k k k n U n X 1)cos(2ασ，其中k σ和k α为正常数，)2,0(~πU U k ，且相互独立，N k ,,2,1 =，试计算},1,0,{ ±=n X n 的均值函数和相关函数，并说明其是否是平稳过程。
2、 设有随机过程))(cos()(t t A t X πηω+=，其中0>ω为常数，}0),({≥t t η是泊松过程，A 是与)(t η独立的随机变量，且2/1}1{}1{===-=A P A P 。
（1） 试画出此过程的样本函数，并问样本函数是否连续？（2） 试求此过程的相关函数，并问该过程是否均方连续？3、 设}0),({≥t t X 是一实的零初值正交增量过程，且),(~)(2t N t X σμ。
令1)(2)(-=t X t Y ，0≥t 。
试求过程}0),({≥t t Y 的相关函数),(t s R Y 。
4、 设有随机过程)sin(2)(Θ+=t Z t X ，+∞<<∞-t ，其中Z 、Θ是相互独立的随机变量，)1,0(~N Z ，2/1)4/()4/(=-=Θ==ΘππP P 。
问过程)(t X 是否均方可积过程？说明理由。
5、 设随机过程t Y t X t 2sin 2cos )(+=ξ，+∞<<∞-t ，其中随机变量X 和Y 独立同分布。
（1） 如果)1,0(~U X ，问过程)(t ξ是否平稳过程？说明理由；（2） 如果)1,0(~N X ，问过程)(t ξ是否均方可微？说明理由。
6、 设随机过程});({+∞<<∞-t t X 是一实正交增量过程，并且0)}({=t X E ，及满足：{}+∞<<∞--=-t s s t s X t X E ,,)]()([2；令：+∞<<∞---=t t X t X t Y ),1()()(，试证明)(t Y 是平稳过程。
第四章随机过程
（已经编辑到115页2008-3-20）第四章随机过程（电子版：盛艳霞OCR，编辑张学文2007.12 -2008.01）1. 随机过程的概念及其分布律原书91-132页90第四章随机过程为了从统计角度研究气象要素随时间和空间的变化,最好是利用近数十年发展起来的一个统计数学分支----随机过程和随机场理论。
为研究气象信息随时间和空间的分布也要对随机过程有所了解。
针对如上情况我们在这一章对随机过程的有关概念、性质和在气象上的个别应用作简要介绍。
1、随机过程的概念及其分布律孤立的研究各点的气压、温度或风等气象要素时，我们把它看成随机变量（矢量）。
这时可以分析它的期望值、方差、概率分布等等。
然而当把不同时刻的同一点的气压、温度或风连贯起来看时，这就是一连串的随机变量（矢量）。
它们以时间为参数而有所变化。
随机变量随某一参数（这里指时间）的变化给人们以过程的概念。
所以就把随机变量随参数值的变化而变化的过程这一总体称为随机过程。
当掷骰子时，骰子出现的点数是随机变量。
某次“3”点向上，就说这一次随机变量取值为3。
而我们所谓的随机变量远不仅只有一个“3”，而应理解为很多次点子数的集合。
同样地，随机过程一词也是指一个总体集合，而不是仅指某一时段的变量取值。
例如说“春季北京的气温是一个随机过程”，则是指很多很多年的每年春季北京的气温的变化过程这个总体而言的。
如1978年北京春季气温的变程仅是总体中的一个个例。
它在随机过程中的地位和骰子为“3”点在随机变量中原书91-132页91的地位是相当的。
我们把这一条春季气温曲线称为这个随机过程的一个“现实”这样一个随机过程实际上是由无数具有同一的统计属性的现实组成的。
图4.1是乌鲁木齐冬季1月份的四年的气温曲线。
它们就代表了1月气温这个随机过程的四个现实。
而这一随机过程应为无数条这种曲线组成。
如以T示表气温，y代表年代，d 代表日期，则一个随机过程可以表示为T=T(y,d) （4．1）图4.1 乌鲁木齐1月份气温曲线、式中y有固定值时，例如y=1963年，则得到随机过程的一个现实。
中南大学概率论习题第四章答案 (2)
（
ε M −1 ≤ 1)，使有P( ξ > ) < δ 成立，对取定的 M，存在 N，当 n>N 时有 M 2 ε P( ξ n − ξ ≥ 1) ≤ P( ξ n − ξ ≥ ) < δ M
PDF 文件使用 "pdfFactory Pro" 试用版本创建
P g m (ξ ) − g m (ξ n ) ≥ 成立，又
}
(
)
(
ε <δ 3
+ P{( f (ξ ) − f (ξ n ) ≥ ε ) [(ξ ≤ M ) (ξ n ≤ M + 1)]} = I1 + I 2 ,
P( f (ξ ) − f (ξ n ) ) ≥ ε ) = P{( f (ξ ) − f (ξ n ) ≥ ε ) [(ξ > M ) (ξ n > M + 1)]}
k < x1 < x2 < k + 1 ，总能够找到 x3 , x 4 ，使有 k < x3 < x1 < x 2 < x 4 < k + 1 ，且 x3 , x 4 是
F(x)的连续点。这时 lim Fn(x i )=F(x i )（i=3,4）成立，已知 Fn ( x) 仅在非负整数点上有跳跃，
F ( xi +1 ) − F ( xi ) < ε，0 ≤ i<k+1
这时存在 N，使得当 n>N 时有
(1)
Fn ( xi ) − F ( xi ) < ε，0 ≤ i ≤ k+1
（2）
成立，对任意的 x∈ ( − ∞, ∞ )，必存在某个 i（0 ≤ i ≤ k）,使得 x ∈ ( xi , xi +1 ] ,由(2)知当 n>N 时有
随机过程第四章习题解答
第四章习题解答4.1Y1,Y2,···是来自总体Y的随机变量，与X0独立，h(x,y)是实函数.对于n 1，取X n=h(X n−1,Y n).设{X n}的状态空间为I，验证{X n}是马氏链，给出转移概率p ij.解：由题知，Y k与X1,···,X k−1独立,k 1,∀n,i,j,i1,...,i n−1∈I有，P(X n+1=j|X n=i,X n−1=i n−1, (X0)i0)=P(h(i,Y n+1)=j|X n=i,X n−1=i n−1,···,X0=i0)=P(h(i,Y n+1)=j|X n=i)=P(h(i,Y)=j)=P(h(i,Y1)=j|X0=i)=P(X1=j|X0=i).∴X n是马氏链，P ij=P(h(i,Y)=j).4.2设{X i,i 0}是取非负整数值的独立同分布的随机变量序列，V ar(X0)>0.验证以下随机序列是马氏链：(a){X n,n 0};(b){S n,n 0}，其中S n=∑ni=0X i;(c){ξn,n 0}，其中ξn=∑ni=0(1+X i).解：∀n,i,j,i0,···,i n−1∈N+,(a).P(X n+1=j|X n=i,X n−1=i n−1,···,X0=i0)=P(X n+1=j)= P(X n+1=j|X n=i)=P(X1=j)=P(X1=j|X0=i).1第四章离散时间马尔可夫链第四章离散时间马尔可夫链(b).P(S n+1=j|S n=i,S n−1=i n−1,···,X0=i0)=P(X n+1=j−i|X n=i−i n−1,···,X0=i0)=P(X n+1=j−i)=P(X n+1=j−i,S n=i|S n=i)=P(S n+1=j|S n=i)=P(X1=j−i)=P(X1=j−i|X0=i)=P(S1=j|S0=i).(c).P(ξn+1=j|ξn=i,ξn−1=i n−1,···,ξ0=i0)=P(X n+1=ji −1)=P(X n+1=ji−1|ξn=i)=P(ξn+1=j|ξn=i)=P(X1=ji −1)=P(X1=ji−1|X0=i)=P(ξ1=j|ξ0=i).4.3马氏链的状态空间是I=(1,2,3,4,5)，转移概率矩阵P=0.20.80000.50.5000000.50.500.20.3000.500001界定马氏链的状态。
随机过程第4章
第四章 Poisson 过程一. 齐次Poisson 过程到达时间间隔 和等待时间的分布 1.定理4-1强度为λ的齐次Poisson 过程{,0}t N t ≥的到达时间间隔序列{},1,2,n X n = 是独立同分布的随机变量序列，且是具有相同均值1λ的指数分布证： 事件{}1X t >发生当且仅当Poisson 过程在区间[]0,t 内没有事件发生，即事件{}1X t >等价于{0}t N =，所以有()(0)tt t P X t P N eλ->===因此，1X 具有均值为1λ的指数分布，再求已知1X 的条件下，2X 的分布。
(](](]211(|)(|)((0tP X t X s P X s P P eλ->====在s,s+t 内没有事件发生（由独立增量性）在s,s+t 内没有事件发生)（由平稳增量性）在,t 内没有事件发生)上式表明2X 与1X 相互独立，而且2X 也是一个具有均值为1λ的指数分布的随机变量，重复同样的推导可以证明定理4-1的结论。
2.定理4-2等待时间nS 服从参数为n ，λ的Γ分布，即分布密度为1()(),0(1)!n tt f t et n λλλ--=≥-证： 因为第n 个事件在时刻t 或之前发生当且仅当到时间t 已发生的事件数目至少是n ，即事件{}{}tn N n S t ≥⇔≤是等价的，因此()()()!jtn t j nt P S t P N n ej λλ∞-=≤=≥=∑上式两边对t 求导得nS 的分布密度为11()()()!(1)!(),0(1)!j j ttj n j nn tt t f t eej j t et n λλλλλλλλλ-∞∞--==--=-+-=≥-∑∑注：定理4-2又给出了定义Poisson 过程的另一种方法。
从一列均值为1/λ的独立同分布的指数随机变量序 列{},1nX n ≥出发，定义 12n nS X X X =+++ 为“第n 个事件发生的时刻”，则nS 就决定了一个计数过程，且所得计数过程{},0tN t ≥是参数为λ的Poisson 过程证明：注意，这里事先并没有给予nX 实际的意义，仅仅是一列均值为1/λ的独立同分布的指数随机变量序列；而由1--=n n n S S X 知道，nX 可以被称为相邻发生的两个事件的时间间隔。
随机过程第四章
1.定义：设有随机过程{},n X n T ∈若对任意的整数n T ∈和任意的121,,...,n i i i I +∈,条件概率满足()()111111,...,n n n n n n n n p x i x i x i p x i x i ++++======则称其为马尔科夫链。
2.马尔科夫链的统计特性完全有条件概率()11n n n n p x i x i ++==决定。
3.一步转移概率称条件概率()()1p x j x i n ij n n p ==+=为马尔科夫链{},n X n T ∈在时刻n 的一步转移概率。
,i j I ∈,若()ij p n 与n 无关，则称马尔科夫链为齐次的。
();0;1;,ij ij ij ij j Ip n p p p j i I ∈=>==∈∑4.n 步转移概率称()()n p x j x i m m n ijp ==+=,i j I ∈0,1m n >=>=为马尔科夫链{},n X n T ∈的n步转移概率。
()()0;1;,n n ijijj Ip p j i I ∈>==∈∑5.n 步转移矩阵。
()()()n n ij P p =；()()()1011;0;;;ij ij ij i p p P P j p i j=⎧=⎨≠==⎩6.()n p ij具有如下性质：设{},n X n T ∈为马尔科夫链，则对任意整数n>=0,1=<l<n ；,i j I ∈()()()11112........n n i k Ik Il n l n p p p p p pijikkjik k k I k k j--∈∈-=∑∈=∑∑； ()()1n n n PP PP-==7初始概率：()0i p p X i == 8.初始概率向量：()()120,....TPp p =9.初始分布：{},i p i I ∈10绝对概率：()()j n p n p X j == 11绝对概率向量：()()()()12,....TPn p n p n =12绝对分布：(){},j p n j I∈13性质如下：()()()()10;nT T T P n P n P P P =-=()()()1;n j i ijiiji Ii Ip n p p p n p ∈∈==-∑∑14马氏链的有限维分布：设{},n X n T ∈为马氏链，则对任意的12,,...,;1n i i i I n ∈≤有{}11....11,....,n n i Ip p p i ii i i n n p X i X i ∈-===∑完全有初始概率和一步转移概率决定。
随机过程Ch4_1
= ∑ P{ X 0 = i}P{ X 1 = i1 | X 0 = i}
i ∈I
⋅ P{ X 2 = i2 | X 1 = i1}⋯ P{ X n = in | X n −1 = in−1} = ∑ pi pii1 pi1i2 ⋯ pin−1in
i ∈I
4.1
马尔可夫链与转移概率
例4.1 无限制随机游动
i∈I
= ∑ pi (n − 1) pij
i∈I
(3)(4)为(1)(2)的矩阵表示。 为 的矩阵表示。 的矩阵表示
4.1
马尔可夫链与转移概率
定理4.3 设{Xn，n∈T }为马尔可夫链，则 马尔可夫链， 定理 ∈ 对任意 i1, i2,…,in∈I 和 n≥1 ，有性质 … ≥ P{ X 1 = i1 ,⋯ , X n = in } = ∑ pi pii1 pi1i2 ⋯ pin−1in
4.1 马尔可夫链与转移概率
定义 初始概率 绝对概率 初始分布 绝对分布 初始概率向量 绝对概率向量
p j = P{ X 0 = j}
p j (n) = P{ X n = j}
{p , j ∈ I } {p (n) , j ∈ I }
j
j
p (0) = ( p1 , p2 , ⋯) T p (n) = ( p1 (n), p2 (n),⋯)
4.1 马尔可夫链与转移概率
若对任意的i, ∈ ， 定义 若对任意的 ,j∈I，马尔可夫链 无关， {Xn,n∈T }的转移概率 ij(n)与n无关， ∈ 的转移概率p 与 无关 则称马尔可夫链是齐次的 并记p 马尔可夫链是齐次的， 则称马尔可夫链是齐次的，并记 ij(n) 为pij。 齐次马尔可夫链具有平稳转移概率， 齐次马尔可夫链具有平稳转移概率， 状态空间I={1, 2, 3, …}，一步转移概率 状态空间 ，一步转移概率 为
北大随机过程课件：第 4 章 第 2 讲 随机分析
2
即，
E ξn
同理可得，
{ }− E{ξ } ≤ E{ξ
2 2 2 2 n
n
−ξ
2
}
{ }− E{ξ } ≤ E{ξ − ξ } 当 n → ∞ ， limE { ξ − ξ } = 0 ，则有
Eξ
2 n
2 n
lim E ξ n
n →∞
⎧ ⎨ l.i. m ξ { } = lim E { ξ } = E ⎩
2 2 n →∞ n →∞
2 n
⎫ ⎬ ⎭
1.3 定理 2：线性变换的均方极限
设二阶矩随机序列 {ξ n } , n = 1, 2,3," 、 {η n } , n = 1, 2,3," 和随机变量 ξ 、 η ，
E ξn
n →∞
{ }< ∞ 、 E{η }< ∞ 、 E{ξ }< ∞ 、 E{η }< ∞ ， l.i. m ξ = ξ 、
即
{
}
}
l.i.m ξ (t 0 + h) = ξ (t 0 )
h →0
又设 ξ (t ) 在 t =t 0 ∈ T 上均方连续，则，
R(t0 + h, t0 + k ) − R(t0 , t0 )
= E ξ (t0 + h)ξ (t0 + k ) − ξ (t0 )ξ (t0 )
0
{ = E{ ξ (t {
设{ ξ
n
} n = 1,2,3," 是随机序列，且 E {ξ n
n→∞ m →∞ m
2
}< ∞ ，则 {ξ
n
} 均方收敛于 ξ 的充要
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
从而
1 0 0
W(t1 W(t 2
W(tn
) )
)
1 1 1
1 1 1
0 1 1
1
0 X1
0 X2
0
X3
KX
,
1
Xn
1 0 0 0 1 1 0 0
其中K 1 1 1 0,
1 1 1
1
1
2020/5/29
胡朝明
X1
X2
X
二维概率密度函数
f (s, t;x, y)
1
e
2
1 2s(
t
s
)
(
tx2
2sxy
sy
2
)
2 2 s(t s)
二维特征函数
2 (su2 2suv tv2 )
(s,t;u5/29
胡朝明
26－18
维纳过程的n维概率分布
均值函数向量
O 0,0, ,0T
n阶协方差矩阵
n维概率密度函数 f(x) f (t1,t2, ,tn;x1, x2, , xn )
1
n
1 ( x )T C1 ( x )
e2
,
1
(2)2 C 2
x1
x
x2 xn
n维特征函数 (u) (t1,t2, ,tn;u1,u2, ,un )
2020/5/29
1T
T
u Cuiu u
e 2
,
2t1
C
2t1
2t1
2t1 2t2
2t2
2t1
2t2
2tn
n维概率分布 0 t1 t2 tn
(W(t1 ), W(t2 ), , W(tn ))T ~ NO,C
2020/5/29
胡朝明
26－19
维纳过程的n维概率分布
n维概率密度函数 f(x) f (t1,t2, ,tn;x1, x2, , xn )
随机过程与排队论
数学科学与计算技术学院 胡朝明
Email：math_hu2000@ 2020年5月29日星期五
上一讲内容回顾
➢ 随机过程的基本概念
• 随机过程的定义 • 随机过程的分布 • 随机过程的数字特征
➢ 重要随机过程
• 独立过程
• 独立增量过程
2020/5/29
胡朝明
26－2
1 1(x)T C1 (x) 2 e , 1
2 C 2
x yx
二维特征函数
1
T
u Cu
i
T
u
u
u
(u) (s, t;u, v) e 2
, u v
2020/5/29
胡朝明
26－6
正态过程的n维概率分布
均值函数向量 m(t1 ), m(t2 ), ,m(tn )T
n阶协方差矩阵
C(t1 , t1 ) C(t1 , t2 )
26－11
例(续3)
二维概率分布 (X(s),X(t))T~N(O,C)
其中 均值
O＝(0,0)T
协方差阵
C
1 1
s2 st
二维概率密度函数
1 1
st t2
f (s, t;x, y)
1
e
2(
t
1
s
)2
[(1
t
2
)
x2
2(1
st
)
xy
(1s2
)
y
2
]
2 t s
二维特征函数
1[(1s2 )u2 1(1st )uv (1t2 )v2
X(tn
)
1 1
ttn2
X0 V
K,
其 中K
1 1
ttn2 ,
X0 V
2020/5/29
胡朝明
26－9
例(续1)
因
X0 V
~
N
00,
1 0
10
从而
X ~ N 00,
K
1 0
0 1
K
T
故{X(t),tT}为正态过程。
均值函数 m(t)＝E[X(t)]＝0；
协方差函数
C(s,t)＝1+st；
2020/5/29
胡朝明
26－15
维纳过程的定义
如果随机过程{W(t),t≥0}满足下列条件： (1) W(0)＝0； (2) E[W(t)]＝0； (3) 具有平稳独立增量； (4) t>0，W(t)~N(0,σ2t)，(σ>0)
则称随机过程{W(t),t≥0}是参数为σ2的维纳过
程(或布朗运动)。
(t,u) e 2
, t T,u R
2020/5/29
胡朝明
26－5
正态过程的二维概率分布
均值函数向量 m(s) m(t)T
二阶协方差矩阵
C
D(s) C(s, t)
C(s, t) D(t)
二维概率分布 (X(s), X(t))T ~ N(,C)
二维概率密度函数
f (x) f (s, t;x, y)
1
t2t
1
1
t
2 2
1
t2t
n
1 tnt1 1 tnt2 1 tn2
2020/5/29
胡朝明
26－13
例(续5)
n维概率密度函数 f(x) f (t1,t2, ,tn;x1, x2, , xn )
1
n
1
x
T
C
1
x
e2 ,
1
(2)2 C 2
x1
x
x2 xn
n维特征函数 (u) (t1,t2, ,tn;u1,u2, ,un )
X
3
Xn
26－22
维纳过程的性质
因此
X～N(O, CX)
2t1 CX
2(t2 t1)
2 (tn tn1 )
故
W(t1 )
W(t2
W(tn
) )
~
N(O,
KC
XK T
)
2020/5/29
胡朝明
26－23
维纳过程的性质
2t1 2t1 2t1
CW
(s, t;u, v) e 2
2020/5/29
胡朝明
26－12
例(续4)
X(t1 )
1 t1
n 维 概
X
X(t 2
X(t n
) )
~
N
O,
K
1 0
0 1
K
T
,
K
1 1
t2 tn
率
1 t1
分 布
C
K
1 0
0 1
K
T
1 1
ttn2
1 t1
1 t2
1 tn
1 t12 1 t1t2 1 t1tn
布朗运动是应用概率论中最有用的随机过程之
一，已大量地在概率统计分析股票价格水平、通
信理论、生物学、管理科学等领域得到广泛应用.
2020/5/29
胡朝明
26－16
维纳过程的概率分布及数字特征
一维概率密度函数
f(t, x)
1
e ,
x2 22t
2t
一维特征函数
t 0, x R
1 2tu2
(t,u) e 2 ,
t 0,u R
增量分布 W(t) W(s) ~ N(0, 2 t s )
协方差函数
2020/5/29
C(s, t) 2 min( s, t)
胡朝明
26－17
维纳过程的二维概率分布
均值函数向量
O 0 0T
二阶协方差矩阵
C
2s 2s
2s 2t
,
ts
二维概率分布 (W(s), W(t))T ~ N(O,C), t s
➢ 更新计数过程
2020/5/29
胡朝明
26－26
2020/5/29
胡朝明
26－3
正态过程的定义
给定随机过程{X(t),tT}，如果对任意正整数 n及t1,t2,…,tnT，n维随机变量(t1),X(t2),…,X(tn)) 的联合概率分布为n维正态分布，则称随机过程 {X(t),tT}为正态过程(或高斯过程)。
设{X(t),tT}为正态过程，则其有限维概率分 布都是正态分布。
证明 2. 设 {W(t),t≥0}是参数为σ2的维纳过程， 0<t1<t2<…<tn。
Xk＝W(tk)－W(tk-1)～N(0, σ2(tk-tk-1))， t0＝0，k=1,2,…,n
相互独立。
W(tk)＝X1+ X2+…+ Xk，k=1,2,…,k
2020/5/29
胡朝明
26－21
维纳过程的性质
胡朝明
u1
u
u2 un
26－8
例
给定随机过程{X(t),tT}， X(t)＝X0+Vt, 0≤t＜+∞
其中X0和V是相互独立的标准正态N(0,1)随机变量。 证明{X(t),tT}为正态过程，并写出一、二、n维 概率密度和特征函数。
解设
X(t1 ) 1 t1
1 t1
X
X(t2 )
KCXK T
2t1
2t2
2t2
2t1 2t2 2tn
得证{W(t),t≥0}是正态过程。
2020/5/29
胡朝明
26－24
本讲主要内容
➢ 正态过程 ➢ 维纳过程
2020/5/29
胡朝明