随机过程 第5-6讲
107518-概率统计随机过程课件-第五章(第三,四节 )
第三节 常用随机变量的数学期望和方差数学期望和方差的定义及计算公式 (一)离散型随机变量的数学期望和方差}{iiix X P x EX ==∑,}{)()]([iiix X P x g X g E ==∑,}{)(2iiix X P EX x DX =-=∑,222)()(EX EX EX X E DX -=-=,},{),()],([jiijjiy Y x X P y x g Y X g E ===∑∑,(二) 连续型随机变量的数学期望和方差⎰+∞∞-=dx x xf EX )(,⎰+∞∞-=dx x f x g X g E )()()]([,⎰⎰+∞∞-+∞∞-=dxdy y x f y x g Y X g E ),(),()],([, ⎰+∞∞-=dx x xf EX X)(⎰⎰+∞∞-+∞∞-=dxdy y x xf ),(, ⎰+∞∞-=dy y yf EY Y)(⎰⎰+∞∞-+∞∞-=dxdy y x yf ),(222)()(EX EX EX X E DX -=-=,⎰+∞∞--=dx x f EX x DX )()(2,nnnR ndxdx dx x x x f x x x g X X X g E n⋅⋅⋅⋅⋅⋅⋅⋅⋅=⋅⋅⋅⎰21212121),,,(),,,()],,,([ .(三) 数学期望和方差的性质 b EX k b X k E ini iini i+=+∑∑==11)(,若X 与Y 相互独立,则EY EX XY E ⋅=)(,DY b DX a c bY aX D 22)(+=++,若nX X X ,,,21⋅⋅⋅相互独立,则nnEX EX EX X X X E ⋅⋅⋅⋅=⋅⋅⋅2121)(,ini iin i iDX k b X k D ∑∑===+121)( ,例1 设X 服从(0—1)分布:求EX ,DX .解 p p p EX =-⨯+⨯=)1(01,p p p EX =-⨯+⨯=)1(01222, )1()(222p p p p EX EX DX -=-=-=.例2 设X 服从二项分布),(p n B , 即 kn kknp p C k X P --==)1(}{ ,n k ,,1,0⋅⋅⋅= 求EX ,DX .解 (由于直接比较繁杂,采用分解的方法)若nX X X ,,,21⋅⋅⋅相互独立, 同服从(0—1)分布,p X P p X P ii-====1}0{,}1{, n i ,,1⋅⋅⋅=,则 ),(~1p n B X X ni i∑==,p EX i=, )1(p p DX i -=.np p X E X E EX ni in i n i i====∑∑∑===111)(,∑∑====ni in i i DX X D DX 11)()1()1(1p np p p ni -=-=∑= .例 3 设X 服从泊分布)(λ∏，即!}{k e k X P kλλ-== ，⋅⋅⋅=,2,1,0k求EX ,DX .解 ∑∑∞+=∞+=----=⋅=011)!1(!k k k kk ek e k EX λλλλλλλλλ=⋅=-e e ，∑∑∞+=∞+=---=⋅=0122)!1(!k k kkk ke k e k EX λλλλ∑+∞=--+-=1)!1(]1)1[(k kk k e λλ222)!2(λλλ∑∞+=---=k k k e λλλ∑∞+=---+11)!1(k k k eλλλλλλλλ+=⋅+⋅=--22e e e e ， 于是λλλλ=-+=-=2222)()(EX EX DX 。
第6讲随机过程
随机过程的基本概念1．概率论1.1 条件概率设A 、是两个事件，当B ()0>B P 时()()()B P AB P B A P =|称为在事件发生的条件下事件的条件概率。
B A 可以推广到任意有限多个事件的场合。
设n A A A ,,,21L 为任意个事件，则有n ()()()()()12121312121|||−=n n n A A A A P A A A P A A P A P A A A P L L L1.2 事件的独立性对于任意两个事件A 与，若B ()()()B P A P AB P =则称事件A 与是相互独立的。
B 一般地，设个事件n n A A A ,,,21L 相互独立，则有()()()()n n A P A P A P A A A P L L 2121=设n A A A ,,,21L 是样本空间Ω的一个完备事件组，且()0>i A P ()n i ,,2,1L =，则对于在样本空间上定义的任一随机事件的概率，可计算如下ΩB ()()()∑==ni i i A B P A P B P 1|上式称为全概率公式。
设n A A A ,,,21L 是样本空间Ω的一个完备事件组，且()0>i A P ()n i ,,2,1L =，则对于在样本空间上定义的任一随机事件，，有ΩB ()0>B P ()()()()()∑==n k k k i i i A P A B P A P A B P B A P 1|||()n i ,,2,1L =上述公式称为贝叶斯公式。
意义：在实际工作中可能碰到这样一类问题，已知某个试验结果是由多个原因B i A 造成的，如果人们通过试验观察到这个结果，希望利B用来探讨每个原因B i A 导致这个结果的可能性有多大，即求后验概率()B A P i |。
与后验概率()B A P i |相对应，求解()B A P i |时所需的已知条件()i A P 被称为先验概率，它是根据以往数据分析所得的。
随机过程第5-6讲
它的一步转移概率矩阵为： 例 5 设有八个状态 { 0,1, 2, 3, 4, 5, 6, 7 } 的齐次马氏链，
Page 4 of 20
信息学院 2008-2009 随机过程讲稿 侯卫民
0 0 0 0 1/ 4 1/ 2 1/ 4 0 0 0 0 0 1 / 2 1 / 2 0 0 0 0 0 0 1/ 3 2 / 3 0 0 0 0 0 1 0 0 0 0 P= 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1/ 2 1/ 2 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0
试研究其状态关系。 例 2 设有四个状态 { 0,1, 2, 3} 的齐次马氏链，它的一步转移概率矩阵为：
Page 3 of 20
信息学院 2008-2009 随机过程讲稿 侯卫民
0 1/ 2 1/ 2 0 1 / 2 1 / 2 0 0 P= 1/ 4 1/ 4 1/ 4 1/ 4 0 0 0 1
(n)
{
}
为状态 i 的周期，记为 d i ，当 d i = 1 时，称该状态无周期。 定义：称非周期正常返状态为遍历态。 注意：一个不可约的、非周期的、有限状态的马氏链一定是遍历的。
（七）常返、非常返、周期状态的分类特性 设 i ↔ j ，则 i 和 j 或者都是非常返态，或者都是零常返态，或者都是正常
有关的性质： （1） C 是闭集 ⇔ pi j = 0 , ∀ i ∈ C , j ∉ C ⇔ pi j = 0 ( n ≥ 1), ∀ i ∈ C , j ∉ C
(n)
（2） C 是闭集 ⇔
∑p
j∈C
ij
= 1, ∀ i ∈ C
随机过程第六章
T
T
X (t )dt
<x(t)>是随机过程的样本函数按不同时刻取平均，它随样本不同而不同， 是个随机变量。 对于一个确定的样本
X (t ) lim 1 T 2T
T
T
X (t )dt 常数
时间平均
集合平均
20
定义6.10 设{X(t),-∞<t<∞}是均方连续的平稳过程，若
n
lim E[| X n X |2 ] 0
成立，则称{Xn}均方收敛于X，记作
Xn X
m. s
l.i.m X
n
n
X
称二阶矩随机序列{Xn}依分布收敛于二阶矩随机变量X，若{Xn}相应的分 布函数列{Fn(x)}，在X的分布函数F(x)的每一个连续点处，有
n
lim Fn ( x) F ( x)
t
a
X ( ) d
在均方意义下存在，且随机过程{Y(t), t∈T}在区间[a,b]上均方可微，且有 Y’(t)=X(t)。
18
推论：设X (t )均方可微，且X (t )均方连续，则 X (t ) X (a) X (t )dt.
a t
及
X (b) X (a) X (t )dt.
第六章：平稳随机过程
严平稳过程的定义 宽平稳过程的定义 平稳过程的数字特征 平稳过程自相关函数的性质 时间平均和集合平均的概念 平稳过程遍历性定义 遍历性判定定理 遍历性应用举例
1
严平稳过程的定义
设{X(t),t∈T}是随机过程，如果对任意常数τ和正整数n， t1,t2, …,tn∈T，t1+τ,t2+τ, …,tn+τ ∈T， (X(t1),X(t2), …,X(tn))与(X(t1+τ),X(t2+τ), …,X(tn+τ))有 相同的联合分布，则称{X(t),t∈T}为严平稳过程或侠义 平稳过程。
随机过程_课件---第五章
随机过程_课件---第五章第五章离散参数Markov 链5.1 Markov 链的基本概念1、Markov 链和转移概率矩阵定义5-1考虑只取有限个或可数个值的随机过程{},0,1,2,n X n = 。
把过程所取可能值得全体称为它的状态空间，记之为E ，通常假设{}0,1,2,E= 。
若n X i =就说“过程在时刻n 处于状态i ”，假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ij p ，即对任意时刻n1(|)n n ij P X j X i p +===若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有11111001(|,,,,)(|)n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链。
称矩阵00010201011121012j j i i i ij p p p p p p p p P p p p p ??=是一步转移概率矩阵，简称为转移矩阵。
由ij p 的定义可知，这是一种带有平稳转移概率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链。
且具有，0ij p ≥ , 01ij j p ∞==∑2、例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =。
于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率,1,10,jk p k j p q k j =+??==-其他当12p q ==时，称为简单对称随机游动。
例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务。
随机过程课件
1
m X (t1 )][ x2 m X (t 2 )] f ( x1 x2 ; t1 , t 2 )dx1dx 2 f ( x1, x2 ; t1 , t 2 )dx1dx 2
x x
1 2
X(t) 协方差与相关函数的关系为 当 mx (t ) 0 时 C X (t 1 , t 2 ) R X (t 1 , t 2 ) 在协方差定义中取t1=t2=t,就有
为XT 的均值函数或数学期望。其中F(x,t)是过程 的一维分布函数。 若是连续型随机变量，有 mX (t) xf(x,t)dx 其中f(x,t)是一维分布密度。 12
2．随机过程的方差 若 DX (t) 2 (t) E[X(t) mX (t)]2 存在，t∈T， X 称为X（t）的方差。 x (t) Dx (t) 称为X（t）的标准差。 它们描绘过程的样本曲线在各个t时刻对均 值 m X ( t ) 的离散程度， 对每个t1∈T， EX (t1 ) 反映t1状态取值的概率平均。 DX (t1 ) 反映t1状态取值与 EX (t1 ) 离散程度。 在工程中随机过程的均方值具有物理意义，比 较有用。均方值定义为： E[ X 2 (t )] X (t ) DX (t ) E( X 2 (t )) E 2 ( X (t )) 有关系式： 13 Dx (t ) x (t ) [mx (t )]2 即
第一章. 随机过程的基本概念
§1.1 随机过程及其概率分布
在实际问题中，有时需要对随机现象的变化进 行研究，这时就必须考虑无穷个随机变量或一族 随机变量, 我们就称这种随机变量族为随机过程。 例1: 生物群体的增长问题。在描述群体的发展 或演变过程中, 以 Xt 表示在时刻 t 群体的个数, 则 对每一个 t ，Xt 是随机变量。假设我们从 t ＝0 开 始每隔24小时对群体的个数观测一次, 则{Xt , t ＝0, 1, 2, ...}是一个随机过程。 例2: 电话呼唤问题。某电话总机在[0，t]时间 内收到的呼唤次数用 Xt 来表示, 则对于固定的 t ， 1 Xt 是随机变量。于是{Xt , t ∈[0, ∞)}是随机过程。
北大随机过程课件：第3章第5讲更新过程
2．更新过程分析
2.1 计算 N(t)的概率分布
对于更新过程，当给定事件间隔 xn (n ≥ 1) 的概率分布函数 F(t)，或概率密度函数
f(t) 时，计算 N(t)的概率分布。
设 Sn 的分布函数是 Fn (t) ， Fn (t) 是 F (t) 的 n 次卷积；
设{N(t), t>0}是一个计数过程， xn (n ≥ 1) 表示第 n-1 次事件和第 n 次事件的时间间隔，
再设 {x1, x2 ,"} 为非负、独立、同分布的随机变量序列，则称计数过程{N(t), t>0}为更新过
程。 特点：根据事件间隔的特征(独立、同分布)定义； 举例： 假设灯泡的寿命是统计独立、同分布的随机变量，若每次使用一个灯泡，当灯泡损 坏后立刻更换新的，则在时间 t 内损害的灯泡数是一个更新过程{N(t), t>0}，其中 N(t)是在时间 t 内损坏的灯泡数。
0
给定了更新过程强度 λ(t)后，更新过程间隔概率密度函数 f(t)可由上述积分方程求
解。
2.4 更新过程的极限，平均更新时间与更新速率
在有限的时间内更新的次数是有限的、当时间 t 趋于无穷时，更新的次数趋于无穷， 考虑到，
Sn 是第 n 次更新事件发生的时刻，
N(t)是直到时刻 t 发生更新事件的次数，
P{N (t) = n} = Fn (t) − Fn+1 (t) 。
2.2 计算更新过程的期望
∞
m(t) = E{N (t)} = ∑ nP{N (t) = n}
n=1
∞n
∞∞
随机过程课件-c5
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
5 连续时间的马尔可夫链
12
转移速率
5 连续时间的马尔可夫链
13
Q矩阵
若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,…,n}
λ
λ
26
求其平稳分布。
pij(t)极限存在且与i无关，存在平稳分布
5 连续时间的马尔可夫链
27
或者
此Markov链是不可约的
5 连续时间的马尔可夫链
28
5 连续时间的马尔可夫链
29
5.3 生灭过程
5 连续时间的马尔可夫链
30
Q矩阵
I = {0,1,2,3,...}
⎛ − λ0 ⎜ ⎜ μ1 ⎜ Q=⎜ ⎜ ⎜ ⎜ ⎜ ⎝
⎛ − q00 ⎜ ⎜ q10 Q =⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎟ q1n ⎟ ⎟ ⎟ − qnn ⎟ ⎠
Q= P′ (0)
利用Q可以推出任意时间间隔的转移概率所满足的方程组，从 而求解转移概率。
5 连续时间的马尔可夫链
14
微分方程
P′(t)=QP(t) 定理5.5 (科尔莫戈罗夫向前方程) 在适当的正则条件下有
5 连续时间的马尔可夫链
22
渐近性质
5 连续时间的马尔可夫链
23
5 连续时间的马尔可夫链
24
回顾
转移概率： pij(s,t)= P{X(s+t)=j|X(s)=i} P(s+t)=P(s)P(t) 转移速率 Q= P′ (0) 科尔莫戈罗夫微分方程 向后方程：P′(t)=QP(t) 向前方程：P′(t)=P(t)Q
随机过程讲义(中科院-孙应飞)
中科院研究生院 2009～2010 第一学期
随机过程讲稿
孙应飞
cos π t , 当出现 H 时 X (t ) = 2t ， 当出现 T 时
t ∈ (−∞ , + ∞)
其中 P{H } = P{T } = 1 / 2 ，则 { X (t ) , t ∈ ( −∞ , + ∞ )} 是一随机过程。试考察其 样本函数和状态空间。 例 2：设
FX ( x1 , x2 ,L, xn ; t1 , t 2 ,L, t n ) = P{ X (t1 ) ≤ x1 , X (t 2 ) ≤ x2 ,L, X (t n ) ≤ xn }
其全体
中科院研究生院 2009～2010 第一学期
随机过程讲稿
孙应飞
{F
X
( x1 , x2 ,L, xn ; t1 , t 2 ,L, t n ), t1 , t 2 ,L, t n ∈ T , n ≥ 1 }
3． 随机过程的数字特征
（一）单个随机过程的情形
中科院研究生院 2009～2010 第一学期
随机过程讲稿
孙应飞
设 { X (t ); t ∈ T } 是一随机过程，为了刻画它的统计特征，通常要用到随机过 程的数字特征，即随机过程的均值函数、方差函数、协方差函数和相关函数。 下面我们给出它们的定义。 （a） 均值函数：随机过程 { X (t ); t ∈ T } 的均值函数定义为： （假设存在）
2 σX (t ) = D X (t ) = C X (t , t ) = R X (t , t ) − [ µ X (t )]2
例 7：考察上面的例 1， （1）写出 X (t ) 的一维分布列 X (1 / 2), X (1) ； （2） （3） 求该过程的均值函数和相关函数。 写出 X (t ) 的二维分布列 ( X (1 / 2), X (1)) ；
随机过程第五章
∑
∑
的唯一非负解，此时称 是该过程的平稳分布 的唯一非负解，此时称{πj , j∈I}是该过程的平稳分布，并且 ∈ 是该过程的平稳分布， 有
l i m p ij ( t ) = l i m p j ( t ) = π
t→ ∞ t→ ∞
j
2. 若它是零常返的或非常返的，则 若它是零常返的或非常返的 零常返的或非常返
pij (t1 ) > 0, p ji (t2 ) > 0
则称状态i和 是互通的 若所有状态都是互通 都是互通的 则称状态 和j是互通的。若所有状态都是互通的，则 不可约的 称此马尔可夫链为不可约 称此马尔可夫链为不可约的。
14
转移概率p 在 转移概率 ij(t)在t→∞时的性质及其平稳分布 时的性质及其平稳分布
8
定理5.3 定理 是齐次马尔可夫过程的转移概率且满足正则性条件， 设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限 是齐次马尔可夫过程的转移概率且满足正则性条件 存在： 存在： 1. 2.
1 − pii (∆t ) = vi = qii ≤ ∞ ∆t → 0 ∆t p ij ( ∆ t ) lim = q ij < ∞ , i ≠ j ∆t → 0 ∆t lim
例题5.3： 例题 ：机器维修问题 设例题5.2中状态 代表某机器正常工作 状态1代表机器出故障 代表机器出故障。 设例题 中状态0代表某机器正常工作，状态 代表机器出故障。 中状态 代表某机器正常工作， 状态转移概率与例题5.2相同 即在h时间内 相同， 时间内， 状态转移概率与例题 相同，即在 时间内，及其从正常工作变为 出故障的概率为p 时间内， 出故障的概率为 01(h)=λh+o(h)；在h时间内，机器从有故障变为经 ； 时间内 修复后正常工作的概率为p 修复后正常工作的概率为 10(h)=µh+o(h)，试求在 时正常工作的 µ ，试求在t=0时正常工作的 机器， 时为正常工作的概率。 机器，在t=5时为正常工作的概率。 时为正常工作的概率
随机过程 北京理工课件
π
2 2
2
3 2 2
P
π F (x; ) = 4
1 3
0, 1 , 3 2 , 3 1,
1 3
x < 2 2
1 3
∴
2 ≤ x < 2 2 ≤ x < x ≥ 3 2 2 3
2 2 2
X(
π
2
) = A cos π
∴
0, π F ( x, ) = 2 1,
4
随机过程 的有限维分布族
对任意固定的t∈ ， 是一维随机变量, 对任意固定的 ∈T，X(t)是一维随机变量 其分 是一维随机变量 布函数是P{X(t)≤x}, 记为 记为F(x; t), 即 布函数是 F(x; t)= P{X(t)≤x}, 为随机过程X(t)的一维分布函数。 的一维分布函数。 称F(x; t)为随机过程 为随机过程 的一维分布函数 如对任意两个固定t 是二个随 如对任意两个固定 1 , t2∈T , X(t1) , X(t2)是二个随 机变量， 机变量，称 F(x1, x2 ; t1, t2) = P{X(t1)≤x1, X(t2) ≤x2} 为随机过程X(t) 的二维分布函数; 的二维分布函数; 为随机过程 一般地，对任意固定的t 一般地，对任意固定的 1, t2, … , tn∈T。X(t1), 。 个随机变量， X(t2) , … , X(tn)是n个随机变量，称 是 个随机变量 F(x1, …, xn ; t1, …, tn) = P{X(t1)≤x1, …, X(tn)≤xn} 5 为随机过程X(t) 的n 维分布函数 维分布函数. 为随机过程
= 0 取值仅一个0，且知 P ( X ( ) = 0) = 1 取值仅一个0 2 2
随机过程讲义(南开大学内部)
舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮
舮 舮 舮 舮 舮 舮 舮 舮
舭艩舭
第一章 艐良艩艳艳良艮 过程
第一章
Poisson 过程
k
称随机变量 X 服从参数为 λ 的 艐良艩艳艳良艮 分布，若 P (X = k ) = e−λ λ 般 k = 0, 1, . . .舮 k! −λt 称随机变量 X 服从参数为 λ 的指数分布，若 P (X > t) = e 舮 此时，X 的密度 函数为 λe−λt 般 t > 0般 分布函数为 1 − e−λt 般 t > 0舮 指数分布满足无记忆性，即 P (X > t + s) = P (X > t)P (X > s). 引理 1.1 设随机变量 X , Y 独立，f : R × R → R 有界可测。令 g (x) = E [f (x, Y )]. 则 g (X ) 可积，且 E [f (X, Y )] = E [g (X )]. 称 {N (t), t ≥ 0} 为 计 数 过 程 ， 若 N (t) 表 示 在 时 刻 t 之 前 发 生 事件 的 次 数 。 因 此，计数过程 N (t) 满足： 舨艩舩 N (t) ≥ 0舻 舨艩艩舩 N (t) 为整数值； 舨艩艩艩舩 对 0 ≥ s ≤ t般 N (s) ≤ N (t)舻 舨艩艶舩 对 0 ≤ s < t般 N (t) − N (s) 表在区间 (s, t] 发生事件的次数。
第六讲 正态随机过程
2012-8-20
信息科学与工程学院
1
2 概率密度函数
f X ( x1 , x 2 , , x n ; t1 , t 2 , , t n ) (2 ) 1
n 2 1
K
2
( X m X )T K 1 ( X m X exp 2
)
上式中,mX是n维均值向量，K是n维协方差矩阵
x1 x 2 X xn
mX
m X ( t1 ) m X (t2 ) m X (tn )
2012-8-20
信息科学与工程学院
2
K 11 K K 21 K n1
K 12 K 22 K n2
则正态随机过程在n个不同时刻的取值不相关。 (2) 如果Xn(n＝1,2,…,)两两之间互不相关，则
0 K X ( t i , t j ) E [( X i m i )( X j m j )] 2 i
2012-8-20
i j i j
9
信息科学与工程学院
12 所以 K 0
K ij K X ( t i , t j ) E [( X i m i )( X j m j )] rij i
j
rij
K X (ti , t j )
i
j
2012-8-20
信息科学与工程学院
3
3 性质
正态随机过程的n维概率密度函数只取决于均值和 协方差和相关系数。
2
... ...
2
0 2 n
2
则
K
1
1－ 2 0
... ...
随机过程课件chapter6随机过程概念
的有限维分布函数族.
17
2.3 二维随机过程
(1) 互相关函数： RXY s, t
E
［X s Y t ］.
，参数集 T , ，如果对于每个 ，总
有一个普通的时间函数 X , t , t T 与之对应，这样对
于所有的 ，就可得到一族时间 t 的函数，称函数
族 X , t , 是参数为 T 的随机过程，族中每一函
数称为该随机过程的样本函数.
为 T 的普通函数，那么， X , t , t T 是一族样本函数.
把 X , t , , t T 所有可能的取值的全体称为
随机过程的状态空间或相空间.当 t 1 随机过程的概念
几个随机过程的实例.
例 1.1 考虑抛掷一颗骰子的实验，设 X n 是第 n 次抛掷的点
因 A, B 独立,故 E AB E A E B 0 ,则
BUPT
4
3
X t 1, RX s, t st , s, t T .
13
2.2数字特征
例 2.2 设 X t A cos 0t B sin 0t , t R, R是实数集 ,
称为 X t , t T 的有限维分布函数族. X t 的有限维分布函
数族 F 完整地确定了该过程的统计特性.
BUPT
9
2.2数字特征
定 义 2.2 设 X t , t T 为 随 机 过 程 ， 若 对 任 意 的
t T，E[ X 2 t ]＜ ，则称 X t 为二阶矩过程.
论深刻、应用又及其广泛的学科.
BUPT
1
1 .1 随机过程的概念
卢正新《随机过程》第五章 布朗运动与鞅-全
解：B(2) ~ N (0, 2) P{B(2) 0} 0.5，则
PB(t) 0,t 1, 2 PB(1) 0, B(2) 0
PB(1) 0, B(1) B(2) B(1) 0
PB(1) 0, B(2) B(1) B(1)
5
布朗运动定义2：随机过程{B(t)，t≥0}为布朗运动，如果满足： 1）（正态增量）B(t)-B(s)~N(0,t-s) ； 2）（独立增量）B(t)-B(s)独立于过去的状态B(v)，0≤v ≤ s； 3）（轨道连续） {B(t)，t≥0}的轨道是t的连续函数。
注：并未强调B(0)=0，如果B(0)=x，可用B(t)-x进行变换。 定理：设{B(t)，t≥0}是正态过程，轨道连续，B(0)=0，对任意的s， t>0，有EB(t)=0，E[B(s)B(t)]=min(s,t)，则{B(t)，t≥0}为布朗运动， 反之亦然。
2）设Y0=0，{Yn， n≥0}是随机变量序列， E|Yn|<∞， EYn= μn≠0， n≥1， 定义X0=0，则Xn =Y1Y2…Yn/ μ1 μ2… μn是鞅。
n
解：1)E | X n | | Yk | ，n 1, 2 k 1
E X n+1 | Yn Y0 E X n Yn+1 | Yn Y0
6
证： 1）充分性 若B(t),t 0是布朗运动，则其为正态过程。
设0 s t，则：
E B(s)B(t) E B(s)B(t) B(s) B(s) E B(s)B(t) B(s) E B(s)B(s) s
2）必要性，当B(t),t 0为正态过程，且 E B(s)B(t) min(s,t)，则多s,t 0，有 E B(t) B(s) 0; E B(t) B(s)2 EB2(t) EB2(s) 2E B(t)B(s)
《随机过程》课件
泊松过程
定义
泊松过程是一种计数随机过程，其事件的发生是 相互独立的，且具有恒定的平均发生率。
例子
放射性衰变、电话呼叫次数、交通事故等。
应用领域
物理学、工程学、保险学等。
03
随机过程的变换与函数
随机过程的线性变换
线性变换的定义
线性变换是指对随机过程中的每个时间点，将该点的随机变量或随机向量乘以一个常数 或矩阵，并加上另一个常数或矩阵。
应用
微分在随机过程的理论和应用中非常重要，例如在金融 领域中，可以通过计算股票价格的导数来预测股票价格 的变动趋势。
积分的定义
随机过程的积分是指对随机过程中的每个时间点，将该 点的随机变量进行积分。
积分的性质
积分运算可以改变随机过程的统计特性，例如期望、方 差和协方差等。
应用
积分在随机过程的理论和应用中也有重要应用，例如在 信号处理中，可以通过对信号进行积分来提取信号的特 征或进行信号的合成。
连续随机过程
01
定义
连续随机过程是在时间或空间上 连续取值的随机现象的数学模型 。
02
03
例子
应用领域
电子信号、温度波动、随机漫步 等。
物理、工程、金融等。
马尔可夫过程
定义
马尔可夫过程是一种特殊的随机过程，其未来状态只依赖于当前 状态，与过去状态无关。
例子
赌徒输赢的过程、天气变化等。
应用领域
统计学、计算机科学、人工智能等。
将随机信号视为随时间变化的随机变量序列，具有时间和概率的统 计特性。
随机模型
根据实际需求建立信号的随机模型，如高斯过程、马尔可夫过程等 。
信号的滤波与预测
滤波器设计
根据随机模型设计滤波 器，用于提取有用信号 或抑制噪声。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
求此链的闭集。
解：画出状态转移图，此链可约，闭集为： {1, 3, 5} 。
例 4 设马氏链的状态空间为 S = {1,2,3,L} ，转移概率为： p11 = 1/ 2 ， pii+1 = 1/ 2 ， pi1 = 1/ 2, i ∈ S ，研究各状态的分类。
解：画出状态转移图，可知：
∑ f (n) 11
S = D U C1 U C2 U L U Ck 其中：每个 Cn , n = 1,2,L, k 均是由正常返状态组成的有限不可约闭集， D 是非常返态集。
（十一）例子
例 1 设有三个状态{0,1, 2}的齐次马氏链，它的一步转移概率矩阵为：
1/ 2 1/ 2 0 P = 1/ 2 1/ 4 1/ 4
（七）常返、非常返、周期状态的分类特性
设 i ↔ j ，则 i 和 j 或者都是非常返态，或者都是零常返态，或者都是正常
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
返非周期的（遍历），或者都是正常返有周期的且有相同的周期。
非常返态
状态
常返态
零常返态
正常返态
有周期 非周期（遍历态）
PD PD1 PD2 L D
P
=
P1
C1
P2
O
C2 M
其中 P1 , P2 ,L均为随机矩阵，他们对应的链是不可约的。称以上形式的
转移矩阵为标准形式。
（十）有限马氏链的性质
（1） 所有非常返状态组成的集合不可能是闭集； （2） 没有零常返状态； （3） 必有正常返状态； （4） 不可约有限马氏链只有正常返态； （5） 状态空间可以分解为：
（5）所有常返态构成一个闭集； （6）在不可约马氏链中，所有状态具有相同的状态类型；
{ } 定义：对i ∈ S ，若正整数集
n;
n
≥ 1,
p(n) ii
>
0
非空，则定义其最大公约数
为状态 i 的周期，记为 di ，当 di = 1时，称该状态无周期。
定义：称非周期正常返状态为遍历态。
注意：一个不可约的、非周期的、有限状态的马氏链一定是遍历的。
（八）周期状态的判别
（1） 按互通性将状态分类后，在同一类集合中选一个状态判别其周期性即可。
（2）
如有正整数
n
，使得
p(n) ii
>0,
p (n+1) ii
> 0 ，则状态 i 无周期。
（3） 如有正整数 m ，使得 m 步转移概率矩阵 Pm 中相应某状态 j 的那一列元素
全不为零，则状态 j 无周期
型：或者均为零常返；或者均为正常返非周期（遍历）；或者均为正常返
有且有相同的周期；而且对于 i , j ∈Cn , fi j = 1。 （2） （周期链分解定理）一个周期为 d 的不可约马氏链，其状态空间 S 可以
分解为 d 个互不相交的集 J1 , J 2 ,L, J d 之并，即有：
d
S = UJr , Jk I Jl = ∅ , k ≠ l , r =1
称此马氏链不可约，否则称此马氏链可约。
有关的性质：
（1） C 是闭集 ⇔
pi j
= 0 , பைடு நூலகம்i∈C,
j∉C
⇔
p(n) ij
= 0 (n ≥ 1), ∀i ∈C ,
j ∉C ；
（2） C 是闭集 ⇔ ∑ pi j = 1, ∀i ∈C ； j∈C
（3） i 为吸收态 ⇔ pii = 1；
（4）齐次马氏链不可约 ⇔ 任何两个状态均互通；
= 1 n ，故 2
f11
=
∞ 1 n n=1 2
= 1，故状态
1
是常返的。
又 µ1
=
∞
∑
n
n=1
1 n 2
<
∞ ，故状态
1
是正常返的。
易知状态 1 是非周期的，从而状态 1 是遍历的。
对于其它状态，由于1 ↔ i ,i ∈ S ，因此也是遍历的。
例 5 设有八个状态{0,1, 2,3, 4,5,6,7}的齐次马氏链，它的一步转移概率矩阵为：
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
第二章 Markov 过程
4. 马尔可夫链状态的分类
（六）闭集和状态空间的分解
定义：设 C 是状态空间 S 的一个子集，如果从 C 内任何一个状态 i 不能到达 C 外的任何状态，则称 C 是一个闭集。如果单个状态 i 构成的集{i} 是闭集，则 称状态 i 是吸收态。如果闭集 C 中不再含有任何非空闭的真子集，则称 C 是不可 约的。闭集是存在的，因为整个状态空间 S 就是一个闭集，当 S 不可约时，则
（九）分解定理
（1） 齐次马氏链的状态空间 S 可唯一地分解为有限多个或可列多个互不相交 的状态子集 D , C1 , C2 ,L之并，即有 S = D U C1 U C2 U L。 其中：D 是非常返态集，每个 Cn , n = 1,2,L均是由常返状态组成的不可 约集，其中的状态互通，因此 Cn , n = 1,2,L中的状态具有相同的状态类
且
∑ pi j = 1 , i ∈ J r , r = 1,2,L
j∈J r +1
其中约定 J r+1 = J1 。
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
（3） 基于上面的（1），我们将状态空间 S 中的状态依 D , C1 , C2 ,L的次序从
新排列，则转移矩阵具有以下的形式
解：{0,1}正常返，{2} 非常返，{3}吸收态。
例 3 设马氏链的状态空间为 S = {1, 2,3, 4,5} ，一步转移概率为：
1/ 2 0 1/ 2 0 0
0 1/ 4 0 3/ 4 0
P
=
0
0 1/ 3 0 2 / 3
1/ 4 1/ 2 0 1/ 4 0
1/ 3 0 1/ 3 0 1/ 3
0 1/ 3 2 / 3
试研究其状态关系。
例 2 设有四个状态{0,1, 2,3}的齐次马氏链，它的一步转移概率矩阵为：
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
1/ 2 1/ 2 0 0
P
=
1/ 2 1/ 4
0
1/ 2 1/ 4
0
0 1/ 4
0
0 11/ 4
试研究其状态关系。
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
0 1/ 4 1/ 2 1/ 4 0 0 0 0
0 0 0 0 1/ 2 1/ 2 0 0
0
0
0
0 1/3 2/3 0
0
P
=
0 0
0 0
0 0
0 0
0 0
1 0
0 1
0
0
0 0 0 0 0 0 1/ 2 1/ 2