电子科大随机过程总结 第1章 随机过程
(完整版)随机过程知识点汇总
第一章随机过程 的基本概念与基本类型 一．随机变量及其分布X ，分布函数 F (x) P(X x) 1．随机变量 离散型随机变量 X 的概率分布用分布列 p P(X x k ) F(x)p kf (t)dt分布函数kxX 的概率分布用概率密度 f (x)F(x)分布函数连续型随机变量 2．n 维随机变量 X (X ,X , , X ) 1 2 n F(x) F(x ,x , ,x ) P(X x , X 2 x , , X n x n ,)其联合分布函数 1 2 n 1 1 2 离散型联合分布列连续型联合概率密度３．随机变量 的数字特征 数学期望：离散型随机变量 XEX x p kkXEX xf (x)dx连续型随机变量2DX E(X EX) 2 EX (EX) 2方差：反映随机变量取值 的离散程度协方差（两个随机变量 X ,Y ）：B E[( X EX)(Y EY)] E(XY) EX EYXYB XY相关系数（两个随机变量X,Y ）：0，则称 X ,Y 不相关。
若XYDX DY独立不相关itXg(t) E(e )itxe p k 连续 g(t)ke itxf (x)dx４．特征函数离散 g(t) 重要性质： g(0) 1，g(t) 1 g( t) g(t)，， g (0) i EX kk k５．常见随机变量 的分布列或概率密度、期望、方差 ０－１分布 二项分布P( X 1) p,P( X 0) qEX pDX pqP(X k) C p q n kk kEX npDX n p qnk泊松分布P( X k) ek!EXDX均匀分布略( x a)21 2N(a, ) f (x)222EX a正态分布eDX2xe ,x 0 0, x 011指数分布f (x)EXDX2X (X ,X , ,X ) 的联合概率密度 X ~ N(a, B) ６．Ｎ维正态随机变量1 2 n11 2T 1(x a) B (x a)}f (x , x , , x n ) exp{ 11 2n 2(2 ) | B |2a (a ,a , ,a )， x (x , x , ,x )， B (b ) 正定协方差阵 1 2 n 1 2 n ij n n二．随机过程 的基本概念 １．随机过程 的一般定义设 ( , P)是概率空间， T 是给定 的参数集，若对每个 t T ，都有一个随机变量 X 与之对应， X(t,e),t T ( , 是P)上 的随机过程。
电子科技大学随机过程第一章概要
上的二 T Ω
1)当固定 t T , X t (ω ) 在（Ω, F, P）上的随机变量；
结果), 数.
是一个定义
Ω 2) 定义1.1.2 当固定 ω0 (对于特定的试验
是一个定义在 T 上的普通函数(自变 x t (ω 0 ) 的一个样本函 { X t ( ), t T } 量为t).称为随机过程
当T={(x, y):a<x<b, c<y<d),}
时间序列 随机过程
{ X t (ω), t T }
平面随机场
随机过程是n 维随机变量，随机变量序列的 一般化,是随机变量X t , t 的集合 . T 用E表示随机过程 X t , t 的值域 T ,称为过程的状 态空间.
电子科技大学
90 80 70 60 50 40 30 20 10 0 -10 -40
此例中样本 函数是什么？ 粒子运动轨迹
电子科技大学
80 100 120
-20
0
20
40
60
样本函数的几个例子
18.11.7
Ex.1.1.2 Xt(ω) = αcos(βt+Θ), Θ~U(0, 2π)
θ 1 =5.4938 θ 2 = 1.9164 θ 3 = 2.6099
18.11.7
称事件“X t x ”为在时刻 t 时随机过程 X t 处于状态x 按状态空间和参数集的不同情况, 可将随机 过程分为四类, 列入下表 随机过程
状态空 间E
参数集 T
离 散 连 续
离 散
非离 散
（离散参数）链 （连续参数）链
随机序列
电子科技大学
随机过程
18.11.7
Ex.1.1.1 质点布朗运动 设质点在直线上 随机游动, 经随机碰撞后各以1/2的概率向左 或向右移动.
随机过程知识点总结
∈
且
∑ = 1
∈
矩阵表示
= ()
3、 各状态平均返回时间
=
1
第五章 连续时间马尔可夫链
1、 转移概率 (, ) = {( + ) = |() = }
齐次转移概率 (, ) = ()
2、 转移速率
()
() = ∑ , ≥ 0
=1
[()] = [1 ]；[()] =
[12]
第四章 马尔可夫链
4.1 马尔可夫链概念与状态转移概率
1、
2、
马尔可夫过程：未来状态只与当前状态有关，而与过去状态无关。
时间、状态都是离散的，称为马尔可夫链。
马尔可夫链的统计特性完全由条件概率{+1 = +1 | = }确定。
随机矩阵：各元素非负且各行元素之和为 1；
步转移矩阵是随机矩阵；
闭集 C 上所有状态构成的步转移矩阵仍是随机矩阵。
周期为的不可约马氏链，其状态空间可唯一地分解为个互不相交的子集之和，即
−1
= ⋃ , ∩ = ∅, ≠
=0
且使得自 中任一状态出发，经一步转移必进入+1 中( = 0 )。
[ ( + ) − ()] −[ (+)− ()]
!
+
( + ) − () = ∫
()
相较与齐次泊松过程 → ( + ) − ()
5、 复合泊松过程（独立增量过程）
是由对泊松过程的每一点赋予一独立同分布的随机变量而得的随机过程。
=1
′′ (0)(− 2 )
西安电子科技大学讲义-随机过程
第一章随机过程 1
第一章随机过程
本章主要内容：
随机过程的基本概念
●随机过程的数字特征
●随机过程的微分和积分计算
●随机过程的平稳性和遍历性
●随机过程的相关函数及其性质
●复随机过程
●正态分布的随机过程
第一章我们介绍了随机变量，随机变量是一个与时间无关的量，随机变量的某个结果，是一个确定的数值。
例如，骰子的6面，点数总是1～6，假设A面点数为1，那么无论你何时投掷成A面，它的点数都是1，不会出现其它的结果，即结果具有同一性。
但生活中，许多参量是随时间变化的，如测量接收机的电压，它是一个随时间变化的曲线；又如频率源的输出频率，它随温度变化，所以有个频率稳定度的范围的概念（即偏离标称频率的最大范围）。
这些随时间变化的
随机变量就称为随机过程。
显然，随机过程是由随机变量构成，又与时间相关。
第一章 随机过程 第二节 随机过程的基本概念
FX ( x1 , t1 ) f X ( x1 , t1 ) x1
2 、二维概率分布 为了描述S.P在任意两个时刻t1和t2的状态间的 内在联系,可以引入二维随机变量[X(t1),X(t2)]的分 布函数FX(x1,x2;t1,t2)，它是二随机事件{X(t1)≤x1} 和{X(t2)≤x2}同时出现的概率，即
FX(x1,x2;t1,t2)=P{ X(t1)≤x1,X(t2)≤x2}
称为随机过程X(t)的二维分布函数。 若FX(x1,x2;t1,t2)对x1，x2的二阶混合偏导存在， 则 2 F ( x , x ;t ,t )
f X ( x1 , x2 ; t1 , t 2 )
X 1 2 1 2
x1x2
E[cos ] cos f ( )d cos
0 0
2
2
同理
1 d 0 2
E[sin ] 0
mx (t ) 0
2 2 x (t ) 2 (t ) mx (t ) 2 (t ) E[ x2 (t )] x x （2）
2 ＝ E[sin (0t )] E [1 cos(20t 2 )]
t 离散型随机过程：对随机过程任一时刻1 的取值X (t1 ) 都是离散型随机变量。
连续随机序列：随机过程的时间t只能取 t 某些时刻，如 t ， 2 ，…..，n t，且这 时得到的随机变量 X ( nt ) 是连续型随机变 量，即时间是离散的。相当于对连续型随 机过程的采样。 离散随机序列：随机过程的时间t只能取 t 某些时刻，如 t ， 2 ，…..，n t，且这 时得到的随机变量 X ( nt ) 是离散型随机变 量，即时间和状态是离散的。相当于采样 后再量化 。
随机过程-习题解答电子科技大学陈良均
在独立同分布的随机变量序列中，当样本量趋于无穷时，无论总体分布是什么，样本均 值的分布趋近于正态分布。
05
随机过程的估计与预测
参数估计
矩估计法
利用随机过程的数学期望、方差等矩特征，通过 样本矩来估计参数。
最小二乘估计法
通过最小化误差的平方和来估计参数，常用的有 普通最小二乘法和加权最小二乘法。
泊松过程
总结词
泊松过程是一种随机过程，其中事件 的发生是相互独立的，且具有恒定的 发生率。
详细描述
泊松过程描述了在单位时间内发生事 件的次数，其中事件的发生是相互独 立的，且具有恒定的发生率。这种过 程在物理学、工程学、统计学等领域 有广泛应用。
随机漫步
总结词
随机漫步是一种随机过程，其中每一步 都是随机的，且与前一步无关。
信号的滤波与预测
要点一
信号滤波
利用滤波器对随机信号进行处理，提取出所需频率成分， 抑制噪声和其他干扰。
要点二
信号预测
基于随机过程理论，利用历史数据对未来信号进行预测， 提高信号处理的准确性和可靠性。
信号的检测与估计
信号检测
在存在噪声和干扰的情况下，利用随机过程理论，检测 出有用的信号，提高信号检测的灵敏度和抗干扰能力。
参数估计
通过分析随机信号的统计特性，估计出信号的某些参数 ，如频率、相位等，为进一步处理和应用提供依据。
感谢您的观看
THANKS
06
随机过程在信号处理中的应 用
信号的随机模型化
信号的随机模型化
01
将信号表示为随机过程，以便更好地理解和分析信号的特性。
随机信号的统计特性
02
研究随机信号的均值、方差、相关函数等统计特性，以描述信
随机过程课程总结范文
随着科技的飞速发展，随机过程作为一门重要的数学工具，在现代科技诸多领域，如物理、化学、生物、通信、机电、自动化、地震、海洋及经济等学科中均有广泛应用。
本学期，我有幸参加了随机过程这门课程的学习，通过这段时间的学习，我对随机过程有了更为深入的理解和认识，以下是我对这门课程的总结。
首先，随机过程课程为我们系统地介绍了随机过程的基本理论及其应用。
课程内容丰富，涵盖了概率论、数理统计、信号与系统、复变函数、常微分方程等多个领域的知识。
在学习过程中，我们学习了概率论与数理统计的基础知识，了解了随机过程的基本概念、研究方法和应用技巧。
课程中，我们重点学习了泊松过程、高斯过程、马尔可夫过程、平稳过程、正态过程和布朗运动等基本随机过程。
通过对这些典型随机过程的学习，我们掌握了它们的特性、性质以及在实际应用中的体现。
例如，泊松过程在通信、排队论等领域有着广泛的应用；马尔可夫过程在经济学、生物学、社会学等领域有着重要的应用。
其次，随机过程课程强调应用性，着重于揭示随机过程基本概念的来源及背景，典型随机模型的提炼方法、特性刻画、应用背景及发展踪迹。
在课程中，我们学习了随机信号的功率谱分析、以随机信号作为输入的线性系统分析、以及窄带随机信号等应用问题。
这些知识为我们今后在相关领域的工作奠定了基础。
在学习过程中，我深刻体会到随机过程课程具有很强的实践性。
教师通过丰富的实例，引导我们分析实际问题，让我们在实际应用中体会随机过程的价值。
此外，课程还安排了大量的习题和实验，让我们在实践中巩固所学知识，提高解题能力。
最后，随机过程课程的教学方法值得我们借鉴。
教师注重启发式教学，鼓励我们积极思考、勇于探索。
在教学过程中，教师善于将抽象的理论与实际问题相结合，使我们在理解理论的同时，也能将所学知识应用到实际中。
总之，通过学习随机过程课程，我对随机过程有了更为全面的认识。
这门课程不仅提高了我的数学素养，还让我了解了随机过程在各个领域的应用。
随机过程讲义 第一章
第一章 随机过程及其分类在概率论中，我们研究了随机变量，n 维随机向量。
在极限定理中我们研究了无穷多个随机变量，但只局限在它们之间相互独立的情形。
将上述情形加以推广，即研究一族无穷多个、相互有关的随机变量，这就是随机过程。
1． 随机过程的概念定义：设),,(P ∑Ω是一概率空间，对每一个参数T t ∈，),(ωt X 是一定义在概率空间),,(P ∑Ω上的随机变量，则称随机变量族});,({T t t X X T ∈=ω为该概率空间上的一随机过程。
其中R T ⊂是一实数集，称为指标集或参数集。
随机过程的两种描述方法： 用映射表示T X ，R T t X →Ω⨯:),(ω即),(⋅⋅X 是一定义在Ω⨯T 上的二元单值函数，固定T t ∈，),(⋅t X 是一定义在样本空间Ω上的函数，即为一随机变量；对于固定的Ω∈ω，),(ω⋅X 是一个关于参数T t ∈的函数，通常称为样本函数，或称随机过程的一次实现，所有样本函数的集合确定一随机过程。
记号),(ωt X 有时记为)(ωt X 或简记为)(t X 。
参数T 一般表示时间或空间。
常用的参数一般有：（1）},2,1,0{0 ==N T ；（2）},2,1,0{ ±±=T ；（3）],[b a T =，其中a 可以取0或∞-，b 可以取∞+。
当参数取可列集时，一般称随机过程为随机序列。
随机过程});({T t t X ∈可能取值的全体所构成的集合称为此随机过程的状态空间，记作S 。
S 中的元素称为状态。
状态空间可以由复数、实数或更一般的抽象空间构成。
实际应用中，随机过程的状态一般都具有特定的物理意义。
例1：抛掷一枚硬币，样本空间为},{T H =Ω，借此定义：⎩⎨⎧=时当出现，时当出现T 2H ,cos )(t t t X π ),(∞+-∞∈t 其中2/1}{}{==T P H P ，则)},(,)({∞+-∞∈t t X 是一随机过程。
电子科大随机过程与排队论01
随机事件体F由Ω的全体子集(共26 ＝64个)构成； k F上的概率定义为P(A)＝ ，k为随机事件A包含 6 的样本点数；
(Ω,F,P)为概率空间。
2013-9-13
计算机科学与工程学院
顾小丰
20－12
古典概率空间
1) 样本空间由有限个样本点组成， Ω＝{ω1,ω2,…, ωn}； 2) 每个基本事件Ai＝{ωi}，i=1,2,…,n出现的可能性 相等。
B发生的条件概率定义为：
P( AB) P(B | A) P( A)
给定概率空间(Ω,F,P)，AF，且P(A)>0，对 任 意 BF 有 P(B|A) 对 应 ， 则 条 件 概 率 P(B|A) 是 (Ω,F)上的概率，记P(B|A)＝PA ，则(Ω,F,PA)也是 一个概率空间，称为条件概率空间。
设(Ω,F)是可测空间，如果定义随机事件体F上的实 值集函数P(A)，AF满足： 1) 0≤P(A)≤1，AF； (非负性) 2) P(Ω)＝1； (规范性) 3) AiF(i=1,2,…,)，AiAj＝Φ(i≠j)，则等式
P( A i ) P( A i )成立 。
i 1 i 1
下一讲内容预告
随机变量及其分布程
• 随机变量、分布函数 • 离散型随机变量及其分布律 • 连续型随机变量及其概率密度
常见的随机变量及其分布
n维随机变量 随机变量函数的分布
2013-9-13 计算机科学与工程学院 顾小丰 20－22
2013-9-13 计算机科学与工程学院 顾小丰 20－8
二、样本空间、随机事件体
随机试验E的每一个最简单的试验结果，称 为样本点，记为。全体样本点构成的集合，称 为样本空间，记为Ω。 样本空间Ω的子集组成的集类F，如果满足： 1. ΩF； 2. 若AF，则 A F; 3. 若AiF(i=1,2,…,)，则 A i F ；
随机过程1.1
随机过程——西安电子科技大学数学与统计学院 冯海林
8
一. 随机过程的定义——引例
补例1. 给定t0( >0)，考察 [0，t0]时间内某站点的访 问次 数Ｘ, 则Ｘ是一个随机变量，可记为X t0 ．
思考：Ｘ是否全面反映了该站点的访问情况？ 如果X不能，则怎样的量才能够反映？
则需要对每个t, 去观察随机变量Ｘt ，即Ｘt可以更 为全面的反映站点的访问情况。 此时Ｘt是一族随机变量. 即一簇随机变量方能反映要了解的随机现象. 记这样一簇随机变量为{Ｘt, t∈［0,∞)}
样本曲线x1本曲线x2(t)
状态空间S=[-A,A],参数集T=[-∞,+ ∞]
随机过程——西安电子科技大学数学系 冯海林 19
例3 的样本曲线与状态
X(t)
70 60 50 40 30 20 10
状态空间S={0,1,2,….},
T=[0,24,……)
12
以上4个例子说明： 用一族随机变量可以较全面的反映所想了解的随机 现象.
为此将概率论中的随机变量推广为一族随机变量. ——随机过程 以下是其定义:
随机过程——西安电子科技大学数学与统计学院 冯海林
13
随机过程定义
设(Ω,F,P)为一概率空间,T为一参数集,T R, 若对每一 t ∈T,均有定义在(Ω,F,P)上的一个 随机变量X(ω,t),(ω∈Ω)与之对应, 则称X(ω,t)为(Ω,F,P)上的一个随机过程(S.P.) 记X={X(ω,t), ω∈Ω,t∈T},
随机过程——西安电子科技大学数学与统计学院 冯海林 16
4. 样本轨道的连续性定义
设X={X(ω,t), t∈T} 为定义在(Ω,F,P)上的一个随机过程。 （1）若对任意的t∈T有
随机过程第一章(下)汇总
正态过程
特点： 1. 在通信中应用广泛；（中心极限定理）
只要n充分大，x1,x2,…xn之和近似正态分布. 例如：高斯白噪声; 一个城市某个时刻的总 耗 电量；实验的测量误差。
2.正态过程只要知道其均值函数和协方差函数， 即可确定其有限维分布。
一维正态随机变量的概念：
一维正态随机变量X的概率密度函数可以表示
BXY (s, t) 0
互协方差函数与互相关函数之间的关系
BXY (s,t) RXY (s,t) mX (s)mY (t)
例题2.8： 设X(t)为信号过程，Y(t)为噪声过程，令 W(t)=X(t)+Y(t)，求W(t)的均值函数和相关函数。
例题: 设X(t)为信号过程，Y(t)为噪声过程，令 W(t)=X(t)+Y(t)，求W(t)的均值函数和相关函数。
第一章 随机过程的概念与基本类型
随机过程的定义和统计描述 随机过程分布律和数字特征 复随机过程 随机过程基本类型
自然界事物的变化过程分为两大类： （1）具有确定形式的过程，可以用一个时间t的确定 函数来描述。 （2）另外一种过程没有确定的变化形式，不能用一 个时间 t的确定函数来描述。
例如：液面上的质点的运动。用{x(t),y(t)}表示t时 刻该质点在液面上的坐标。
正交增量过程
独立增量过程
平稳独立增量过程
定义： 设{X(t),t∈T}是独立增量过程，若对任 意s<t，随机变量X(t)-X(s)的分布仅依 赖于t-s，则称{X(t),t∈T}是平稳独立 增量过程。
平稳独立增量过程
例题2.10 考虑一种设备一直使用到损坏为止，然后换 上同类型的设备。假设设备的使用寿命是随 机变量，令N(t)为在时间段[0,t]内更换设备 的件数，通常可以认为{N(t)，t≥0}是平稳独 立增量过程。
随机过程-电子科技大学-彭江燕 (1)
5.4 齐次马氏链的状态为揭示齐次马氏链的基本结构，需对其状态按概率特性进行分类，状态分类是研究n 步转移概率的极限状态的基础.EX.1设系统有三种可能状态E={1, 2 ,3},“1”表示系统运行良好, “2”表示系统运行正常，“3”表示系统失效.电子科技大学电子科技大学以X (n )表示系统在n 时刻的状态, 并设{X (n ),n ≥0}是一马氏链. 在没有维修及更换的条件下, 其自然转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=10010110902012022017333231232221131211p p p p p p p p p P 由矩阵P 可见，从“1”或“2”出发经有限次转移后总能到达“3”状态，而一旦到达“3”状态则永远停留在“3”.状态“1”, “2”与状态“3”有不同的概率特性.状态“1”, “2”与状态“3”有不同的概率特性.一、刻画状态特性的几个特征量二、状态类型分类三、状态类型判别条件四、状态间的关系五、状态空间的分解电子科技大学一、刻画状态特性的几个特征量定义5.4.4，记及对1,≥∈∀n E j i },)0(11,)(,)({ˆ)(i X n k j k X j n X P f n ij =−≤≤≠==称为(n 步)首达概率.系统从状态“i ”出发经过n 步转移后首次到达状态“j ”的概率特别地称)(n ii f 为首返概率；5.4 齐次马氏链的状态电子科技大学∑∞==1)(n n ijf称为最终概率.定义5.4.5 自状态i 出发迟早(最终)到达j 的概率为})0()(,1{i X j n X n P f ij ==≥=使存在定理5.4.1(首达概率表示式)有，及对1,≥∈∀n E j i ;10)1)(≤≤n ij f 2) 首达概率可以用一步转移概率表示为为状态i 的最终返回概率.ii f ji i i j i j i i i j i n ij n n p p p f 1211112)(−−∑∑∑≠≠≠=电子科技大学j i i i j i ji i i j i n ij n n p p p f 1211112)(−−∑∑∑≠≠≠= 证1）显然ii 1i 2j2）分析示意图如下})0(1,,2,1,)(,)({)(i X n k j k X j n X P f n ij =−=≠== .)0(1,,2,1,})({,)(⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=−====∈≠i X n k i k X j n X P E i j i k k k ∪第1步第2步第n 步()01;n ij f ≤≤电子科技大学⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===−==−≠≠≠−i X j n X i n X i X P n j i j i j i n )0(})(,)1(,,)1({11112 ∪∪∪()(),{()},1,2,,1(0).k n ij k i j f P X n j X k i k n X i ≠⎧⎫⎪⎪====−=⎨⎬⎪⎪⎩⎭∪∑∑∑≠≠≠−=j i ji j i n 112 })0()(,)1(,,)1({11i X j n X i n X i X P n ===−=− ji i i j i j i ii j i n n p p p 1211112−−∑∑∑≠≠≠=定义5.4.2 对j ∈E , 称})0(,)(,1:min{i X j n X n n T ij ==≥=为从i 到达j 的首达时间.注：若右边是空集, 则令T ij =∞.随机变量EX.2在股票交易过程中令状态空间为E ={－1, 0, 1}各状态分别代表“下跌”,“持平”,“上升”.若X (0)=0, 有使<<<<k n n n 21电子科技大学 ,1)(,,1)(,1)(21===k n X n X n X }0)0(,1)(:min{01===X n X n t k 则121},,,,min{n n n n k == 注1T ij 表示从i 出发首次到达j 的时间.T ii 表示从i 出发首次回到i 的时间.注2 T ij 与首达概率之间有关系式：,2,1,,,},)0({)1)(∞=∈===n E j i i X n T P f ij n ij.,},)0({)2E j i i X T P f ij ij ∈=∞<=若X (0)=0, 有使 <<<<k n n n 21续EX.1设系统有三种可能状态E ={1, 2 ,3}, “1”表示系统运行良好, “2”表示系统运行正常,“3”表示系统失效.⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=10010110902012022017333231232221131211p p p p p p p p p P T 13(1)1313{1(0)1}f P T X ====131,20p =ji i i j i j i i i j i n ij n n p p p f 1211112)(−−∑∑∑≠≠≠= 系统的工作寿命，有电子科技大学(2)1313{2(0)1}f P T X ===13{(0)1}P T n X ≥=研究首达概率和首达时间有实际工程意义.……13{(0)1}P T n X ≥=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=10010110902012022017333231232221131211p p p p p p p p p P [0,],n 是系统在内运行的可靠性有1113122321,400p p p p =+=13{(0)1}k nP T k X ∞====∑()13n k nf∞==∑电子科技大学定理5.4.2概率与首达概率有关系式，任意步转移及对1,≥∈∀n E j i ∪∞==⊂==1}{})(,)0({m ij m T j n X i X 因证:⎭⎬⎫⎩⎨⎧====∞=∪∩1}{})(,)0({m ij m T j n X i X })(,)0({j n X i X ==故.)(1)()(m n jjnm m ijn ijpfp−=∑=电子科技大学})0()({)(i X j n X P P n ij===⎭⎬⎫⎩⎨⎧=====i X j n X m T P nm ij )0(})(,{1∪},)0()({})0({1m T i X j n X P i X m T P ij nm ij ======∑=⎭⎬⎫⎩⎨⎧====∞=∪∩1}{})(,)0({m ij m T j n X i X ∪nm ij m T j n X i X 1},)(,)0({=====})(,)0({j n X i X ==故电子科技大学马氏性})()({})0(,11,)(,)({1j m X j n X P i X m k j k X j m X P nm ==⋅=−≤≤≠==∑=})()({1)(j m X j n X P f nm m ij ===∑=()1{(0)}{()(0),}nn ijij ij m P P T m X i P X n j X i T m =======∑.)(1)(m n jjnm m ijpf−=∑=定义5.4.1使，若存在对1,,≥∈∀n E j i ,0)(>n ijp称自状态i 可达状态j ,记为.j i →定理5.4.3的充分必要条件是0>ij f .j i →证:必要性因01)(>=∑∞=m m ijij ff 至少存在一个n 使,有)(>n ijf ()()()1nn m n m ijijjjm pfp−==∑()(0)0n ijjj fP ≥>定义5.4.3称若,,0}{E j T P ij ∈=∞=∑∞===1)(][n n ijij ij nfT E μ为从状态i 出发, 到达状态j 的平均时间(平均步数).充分性因j i →使，存在1≥n 01)()()(>=∑=−nm m n jjm ijn ijpfp则在中至少有一个大于零，故)()1(,,n ijijff 01)(>=∑∞=m m ijij ff 特别当i=j 称jj μ为状态j 的平均返回时间.电子科技大学二、状态类型分类状态分类是研究n 步转移概率的极限状态的基础, 能有效地揭示其深刻的统计规律.续EX.1设系统有三种可能状态E ={1, 2 ,3},“1”表示系统运行良好, “2”表示系统运行正常，“3”表示系统失效.⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∞→100100100lim )(n n P该系统的状态“3”是吸收态, 经有限步均会被吸收, 直观分析可得有必要分析各种状态的类型.电子科技大学定义5.4.6对状态i ∈E , 最终返回概率为f ii ，若f ii <1，称状态i 是非常返的(或瞬时的).若f ii =1，称状态i 是常返的；若马氏链的每个状态都是常返的, 则称为常返马氏链.f ii =1表示系统从状态i 出发几乎必定会返回状态i .定义5.4.7对常返状态i ∈E , 平均返回时间为μii ，若μii <+∞, 称状态i 是正常返的；进一步, 根据常返状态的平均返回步数再划分为两类.注若μii = +∞, 称状态i 为零常返的。
电子科技大学随机过程第一章讲解
解 1) 已求得A=a时，X t 的条件概率密度为
f
Xt
A
(
x
a)
π 0,
1 ,
a2 x2
x a;
其它. 怎样求f Xt ( x)？
电子科技大学
19.6.2
f Xt ( x) f Xt ,A( x, a)da
f Xt A( x a) f A(a)da
的随机过程 Xt (), t,以T该 函数族 为其有限维分
布函数族.
电子科技大学
19.6.2
如何确定随机过程的分布？
Ex.1.1.5 设随机过程
Xt acos(t ), t R,
其中a, ω是正常数, 随机变量Θ～U(－π, π), 试求过程的一维概率密度.
解 : 利用特征函数法
电子科技大学
19.6.2
(布朗运动) 漂浮在液面的微小粒子,不断进行
杂乱无章的运动. 这种运动是由于大量随机的、
相互独立的分子碰撞的结果. 用(Xt, Yt)表示t 时 刻粒子的位置, 由于运动的无规则性, 当时间 t 改
变时Xt 和Yt 都是随机变量, 二维随机过程{(Xt, Yt), t ≥0}描述了粒子的运动过程.
若经无穷多次碰撞
记
{ω1(n) } {第n次碰撞后向左}，
{ω(2n) } {第n次碰撞后向右}，
随机变量序列
电子科技大学
19.6.2
X
n
(ω)
1, 1,
ω ω1(n);
ω
ω(n) 2
.
(n 1,2,)
则 Xnω: n 1,2, 描述了质点的随机运动.
电子科技大学研究生随机过程思考题
电子科技大学研究生随机过程思考题随机过程思考题总结一、第零章（附录）：1.如何准确理解“维”的含义？2.如何理解“定义在同一概率空间”？3.定义连续性随机变量的条件分布会遇到什么问题？二、第一章：1.随机过程可以描述哪些工程技术中的随机现象，试举例？来电次数、误码率是泊松过程，机器维修次数等。
天气预报。
2.为什么可以用有限维分布函数族描述随机过程的统计特性？柯尔莫哥洛夫定理可以证明，在一定条件下，随机过程和n维分布函数族是一一对应的，因此可以用有限维分布函数族描述随机过程的统计特性。
3.为什么说随机过程的均值函数和自相关函数在研究过程的概率与统计特性尤其重要？均值函数表征了随机过程在各时间点上的平均特征。
方差函数描述了随机过程在各时点处的波动程度。
刻画两个不同时点随机过程状态之间的线性关联程度，转化为自相关函数的收敛问题。
关于随机过程的均方极限的存在性，均方连续性，可积性和可导性都可转化为自相关函数的性质讨论问题。
4.白噪声过程是否一定是独立过程？不一定。
标准高斯白噪声与[0,1]均匀分布的乘积得到的白噪声过程不独立不相关。
5.独立过程是否是独立增量过程？反之？独立过程是独立增量过程，反之不一定。
三、第二章：1.能否保证Y= CX 服从非退化正态分布？C的行列式不等于0，即C可逆。
2.随机振幅电信号是否是正态过程？可否写出任意n维概率密度？是，知道他的均值函数和协方差函数就可以写出他的任意n维概率密度。
={X(t), t∈T}是正态随机过程？利用正交矩阵变换验3.怎样验证随机过程XT证并写出算法依据？还有其他方法吗？特征函数四、第三章：1.在二阶矩随机变量空间除定义均方极限外，还可以定义其他极限吗？距离定义2.均方极限与普通函数极限有什么相似之处？都用了范数来衡量随机变量或者函数之间的距离，这个距离函数是非随机的普通函数，故二阶矩过程的均方极限实质上是普通函数的极限问题。
3.若，是否有?有施瓦兹不等式及三角不等式可知成立。
随机过程-电子科技大学-彭江燕 (2)
第一章随机过程的基本概念§1.1 随机过程的定义及分布§1.2随机过程的数字特征§1.3 随机过程的基本类型§1.1 随机过程的定义及分布1.1.1 随机过程的直观背景观察研究随机现象随时间推移的演变过程.Ex.1从杂乱电讯号的一段观察{Y(t),0< t< T}中,研究是否存在某种确定或随机信号S(t )?过程检测Ex.2监听器上收到某人的话音记录{Z(t),α<t<β}试问他是否确实是追踪对象？过程识别Ex.3 人们记录下地球50年的气温数据探究：1. 气温有什么样的周期变化？2. 在气温周期变化规律下, 随时间的推移是否有变暖的趋势？Ex.4 雷达信号干扰,0t t τt X A S N t −=⋅+≥其中N t 是随时间变化的各种随机干扰的效应.A 反映信号经发射后的能量损失,τ则反映了雷达站与障碍物间距离. 由于各种随机干扰的存在, 雷达实际接收到的信号是某雷达站在t 时刻发出信号S t , 遇到障碍物后又反射回来, 接受到的发射信号为A·S t －τ, 其中抗干扰的重点是对反映干扰的这一随机过程N t 特性的研究.特点：关注对象是一族随时间或地点变化的随机变量.“一族”可指可列无限个，或不可列无限个.任务:将有限维随机向量的概念向“无限”推广.1.1.2 概率空间与随机向量(已介绍)电子科技大学1.1.3 随机过程定义，},)ω,({T t t X ∈定义1.1.8设给定概率空间(Ω,F , P )和指标集T , 若对每个t ∈T , 有定义在(Ω,F , P )上的随机变量与之对应. 称依赖于t 的随机变量族X t 为随机过程(随机函数).Ω∈ωωX t ),(记为},)ω({T t X t ∈，},{T t X t ∈.},)({T t t X ∈注指标集T 又称参数集或参数空间.电子科技大学当T =(1,2, …，n ),),,,(},)ω,({21n X X X T t t X "=∈随机向量当T =(1,2, …, n,…),),,(},)ω,({21"X X T t t X =∈时间序列当T ={(x , y ):a <x <b , c <y <d },},)ω,({T t t X ∈平面随机场，或多维指标集随机过程随机过程是n 维随机变量，随机变量序列的一般化,是随机变量X (t ), 的集合.T t ∈电子科技大学为随机过程的状态空间(或值域).随机过程可视为质点M 随时间推移所作的随机运动变化过程.},{T t X t ∈随机事件表示随机过程在时刻t时处于状态x.}{x X t =称集合},)(:{T t x X x E t ∈==ωEx.5质点布朗运动设质点在直线上随机游动, 经随机碰撞后各以1/2的概率向左或向右移动.若经无穷多次碰撞ωω()1()2{}{} {}{}t t t t ==记第次向左，第次向右，定义随机变量序列)1,2,(.ωω1,;ωω,1)ω()(2)(1"=⎪⎩⎪⎨⎧==−=t X t t t 则描述了直线上随机质点的运动.{}"1,2,:)ω(=t X t 其参数集T ={1,2,…}, 状态空间E ={－1, 1}.电子科技大学随机过程的理解}Ωω,:)ω,{(Ω∈∈=×T t t T 定义指标集和样本空间的积集随机过程是定义在积集上的二元函数：}),ω({T t X t ∈Ω×T ）（，Ω∈∈=ω,),()ω(T t t X X t ω1) 对固定的是一个定义在概率空间(Ω, F , P ) 上的随机变量；,T t ∈Ω∈ω，)ω(t X 2)当固定作为时间变量的函数，是一个定义在T 上的普通函数.Ωω0∈T t ∈)ω,(0t x ）（，Ω∈∈=ω,),()ω(T t t X X t ω即对于特定的试验条件随机过程是定义在积集上的二元函数：}),ω({T t X t ∈Ω×TX(t1,ω)X(t2,ω)X(t n,ω)x(t,ω1)x(t,ω2)x(t,ω3) t1t2t n当t 变化时, 构成一族随机变量.对不同的ω得到不同的确定性函数.电子科技大学电子科技大学ω2= 1.9164ω3= 2.6099ω1=5.4938对不同的ω得到不同的确定性函数.Ex.6 随机相位正弦波X t (ω) = αcos(βt +Θ), Θ~U(0, 2π)电子科技大学定义1.1.9对每一固定ω∈Ω, 称x t (ω)是随机过程相应于ω的样本函数。
随机过程读书笔记
第一章随机过程及其分类第一节随机过程的概念1、随机过程的定义⑴、定义：随机过程：设（Ω，F，P）是概率空间，如果对于∀t∈T，X（t，ω）是一个随机变量，则称随机变量族X T={ X（t，ω）；t∈T}是一个随机过程，⑵、符号：X（t，ω）简写为X（t），从而随机过程简写为{ X（t）；t∈T}2、随机过程的剖析X（t，ω）是一个T×Ω→R的映射⑴、如果固定t∈T，则X（t，ω）为随机变量⑵、如果固定ω∈Ω，则X（t，ω）为样本函数3、基本概念⑴、定义：随机序列【当参数T取可列集时，随机过程称为随机序列】⑵、定义：状态空间【{ X（t，ω）；t∈T}能够取到的所有值，记为S】4、习题解析⑴、判断是否随机过程【关键：首先固定t，然后判断X（t，ω）是不是一个随机变量】⑵、求解样本函数【关键：ω每取一个值，就得到一个样本函数】⑶、求解状态空间【在分析所有样本函数的基础上，再进行判断；简单情况可直接判断】第二节随机过程的分类1、以参数集的性质和状态空间的特征分类⑴、以参数集的性质分类【T可列，T不可列】⑵、以状态空间的特征分类【S离散，S连续】2、分类结果⑴、离散型参数离散型随机过程【一维随机游动】⑵、连续性参数离散型随机过程【服务台模型：N（t）表示[0，t]时刻到达的顾客数】⑶、连续性参数连续型随机过程【正弦随机过程X (t) = Acosωt，ω是常数，A ~U[0, 1]】⑷、离散型参数连续型随机过程【随机序列】3、以随机过程的统计特征或概率特征分类⑴、独立增量过程【增量X（t1），X（t2）－X（t1），…，X（tn）－X（tn-1）相互独立】⑵、马尔科夫过程【无后效性】⑶、二阶矩过程【对于∀t∈T，D[X（t）]存在】第三节随机过程的分布函数1、定义：随机过程的一维分布函数设{ X（t）；t∈T}为随机过程，对于∀t∈T，X（t）为随机变量，则随机过程的一维分布函数：F（t，x）=P[X（t）≤x]，其中t∈T ，x∈R2、定义：随机过程的一维概率密度函数如果对于∀t∈T，X（t）为连续型随机变量，并且存在非负可积函数f（t，x），使得F（t，x）=∫[－∞，x]f（t，x）dx3、定义：随机过程的二维分布函数设{ X（t）；t∈T}为随机过程，对于∀s，t∈T，（X（s），X（t））为二维随机变量，则随机过程的联合分布函数：F（s，t；x，y）=P[X（s）≤x ，X（t）≤y]4、定义：随机过程的二维概率密度函数如果对于∀s，t∈T，（X（s），X（t））为二维连续型随机变量，并且存在非负可积函数f（s，t；x，y），使得F（s，t；x，y）=∫∫[－∞，y] [－∞，x]f（s，t；x，y）dxdy5、定义：随机过程的n维特征函数θ（t1，t2，…，tn ；u1，u2，…，un）=E{exp[j（u1X（t1）＋u2X（t2）+…＋unX（tn））]}6、习题剖析⑴、锯齿波【关键定理：随机变量函数的分布★★】定理：已知X的分布函数为F X（x），则Y=g（X）的分布函数为F Y（x）=P（Y<x）=P（g（X）<x）=P（X<g-1（x））= F X（g-1（x））⑵、投掷硬币试验【以P48的分析为模板，仔细给出一维和二维分布函数】第四节随机过程的数字特征一、基本概念1、均值函数⑴、定义：μX（t）=E[X（t）]= ∫[－∞，＋∞]xdF（t，x）⑵、离散型：μX（t）=∑[1，＋∞]xkPk（t）⑶、连续型：μX（t）=∫[－∞，＋∞]xf（t，x）dx2、方差函数⑴、定义：D X（t）= E{X（t）－E[X（t）]}2=∫[x－μX（t）]2dF（t，x）⑵、性质：D X（t）= E[X（t）] 2－{E[X（t）]}23、协方差函数与自相关函数⑴、定义：自协方差函数【C X（s，t）=E{X（s）－E[X（s）]} { X（t）－E[X（t）]}】⑵、定义：自相关函数【R X（s，t）=E[X（s）X（t）]】二、基础知识复习1、随机变量函数的联合分布⑴、定理：随机变量函数的联合分布Yi=gi（X1，…，Xn），其中（X1，…，Xn）为n维随机变量，i=1，…，k则F Y1，Y2，...，Yk（y1，y2，...，yk）=∫[D]f（x1，x2，...，xn）dx1dx2 (x)⑵、推论：Z=X+Y的概率密度函数【=∫f X（z-y）f Y（y）dy】【注意证明】2、特征函数的定义和性质⑴、定义：特征函数【θX（u）=E（e iuX）=∫[－∞，＋∞]e iux dF（x）】⑵、性质：如果X和Y相互独立，则θX+Y（u）=θX（u）θY（u）⑶、定理：唯一性定理【关键：利用特征函数求解分布函数】三、正态分布随机过程1、正态分布的基本性质⑴、性质：如果X和Y相互独立，则E（XY）=E（X）E（Y）⑵、性质：正态分布的方差和期望【X~N（μ，ζ2），则E（X）=μ，D（X）=ζ】⑶、性质：正态分布的特征函数【X~N（μ，ζ2），则θX（u）=exp（iμu－u2ζ2/2）】2、正态分布的重要定理⑴、定理：设X~N（μ1，ζ12），Y~N（μ2，ζ22），且X和Y相互独立，则X+Y~N（μ1+μ2，ζ12+ζ22）⑵、证明：利用唯一性定理，求解X+Y的分布函数3、二维正态分布【待深入内容】⑴、定义：二维随机变量（X，Y）符合二维正态分布【电子科大教材，P14】⑵、定理：二维正态分布的概率密度函数【矩阵形式，P25】四、正弦随机过程1、基本性质⑴、性质：均匀分布的概率密度函数【如果X~U（a，b），则f（x）=1/（b－a）】⑵、性质：随机变量函数的期望【E（Y）= E（g（x））=∫[－∞，＋∞]g（x）dF（x）】2、相关函数的求解⑴、基本公式：R X（s，t）=E[X（s）X（t）]⑵、求解步骤：将X（s）和X（t）分别代入上式计算【关键：从定义出发】第五节两个随机过程1、一个随机过程的概念⑴、定义：一个随机过程【所讨论的随机变量，来自于同一个随机过程】⑵、技巧：D X（t）= C X（t，t）【即方差是协方差的一种特殊情况】2、两个随机过程的数学特征⑴、互协方差函数：【C XY（s，t）=E{X（s）－E[X（s）]} { Y（t）－E[Y（t）]}】⑵、互相关函数：【R XY（s，t）=E[X（s）Y（t）]】3、随机过程的有限维分布函数族⑴、定义：有限维分布函数族【关键：属于单个随机过程的概念】F X（x1，…，xn ；t1，…，tn）=P[X（t1）≤x1，…，X（tn）≤xn]其中：∀n∈N；∀ti∈T（i= 1，2，…，n）【关键：取任意有限多个随机变量】⑵、性质：对称性（可以任意交换位置）；相容性（其中某些随机变量可取边缘分布）⑶、定理：柯尔莫哥洛夫定理如果随机函数分布族满足对称性和相容性，则存在唯一的随机过程与之对应4、两个随机过程的独立性⑴、定义：随机过程{ X（t）；t∈T}和{ Y（t）；t∈T}的n+m维联合分布F XY（x1，…，xn ；t1，…，tn；y1，…，ym ；t1’，…，tm’）⑵、定义：两个随机过程相互独立【如果∀n，m∈N；∀ti，ti’∈T，都成立】⑶、分析：只有在某些特殊情况下，才有可能分析独立性第六节条件概率分布一、条件数学期望1、单位脉冲函数δ（x）⑴、定义：单位脉冲函数δ（x）【两个条件：分布函数，并且积分为1】⑵、性质：筛选性质【∫[－∞，＋∞]δ（x－x0）f（x）dx=f（x0）】⑶、性质：概率密度函数的函数形式【f（x）=∑[1，＋∞]pkδ（x-xk）】⑷、作用：统一形式【将连续型和离散型随机变量的概率密度函数，用统一形式表达】2、条件分布和条件密度的核心定义【重要：条件分布公式的推导】⑴、定义：条件分布【F X|Y（x|y）=P（X≤x|Y=y）=∫[－∞，x]f（u，y）du/ f Y（y）】⑵、定义：条件密度【f X|Y（x|y）dy= f（x，y）/f Y（y）】【求导，并将上下限代入】★★3、条件数学期望的概念【定义是一切分析的基础】⑴、离散情形：E（X|Y=yj）=∑xi*P（X=xi|Y=yj）⑵、连续情形：E（X|Y=y）=∫[－∞，＋∞]x* f（x，y）/f Y（y）dx4、随机变量E（X|Y）的分布列⑴、核心公式：E（X|Y=yj）=∑xi*P（X=xi|Y=yj）【直接从定义出发，更加不容易出错】⑵、核心公式：计算Pi.和P.j【将联合分布率分别按行，按列求和】⑶、计算公式：E（X）=∑xi*Pi.⑷、计算公式：E[E（X|Y）]= E（X）【可以利用上述表格证明，证明见下】=∑E（X|Y=yj）P（Y=yj）=∑∑xi*P（X=xi|Y=yj））P（Y=yj）==∑xi*Pi.= E（X）⑸、典例分析：离散型的条件数学期望【参见：中科院孙应飞讲稿P9分析】二、条件数学期望的性质1、随机变量函数的条件数学期望⑴、定理：E[g（X）|Y=y]=∫[－∞，＋∞]g（x）* f（x，y）/f Y（y）dx【无需证明】⑵、性质：E（aX+bY|Z）= aE（X|Z）+bE（Y|Z）★★2、全期望公式【关键：与全概率公式的本质一致】⑴、定理：E[g（X）]= E{ E[g（X）|Y] }⑵、证明：E{ E[g（X）|Y] }= ∫[－∞，＋∞] E[g（X）|Y=y]*f Y（y）dy⑶、推论：E[X]= E[ E（X|Y）]3、两个随机变量的条件数学期望⑴、性质：E[g（X）h（Y）|Y]= h（Y）E[g（X）|Y]⑵、定理：E[g（X）h（Y）]=E{E[g（X）h（Y）|Y]}⑶、证明、E{ h（Y）E[g（X）|Y]}= ∫E[g（X）|Y=y]*h（y）*f Y（y）dx★★4、全概率公式⑴、离散：P（A）=∑P（A|Bi）P（Bi），其中Bi为Ω的一个划分⑵、连续：P（A）=∫[－∞，＋∞]P[A|Y=y]*f Y（y）dy⑶、推论：P（X≤x）=∫[－∞，＋∞]P[X≤x |Y=y]*f Y（y）dy5、小结【要把握住实质，才能灵活应用并且不出错】⑴、期望：E[g（X）]=∫g（x）* f（x）dx【取值乘以概率密度函数】⑵、条件期望：E[g（X）|Y=y]=∫g（x）* f（x，y）/f Y（y）dx【乘以联合处于边缘】第七节习题剖析1、例1：正弦波随机过程X（t）=Acos（ωt+θ），θ~U（-π，π）求t时刻X（t）的概率密度函数⑴、关键：一维概率密度函数【首先从定义出发，求分布函数，然后对其求导】⑵、关键：反三角函数【关键：首先分析正常取值，然后再分析其它如何取值】2、例2：正弦波随机过程X（t）=Acos（Ωt+θ），A，Ω，θ是相互独立的随机变量求随机过程X（t）的一维概率密度⑴、关键：首先固定A和Ω，即令Y（t）=acos（ωt+θ），求解Y（t）的概率密度⑵、关键：全概率公式：P（X（t）≤x）=∫∫P[X≤x |A=a，Ω=ω]*f（a，ω）dadω3、例3：一维随机游动：向右移动的概率=p，向左=qP（Xn=k），即经过n步以后，质点位于位置k的概率⑴、关键：假设移动到位置k时，向右移动了m步，向左移动了n-m步，则k=2m-n⑵、关键：最后求解P（Xn=k）【类似伯努利分布】4、例4：脉冲周期：脉宽为T0，脉冲幅度X（t）为随机变量，等概率取值{-2，-1,1,2}脉冲起始时间u~U（0，T0），求[X（t1），X（t2）]的二维联合概率密度⑴、关键：假设事件C：t1，t2不在相同的脉冲周期；事件C C：t1，t2在相同的脉冲周期⑵、关键：当|t2－t1|＞0时，P（C）=1；当|t2－t1|≤0时，P（C C）=1－|t2－t1|/T0；P（C）=|t2－t1|/T0⑶、关键：离散情形的连续表示：f X（t）（x）=∑（i=-2，-1,1,2）1/4*δ（x－i）⑷、关键：全概率公式：f（x1，x2）= f（x1，x2|C）P（C）+f（x1，x2| C C）P（C C）5、例5：X（t）在t0+nT0时刻具有宽度为b的脉冲，幅度A为等值取±a的随机变量，t0~U（0，T0），求X（t）的相关函数和方差⑴、关键：E[X（t）]=a*p+0*（1-2p）+（-a）*p=0⑵、关键：假设事件C：t1，t2不在相同的脉冲周期；事件C C：t1，t2在相同的脉冲周期⑶、关键：当|t2－t1|＞0时，P（C）=1；当|t2－t1|≤0时，P（C C）=（b－|t2－t1|）/T0⑷、关键：R X（t1，t2）=E[[X（t1）[X（t2）]；D X（t）= R X（t1，t2）6、例6：随机电报信号：X（t）等概率取0,1，T时间内波形变化的次数μ服从Possion分布，即P（μ=k）=（λT）k e-λT /k!，求X（t）的均值函数和自相关函数⑴、关键：E[X（t）]=0 *1/2+1*1/2=1/2⑵、关键：R X（t1，t2）=E[[X（t1）[X（t2）]【按照离散情形将其展开】= P[X（t1）=1，X（t2）=1]= P[X（t1）=1，μ为偶数]【翻转偶数次】= P[X（t1）=1]*P[μ为偶数]= P[μ为偶数]/2⑶、关键：P[μ为偶数]= ∑（k=偶数）（λT）k e-λT /k!=∑（－∞，＋∞）（λT）k e-λT /k! +∑（－∞，＋∞）（－λT）k e-λT /k!⑷、关键：C X（t1，t2）=R X（t1，t2）－μX（t1）μX（t2）第二章Markov过程（上）第一节Markov链1、Markov链⑴、定义：Markov链参数集和状态空间均为可列的随机过程{X（n）；n≥0}，如果对于∀n∈N，以及i0，i1，…，in，in+1∈S，并且P[X（0）=i0，X（1）=i1，…，X（n）=in]＞0，都有P[X（n+1）=in+1|X（0）=i0，…，X（n）=in]=P [X（n+1）=in+1|X（n）=in]，则称随机过程{X（n）；n≥0}为Markov链⑵、解释：第一个公式保证条件概率有意义⑶、解释：第二个公式表示Markov性【随机过程的未来状态只与现在有关，与过去无关】2、一步转移概率⑴、定义：一步转移概率：pij（n）= P [X（n+1）=j|X（n）=i]称为Markov链在n时刻的一步转移概率⑵、定义：齐次Markov链【如果pij（n）=pij，与时刻n无关】⑶、定义：转移矩阵P=（pij）【仅对齐次Markov链才有意义】3、性质⑴、性质：Markov链的前n+1维联合分布，可以由一步转移概率＋初始分布得到⑵、性质：∑（j∈S）pij（n）=1【各行之和等于1】第二节C-K方程1、m步转移概率⑴、定义：m步转移概率：pij（m）（n）=P [X（n+1）=j|X（n）=i]称为Markov链在n时刻的m步转移概率⑵、定义：齐次Markov链的m步转移矩阵【P（m）=（pij（m））】⑶、规定：pij（m）（0）=δij（i＝j时，δij =1；i≠j时，δij =0）2、C-K定理【本文给出了非常严格的证明】⑴、定理：pij（m+r）（n）=∑（k∈S）pik（m）（n）pkj（r）（n+m）⑵、步骤1：pij（m+r）（n）= P [X（n+m+r）=j|X（n）=i]【m步转移概率的定义】= P [X（n+m+r）=j，X（n）=i]/ P [X（n）=i]⑶、步骤2：A=A∩Ω=A∩[∪（k∈S）X（n+m）=k]= ∪（k∈S）[A∩X（n+m）=k]⇒P（A）=P{ ∪（k∈S）[A∩X（n+m）=k]}= ∑（k∈S）[A∩X（n+m）=k]【事件之间相互独立】⑷、步骤3：令A= X（n+m+r）=j∩X（n）=i，代入上式得：P（A）=∑（k∈S）P [X（n+m+r）=j∩X（n）=i∩X（n+m）=k]，⇒再代入步骤1，得到pij（m+r）（n）=∑（k∈S）P[X（n+m+r）=j，X（n）=i，X（n+m）=k] / P [X（n）=i]=∑（k∈S）P[X（n+m+r）=j，X（n+m）=k |X（n）=i]⑸、步骤4：利用性质：P（AB|C）=P（A|BC）P（B|C）⇒∑（k∈S）P[X（n+m+r）=j|X（n+m）=k] P[X（n+m）=k|X（n）=i]=∑（k∈S）pik（m）（n）pkj（r）（n+m）3、C-K定理的推论⑴、性质：对于齐次Markov链，有P（m+r）= P（m）P（r）【矩阵形式】⑵、性质：对于齐次Markov链，有P（m）= P m⑶、性质：齐次Markov链的所有有限维联合分布，可以由转移矩阵＋初始分布得到证明：A=A∩Ω=A∩[∪（j∈S）X（0）=j]= ∪（j∈S）[A∩X（0）=j]可证注意：与上面性质的区别，一个是普通的Markov链，一个是齐次Markov链第三节、Markov链的典例1、无限制的随机游动⑴、定义：{X（n）；n≥0}，S={0，±1，±2，…}⑵、分析：一步转移概率pij和转移矩阵【特点：上对角线为p，下对角线为q】⑶、分析：n步转移概率pij（n）【关键：假设向右m1步向左m2步，然后求解m1m2】2、有限制的随机游动⑴、带一个吸收壁的随机游动【吸收壁：p00=1，poj=0（j≠0）】⑵、带两个吸收壁的随机游动⑶、带一个反射壁的随机游动【反射壁：p00=p，p01=q，poj=0（j≠0,1）】⑷、带两个反射壁的随机游动3、离散排队系统⑴、定义：X（n+1）=[X（n）-1]＋＋ζn其中：X（n）：第n个周期开始时的顾客数；ζn：第n个周期到达的顾客数，P（ζn=k）=ak⑵、求解：pij={当前周期有i顾客，下一周期有j顾客的概率}p0j=p1j=aj；pij=aj+1-i（j≥i-1）⑶、小结：转移矩阵P=（pij）【第一行第二行一样，从第三行开始每行右移一个单位】4、小结：转移矩阵的求解⑴、公式：pij= P [X（n+1）=j | X（n）=i]⑵、关键：从公式推导出pij的物理意义，从而准确并且快速的求解出pij5、补充内容：母函数⑴、作用：特征函数描述连续型随机变量，母函数描述离散型随机变量⑵、定义：随机变量ζ的母函数F（s）=∑[0，＋∞] P（ζ=k）s k⑶、性质：母函数与分布律一一对应，且P（ζ=k）= F（n）（0）/k！⑷、性质：ζ=ζ1＋ζ2＋…＋ζn的母函数为F1（s）*F2（s）*…*Fn（s）6、细胞分裂模型⑴、定义：X（n+1）=ζ1＋ζ2＋…＋ζX(n)【随机个随机变量】其中：X（n）：第n代细胞的个数ζi：第i个细胞分裂的细胞数⑵、求解：pij=P[X（n+1）=j | X（n）=i]=P[ζ1＋ζ2＋…＋ζx(n)=j | X（n）=i]=P[ζ1＋ζ2＋…＋ζi=j]=d n[F（0）]j/[j！*d j s]7、Polya模型⑴、定义：盒子中有b个黑球，r个红球，从盒子中随机摸出一球，观测颜色以后放入同颜色的C球Rk=1，若第k次摸出红颜色的球，否则0⑵、证明：P（Rk=1）=r/（b+r），P（Rk=0）=b/（b+r）关键：数学归纳法＋全概率公式证明⑶、证明：Rk同分布，但不是相互独立的关键：P（R1=1，R2=1）≠P（R1=1）P（R2=1）【关键：乘法公式】⑷、证明：{Rk}不是Markov链【关键：反证法】8、通信系统模型⑴、定义：采用5种信号的概率分别为0.2，0.4，0.1，0.1，0.2ζn：前n次信号转换中，采用第二种信号的次数⑵、证明：{ζn；n≥0}为齐次Markov链⑶、求解：转移矩阵P=（pij）【关键：pij：当前有i次，下一次有j次的概率】第四节Markov链的状态分类一、到达与相通1、可到达⑴、定义：可到达i→j【对于i，j∈S，如果存在n≥1，使得pij（n）＞0】⑵、解释：从状态i可到达状态j⑶、性质：pij（n）=P{X（n）=j | X（0）=i}＞0⇒则P{ X（0）=i}＞0⑷、性质：i→j⇒存在一条从i到j的路径，该路径上的所有一步转移概率大于02、不可到达⑴、定义：i↛j【对于∀n≥1，都有pij（n）=0】【即找不到一个n≥1，使得pij（n）＞0】⑵、解释：从状态i不可到达状态j3、相通⑴、定义：如果i→j并且j→i，则i↔j【称为：状态i和状态j相通】⑵、定理：可到达和相通都具有传递性【证明：利用定义+CK公式】二、首达时间和首达概率1、首达时间⑴、定义：首达时间Tij【Tij（ω）=min{n：X（0）=i，X（n）=j，n≥1}】⑵、解释：在一次实验中，从状态i出发，首次到达状态j的时间⑶、解释：Tij是一个随机变量【不同的实验结果，其首达时间不一样】⑷、解释：首达时间可为＋∞2、首达概率⑴、定义：★★首达概率fij（n）【fij（n）=P {Tij=n | X（0）=i}】⑵、解释：从状态i出发，经过n步转移首次到达状态j的概率3、首达概率的核心公式【首达概率的本质】⑴、核心公式：fij（n）=P { X（n）=j，X（k）≠j，1≤j＜n | X（0）=i}⑵、推论：fij（1）=P { X（1）=j | X（0）=i}=pij4、迟早到达概率⑴、定义：迟早到达概率fij=∑[1≤n＜+∞] fij（n）【抽走无穷大情形】⑵、解释：从状态i出发，经过有限步转移迟早到达状态j的概率⑶、定义：P（Tij=+∞）=1－fij【从状态i出发，经过有限步转移不能到达状态j的概率】三、首达概率的基本性质1、性质：0≤fij（n）＜fij≤1★★2、转移概率与首达概率的关系⑴、定理：对于任意的i，j∈S，以及1≤n＜∞，有pij（n）=∑[1≤l≤n] fij（l）pij（n-l）⑵、证明：{ X（0）=i，X（n）=j }= {X（0）=i，X（n）=j}∩{∪[1，∞][Tij=l]}3、利用迟早到达概率判断可到达【注意：原定义是使用转移概率】⑴、定理：对于任意的i，j∈S，fij＞0⇔i→j⑵、证明：充分性和必要性的证明，都要利用性质将转移概率与首达概率联系起来⑶、约定：pii（0）=14、迟早到达与相通的关系⑴、定理：对于任意的i，j∈S，fij＞0 and fji＞0⇔i↔j⑵、证明：上述定理的推论四、状态的分类1、特别定义⑴、定义：首返概率fii（n）【从状态i出发，经过n步转移首次返回状态i的概率】⑵、定义：返回概率fii【从状态i出发，经过有限步转移迟早返回状态i的概率】2、常返态和非常返态⑴、定义：常返态【如果fii=1】【必然返回】⑵、定义：非常返态【如果fii＜1】【可能返回】3、Tij的条件数学期望⑴、定义：★★μij=E[Tij | X（0）=i]= ∑[1，∞]n fij（n）解释：从状态i出发，首次到达状态j的平均转移步数⑵、定义：平均返回时间μi=μii解释：从状态i出发，首次返回状态i的平均转移步数4、正常返态和零常返态⑴、思路：利用数学期望，对常返态进一步分类⑵、定义：正常返态【常返态＋μi＜∞】⑶、定义：零常返态【常返态＋μi=∞】5、归纳⑴、利用返回概率fii区分常返态和非常返态【常返态fii=1，非常返态fii＜1】⑵、利用平均返回时间μii区分正常返态和零常返态【正常返μi＜∞，零常返μi=∞】五、状态的判别1、核心定理：Pij（s）=δij＋Fij（s）Pjj（s）★★⑴、定义：Pij（s）=∑[0，∞] pij（n）s n【序列{pij（n）；n≥0}的母函数】⑵、定义：Fij（s）=∑[1，∞] fij（n）s n【序列{fij（n）；n≥1}的母函数】⑶、证明：利用核心定理pij（n）=∑[1≤l≤n] fij（l）pij（n-l）＋注意交换求和顺序2、利用转移概率∑[0，∞] pii（n）判断常返态和非常返态⑴、定理：i为常返态⇔∑[0，∞] pii（n）＝∞⑵、定理：i为非常返态⇔∑[0，∞] pii（n）＜∞⑶、证明：令i=j，由核心定理⇒Pii（s）=1＋Fii（s）Pii（s）⇒Pii（s）=1/（1-Fii（s））令s=1⇒∑[0，∞] pii（n）=1/（1-fii）3、非常返态的更强结论⑴、定理：如果j为非常返态，则对∀i∈S，有∑[0，∞] pij（n）＜∞⑵、证明：令s=1，由核心定理⇒Pij（1）=δij＋＋Fij（1）Pij（1）4、相通的等价性⑴、定理：如果i↔j，则i和j的状态一致【或都是正常返，或都是零常返，或都是非常返】⑵、证明：利用i↔j的定义+CK定理【仅部分证明】5、零常返的性质群【详细证明参见林元烈教材，P80】⑴、性质：如果i为常返态，则i是零常返⇔lim[n→∞]pii（n）=0⑵、性质：如果j为零常返，则对∀i∈S，有lim[n→∞]pij（n）=06、非常返态的性质群⑴、性质：任何一个非常返态，过程访问它的次数有限⑵、性质：任何一个有限状态的过程，不可能所有状态都是非常返态⑶、证明：关键：令随机变量Y（n）＝{1，如果X（n）＝i；0，如果X（n）≠i}则∑[0，∞] Y（n）表示过程处于状态i的次数⇒E{∑[0，∞] Y（n）|X（0）=i}={∑[0，∞]pii（n）＜∞六、习题剖析1、赌徒输光问题⑴、定义：甲有a元，乙有b元，每局甲获胜的概率为p，求甲输光的概率⑵、抽象：Markov链，其中S={0，1，2，…，a＋b}并且状态0和a＋b为吸收态假设ui=甲从状态i出发，首次到达状态0的概率⇒将问题转化为求ua⑶、性质：全概率公式⇒ui＝pui+1＋qui-1⇒ui+1－ui＝（q/p）i*（u1－u0）⑷、求解：∑[k，a+b-1] （ui+1－ui）=∑[k，a+b-1] （q/p）i*（u1－u0）⇒ua+b－uk=∑[k，a+b-1] （q/p）i*（u1－u0）⇒令k=0，求出（u1－u0）的值⇒代入上式，再令k=a，即可求出ua2、仪器测量⑴、定义：脉冲幅度={1，2，…，n}并且出现概率相同⑵、抽象：X（n）=前n次测量的最大幅度⑶、证明：{X（n）；n≥1}为齐次Markov链设ζi=第i次测量的幅度，显然ζi相互独立并且同分布P[X（m+k）=j |X（m）=i，X（m-1）=im-1，…，X（1）=i1]= P[max[m+1≤r≤m+k]（ζr，i）=j]= P[max[2≤r≤k+1]（ζr，i）=j]Pij（n）（m）= P[X（m+k）=j |X（m）=i]= P[max[m+1≤r≤m+k]ζr=j | P[max[1≤r≤m]ζr=i]= P[max[m+1≤r≤m+k]（ζr，i）=j]= P[max[2≤r≤k+1]（ζr，i）=j]⑷、求解：一步转移概率矩阵Pij【分j<i，j=i，j>i三种情况讨论】⑸、求解：测量到最大值的期望时间设Yn=首次测量到最大值n的时间=初态n的首次返回时间【关键技巧】⇒P（Yn=k）=1 /n*（n-1）k-1/n k-1⇒E（Yn）3、随机游动⑴、问题：{X（n）；n≥1}，其中S={0，±1，±2，…}并且各个状态相通⇒只需要分析S中的任何一个状态即可⑵、证明：判断i是常返态还是非常返态⇒分析∑[0，∞] pii（n）⇒利用母函数求解Pii（s）=∑[0，∞] pii（n）s n =∑[0，∞] [pii（2n）s2n＋pii（2n+1）s2n+1]=∑[0，∞]C[n，2n]p n q n s2n【注意求解：pii（2n）和pii（2n+1）】=（1-4pqs2）-1/2【利用泰勒展开式展开1/（1-x）1/2】⇒∑[0，∞] pii（n）＝lim（s→1）Pii（s）⇒即可分析i⑶、关键：★★母函数的求导【一阶导数得到数学期望，二阶导数得到方差】这也是求解级数的最为重要的手段典例：Fii（s）=∑[1，∞] fii（n）s n⇒F’ii（s）=∑[1，∞] nfii（n）s n-1⑷、证明：判断i是正常返还是零常返⇒分析μii=∑[1，∞]n fii（n）⇒利用母函数求解Fii（s）=∑[1，∞] fii（n）s n⇒Pii（s）=1+Fii（s）Pii（s）⇒Fii（s）=1-（1-s2）1/2⇒μii= lim（s→1）F’ii（s）⇒零常返七、闭集1、闭集的定义⑴、定义：C是闭集⇔对于∀i∈C，∀j∉C，i↛j含义：从C的任何状态出发，不可能到达C以外的状态【不会跑出去】⑵、定义：吸收态【如果闭集C只含单个状态】【闭集的特殊情况】2、不可约的定义⑴、定义：C是不可约的⇔C是闭集，并且不存在非空闭集C*⊂C关键：不可约的三个条件【非空，闭集，真子集】⑵、定义：Markov链不可约【不存在非空闭集C*⊂S】【不可约定义的特殊情况】3、闭集的基本性质⑴、性质：C是闭集⇔对于∀i∈C，∀j∉C，pij（n）＝0【反证法】⑵、性质：C是闭集⇔对于∀i∈C，∑（j∈C）pij（n）＝1证明：【关键：对于∀i∈C，∑（∀j∈C）pij（n）＋∑（∀j∉C）pij（n）＝1】⑶、性质：i为吸收态⇔pii=1【上面性质的推论】4、不可约的核心定理⑴、定理：闭集C是不可约的⇔闭集C的所有状态相通★★【林元烈教材，P86】⑵、证明：⇒反证法：则存在两个状态i和j，使得i↛j；令C={状态i可以到达的状态}，C*={状态i不能到达的状态}；由于不存在i*∈C，j*∈C*，并且i*→j*；【否则根据传递性，i→j*】所以C是闭集；又C是S的非空真子集【i∈C，j∉C】，于是S可约⇐反证法：S可约，则存在非空闭集C⊂S；对于∀i∈C，∀j∉C，有i↛j⑶、推论：Markov链是不可约的⇔Markov链的所有状态相通⑷、推论：Markov链是不可约的，则所有状态的类型一致5、常返态的核心定理⑴、定理：如果i为常返态，并且i→j，那么j也是常返态，并且fji=1★★含义：从常返态出发，只能到达常返态，不可能到达非常返态⑵、推论：如果i为常返态，并且i→j，那么i和j相通含义：从常返态i出发，只能在与i相通的常返态闭集中转圈⑶、推论：如果i为常返态，则{j：i→j}构成一个闭集【含义同上】⑷、归纳：利用图形分析【一个非常返态集D＋若干常返态相通闭集Ci】定理指出：从Ci不能到达D；而推论指出：从Ci不能到达Cj（i≠j）6、常返态与闭集⑴、定理：所有常返态构成一个闭集证明：设C={所有常返态}，C*={所有非常返态}⇒不可能存在i∈C，j∈C*，i→j【否则根据常返态核心定理，j也是常返态】⑵、推论：不可约的Markov链，或者没有常返态，或者没有非常返态证明：假设既存在常返态，又存在非常返态⇒常返态构成一个闭集，且非空真子集⇒与不可约矛盾八、状态周期1、周期⑴、定义：状态i的周期：如果正整数集{n：pii（n）＞0；n≥1}非空，则其最大公约数称为状态i的周期，记为di⑵、定义：非周期状态【或称状态i无周期】【如果di=1】⑶、定义：遍历态【非周期＋正常返】⑷、性质：不可约的，非周期的，有限状态的Markov链一定是遍历的证明：有限状态⇒至少存在一个正常返＋非周期⇒遍历态+不可约Markov链⇒所有状态都是遍历态2、状态的分类⑴、分类小结：状态={常返态＋非常返态}，常返态={正常返态+零常返态}正常返态={有周期正常返态＋非周期正常返态（遍历态）}⑵、核心定理：如果i↛j，则i和j的状态一致；或者都是非常返态，或者都是零常返态，或者都是非周期正常返态，或者都是周期相同的有周期正常返态3、周期状态判别⑴、性质：取一个状态，求解{j：i↔j}，然后从集合中取一个代表，并分析其周期性⑵、性质：如果存在正整数n，使得pii（n）＞0 ，pii（n+1）＞0，则状态i无周期⑶、性质：如果存在正整数n，使得n步转移概率矩阵P n的第j列全部不为0，则状态j无周期证明：由转移概率矩阵P m可知p jj（n）＞0⇒再分析P n+1＝P*P n可知p jj（n+1）＞0九、分解定理1、齐次Markov链分解定理★★⑴、步骤：首先将S分解为两大类{非常返态集合＋常返态集合}，再分解常返态集合然后任取一个常返态i1，求解不可约集C1={j：i↔j}，…⑵、结果：齐次Markov链的状态空间S，可唯一分解为可列个互不相交的集合：S=D∪C1∪C2∪…，其中D={非常返态集合}，Ci为常返态的相通不可约集⑶、证明：常返态+相通⇒闭集+相通⇒不可约⑷、归纳：利用图形分析【=非常返态集D＋若干常返态相通不可约集Ci】定理指出：从Ci不能到达D；而推论指出：从Ci不能到达Cj（i≠j）2、周期为d的不可约Markov链分解定理⑴、证明：一个周期为d的不可约Markov链⇒具有有周期正常返态，不具有非常返态⑵、结果：一个周期为d的不可约Markov链，其状态空间S可分解为d个互不相交的集J1，J2，…，Jd，即S=∪[r=1，d]Jr，并且对于i∈Jr，∑（j∈Jr+1）pij=13、转移矩阵的标准形式⑴、变换方法：交换行列，使得同一等级类的状态集中在一起【D放在开始】⑵、矩阵形式：参见孙应飞教材P48十、有限Markov链的性质1、非常返态和闭集⑴、性质：所有非常返态组成的集合不可能是闭集⑵、证明：反证法：如果非常返态组成的集合是闭集，则一旦到达该集合中的状态，过程就要无限次在该集合中周转，而不能跳出该集合【否则不是闭集】但是过程对每个非常返态的访问次数有限+有限Markov链⇒结论2、有限Markov链的状态类型⑴、性质：有限Markov链没有零常返⑵、证明：反证法：假设具有零常返态i，令Ci={j：i↔j}⇒Ci为状态相通的不可约集⇒∑（∀j∈Ci）pij（n）=1⇒j为零常返（与i相通）⇒对∀i∈Ci，有lim[n→∞]pij（n）=0⇒有限相加也必为0，矛盾⑶、性质：有限Markov链至少一个正常返⑷、证明：有限Markov链⇒至少一个常返态，而又不可能为零常返⇒至少一个正常返3、不可约有限Markov链的状态类型⑴、性质：不可约有限Markov链只有正常返⑵、证明：不可约Markov链⇒所有状态相通+至少一个正常返⇒所有都是正常返4、有限Markov链状态空间的分解⑴、结果：状态空间S可以分解为S=D∪C1∪C2∪…∪Ck，其中Ci为正常返相通不可约集⑵、分析：Markov链⇒整个S是一个闭集+有限⇒分解为若干个小的不可约有限Markov链+上面性质⇒结论十一、典例分析1、给出转移概率矩阵，通过性质研究其状态关系⑴、步骤1：画出状态转移图⑵、步骤2：以相通性为工具，将状态空间S的所有状态分解为若干个子集C1∪C2∪…∪Ck∪C*其中：Ci为状态相通的闭集【特征：里面的状态跑不出来】C*为非闭集【特征：C*将跑到Ci，但Ci不会跑到C*】⑶、结论：Ci一定是正常返相通不可约集，而C*为非常返态集2、给出转移概率矩阵，通过计算研究其状态关系⑴、步骤1：集合的分解步骤与前面一致，下面将通过计算来判断其状态⑵、步骤2：fii的计算：fii=∑[1≤n＜+∞] fii（n），其中：fii（n）= P {Tij=n | X（0）=i}= P { X（n）=j，X（k）≠j，1≤j＜n | X（0）=i}由此可见，首达概率是指首次到达，而在这之前从没有到达过⑶、典例：fii计算的典例【P48例2】吸收态的计算：f33（1）=1，f33（k）=0（k≥2）非常返的计算：f22（1）=1/4，f33（k）=0（k≥2）常返态的计算：f00（1）=1/2，f00（1）=1/4，f00（2）=1/8，…⑷、步骤3：μi的计算：μi=∑[1，∞]n fii（n）平均返回时间⑸、典例：μi=∑[1，∞]n（1/2）n的计算首先计算∑[1，∞]x n=1/（1-x）⇒求解其导数∑[1，∞]nx n=1/（1-x）23、周期的求解⑴、注意：每个状态都有其周期【包括非常返态，并非只有在常返态才有其周期】⑵、性质：如果存在正整数n，使得pii（n）＞0 ，pii（n+1）＞0，则状态i无周期⑶、性质：带环状态的周期为1【即非周期】【根据定义可以证明】⑷、性质：相通状态的周期相同★★【将有周期正常返态和遍历态，统一起来】4、典例⑴、性质：有限状态的相通闭集可以判断为正常返相通不可约集【没有零常返】但是无限状态，只能判断为常返态相通不可约集【可能有零常返】⑵、解释：无限状态还需要具体计算μi，来判断是零常返还是正常返⑶、典例：课本P49例4：还需要具体计算μi选取状态1来计算，然后根据相通性⇒其它状态的类型一致5、闭集分解与周期分解【典例：P49例5】⑴、性质：如果状态空间可分解为d个互不相交的子集，即S= J1∪J2∪…∪Jd，并且对于i∈Jr，∑（j∈Jr+1）pij=1【即Jr的状态，只能跑到Jr+1里面】则该Markov链是周期为d的周期链⑵、注意：这种分解不是闭集分解，而是周期分解6、Tij的分布律⑴、关键：fij（n）的计算【fij（n）=各种可能首达概率为n的和】⑵、典例：P50例6：在计算fij（n）的过程中，注意找出其首达规律⑶、注意：等比数列的求解方法7、其它问题⑴、关键：首先利用状态转移图来描述问题⇒对其进行各种分析⑵、典例：P51例78、附录：转移矩阵估计问题【高等数理统计的遗留问题】⑴、问题：如何利用现有数据来估计转移矩阵P？⑵、关键：利用极大似然法第五节Markov链的极限性态与平稳分布一、P n的极限性态1、Markov定理⑴、定理：对于有限状态的Markov链，如果存在正整数m≥1，使得对于∀i，j∈S，都有pij（m）＞0【m阶转移矩阵的所有元素都大于0】则lim[n→∞]P n＝π，其中π是随机矩阵，并且它的各行都相同⑵、解释：Markov链是遍历链【非周期正常返+相通+不可约集】⑶、解释：各行相同的随机矩阵【所有元素都介于0和1，并且各行之和等于1】⑷、证明：设mj（n）=min[i∈S]pij（n）【n步转移矩阵第j列的最小元素】设Mj（n）=max[i∈S]pij（n）【n步转移矩阵第j列的最大元素】由CK方程证明mj（n）单调上升，Mj（n）单调下降【单调有界则必有极限】⑸、证明：mj（n）≥εMj（n-1）＋（1-ε）mj（n-1）【同样分析Mj（n）】⇒0≤Mj（n）－mj（n）≤（1-2ε）（n-1）⇒两个极限存在并相等2、Markov定理的结论⑴、结论：lim[n→∞] pij（n）=πj【每一个元素的极限值，仅与它所在的列有关，与行无关】⑵、结论：分析极限矩阵π的特点【如何由单个元素πj⇒整个矩阵π】⑶、结论：Pπ=π【证明：P的各行之和为1，并且π的每列元素都相同】3、推论：P n的极限矩阵π是唯一的，而且满足【给出了求解矩阵π的方法】⑴、结论：πP=π【证明：πP= lim[n→∞]P n*P= lim[n→∞]P n+1＝π】⑵、结论：∑[j∈S]πj=1【证明：有限元素之和为1⇒若极限存在，则极限之和也为1】⑶、结论：唯一性【证明：假设矩阵V满足上述两个条件⇒V=π】4、推论：lim[n→∞]P{X（n）=j}＝lim[n→∞] pij（n）=πj⑴、含义：lim[n→∞]P{X（n）=j}与初始状态无关⑵、证明：由{X（n）=j}={X（n）=j}∩{∪[i∈S] X（0）=i }⇒求概率，再取极限即可。
(完整)随机过程总结,推荐文档
第一章随机变量基础1历史上哪些学者对随机过程学科的基础理论做出了突出贡献？答:随机过程整个学科的理论基础是由柯尔莫哥洛夫和杜布奠定的。
这一学科最早源于对物理学的研究，如吉布斯、玻尔兹曼、庞加莱等人对统计力学的研究，及后来爱因斯坦、维纳、莱维等人对布朗运动的开创性工作。
1907年前后，马尔可夫研究了一系列有特定相依性的随机变量，后人称之为马尔可夫链。
1923年维纳给出布朗运动的数学定义，直到今日这一过程仍是重要的研究课题。
随机过程一般理论的研究通常认为开始于20世纪30年代。
1931年，柯尔莫哥洛夫发表了《概率论的解析方法》，1934年A·辛饮发表了《平稳过程的相关理论》，这两篇著作奠定了马尔可夫过程与平稳过程的理论基础。
1953年，杜布出版了名著《随机过程论》，系统且严格地叙述了随机过程基本理论。
2 全概率公式的含义？答：全概率公式的含义就是各种可能发生的情况的概率之和为1。
3 概率空间有哪几个要素，其概念体现了对随机信号什么样的建模思想？答：样本空间、事件集合、概率函数称为概率空间的三要素。
概率函数建立了随机事件与可描述随机事件可能性大小的实数间的对应关系，因此，概率空间是在观测者观测前对随机事件发生的可能性大小进行了量化，其有效性是通过多次观测体现出来的，也即在多次观测中，某个随机事件发生的频率可直接认为与其发生的概率相等，所以，概率空间的建模思想实际是对大量观测中某随机事件发生频率的稳定性的描述。
4 可用哪些概率函数完全描述一个随机变量？答：概率分布函数（cdf）、概率密度函数（pdf）、特征函数（cf）、概率生成函数（gf）。
5 可用哪些数字特征部分描述一个随机变量？答：均值、方差、协方差、相关系数和高阶矩。
6 随机变量与通常意义上的变量有何区别与联系？答：随机变量具有通常意义上的变量的所有性质和特征（即变量特性），还增加了变量取每个值的可能性大小的描述（即概率特性）。
因此，描述或刻画一个随机变量时，还必须要特别考察其概率函数或各阶矩函数。
第1章随机过程简介
5
第1章 随机过程简介
例1.3
电话交换站呼叫计数
设一个电话交换台迟
早会接到用户的呼叫，并以X(t)表示时间间隔［0，t)内交
换台接到的呼叫次数，则X(t)是一个随机变量，但是对于 不同的t∈［0，∞)，X(t)是不同的随机变量，于是{X(t)， t∈［0，∞)}是随机过程, 如图1.3所示。
6
第1章 随机过程简介
t∈T}，如果对于任意的参数t0<t1<t2<…<tn<t，在X(t0)，
X(t1)，…， X(tn)值已知的情况下， X(t)的条件分布只与 X(tn)的状态有关，即
P{X(t)≤x|X(tn)≤xn，X(tn－1)≤xn－1，…
X(t0)≤x0}=P{X(t)≤x|X(tn)≤xn}
27
第1章 随机过程简介
马尔可夫链n时刻的k步转移概率： n时刻MC处于状 态i，经过k步时间，系统处于j状态的概率，记为
28
第1章 随机过程简介
特别的， 当 k=1 时， 得到一步转移概率
29
第1章 随机过程简介
其一步转移概率矩阵P(1)为
k步转移概率矩阵记为P(k)。
30
第1章 随机过程简介
本课程研究时间齐次马尔可夫过程，简称时齐马尔
设Xn为第n (n=1，2，…，97)个时段的计算机状态，
n级的输出。
33
第1章 随机过程简介
图1.5 0-1传输系统
34
第1章 随机过程简介
分析可见： {Xn，n=1，2，…}是一个随机过程，状态
空间I={0，1}。且当Xn=i，i∈I为已知时，Xn+1所处的状态
分布只与Xn=i有关，而与时刻n之前所处的状态无关，所以 它是个马尔可夫链，并是齐次的。它的一步转移概率和一
随机过程知识点汇总
第一章随机过程的基本概念与基本类型一．随机变量及其分布1．随机变量，分布函数离散型随机变量的概率分布用分布列分布函数连续型随机变量的概率分布用概率密度分布函数2．n 维随机变量其联合分布函数离散型联合分布列连续型联合概率密度3 .随机变量的数字特征数学期望：离散型随机变量连续型随机变量方差：反映随机变量取值的离散程度协方差（两个随机变量）：相关系数（两个随机变量）：若，则称不相关。
独立不相关4•特征函数离散连续重要性质：，，，5 •常见随机变量的分布列或概率密度、期望、方差0 — 1分布二项分布泊松分布均匀分布略正态分布指数分布6.N维正态随机变量的联合概率密度，，正定协方差阵二.随机过程的基本概念1.随机过程的一般定义设是概率空间，是给定的参数集，若对每个，都有一个随机变量与之对应，则称随机变量族是上的随机过程。
简记为。
含义：随机过程是随机现象的变化过程，用一族随机变量才能刻画出这种随机现象的全部统计规律性。
另一方面，它是某种随机实验的结果，而实验出现的样本函数是随机的。
当固定时，是随机变量。
当固定时，时普通函数，称为随机过程的一个样本函数或轨道。
分类：根据参数集和状态空间是否可列，分四类。
也可以根据之间的概率关系分类，如独立增量过程，马尔可夫过程，平稳过程等。
2 .随机过程的分布律和数字特征用有限维分布函数族来刻划随机过程的统计规律性。
随机过程的一维分布，二维分布，…，维分布的全体称为有限维分布函数族。
随机过程的有限维分布函数族是随机过程概率特征的完整描述。
在实际中，要知道随机过程的全部有限维分布函数族是不可能的，因此用某些统计特征来取代。
（1）均值函数表示随机过程在时刻的平均值。
（2）方差函数表示随机过程在时刻对均值的偏离程度。
（3）协方差函数且有（4）相关函数（3）和（4）表示随机过程在时刻，时的线性相关程度。
(5)互相关函数：，是两个二阶距过程，则下式称为它们的互协方差函数。
，那么，称为互相关函数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
������������������(������, ������) = ������������������[������1, ������2]|������1| + ������������������[ℎ1, ℎ2]|������2|
边缘分பைடு நூலகம்律：
+∞
+∞
������������∙ = ∑ ������������������ , ������∙������ = ∑ ������������������
������=1
������=1
条件分布率：
������������|������
=
������������������ ������∙������
������ ������ = ������
+∞
+∞
������������(������) = ∫ |������|������(������������, ������)������������ = ∫ |������|������������(������������)������������(������)������������
+∞ +∞
������(������, ������) ≥ 0, ∫ ∫ ������(������, ������)������������������������ = 1
−∞ −∞
������{(������, ������) ∈ ������} = ∬ ������(������, ������)������������������������
������������(������) = ∫
−∞
|������|
������������ (������)������������
������ = max{������(−∞), ������(+∞)}
ℎ(������)是������(������)的反函数
联合分布函数：
������(������, ������) = ∑ ∑ ������������������
������������<������ ������������<������
−∞
−∞
������ = |������ ± ������|
������������(������) = ∬ ������(������, ������)������������������������
|������±������|<������
������ = min(������, ������) ������������(������) = 1 − [1 − ������������(������)][1 − ������������(������)]
������������1 ������1 = |������������������������1
������������
������������1
������������2
������������������������1| , ������2 = |������������������������2
条件分布函数：
������
������������|������(������|������) = ∫ ������������|������(������|������)������������
−∞ ������
������������|������(������|������) = ∫ ������������|������(������|������)������������
������������������ (������,
������)
=
{������������������ [ℎ1 (������,
������),
ℎ2(������,
������)]|������|, 0,
(������, ������) ∈ ������ otherwise
������������ ������������
������������
������������
������������2
������������ ������������2
|
������������
������������(������) = ������������(������)������������(������)
������������(������) = ������������(������)������������(������) + ������������(������)������������(������)
连续型������. ������. ������落在区间的概率与区间的开闭无关
一维连续型随机函数的分布
������������(������), ������ = ������(������)，则������ = ������(������)的分布函数为
������������(������) = ∫ ������������(������)������������
分布率：
离散 ������{������ = ������������ } = ������������
随机变量及其分布
一维
连续
离散
概率密度函数：
联合分布率：
������(������) = ������′(������)
������������������ = ������{������ = ������������, ������ = ������������}
������)为二元连续函数，由{������������
= =
������1(������, ������2(������,
������) ������)
确定的������. ������. (������, ������)
称为������. ������. (������, ������)的变换，其联合概率密度为
−∞
−∞
������ = ������ − ������
+∞
+∞
������������(������) = ∫ ������������(������)������������(������ − ������)������������ = ∫ ������������(������ + ������)������������(������)������������
, ������������|������
=
������������������ ������������∙
二维
连续
联合概率密度函数：
������2������(������, ������) ������(������, ������) = ������������������������
联合分布函数：
分布函数：
性质：
������(������) = ∑ ������������
������������<������
0 ≤ ������(������) ≤ 1, ������(−∞) = 0, ������(+∞) = 1
∀������1 < ������2, ������(������1) < ������(������2) ������(������ + 0) = ������(������)
−∞
离散
一维
连续
二维
离散
连续
性质：
性质：
0 ≤ ������(������, ������) ≤ 1, ������(+∞, +∞) = 1 ������(−∞, ������) = ������(������, −∞) = ������(−∞, −∞) = 0 ������(������, ������)对每个变量都是单调非减函数 ������(������, ������)对每个变量都是右连续函数 ∀������1 < ������2, ������(������2, ������2) − ������(������1, ������2) − ������(������2, ������1) + ������(������1, ������1) ≥ 0 二维随机变量的变换
−∞ +∞
������������(������) = ∫ ������(������, ������)������������
−∞
条件概率密度函数：
������(������, ������)
������(������, ������)
������������|������(������|������) = ������������(������) , ������������|������(������|������) = ������������(������)
(������,
������)
∈
������是{������������
= =
������1(������, ������2(������,
������������))的唯一反函数。
{������������
= =
������1(������, ������2(������,