刘次华版随机过程与噪声最终版

合集下载

随机过程课件打印版

当An An 1 , n 1
当An An 1 , n 1
9
A1 A2
连续性定理
A1 A2

则称P为（Ω，F）上的概率，（Ω，F，P）称为概率空间，P（A）为事件A的概率。
An Ai 新事件：lim n i 1
lim An Ai
n i 1
3 对于R n中的任意区域， a1 , b1; a2 , b2 ;;a n , bn ，其中 ai bi , i 1,, n
F b1 , b2 ,, bn F b1 ,, bi 1 , ai , bi 1 ,bn F b1 ,, bi 1 , ai , bi 1 ,, b j 1 , a j , b j 1 ,, bn ，
d P({e : g( X ) y, e X }) dy
如果上式右端概率的导数对于y处处存在，那么这个导数就给出了随机变量Y的概率密度
fY ( y)
19
20
n维联合分布函数F x1 , x 2 , x n 具有下列性质 :
三、边缘分布
若二维联合分布函数中有一个变元趋于无穷，则其极限函数便是一维分布函数，对于这种特殊性质，我们称其为边缘分布。对于任意两个随机变量X,Y，其联合分布函数为： F ( x, y ) 则： FX ( x ) P ( X x ) P ( X x , Y ) F ( x , )
P( X x,Y y) P((X x) (Y y)) P( X x)P(Y y)kFra biblioteknpkq
nk
, k 0 ,1 , 2 n
p
P(X k)

k
k!

刘次华《随机过程及其应用(第三版)》课件4

Y (t)
延迟T
[解]
故 Y (t) 是平稳过程。
[解] (1) 随机过程 X (t) 是平稳过程，
相关函数：
平均功率：
(2) X (t) 是非平稳过程
平均功率：
功率谱密度的性质
设 { X (t), < t < } 是均方连续平稳过程， RX () 为它的相关函数，其功率谱密度 sX ()具有如下性质：
(1) （维纳-辛钦定理）若
，
则 sX () 是 RX () 的傅里叶变换；
为该过程的时间均值和时间相关函数。
各态历经性
[定义] 设 { X (t), < t < } 为均方连续的平稳过程，若
以概率1成立，则称该平稳过程的均值具有各态历经性。若
以概率1成立，则称该平稳过程的相关函数具有各态历经性。 [定义] 如果均方连续的平稳过程 { X (t), t T } 的均值和相关函数都
单边功率谱
单边功率谱——实平稳过程的谱密度 sX () 是偶函数，
因而可将负的频率范围内的值折算到正频率范围内。
sX()
GX()
例5
n 已知平稳过程的相关函数为
，
其中 a > 0, 0 为常数，求谱密度 sX () .
[解]
常见的平稳过程的相关函数及相应的谱密度
参见表7.1（P150）
窄带过程
窄带随机过程——谱密度限制在很窄的一段频率范围内。
-2 -1
sX()
s0
0 1 2
谱密度：
RX()
相关函数：
0
白噪声过程
[定义] 设 { X (t), < t < } 为实平稳过程，若它的均值为零，且谱密度在所有频率范围内为非零的常数，即

随机过程(第四版)刘次华研究生用书

概率空间随机试验是概率论的基本概念，试验的结果事先不能准确地预言，但具有如下的三个特性：）可以在相同的条件下重复进行；每次试验的结果不止一个，但预先知道试验的所有可能的结果；每次试验前不能确定哪个结果会出现随机试验所有可能结果组成的集合称为这个试验的样本空间称为样本点或基本事件，称为必然事件，空集上的概率的概念和称为不可中的元素称为事件，样本空间或基本事件空间，记为的子集能事件由于事件是集合，故集合的运算（并、交、差、上极限、下极限、极限等）都适用于事件的所有子的某些子集）及其发生的可在实际问题中，我们不是对所有的事件（样本空间集）都感兴趣，而是关心某些事件（这样，便导致设是代数是一个集合，的某些子集组成的集合族，则，则）若）若能性大小（概率）定义如果第一章预备知识）对两两互不相容事件（当中的元素）称为可测空间域）代数（为由定义易知：，则）若）），则）若设（）若定义上的实）是定义在是可测空间，（如果）任意）；时，）称为概率空间，）上的概率，是（的概率由定义易知：）；）一）为事，即概定义，如果对任意）是概率空间，设（）设，则率具有单调性；件则称）有值函数称为事件则称连续型随机变量数）描述，其分布函的概率分布用概率密度其分布函数，，，…离散型随机变量的概率分布用分布列描述：续型随机变量在应用中，常见的随机变量有两种类型：离散型随机变量和连量，其分布函数是）及其上的随机变上述三个性质，必存在一个概率空间（（，若具有）上实值函数可以证明，定义在）是右连续，即；（时，有）是非降函数：即当分布函数）具有下列性质：为随机变量的分布函数，是上的随机变量称，简记为随机变量上的实函数，如果对任意实数，则称设（定义）是概率空间是定义在分布函数来描述随机变量是概率论的主要研究对象，随机变量的统计规律用随机变量及其分布则称为独立事件族）是非降）是右连，其中维随机变量也有两种类型：离散型和连续在应用中，常见的，其联合分布函数为维随机变量）及其上的，必存在一个概率空间（可以证明，对于定义在上具有上述性质的实函数，，，…）对于中的任意区域（续的；）对于每个变元函数；对于每个变元维联合分布函数）具有下列性质：为）的联合分布函数，…，，…，…，则称）为维随机变量或维随机向量称对于任意上的是定义在维空间中取值的向量函数如果定义设（）是概率空间，下面我们讨论维随机变量及其概率分布常见随机变量的分布参见表则称度和则称价于其中价于…，）的联合概是随机向量其中式等｝是一族独立的连续型随机变量，如果是的任意可能值，式等｝是一族独立的离散型随机变量，如果是独立的，有设定义是一族随机变量，若对于任意的联合概率密）称为是连续型随机向量，，随机向量）的联合分布函数，，若存在定义在上的非负函数，对于任意（，其中是离散集，的联合分布函数对于离散型随机向量），其联合分布列为，都是离散型随机变量，则称是离散型随机向量若随机向量）的每个分量型的数学期望或均值上式右边的积分称为为的分布函数为定义设随机变量，则定义是随机变量，若设，则称为若是离散型随机变量，分布列，…，，积分则是连续型随机变量，概率密度为若的方差随机变量的数学期望是随机变量的取值依概率的平均随机变量的方差反映随机变量取值的离散程度一，则称是随机变量设定义，若机变量的某些特征值就够了分布函数却是相当麻烦的在实际问题中，我们有时只需要知道随随机变量的概率分布完全由其分布函数描述，但是如何确定随机变量的数字特征常是根据经验或具体情况来决定的独立性是概率中的重要概念在实际问题中，独立性的判断通率密度，）是随机变量的概率密度，）是）维随机变量（相关系数是常数；的协方差，而为的相关系数，则称不相关若表示之间的线性相关程度的大小随机变量的数学期望和方差具有如下性质：）若）的联合分布函数为维连续函数，则，其中）若，其中）若独立，则独立，则律和特征函数之间存在一一对应关系，因此在得知随机变量的特由于分布特征函数是研究随机变量分布律的一个重要工具特征函数、母函数和拉氏变换有关的证明可参考，则引理）若，则（单调收敛定理）若，则不等式）若是常数；为的特征函数为定义当））若随机变量可微分次，且当特征函数当则和复数）若…用特征函数求分布律比直接，…，，则存在，则的特征函数及任意实数），称（的复值函数，由于为此，我，故随机是相互独立的随机变量，则…，…的特征函数，是随机变量其中）的特征函数，有即对任意正整数是非负定函数时，有阶矩的）上一致连续）在（，（随机变量的特征函数具有下列性质：是连续型随机变量，概率密度为，是离散型随机变量，分布列变量的特征函数必然存在是实变量设随机变量的分布函数为们首先介绍特征函数求分布律容易得多，而且特征函数具有良好的分析性质征函数之后，就可以知道它的分布律因为所以以对于定义＝＝由性质知的分布列为解及的特征函数，求服从设例数的性质维随机变量的特征函数具有类似于一维随机变量的特征函为的特征函数，则称）是维随机变量，设维随机变量也可以定义特征函数…，相互独立，所以也相互独立，所是非负定函数我们只对（进行证明随机变量的分布函数由其特征函数唯一确定于是得微分方程式右端在积分号下求导，得对设例解这是可分离变量方程，有两边积分得故得方程的通解为，其的特征函数为设随机变量例，于是，所以的特征函数为由于），求数的特征的特征函数，则由例，求为任意实数，证明的特征函数知的特征函数由例知，为证设随机变量解设，则例，令常见随机变量的数学期望、方差和特征函数见表是非负整数值随机变量，分布列设定义研究非负整数值随机变量，母函数是非常方便的工具表的特征函数中为若量）由，，…！，故，则令阶导数，得上式两边对求的母函数）分别是其中），的母函数是与…独立的非负整数值随机变量，则）若…是相互独立且同分布的非负整数值随机变）独立随机变量之和的母函数等于母函数之和））＋）存在，则，）是）设存在，则的母函数，若非负整数值随机变量的分布列由其母函数唯一确定母函数具有以下性质：的母函数则称另一限定理知实际中许多随机变量服从或近似地服从正态分布方面，由中心极正态分布在概率论中扮演极为重要的角色维正态分布（元），故由式解由条件知销售额的平均值服从，求商店的日松分布，又设每位额客所花的钱人的泊服从参数例设商店在一天的额客数）可得由公式（显然同理可证（式性质性质式中，为性质，布定义率密度为设义给定的条件分布函数为时，给定的条件概率为时，的，定是离散型随机变量，对一切使条件期望），，，则）是四维正态随机变量，设即正态随机变量的线性变换仍为正态随机变量正定，则设，若，则若为了应用的方便，下面，我们不加证明地给出常用的几个结论…，）），则可以证明，若的特征函数维正态分布，记作维正态随机变量或服从）是常向量，是对称矩阵，则称，若维随机变量）的联合概方面，正态分布具有良好的分析性质下面我们讨论维正态分的条件概率密度定义为，给定的条件期望为而给定时，，则对一切的条件分布函数为给定时，的条件期望定义为而给定时，的下的条件期望，则（式为是连续型随机变量，其联合概率密度为的若使的条件概率以外，现在的由此可见除了概率是关于事件是的一个可能值若在已知是条件下，全面地考虑代替定义与无条件的情况完全一样的函数，的均值，需要以）是随机变量在的函数，也是随机变量，称为条件期望在概率论、数理统计和随机过程中是一个十分重要的概念，下面我们介绍一个极其有用的性质与性质若随机变量的期望存在，则是离散型随机变量，则如果式为是连续型，具有概率密度如果式都是离散型随机变量证明与证明我们仅对式我们看到，从是给定的条件期望的一时，所加的权是作为条件的事件个加权平均值，每一项为一个任意事件，的示性的概率设先对一个适当的随机变量取条件，不仅使我们能求得期望，也可以用这种方法计算事件的概率函数，则，记（）和为）的分布函数为设是相互独立的随机变量，其分布函数分别与例式我们有由（，所对任意的随机变量，）是一个二值随机变量显然为全不匹配这一事件，例张选票，其中得到而候选人是等可能的，证明：在计票过程中，始终领先始终领先得到最后一票的条件下，注意到，在票而得到条件下，可得类似的结果于是下面，我们用归纳法，对当时，成立，则当）证记所求概率为件，我们有始终领先始终领先证毕（匹配问题）设有例每人随机地选一顶，求恰好有解记子这一事件，为第一个人没有选到自己的帽子这一事件，令为第一个人选到自己的帽个人选到自己帽子的概率个人，把他们的帽子混在一起后，式及归纳假设有时，由式时假设，结论为真进行归纳，证明在得到最后一票的张票的概率是一样的得到始终领先的概率与得到最后一票得到最后一票得到最后一票得到最后一票得到最后一票得到最后一票以得到最后那张选票的候选人为条的票数始终领先的概率为假定选票的一切排列次序（选票问题）在一次选举中，候选人得到张选票，从而个人从）取条件我们得到，因为可以将多余的帽子则与有关）是由于现在顶帽子中各取一顶都不匹配顶帽子中的概率，其中有一个人的帽子不在这个互不相容的事件组成此事件由两个事件是都不匹配且多余的那个人（即前一个事件的概率是其帽子已给第一个人取走的那个人）未能选中多余的帽子（即第一个选取人的帽子），另一个事件是都不匹配但多余的人选取到了多余的帽子由于第二个事件的概率是我们有）式得看作为多余的人的于是，从（，于是由（或等价地由于）式得所以一般地，我们有个人，只有他们选中自己的帽子的概率为对于固定的其中因是其余匹配的概率是充分大时上式近似地等于当个匹配的概率种，所有恰有个人的选择法有个人从他们自己的那些帽子中选取但全不第二章随机过程的概念与基本类型随机过程的基本概念为了预报该地区未来的气表示在时刻初等概率论研究的主要对象是一个或有限个随机变量（或随机向量），虽然有时我们也讨论了随机变量序列，但假定序列之间是相互独立的随着科学技术的发展，我们必须对一些随机现象的变化过程进行研究，这就必须考虑无穷个随机变量；而且解决问题的出发点不是随机变量的的一次具体观测个独立样本，而是无穷多个随机变量这时，我们必须用一族随机变量才能刻划这种随通常我们称随机变量族为随机过程机现象的全部统计规律性在描述群体的发展或演变过群体的个数，则对每一个生物群体的增长问题表示在时刻是一个随机开始每隔假设我们从小时对群体的个数观测一次，是随机过程内接到的呼唤次数是，对于固定的某电话交换台在时间段有关的随机变量是一个取非负整数故的随机变量是随机过程表示某地区第次统计所得是随机变量在天气预报中，若以到的该天最高气温，则的统计规律性在海浪分析中，需要观测某固定点处海平面的垂直温，我们必须研究随机过程｛例设振动该处的海平面相对于平均海平面的高是随机变量，而度，则是随机过程以上例子说明，必须扩大概率论的研究范围，讨论随机过程的变量例程中，以则例与例值得注意的是参数可以指通常的时间，也可以指别的；当是给定的参数集，若）是概率空间，与之对应，则称随机变量族）上的随机过程，简记为随机过程是（通常表示时间称为参数集解释为一个物理系统）表通常将随机过程的所有可能状态所构成的集合所处的状态示系统在时刻称为状态空间或相空间，记为为了简单起见，我们以后总是向量时，则称此随机过程为随机场，）上的随机变量；为此，我们给出随机过程的一般定义设（有关性质定义，有一个随机变量对每个（是假设是定义在上的二元函数是（从数学的观点来说，随机过程对固定的上的普通函数，称为随机过程｛对固定是定义在的一个样本函数或轨道，样本函数的全体称为样本函数空间及状态空间是可列集或非可列集，可以把随机过程分为以下四种类型：都是可列的；非可列，可列，和根据参数情形）的随机过程也称为随机序列或｝表示显然例的情况是否可列外，还可以进一步根据参数集和状态空间可列，可列；非可列；都非可列可列（即，时间序列，一般用至例（即，　情形）的随机过程也称为可列过程分别对应于上述与状态空间随机过程的分类，除上述按参数集之间的概率关系进行分类，如独立增量过程，马尔科夫过程，平稳过程和鞅过程等随机过程的分布律和数字特征定义），…，…研究随机现象，主要是研究它的统计规律性个随机变量的统计规律性完全由它们的联合分布函数所刻划我们知道，有限由于随机变量可视为一族（一般是无穷多个）随机变量，我们是否也可以用一个无穷维联合分布函数来刻划其统计规律性呢？由概率论的理论可知，使用无穷维分布函数的方法是行不通的，可行的办法就是采用有限维分布函数族来刻划随机过程的统计规律性设是随机过程，对任意，随机向量（和的联合分布函数为这些分布函数的全体，…，，…，的有限维分布函数族称为的有限维分布函数族显然，随机过程具有如下性质：的任意排列｛）对称性对于及满足存在定理）设已给参数集定理机过程的存在性定理要回答的问题作为有限维分布函数族的随机过程呢？这就是随定存在一个以是否一反之，对给定的满足对称性和相容性条件的分布函数族，…，…，…）时相容性当，，））；柯尔莫哥洛夫定理是随机过程理论的基本定理，它是证明随族是，则必存在概率空间（对称性和相容性条件的分布函数族，它的有限维分布函数）及定义在其上的随机过程值得注意的是存在性定理中的概率空机过程存在性的有力工具的构造并不唯）和，…来完整地描述，其中在实际中，要知道随机过程的全部有限维分布函数族是不可能的，因此，人们往往用随机过程的某些统计特征来取代随机过程常用的统计特征定义如下定义设是随机过程，如果对任意存在，则称函数间（机过程概率特征的完整描述柯尔莫哥洛夫定理说明，随机过程的有限维分布函数族是随由于随机变量的分布函数和特征函数的一一对应关系，随机过程的概率特征也可以通过随机过程的有限维特征函数族为的均值函数若对任意存在，则称为二阶矩过程，而称））的协方差函数）的方差函数的相关函数为为为由许瓦兹不等式知，二阶矩过程的协方差函数和相关函数一）即可要计算数字特征的一、二维概率密度，只仍为正态随机变量，要计算是相互独立的正态随机变量，故其线性组合解由于与二维概率密度族的一、随机变量，求是相互独立的其中，设随机过程例＋＋与因为相互独立，故解由数学期望的性质，求）和协方差函数的均值函数是相互独立的随机变量，且其中，＋例设随机过程和时的线性相关程度在时刻协方差函数）和相关函数）则反映随机过程方差函数）是随机过程在时刻对均值的偏离程度，而均值函数是随机过程的平均值，在时刻特别，当），则的均值函数））一定存在，且有下列关系在实际问题中，有时需要考虑两个随机过程之间的关系其中如，通信系统中信号与干扰之间的关系设函数和互相关函数来描述它们之间的线性关系定义程，则称是在的周期方波，和都是周期为，其中和设有两个随机过程例）显然有｝互不相关｝与，则称｛，有如果对任意｝的互相关函数与为｛的互协方差函数，称为与））｝是两个二阶矩过此时，我们采用互协方差例故随机过程的一、二维概率密度分别为其相关函数为），）的表达求互相关函数上服从均匀分布的随机变量解由定义，利用式令例）为信号过程）的均值函数为）设，则）的周期性，我们有）和）为噪声过程令）＋＋＋）＋特别，若两个随机过程上式表明两个随机过程之和的相关函数可以表示为各个随机过程的相关函数与它们的互相关函数之和的均值函数恒为零且互不相关时，有及复数；由定义，易见）一复随机过程复随机过程的协方差函数具有如下重要性质定理有性质）对称性：）非负定性：对任意有具｝的协方差函数差函数、相关函数和协方差函数的定义如下：和｛当｝是二阶矩过程时，其均值函数、方，则称｛其中为复随机过程机过程，若对任意设定义是取实数值的两个随讨论复随机过程的概念和数字特征工程中，常把随机过程表示成复数形式来进行研究下面我们复随机过程互协方差函数定义为，的互相关函数定义为两个复随机过程数　）和相关的均值函数是常数，求）的随机变量，是相互独立的，且服从例设复随机过程，其中、正交增量过程定义意的则称事实上，不妨设故同理，当于是时，有时，有，则当，，取为有限区间，且规定由定义知，正交增量过程的协方差函数可以由它的方差确定为正交增量过程）），有设是零均值的二阶矩过程，若对任简单地介绍几种常用的随机过程的进行分类，也可以根据随机过程的概率结构进行分类下面我们随机过程可以根据参数空间，状态空间是离散的，还是非离散几种重要的随机过程假设设备二、独立增量过程｝是随机过程，若对任意的正整数设））是）是相互独立的，则称）独立增量过程，又称可加过程这种过程的特点是：它在任一个时间间隔上过程状态的改变，实际中，如不影响任一个与它不相重叠的时间间隔上状态的改变服务系统在某段时间间隔内的“顾客”数，电话传呼站电话的“呼是独立增量随机过程，若对任意）的分布仅依赖于，则称，）段更是平稳独立增量过程定义，随机变量和…叫”数等均可用这种过程来描述因为在不相重叠的时间间隔内，来到的“顾客”数，“呼叫”数都是相互独立的显然，正交增量过程不是独立增量过程；而独立增量过正交增量过程与独立增量过程都是根据不相重叠的时间区间上增量的统计相依性来定义的，前者增量是互不相关，后者增量是相互独立程只有在二阶矩存在，且均值函数恒为零的条件下是正交增量过程设定义），随机变量考虑一种设备（它可以是灯泡，汽车轮胎或某种电是平稳独立增量过程例，则相继换上的设备寿命是与子元件）一直使用到损坏为止，然后换上同类型的设备的使用寿命是随机变量，记作同，其中为第个设备的使用寿设分布的独立随机变量命）为在时间段内更换设备的件数，则对于任意）分别表示在时是随机过程）另外，对于任意换设备的件数，可以认为它们是相互独立的随机变量，所以，是独立增量过程的，故分布仅依赖于定义立增量过程纳过程和泊松过程都是平稳独立增量过程三、马尔科夫过程设由于正态过程的一阶矩和二阶矩存在，所以正态过程是二阶是正态过程或高斯过程量，则称）是维正态随机变和｝是随机过程，若对任意正整数设定义四、正态过程和维纳过程们将在第四章和第五章进行有关马尔科夫过程的进一步讨论，我是连续的，也可以是离散的可以和参数集，其状态空间马尔科夫过程状态的条件下，它将来所处的状态与过去所处的状态无关式说明，系统在已知现在所处处于状态示系统在时刻”表就是“过去”在”，则就是“未来”，而看作“现换句话说，若把而不管系统是如何到达现在的状态知系统的现在状态，则系统未来所处状态的概率规律性就已确定，它表示若已式称为过程的马尔科夫性（或无后效性）则称｛为马尔科夫过程，，…件分布及＞，且其条为随机过程，若对任意正整数平稳独立增量过程是一类重要的随机过程，后面将提到的维运动是大量分子的随机碰撞引起的，因此，是平稳独面上微粒位置的横坐标，则是随机过程由于微粒的例考虑液体表面物质的运动设）表示悬浮在液现代随机过程理论和应用中也有重要意义正态过程在随机过程中的重要性，类似于正态随机变量在概率中的地位这是由于在实际问题中，尤其是在电讯技术中正态过正态过程的一种特殊情形维纳过程，在程有着广泛的应用为维纳过程，也称布朗运动过程，）））（定义设为随机过程，如果，；它是独立、平稳增量过程；）对，增量）），则称设这类过程常用来描述布朗运动，通信中的电流热噪声等定理是参数为程，则（一）对任意）对任意特别，证（显然下证（，不妨设，则所以证毕，的维纳过（或相关函数，即可确定其有限维分布和协方差函数显然，正态过程只要知道其均值函数矩过程。

刘次华随机过程第二章

x12 +s
2
−
2ρ
(1 +
x1 x2 s2 )(1+
t
2)
+
x
2 2
1+ t
2
⎥⎤⎪⎬⎫ ⎥⎦⎪⎭
s, t > 0
2.2 随机过程的分布律和数字特征
例：设X(t)=g1(t+ε)， Y(t)=g2(t+ε)， g1(t)， g2(t)是周期为L的函数，ε~U(0, L)
求互相关函数RXY(t, t+τ)。
BX
(s,
t)
=
RX
(s,
t)
=
σ
2 X
(min(s,
t ))
2.4 几种重要的随机过程
证明：设T=[a,b] , 规定X(a)=0, 对于a<s<t<b , BX (s, t) = RX (s, t) − mX (s)mX (t) = RX (s, t) = E[ X (s) X (t)] = E[( X (s) − X (a))( X (t) − X (s) + X (s))]
=1+ 0+ 0+ st =1+ st
2.2 随机过程的分布律和数字特征
ρ X (s, t) =
BX (s, t) = DX (s) DX (t)
1+ st (1+ s2 )(1+ t 2 )
随机过程{X(t), t >0}的一维概率密度
ft (x) =
1
2πσ
exp{−
(
x−µ 2σ 2
)2
}
=
解： RXY (t, t + τ ) = E[ X (t)Y (t + τ )]

第11讲随机过程及其应用(第三版) 刘次华第4章马尔科夫链(3)

其中 D = {1} 是非常返集
C1 = {2 ,3,4},C2 = {5,6,7}
2 3 4
1 5 7 6
是常返闭集，非周期
lim （1）求每一个不可约闭集的极限分布（2）求 n →∞ p12
( n)
解（1）：这是一个可约马氏链。根据状态空间的分解定理，状态空间分解为： I = {1} + {2,3, 4} + {5, 6, 7}
5
6
1
二、平稳分布
定义4.11
例1 ：设马尔科夫链的转移概率矩阵为
⎡ 0.7 0.1 0.2⎤ P = ⎢ 0.1 0.8 0.1⎥ ⎢ ⎥ ⎢ ⎦ ⎣0.05 0.05 0.9⎥
设齐次马氏链转移概率矩阵为P,
且
若π = (π 1 , π 2 , )满足方程：
π =πP
∑π
j
j
=1
则称 π = (π 1 , π 2 , ) 为该马氏链的平稳分布定理4.16 不可约非周期的马氏链，其极限分布存在（或状态是正常返）的充要条件是存在平稳分布，且此平稳分布就是极限分布。即 1 πj =
15
故从上式可解得：
16
2 lim p12 ( n ) = n →∞ 9
注: 对于一般可约马氏链， lim pij (
n →∞
n)
的情形如下:
例4 马氏链的概率转移图所示，分析转移概率极限:
I = D + C1 + C2 = {1, 5} + {2,3} + {4,, 6}
先进行状态空间分解： I = D + C1 + C2 +
,
(设j ∈ C
m
, Cm为不可约非周期常返闭集 )

随机过程新版

2 0
sin(0t
)
1
2
d
0
自有关函数为
R t1, t2 E[ (t1) (t2 )] E[sin0t1 sin0t2 ]
令t1＝t，t2＝t＋τ则
Rt,t E[sin0t sin0t 0 ]
2 0
sin0t
sin0t
0
1
2
d
1 2
cos 0
第3章随机过程
可见，自有关函数与时间t无关，仅与τ有关。
第3章随机过程
第3章随机过程
随机过程平稳随机过程高斯随机过程平稳随机过程经过线性系统窄带随机过程高斯白噪声和带限白噪声
第3章随机过程
§3.1 随机过程旳基本概念
• 随机信号
信号旳某个或某几种参数不能预知或不能完全被预知，这种具有随机性旳信号称为随机信号。
• 随机噪声
不能预测旳噪声统称为随机噪声。从统计学旳观点看，随机信号和噪声统称为随机过程。
第3章随机过程
原则正态分布 a＝0，σ＝1 其分布函数为φ(x)
f (x)
1
2
exp
x2 2
正态分布函数：
x
F(x)
1
2
exp[
(x a)2
2 2
]dx
(
x
Байду номын сангаас
a)
误差函数：
erf (x) 2 x ez2 dz
0
互补误差函数：erfc(x)=1-erf(x)=
2 ez2 dz
x
当x≤a时，erfc(x)＝2－2φ( 2 x)
1
(2 )n / 21 2 n
B 1/2

随机过程第四版_Ch1_刘次华_(修改)

peit 1 qeit
ps 1 qs
1.4 特征函数、母函数
常见随机变量的数学期望、方差、特征函数和矩母函数
分布
均匀分布
期望
ab 2
方差
特征函数矩母函数
e ibt e iat i (b a)t e bt e at (b a ) t
b a 2
12
N ( , )
Y Xk
k 1
的母函数H(s)=G(P(s)) , EY=ENEX1 其中G(s),P(s)分别是N,X1的母函数
• 例：某商店一天到达的顾客总数N服从均值λ的泊松分布，用X1,X2,…,XN表示各顾客购买商品的情况， Xi=1表示第i 个顾客购买了商品， Xi=0表示第i个顾客没有购买商品， P(Xi=1)=p, P(Xi=0)=1-p=q, i=1,2,…,N。 X1,X2,…,XN相互独立且和N独立。用Y 表示购买商品的顾客数，求Y的分布，及EY。
例：观察某路公交车某站候车人数，
={0,1,2,„}；
记 A＝{至少有10人候车}＝{10,11,12,„} ， A为随机事件，A可能发生，也可能不发生。
B＝{至少有0人候车}= ,为必然事件
C＝{有1.5人候车} = Φ,为不可能事件，Φ 不包含
任何样本点。
1.1 概率空间
定义1.1 -代数(事件域) 集合的某些子集组成集合族F （1）F （必然事件）（2）若AF, 则\AF （对立事件）（3）若AiF,i=1,2…，则 A F （可 i i 1 列并事件）
F4 ={，{正反}， {正正，反正，反反} ， } Fi为-代数，（，Fi）为可测空间
F={，{正正}，{正反}，{反正}，{反反}， {正正，正反}，{正正，反正}，{正正，反反}，{正反，反正}，{正反，反反}， {反正，反反}，{正正，正反，反正}， {正正，正反，反反}，{正正，反正，反反}，{正反，反正，反反}，{正正，正反，反正，反反}} 为-代数，（， F ）为可测空间

第1章随机过程简介

31
精品PPT
第1章随机过程简介
对于(duìyú)马尔可夫链，如果n时刻的k步转移概率满足
即从i状态转到j状态的概率和时刻n无关，就称这类MC为时齐马尔可夫链，或齐次马尔可夫链，有时也说它是具有平稳转移概率的马尔可夫链。通常考虑状态空间是有限的齐次马尔可夫链。
32
精品PPT
第1章随机过程简介
6
精品PPT
第1章随机过程简介
图1.3 电话交换站呼叫(hū jiào)计数
7
精品PPT
第1章随机过程简介
例1.4 纺纱机纺出长度为l的细纱(xìshā) 若对一个纺纱机进行n次长时间测量，同时记录每一次纺纱机纺出细纱 (xìshā)长度的曲线，并以{X(u)， u∈［0，∞)}表示纺纱机纺出细纱(xìshā)的长度，则X(u)是一个随机变量，如图1.4 所示。
k步转移(zhuǎnyí)概率矩阵记为P(k)。
30
精品PPT
第1章随机过程简介
本课程研究时间齐次马尔可夫过程(guòchéng)，简称时齐马尔可夫过程(guòchéng)。它满足
P{X(t)≤x|X(tn)=xn}=P{X(t－tn)≤x|X(0)=xn} 其中假定系统的行为不依赖于观测的时间，即马尔可夫过程(guòchéng)中的条件分布函数不随观察起始时刻的变化而变化，我们可以任选时间轴的起点。
43
精品PPT
第1章随机过程简介
设Xn=X(nΔt)表示时刻 nΔt时，系统(xìtǒng)内的顾客数，即系统(xìtǒng)的状态。{Xn，n=0，1，2，…}是一随机过程，状态空间I＝{0，1，2，3}，而且仿照例1.6、例1.7的分析，可知它是一个齐次马尔可夫链。下面来计算此马尔可夫链的一步转移概率。

刘次华随机过程第四章马尔可夫(Markov)链

p
-1
0
1
i-1
i
i+1
一步转移概率:
pi,i+1 = p pi,i−1 = q = 1− p pii = 0
4.1 马尔可夫链与转移概率
k步转移概率:
i经过k步进入j,向右移了x步,向左移了y步
则
⎧x
⎨ ⎩
x
+ −
y y
= =
k j
−
i
⇒
⎧ ⎪⎪
x
⎨
⎪ ⎪⎩
y
= =
k k
+ −
(j 2 (j 2
定义4.1：若随机过程{Xn，n∈T }，对任意 n∈T和i0, i1, …, in+1 ∈I，条件概率 P{Xn+1=in+1|X0=i0,X1=i1,…,Xn=in} = P{Xn+1=in+1|Xn=in}，则称{Xn，n∈T }为马尔可夫链，简称马氏链。
4.1 马尔可夫链与转移概率
定义4.2：称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn，n∈T }在时刻n的一步转移概率，简称转移概率，其中i,j∈I。 I j
)
=
⎧0 , i ≠ ⎩⎨1 , i =
j j
4.1 马尔可夫链与转移概率
定义4.5：
初始概率绝对概率
p j = P{X 0 = j} pj( n ) = P{ Xn = j }
{ } 初始分布
pj , j∈I
{ } 绝对分布
pj (n) , j ∈ I
初始概率向量
pT (0) = ( p1, p2 , )
− i) − i)

第13讲随机过程及其应用(第三版) 刘次华第六章平稳过程(2)简

dX (t ) dt 或 X ′(t ) .
即
h1 →0 h2 →0
lim
RX (t + h1 , t + h2 ) − RX (t + h1 , t ) − RX (t , t + h2 ) + RX (t , t ) h1h2
存在。
7
所以有如下定理：
8
定理 (均方可微准则) 二阶矩过程{X( t ),t∈T}在t∈T处均方可微的充要条件是极限
不加证明，给出均方导数如下的性质：（假定涉及到的各函数和随机过程都可导）性质1 性质2 均方可导必均方连续均方导数具有线性性
= E[l ⋅ i ⋅ m
Δs →0
X ( s + Δs) − X ( s) ⋅ X ′(t )] Δs
X (s + Δs) − X (s) = lim E[ ⋅ X ′(t )] Δs →0 Δs
称X(t)在t点均方连续；若对T中一切点都连续,称X(t) 为均方连续过程
= R ( t + h, t + h ) − R ( t + h, t ) − R ( t , t + h ) + R ( t , t )
只需在上试中令 h → 0 即得 X(t),在t∈T 处均方连续。
1 2
必要性: 若
t 2 →t
存在
∫ ∫
a
b
a
R ( s , t ) dsdt
存在
19 20
所以有如下定理：
定理:（均方积分的数字特征）设X(t)在[a,b]}均方可积, 则 b b （1） E ∫a X ( t ) dt = ∫a EX ( t ) dt （2）

随机过程讲义

为事件A出现的情况下，事件B的条件概率，或简称事件B关于事件A的条件概率。
2．基本公式
定理1（乘法公式）
假设若则
A1，A2，，An为任意n个事件（ n 2 ），
P（A1 A2 An） 0
P（A1 A2 An） P( A1 ) P( A2 | A1 ) P( A3 | A1 A2 )
则
pi P( X xi ) pij

(i 1,2,
j 1,2,)
p j P(Y y j ) pij
i 1
j 1
分别称为（ X ， Y ）关于 X 和 Y 的边缘分布律。
X和Y相互独立的充要条件是
pij pi p j
连续型
若随机变量（X，Y）的概率密度为
P（Ai1 Ai2 Ais） P（Ai1）P（Ai2） P（Ais）
则称事件
A1，A2，，An 相互独立。
美国有一对夫妻连续生了8个儿子。他们原本只想要4 个小孩，但是当前面4个小孩都是男孩时，他们想再生一个女孩，直到连续生了7个男孩。后来他们的医生都保证说，按照平均数定律，下次生女孩的概率是99％。不幸的是，第8次还是男孩。因为生孩子和扔硬币一样，连续8个男孩的概率固然很小，但是在已经生了7个男孩之后，下一个是女孩的概率仍然是50％。
2
2
3．性质
（1）
E (C ) C
n n
D(C ) 0
2
E(CX ) CE ( X ) D(CX ) C D( X )
（2）
E ( X i ) E ( X i )
i 1 i 1
（3）若X和Y相互独立，则
E( XY ) E ( X ) E(Y )

第三章泊松过程(随机过程刘次华版本)

P
W (1) k
W1(2)
0
e
1 x
x1
(1x)k 1
(k 1)!
2e2 ydydx
1k
x e dx k 1 (1 2 ) x
(k 1)! 0
1
1 2
k
32
3.2.3 到达时间Wn的条件分布
3.2 泊松过程的性质
假设在[0, t]内事件A已经发生1次，确定这一事
件到达时间W1的条件分布密度
求
P
W (1) k
W (2) 1
即第一个泊松过程第k次事件发生比第二个泊松过程第1次事件发生早的概率.
29
3.2 泊松过程的性质
解
设
W (1) k
的取值为x，W1(2)
的取值为y，
fWk(1)
(
x)
1e
0
1 x
,
(1
(k x
x ) k 1 1)! 0
,
x
0
fW1( 2)
(
y)
2e
2
0 ,
y, y
nn
P
P[X[(Xt) (tX(0h))]
nX(tj)|]X([tX (ht))XX(t()0)]j
j0j 0
PnX|(tX(ht )hX)(t)X (jt) j PX(t h) X(t)
n
P[X(t) X(0)] n j | X(t h) X(t)10 j j0
3.1 泊松过程的定义
D[ X (s)] （E[ X (s)]）2
s(t s) s (s)2 s(t 1)
17
3.2 泊松过程的性质
BX (s, t) RX (s, t) mX (s)mX (t) s 若t s,则BX (s, t) t, 从而 BX (s, t) min(s, t)

刘次华版平稳随机过程(2)---各态历经性

2 A2 A E cos(2 t 2 ) cos cos 2 2
另一方面，对的一个可能取值 [0,2 ] ，相应便有过程的一个样本函数 x(t ) A cos( t ) ，于是 1 1 lim 2T xt dt lim 2T A cost dt
T 1 2 T 0 1 1
B ( 1 ) E X t X t - X t - 1X t - - 1
第六章
平稳随机过程的各态历经性
主讲人：崔琳琳 WORD：邱涵硕信媛媛 PPT ：李记梅
1120121099
1120120213 1120121136 1120121109
平稳随机过程

平稳过程的概念与例子联合平稳过程及相关函数的性质随机分析平稳过程的各态历经性习题
问题的提出
平稳过程的均值和自相关函数，当然在一般情况下要做到这一点应当对平稳过程的每一个样本函数按时间平均有相同结果才行。即将x (t )换为 X (t ) 结果不变，当然此时的积分应当为均方积分，即应有
1 x l.Tim 2T .

T
T
X t dt
1 RX ( ) l i m T 2T

各态历经过程
各态历经过程非各态历经过程
两个图所示的都是平稳过程
随机过程的各个样本函数都同样地经历了随机过程的各种可能状态，因此从随机过程的任何一个样本函数就能得到随机过程的全部统计信息，任何一个样本函数的特性都能充分地代表整个随机过程的特性。
生活中举例

统计2012年大爷平均卖给每人的煎饼数？
大数定理表明，随时间n的无限增长，

随机过程第1章引论

12
1.1 概率
于是，我们有
因此，三人中没有人选到他自己的帽子的概率是
13
1.1 概率
独立事件
如果
那么两个事件E和F称为独立的(independent). 这蕴含了如果P(E|F)=P(E)，那么E和F是独立的(它也蕴含了P(F|E)=P(F)). 这就是，如果F已经发生这个事实并不影响E发生的概率，那么E和F就是独立的. 也就是E的发生独立于F是否发生.
我们则称为事件的概率.
例1.1 在掷硬币的例子中，如果我们假定硬币出现正面与出现反面是等可能的，那么我们有：P({正面})=P({反面})=1/2. 如果我们有一枚不均匀的硬币，它出现正面的可能是出现反面的两倍，那么 P({正面})=2/3， P({反面})=1/3.
7
1.1 概率
例1.2 在掷骰子的例子中，如果我们假定6个数的出现是等可能的，那么我
M.）著，龚光鲁译，人民邮电出版社，2011.5
2
第1章引论
1.1 概率 1.2 随机变量、分布函数及数字特征 1.3 条件期望和矩母函数 1.4 随机过程的概念及分类
3
1.1 概率
随机试验、样本空间与事件
概率论的一个基本概念是随机试验. 一个试验(或观察)，若它的结果预先无
法确定，则称之为随机试验，简称试验(experiment). 所有试验的可能结果组成的集合，称为样本空间，记作 . 中的元素则称为样本点，用表示.
P( FE ) P( F ) P( E | F )
7 6 42 . 12 11 132
例1.8 假定参加聚会的三个人都将帽子扔到房间的中央. 这些帽子先被弄混了,
随后每个人在其中随机地选取一个. 问三人中没有人选到他自己的帽子的概率是多少？

刘次华随机过程第七章

π
解：（1）由于 EX (t ) = 0 ， RX (τ ) =
a2 cos ω0τ ，所以 X (t ) 是平稳过程，故 2 a2 。 2
ψ 2 = RX (0) =
（2）此时是非平稳过程，由定义得：
E[ X 2 (t )] =
a2 a2 − sin(2ω0t ) 2 T 1 2T
ψ 2 = lim E[
1.若 ∫
+∞ −∞
x(t ) dt < +∞ ，则 Fx (ω ) = ∫ x(t )e −iωt dt 存在。
−∞ +∞ −∞
∞
2. Fx (ω ) = ∫
x(t )eiωt dt = Fx (−ω ) 。
3. 帕塞伐公式：
∫
2
+∞
−∞
x 2 (t )dt =
1 2π
∫
+∞
−∞
Fx (ω ) dω
T T 1 E[ ∫ X (t )e− iωt dt ⋅ ∫ X ( s)e− iω s ds ] −T −T T →∞ 2T T T 1 = lim E[ ∫ ∫ X (t ) X ( s )e −iω (t − s ) dtds] −T −T T →∞ 2T 1 T T = lim E[ X (t ) X ( s )]e −iω (t − s ) dtds T →∞ 2T ∫−T ∫−T 1 T T = lim RX (t − s )e − iω ( t − s ) dtds T →∞ 2T ∫− T ∫− T
性质 1：若 ∫−∞ RX (τ ) dτ < ∞ ，则 s X (ω ) = ∫−∞ RX (τ )e−iωτ dτ 。证明： s X (ω ) = T lim →∞

随机过程与噪声

第2章随机过程与噪声在通信系统中，信源发送的信号具有一定的不可预测性，或者说随机性。

信号在传输过程中会不可避免地遇到各种噪声和干扰，这些噪声也是不可预测的或随机变化的。

电磁波的传播受大气层的变化、地面地形的影响，也使接收的信号随机变化。

因此，通信中的信号和噪声都具有一定的随机性，需要借助随机过程的数学方法来描述。

本章介绍随机过程的基本概念、数字特征及噪声的表示方法，重点分析通信系统中几种重要随机过程的统计特性，以及随机过程通过线性系统的情况，这些内容对后面章节中分析通信系统的性能很有用。

2.1随机过程描述 2.1.1 随机过程概念随机过程是一类随时间作随机变化的过程，它不能用确切的时间函数描述。

通信系统中的信号和噪声是具有随机性的，通常称为随机信号，它们均可看作随时间参数t 变化的随机过程。

随机过程是时间t 的实函数，但是在某一时刻上观察到的值却是一个随机变量。

也就是说，随机过程可以看成是对应不同随机试验结果的时间过程的集合。

例如：设有n 部性能完全相同的通信机，它们的工作条件相同，如果用n 台相同的记录仪同时记录通信机输出热噪声电压波形，结果将发现，尽管测试设备和测试条件都相同，但是纪录的是n 条随时间起伏且各不相同的波形，如图2-1所示。

这就是说，接收机输出的噪声电压随时间变化是不可预测的。

测试结果的每一个记录，即图2-1中的一个波形，都是一个确定的时间函数x i (t),它称之为样本函数或随机过程的一个实现。

全部样本函数构成的总体│x 1(t),x 2(t),…,x n (t)│就是一个随机过程，记作()t ξ。

简言之，随机过程是所有样本函数的集合。

显然，把对接收机输出噪声波形的观察可看作是进行一次随机试验，每次试验之后，()t ξ取图2-1所示的所有可能样本中的某一样本函数，至于是哪一个样本，在进行观测之前是无法预测的，这正是随机过程随机性的表现。

随机过程的这种不可预测性或随机性还可以从另一个角度来理解，在任一观测时刻t 1上，不同样本的取值{}n i t x i ,...,2,1),(1=是一个随机变量，记作)(1t ξ。

刘次华版马氏过程的状态分类

称为系统状态的一步转移概率矩阵，它具有性质：（ 1 ） p ij 0 , i , j I （ 2 ） p ij 1, i I
j I
注意：（2）式说明一步转移概率矩阵中任一行元素之和为1。通常称满足性质（1）（2）的矩阵为随机矩阵.
马尔可夫链的状态分类
4.2 马尔可夫链的状态分类
假设
X n,n
0 是齐次马氏链，其状态空间
I 0 ,1, 2 , ，转移概率为 p ij , i , j I ，初始分布为：
p
j
( 0 ), j I . 我们依赖概率性质对状态进行分类。
马尔可夫链的状态分类
1 3
1
1 3
①
3
③
1 2
1
4
1 3 1
1
概率转移图如右图所示。状态 1 ： f1 1
(1 )
1 3 1 2
, f1 1
(m )
0 ( m 2 ), f 1 1 1 2 1 2 , f 22
(m )
1 2
②
状态 2 ： f 22
(1 ) (1 )
, f 22 可夫链的状态分类
定义
设 P 表示一步转移概率 p ij 所组成的矩阵，且状态空间 I {1, 2 , }，则 p11 P p 21 ... p12 p 22 ... ... ... ... p1n p2n ... ... ... ...
马尔可夫链的状态分类定义
若集合 n： n 1， p ii n 0 非空，则称该集合的最大公约数为状态的周期，记为：

随机过程1(1.1) (2)

离散型随机变量：

Geometric Random Variable

Poisson Random Variable
当二项随机变量中参数n很大，p很小时，二项随机变量可以近似看作是Poisson随机变量。
连续型随机变form Random Variable
T=[0,24,……)
4.根据参数集与状态空间离散与否,随机过程可分为
●离散参数,离散状态的随机过程 (例3)
● 离散参数,连续状态的随机过程 (例4)
● 连续参数,离散状态的随机过程 (例1)
● 连续参数,连续状态的随机过程 (例2)
参数集为离散的随机过程也称为随机序列，或时间序列．
§2 随机过程的有限维分布函数族
随机过程基本概念随机分析平稳过程马尔科夫过程（链）
教材
《随机过程》张卓奎陈慧婵西安电子科技大学出版社 2003 《随机过程同步学习指导》张卓奎陈慧婵
西安电子科技大学出版社 2004
参考教材
1.《随机过程》毛用才胡奇英西安电子科技大学出版社 1998 2.《随机过程理论》周荫清电子工业出版社第二版 2006 3.《 An introduction to stochastic processes 》 Edward P.C. kao Thomson 2003
n 1 n 1
则称P为E的概率。

概率的性质：
(1) P( ) 0 ; (2) Monotonicity: 若E F, P( E ) P( F ) (3) P(E c ) 1 P(E) P( En ) P( En ) (4) Subadditivity: 布尔不等式： n 1 n 1 n n (5) P( Ei ) P( Ei ) P( Ei E j )

刘次华版 随机过程与噪声最终版