随机过程 刘次华 勘误
刘次华版 随机过程与噪声最终版
白噪声的应用举例
• 一些紧急车辆的警报器使用白噪声，因为 白噪声能够穿过如城市中交通噪声这样的 背景噪声并且不会引起反射，所以更加容 易引起人们的注意。 • 白噪声也用来产生冲击响应。为了在一个 演出地点保证音乐会或者其它演出的均衡 效果，系统发出一个瞬间的白噪声，并且 在不同的地方监测噪声信号，这样工程师 就能够建筑物的声学效应能够自动地放大 或者削减某些频率，从而就可以调整总体 的均衡效果以得到一个平衡高而持续时间短的离散脉冲。这种噪声的 主要特点是其突发的脉冲幅度大，但持续时间短，且相邻突发脉冲之 间往往有较长的安静时段。从频谱上看，脉冲噪声通常有较宽的频谱 （从甚低频到高频），但频率越高，其频谱强度就越小。脉冲噪声主 要来自机电交换机和各种电气干扰，雷电干扰、电火花干扰、电力线 感应等。数据传输对脉冲噪声的容限取决于比特速率、调制解调方式 以及对差错率的要求。
什么是噪声？
• 影响人们工作学习休息的声音都称为噪声 。对噪声的感受因各人的感觉、习惯等而 不同，因此噪声有时是一个主观的感受。 一般来说人们将影响人的交谈或思考的环 境声音称为噪声。 • 从物理角度看，噪声是发声体做无规则振 动时发出的声音。
电路的噪声
• 对于电子线路中的噪声，可以概括地认为，它是 对目的信号以外的所有信号的一个总称。 • 电路中除目的信号以外的一切信号，不管它对电 路是否造成影响，都可称为噪声。例如，电源电 压中的纹波或自激振荡，可对电路造成不良影响 ，使音响装置发出交流声或导致电路误动作，但 有时也许并不导致上述后果。对于这种纹波或振 荡，都应称为电路的一种噪声。又有某一频率的 无线电波信号，对需要接收这种信号的接收机来 讲，它是正常的目的信号，而对另一接收机它就 是一种非目的信号，即是噪声。
高斯白噪声
随机过程(第四版)刘次华研究生用书
概率空间随机试验是概率论的基本概念，试验的结果事先不能准确地预言，但具有如下的三个特性：）可以在相同的条件下重复进行；每次试验的结果不止一个，但预先知道试验的所有可能的结果；每次试验前不能确定哪个结果会出现随机试验所有可能结果组成的集合称为这个试验的样本空间称为样本点或基本事件，称为必然事件，空集上的概率的概念和称为不可中的元素称为事件，样本空间或基本事件空间，记为的子集能事件由于事件是集合，故集合的运算（并、交、差、上极限、下极限、极限等）都适用于事件的所有子的某些子集）及其发生的可在实际问题中，我们不是对所有的事件（样本空间集）都感兴趣，而是关心某些事件（这样，便导致设是代数是一个集合，的某些子集组成的集合族，则，则）若）若能性大小（概率）定义如果第一章 预备知识）对两两互不相容事件（当中的元素）称为可测空间域）代数（为由定义易知：，则）若）），则）若设（）若定义上的实）是定义在是可测空间，（如果）任意）；时，）称为概率空间，）上的概率，是（的概率由定义易知：）；）一）为事，即概定义，如果对任意）是概率空间，设（）设，则率具有单调性；件则称）有值函数称为事件则称连续型随机变量数）描述，其分布函的概率分布用概率密度其分布函数，，，…离散型随机变量的概率分布用分布列描述：续型随机变量在应用中，常见的随机变量有两种类型：离散型随机变量和连量，其分布函数是）及其上的随机变上述三个性质，必存在一个概率空间（（，若具有）上实值函数可以证明，定义在）是右连续，即；（时，有）是非降函数：即当分布函数）具有下列性质：为随机变量的分布函数，是上的随机变量称，简记为随机变量上的实函数，如果对任意实数，则称设（定义）是概率空间是定义在分布函数来描述随机变量是概率论的主要研究对象，随机变量的统计规律用随机变量及其分布则称为独立事件族）是非降）是右连，其中维随机变量也有两种类型：离散型和连续在应用中，常见的，其联合分布函数为维随机变量）及其上的，必存在一个概率空间（可以证明，对于定义在上具有上述性质的实函数，，，…）对于中的任意区域（续的；）对于每个变元函数；对于每个变元维联合分布函数）具有下列性质：为）的联合分布函数，…，，…，…，则称）为维随机变量或维随机向量称对于任意上的是定义在维空间中取值的向量函数如果定义设（）是概率空间，下面我们讨论维随机变量及其概率分布常见随机变量的分布参见表则称度和则称价于其中价于…，）的联合概是随机向量其中式等｝是一族独立的连续型随机变量，如果是的任意可能值，式等｝是一族独立的离散型随机变量，如果是独立的，有设定义是一族随机变量，若对于任意的联合概率密）称为是连续型随机向量，，随机向量）的联合分布函数，，若存在定义在上的非负函数，对于任意（，其中是离散集，的联合分布函数对于离散型随机向量），其联合分布列为，都是离散型随机变量，则称是离散型随机向量若随机向量）的每个分量型的数学期望或均值上式右边的积分称为为的分布函数为定义设随机变量，则定义是随机变量，若设，则称为若是离散型随机变量，分布列，…，，积分则是连续型随机变量，概率密度为若的方差随机变量的数学期望是随机变量的取值依概率的平均随机变量的方差反映随机变量取值的离散程度一，则称是随机变量设定义，若机变量的某些特征值就够了分布函数却是相当麻烦的在实际问题中，我们有时只需要知道随随机变量的概率分布完全由其分布函数描述，但是如何确定随机变量的数字特征常是根据经验或具体情况来决定的独立性是概率中的重要概念在实际问题中，独立性的判断通率密度，）是随机变量的概率密度，）是）维随机变量（相关系数是常数；的协方差，而为的相关系数，则称不相关若表示之间的线性相关程度的大小随机变量的数学期望和方差具有如下性质：）若）的联合分布函数为维连续函数，则，其中）若，其中）若独立，则独立，则律和特征函数之间存在一一对应关系，因此在得知随机变量的特由于分布特征函数是研究随机变量分布律的一个重要工具特征函数、母函数和拉氏变换有关的证明可参考，则引理）若，则（单调收敛定理）若，则不等式）若是常数；为的特征函数为定义当））若随机变量可微分次，且当特征函数当则和复数）若…用特征函数求分布律比直接，…，，则存在，则的特征函数及任意实数），称（的复值函数，由于为此，我，故随机是相互独立的随机变量，则…，…的特征函数，是随机变量其中）的特征函数，有即对任意正整数是非负定函数时，有阶矩的）上一致连续）在（，（随机变量的特征函数具有下列性质：是连续型随机变量，概率密度为，是离散型随机变量，分布列变量的特征函数必然存在是实变量设随机变量的分布函数为们首先介绍特征函数求分布律容易得多，而且特征函数具有良好的分析性质征函数之后，就可以知道它的分布律因为所以以对于定义＝＝由性质知的分布列为解及的特征函数，求服从设例数的性质维随机变量的特征函数具有类似于一维随机变量的特征函为的特征函数，则称）是维随机变量，设维随机变量也可以定义特征函数…，相互独立，所以也相互独立，所是非负定函数我们只对（进行证明随机变量的分布函数由其特征函数唯一确定于是得微分方程式右端在积分号下求导，得对设例解这是可分离变量方程，有两边积分得故得方程的通解为，其的特征函数为设随机变量例，于是，所以的特征函数为由于），求数的特征的特征函数，则由例，求为任意实数，证明的特征函数知的特征函数由例知，为证设随机变量解设，则例，令常见随机变量的数学期望、方差和特征函数见表是非负整数值随机变量，分布列设定义研究非负整数值随机变量，母函数是非常方便的工具表的特征函数中为若量）由，，…！，故，则令阶导数，得上式两边对求的母函数）分别是其中），的母函数是与…独立的非负整数值随机变量，则）若…是相互独立且同分布的非负整数值随机变）独立随机变量之和的母函数等于母函数之和））＋）存在，则，）是）设存在，则的母函数，若非负整数值随机变量的分布列由其母函数唯一确定母函数具有以下性质：的母函数则称另一限定理知实际中许多随机变量服从或近似地服从正态分布方面，由中心极正态分布在概率论中扮演极为重要的角色维正态分布（元），故由式解 由条件知销售额的平均值服从，求商店的日松分布，又设每位额客所花的钱人的泊服从参数例设商店在一天的额客数）可得由公式（显然同理可证（式性质性质式中，为性质，布定义率密度为设义给定的条件分布函数为时，给定的条件概率为时，的，定是离散型随机变量，对一切使条件期望），，，则）是四维正态随机变量，设即正态随机变量的线性变换仍为正态随机变量正定，则设，若，则若为了应用的方便，下面，我们不加证明地给出常用的几个结论…，）），则可以证明，若的特征函数维正态分布，记作维正态随机变量或服从）是常向量，是对称矩阵，则称，若维随机变量）的联合概方面，正态分布具有良好的分析性质下面我们讨论维正态分的条件概率密度定义为，给定的条件期望为而给定时，，则对一切的条件分布函数为给定时，的条件期望定义为而给定时，的下的条件期望，则（式为是连续型随机变量，其联合概率密度为的若使的条件概率以外，现在的由此可见除了概率是关于事件是的一个可能值若在已知是条件下，全面地考虑代替定义与无条件的情况完全一样的函数，的均值，需要以）是随机变量在的函数，也是随机变量，称为条件期望在概率论、数理统计和随机过程中是一个十分重要的概念，下面我们介绍一个极其有用的性质与性质 若随机变量的期望存在，则是离散型随机变量，则如果式为是连续型，具有概率密度如果式都是离散型随机变量证明与证明 我们仅对式我们看到，从是给定的条件期望的一时，所加的权是作为条件的事件个加权平均值，每一项为一个任意事件，的示性的概率设先对一个适当的随机变量取条件，不仅使我们能求得期望，也可以用这种方法计算事件的概率函数，则，记（）和为）的分布函数为设是相互独立的随机变量，其分布函数分别与例式我们有由（，所对任意的随机变量，）是一个二值随机变量显然为全不匹配这一事件，例张选票，其中得到而候选人是等可能的，证明：在计票过程中，始终领先始终领先得到最后一票的条件下，注意到，在票而得到条件下，可得类似的结果于是下面，我们用归纳法，对当时，成立，则当）证 记所求概率为件，我们有始终领先始终领先证毕（匹配问题）设有例每人随机地选一顶，求恰好有解记子这一事件，为第一个人没有选到自己的帽子这一事件，令为第一个人选到自己的帽个人选到自己帽子的概率个人，把他们的帽子混在一起后，式及归纳假设有时，由式时假设，结论为真进行归纳，证明在得到最后一票的张票的概率是一样的得到始终领先的概率与得到最后一票得到最后一票得到最后一票得到最后一票得到最后一票得到最后一票以得到最后那张选票的候选人为条的票数始终领先的概率为假定选票的一切排列次序（选票问题）在一次选举中，候选人得到张选票，从而个人从）取条件我们得到，因为可以将多余的帽子则与有关）是由于现在顶帽子中各取一顶都不匹配顶帽子中的概率，其中有一个人的帽子不在这个互不相容的事件组成此事件由两个事件是都不匹配且多余的那个人（即前一个事件的概率是其帽子已给第一个人取走的那个人）未能选中多余的帽子（即第一个选取人的帽子），另一个事件是都不匹配但多余的人选取到了多余的帽子由于第二个事件的概率是我们有）式得看作为多余的人的于是，从（，于是由（或等价地由于）式得所以一般地，我们有个人，只有他们选中自己的帽子的概率为对于固定的其中因是其余匹配的概率是充分大时上式近似地等于当个匹配的概率种，所有恰有个人的选择法有个人从他们自己的那些帽子中选取但全不第二章 随机过程的概念与基本类型随机过程的基本概念为了预报该地区未来的气表示在时刻初等概率论研究的主要对象是一个或有限个随机变量（或随机向量），虽然有时我们也讨论了随机变量序列，但假定序列之间是相互独立的随着科学技术的发展，我们必须对一些随机现象的变化过程进行研究，这就必须考虑无穷个随机变量；而且解决问题的出发点不是随机变量的的一次具体观测个独立样本，而是无穷多个随机变量这时，我们必须用一族随机变量才能刻划这种随通常我们称随机变量族为随机过程机现象的全部统计规律性在描述群体的发展或演变过群体的个数，则对每一个生物群体的增长问题表示在时刻是一个随机开始每隔假设我们从小时对群体的个数观测一次，是随机过程内接到的呼唤次数是，对于固定的某电话交换台在时间段有关的随机变量是一个取非负整数故的随机变量是随机过程表示某地区第次统计所得是随机变量在天气预报中，若以到的该天最高气温，则的统计规律性在海浪分析中，需要观测某固定点处海平面的垂直温，我们必须研究随机过程｛例设振动该处的海平面相对于平均海平面的高是随机变量，而度，则是随机过程以上例子说明，必须扩大概率论的研究范围，讨论随机过程的变量例程中，以则例与例值得注意的是参数可以指通常的时间，也可以指别的；当是给定的参数集，若）是概率空间，与之对应，则称随机变量族）上的随机过程，简记为随机过程是（通常表示时间称为参数集解释为一个物理系统）表通常将随机过程的所有可能状态所构成的集合所处的状态示系统在时刻称为状态空间或相空间，记为为了简单起见，我们以后总是向量时，则称此随机过程为随机场，）上的随机变量；为此，我们给出随机过程的一般定义设（有关性质定义，有一个随机变量对每个（是假设是定义在上的二元函数是（从数学的观点来说，随机过程对固定的上的普通函数，称为随机过程｛对固定是定义在的一个样本函数或轨道，样本函数的全体称为样本函数空间及状态空间是可列集或非可列集，可以把随机过程分为以下四种类型：都是可列的；非可列，可列，和根据参数情形）的随机过程也称为随机序列或｝表示显然例的情况是否可列外，还可以进一步根据参数集和状态空间可列，可列；非可列；都非可列可列（即，时间序列，一般用至例（即， 情形）的随机过程也称为可列过程分别对应于上述与状态空间随机过程的分类，除上述按参数集之间的概率关系进行分类，如独立增量过程，马尔科夫过程，平稳过程和鞅过程等随机过程的分布律和数字特征定义），…，…研究随机现象，主要是研究它的统计规律性个随机变量的统计规律性完全由它们的联合分布函数所刻划我们知道，有限由于随机变量可视为一族（一般是无穷多个）随机变量，我们是否也可以用一个无穷维联合分布函数来刻划其统计规律性呢？由概率论的理论可知，使用无穷维分布函数的方法是行不通的，可行的办法就是采用有限维分布函数族来刻划随机过程的统计规律性设是随机过程，对任意，随机向量（和的联合分布函数为这些分布函数的全体，…，，…，的有限维分布函数族称为的有限维分布函数族显然，随机过程具有如下性质：的任意排列｛）对称性 对于及满足存在定理）设已给参数集定理机过程的存在性定理要回答的问题作为有限维分布函数族的随机过程呢？这就是随定存在一个以是否一反之，对给定的满足对称性和相容性条件的分布函数族，…，…，…）时相容性当，，））；柯尔莫哥洛夫定理是随机过程理论的基本定理，它是证明随族是，则必存在概率空间（对称性和相容性条件的分布函数族，它的有限维分布函数）及定义在其上的随机过程值得注意的是存在性定理中的概率空机过程存在性的有力工具的构造并不唯）和，…来完整地描述，其中在实际中，要知道随机过程的全部有限维分布函数族是不可能的，因此，人们往往用随机过程的某些统计特征来取代随机过程常用的统计特征定义如下定义设是随机过程，如果对任意存在，则称函数间（机过程概率特征的完整描述柯尔莫哥洛夫定理说明，随机过程的有限维分布函数族是随由于随机变量的分布函数和特征函数的一一对应关系，随机过程的概率特征也可以通过随机过程的有限维特征函数族为的均值函数若对任意存在，则称为二阶矩过程，而称））的协方差函数）的方差函数的相关函数为为为由许瓦兹不等式知，二阶矩过程的协方差函数和相关函数一）即可要计算数字特征的一、二维概率密度，只仍为正态随机变量，要计算是相互独立的正态随机变量，故其线性组合解 由于与二维概率密度族的一、随机变量，求是相互独立的其中，设随机过程例＋＋与因为相互独立，故解 由数学期望的性质，求）和协方差函数的均值函数是相互独立的随机变量，且其中，＋例设随机过程和时的线性相关程度在时刻协方差函数）和相关函数）则反映随机过程方差函数）是随机过程在时刻对均值的偏离程度，而均值函数是随机过程的平均值，在时刻特别，当），则的均值函数））一定存在，且有下列关系在实际问题中，有时需要考虑两个随机过程之间的关系其中如，通信系统中信号与干扰之间的关系设函数和互相关函数来描述它们之间的线性关系定义程，则称是在的周期方波，和都是周期为，其中和设有两个随机过程例）显然有｝互不相关｝与，则称｛，有如果对任意｝的互相关函数与为｛的互协方差函数，称为与））｝是两个二阶矩过此时，我们采用互协方差例故随机过程的一、二维概率密度分别为其相关函数为），）的表达求互相关函数上服从均匀分布的随机变量解 由定义，利用式令例）为信号过程）的均值函数为）设，则）的周期性，我们有）和）为噪声过程令）＋＋＋）＋特别，若两个随机过程上式表明两个随机过程之和的相关函数可以表示为各个随机过程的相关函数与它们的互相关函数之和的均值函数恒为零且互不相关时，有及复数；由定义，易见）一复随机过程复随机过程的协方差函数具有如下重要性质定理有性质）对称性：）非负定性：对任意有具｝的协方差函数差函数、相关函数和协方差函数的定义如下：和｛当｝是二阶矩过程时，其均值函数、方，则称｛其中为复随机过程机过程，若对任意设定义是取实数值的两个随讨论复随机过程的概念和数字特征工程中，常把随机过程表示成复数形式来进行研究下面我们复随机过程互协方差函数定义为，的互相关函数定义为两个复随机过程数 ）和相关的均值函数是常数，求）的随机变量，是相互独立的，且服从例设复随机过程，其中、正交增量过程定义意的则称事实上，不妨设故同理，当于是时，有时，有，则当，，取为有限区间，且规定由定义知，正交增量过程的协方差函数可以由它的方差确定为正交增量过程）），有设是零均值的二阶矩过程，若对任简单地介绍几种常用的随机过程的进行分类，也可以根据随机过程的概率结构进行分类下面我们随机过程可以根据参数空间，状态空间是离散的，还是非离散几种重要的随机过程假设设备二、独立增量过程｝是随机过程，若对任意的正整数设））是）是相互独立的，则称）独立增量过程，又称可加过程这种过程的特点是：它在任一个时间间隔上过程状态的改变，实际中，如不影响任一个与它不相重叠的时间间隔上状态的改变服务系统在某段时间间隔内的“顾客”数，电话传呼站电话的“呼是独立增量随机过程，若对任意）的分布仅依赖于，则称，）段更是平稳独立增量过程定义，随机变量和…叫”数等均可用这种过程来描述因为在不相重叠的时间间隔内，来到的“顾客”数，“呼叫”数都是相互独立的显然，正交增量过程不是独立增量过程；而独立增量过正交增量过程与独立增量过程都是根据不相重叠的时间区间上增量的统计相依性来定义的，前者增量是互不相关，后者增量是相互独立程只有在二阶矩存在，且均值函数恒为零的条件下是正交增量过程设定义），随机变量考虑一种设备（它可以是灯泡，汽车轮胎或某种电是平稳独立增量过程例，则相继换上的设备寿命是与子元件）一直使用到损坏为止，然后换上同类型的设备的使用寿命是随机变量，记作同，其中为第个设备的使用寿设分布的独立随机变量命）为在时间段内更换设备的件数，则对于任意）分别表示在时是随机过程）另外，对于任意换设备的件数，可以认为它们是相互独立的随机变量，所以，是独立增量过程的，故分布仅依赖于定义立增量过程纳过程和泊松过程都是平稳独立增量过程三、马尔科夫过程设由于正态过程的一阶矩和二阶矩存在，所以正态过程是二阶是正态过程或高斯过程量，则称）是维正态随机变和｝是随机过程，若对任意正整数设定义四、正态过程和维纳过程们将在第四章和第五章进行有关马尔科夫过程的进一步讨论，我是连续的，也可以是离散的可以和参数集，其状态空间马尔科夫过程状态的条件下，它将来所处的状态与过去所处的状态无关式说明，系统在已知现在所处处于状态示系统在时刻”表就是“过去”在”，则就是“未来”，而看作“现换句话说，若把而不管系统是如何到达现在的状态知系统的现在状态，则系统未来所处状态的概率规律性就已确定，它表示若已式称为过程的马尔科夫性（或无后效性）则称｛为马尔科夫过程，，…件分布及＞，且其条为随机过程，若对任意正整数平稳独立增量过程是一类重要的随机过程，后面将提到的维运动是大量分子的随机碰撞引起的，因此，是平稳独面上微粒位置的横坐标，则是随机过程由于微粒的例考虑液体表面物质的运动设）表示悬浮在液现代随机过程理论和应用中也有重要意义正态过程在随机过程中的重要性，类似于正态随机变量在概率中的地位这是由于在实际问题中，尤其是在电讯技术中正态过正态过程的一种特殊情形维纳过程，在程有着广泛的应用为维纳过程，也称布朗运动过程，）））（定义设为随机过程，如果，；它是独立、平稳增量过程；）对，增量）），则称设这类过程常用来描述布朗运动，通信中的电流热噪声等定理是参数为程，则（一）对任意）对任意特别，证（显然下证（，不妨设，则所以证毕，的维纳过（或相关函数，即可确定其有限维分布和协方差函数显然，正态过程只要知道其均值函数矩过程。
随机过程课件第一章概率复习
f ( x)
1 2
e
指数分布
e x , f ( x) 0,
x0 x0
随机变量函数的分布
在给定某任意的随机变量X，以及它的概率分布函数FX(x)，希望进一步求 出给定的随机变量的某些可测函数（如Y=g(X)）的概率分布函数。
X
非线性放大器
X(e)就是一个函数，它把样本点映射到实数轴上， 随机变量就是从原样本空间Ω到新样本空间的一
种映射，我们通常把这样一种对应关系称之为在
概率空间上的一个随机变量。
离散型随机变量： 只取有限个数值或可列无穷多个值。 连续型随机变量： 从原样本空间到新样本空间的映射是某一 个范围，是一段（或几段）实线（也可能 是整个坐标轴）。
fA
nA n
f A P( A)
当试验次数n增大时，其中大量的频率聚集在一个常数周围； 这个常数是客观存在的，反映了事件A出现可能性的大小， 我们认为这个常数就是事件的概率。
公理化定义概率
1. 2. 3.
对于一个事件A∈样本空间Ω，假定满足以下3个 条件的数P(A)： 0≤P(A) ≤1; P(Ω)=1; 若A1,A2,……..,Ak两两互斥，则
P ( Ai | B ) P ( Ai ) P ( B | Ai )
P( A ) P( B | A )
i 1 i i
N
独立事件
P( A B) P( A) P( B)
随机变量
定义：
设（ Ω ，F，P）是概率空间，X=X(e)是定义在Ω 上的实函数，如果对任意实数x，{e:X(e) ≤x} ∈F， 则称X(e)是F上的随机变量。 由于数学分析不能直接利用来研究集合函数， 这样影响对随机现象的研究。解决这个问题的方 法，主要是设法在集合函数与数学分析中所研究 的点函数间建立某种联系，从而能用数学分析法 研究随机现象。
刘次华 随机过程 第二章
x12 +s
2
−
2ρ
(1 +
x1 x2 s2 )(1+
t
2)
+
x
2 2
1+ t
2
⎥⎤⎪⎬⎫ ⎥⎦⎪⎭
s, t > 0
2.2 随机过程的分布律和数字特征
例：设X(t)=g1(t+ε)， Y(t)=g2(t+ε)， g1(t)， g2(t)是周期为L的函数，ε~U(0, L)
求互相关函数RXY(t, t+τ)。
BX
(s,
t)
=
RX
(s,
t)
=
σ
2 X
(min(s,
t ))
2.4 几种重要的随机过程
证明：设T=[a,b] , 规定X(a)=0, 对于a<s<t<b , BX (s, t) = RX (s, t) − mX (s)mX (t) = RX (s, t) = E[ X (s) X (t)] = E[( X (s) − X (a))( X (t) − X (s) + X (s))]
=1+ 0+ 0+ st =1+ st
2.2 随机过程的分布律和数字特征
ρ X (s, t) =
BX (s, t) = DX (s) DX (t)
1+ st (1+ s2 )(1+ t 2 )
随机过程{X(t), t >0}的一维概率密度
ft (x) =
1
2πσ
exp{−
(
x−µ 2σ 2
)2
}
=
解： RXY (t, t + τ ) = E[ X (t)Y (t + τ )]
第11讲 随机过程及其应用(第三版) 刘次华第4章马尔科夫链(3)
其中 D = {1} 是非常返集
C1 = {2 ,3,4},C2 = {5,6,7}
2 3 4
1 5 7 6
是常返闭集，非周期
lim （1）求每一个不可约闭集的极限分布（2）求 n →∞ p12
( n)
解（1）：这是一个可约马氏链。根据状态空间的分解 定理，状态空间分解为： I = {1} + {2,3, 4} + {5, 6, 7}
5
6
1
二、平稳分布
定义4.11
例1 ：设马尔科夫链的转移概率矩阵为
⎡ 0.7 0.1 0.2⎤ P = ⎢ 0.1 0.8 0.1⎥ ⎢ ⎥ ⎢ ⎦ ⎣0.05 0.05 0.9⎥
设齐次马氏链转移概率矩阵为P,
且
若π = (π 1 , π 2 , )满足方程：
π =πP
∑π
j
j
=1
则称 π = (π 1 , π 2 , ) 为该马氏链的 平稳分布 定理4.16 不可约非周期的马氏链，其极限分布存 在（或状态是正常返）的充要条件是存在平稳分 布，且此平稳分布就是极限分布。即 1 πj =
15
故从上式可解得：
16
2 lim p12 ( n ) = n →∞ 9
注: 对于一般可约马氏链， lim pij (
n →∞
n)
的情形如下:
例4 马氏链的概率转移图所示，分析转移概率极限:
I = D + C1 + C2 = {1, 5} + {2,3} + {4,, 6}
先进行状态空间分解： I = D + C1 + C2 +
,
(设j ∈ C
m
, Cm为不可约非周期常返闭集 )
随机过程第四版_Ch1_刘次华_(修改)
peit 1 qeit
ps 1 qs
1.4 特征函数、母函数
常见随机变量的数学期望、方差、特征函数和矩母函数
分布
均匀分布
期望
ab 2
方差
特征函数 矩母函数
e ibt e iat i (b a)t e bt e at (b a ) t
b a 2
12
N ( , )
Y Xk
k 1
的母函数H(s)=G(P(s)) , EY=ENEX1 其中G(s),P(s)分别是N,X1的母函数
• 例：某商店一天到达的顾客总数N服从 均值λ的泊松分布，用X1,X2,…,XN表示 各顾客购买商品的情况， Xi=1表示第i 个顾客购买了商品， Xi=0表示第i个顾 客没有购买商品， P(Xi=1)=p, P(Xi=0)=1-p=q, i=1,2,…,N。 X1,X2,…,XN相互独立且和N独立。用Y 表示购买商品的顾客数，求Y的分布， 及EY。
例：观察某路公交车某站候车人数，
={0,1,2,„}；
记 A＝{至少有10人候车}＝{10,11,12,„} ， A为随机事件，A可能发生，也可能不发生。
B＝{至少有0人候车}= ,为必然事件
C＝{有1.5人候车} = Φ,为不可能事件，Φ 不包含
任何样本点。
1.1 概率空间
定义1.1 -代数(事件域) 集合的某些子集组成集合族F （1）F （必然事件） （2）若AF, 则\AF （对立事件） （3）若AiF,i=1,2…，则 A F （可 i i 1 列并事件）
F4 ={，{正反}， {正正，反正，反反} ， } Fi为-代数，（，Fi）为可测空间
F={，{正正}，{正反}，{反正}，{反反}， {正正，正反}，{正正，反正}，{正正， 反反}，{正反，反正}，{正反，反反}， {反正，反反}，{正正，正反，反正}， {正正，正反，反反}，{正正，反正，反 反}，{正反，反正，反反}，{正正，正 反，反正，反反}} 为-代数，（ ， F ） 为可测空间
刘次华随机过程 第四章马尔可夫(Markov)链
p
-1
0
1
i-1
i
i+1
一步转移概率:
pi,i+1 = p pi,i−1 = q = 1− p pii = 0
4.1 马尔可夫链与转移概率
k步转移概率:
i经过k步进入j,向右移了x步,向左移了y步
则
⎧x
⎨ ⎩
x
+ −
y y
= =
k j
−
i
⇒
⎧ ⎪⎪
x
⎨
⎪ ⎪⎩
y
= =
k k
+ −
(j 2 (j 2
定义4.1：若随机过程{Xn，n∈T }，对任意 n∈T和i0, i1, …, in+1 ∈I，条件概率 P{Xn+1=in+1|X0=i0,X1=i1,…,Xn=in} = P{Xn+1=in+1|Xn=in}， 则称{Xn，n∈T }为马尔可夫链，简称马氏 链。
4.1 马尔可夫链与转移概率
定义4.2：称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn，n∈T }在时刻n的一 步转移概率，简称转移概率，其中i,j∈I。 I j
)
=
⎧0 , i ≠ ⎩⎨1 , i =
j j
4.1 马尔可夫链与转移概率
定义4.5：
初始概率 绝对概率
p j = P{X 0 = j} pj( n ) = P{ Xn = j }
{ } 初始分布
pj , j∈I
{ } 绝对分布
pj (n) , j ∈ I
初始概率向量
pT (0) = ( p1, p2 , )
− i) − i)
刘次华版 平稳随机过程的谱分析
指导教师：卢玉贞
主讲人：柳 毅 团队成员：郑蓉蓉 潘智慧 李朝阳 李 阳 LOGO
7.3 窄带过程及白噪声过程的功率谱密度
窄带随机过程：谱密度限制在很窄的一段频率范围内。
求该过程的均方值及相关函数。 解 均方值为
S0 -2 1 例1: 已知窄带平稳过程的谱密度为 s X ( ) S0 1 2 0 其它
1 s XY ( )ei d 2 1 a ib i e d 2 0 1 [(a0 b) sin( 0 ) b0 cos(0 )]. 2
0 0
解： RXY ( )
0
7.5 平稳过程通过线性系统的分析
1 E[ X 2(t )] RX (0) 2
相关函数为
s X ( )d
2
1
1
2
1
s0 d
1
s0 (2 1 )
R X ( )
1
0
s X ( ) cos( )d 2 s0
1
s0 cos( )d 2 ) sin(
yt L e
H e
jt
jt
其中
H L e jt
t 0
对线性时不变系统输入一谐波信号时，其输出也是同频率的谐波， 只不过振幅和相位有所改变。其中H表示了这个变化，称它为系统的频 率响应函数一般地，它是复值函数。
7.5 平稳过程通过线性系统的分析
s XY ( )
2
s X ( ) sY ( ) .
(4) 若 X t 和 Y t 相互正交，则
第13讲 随机过程及其应用(第三版) 刘次华 第六章平稳过程(2)简
即
h1 →0 h2 →0
lim
RX (t + h1 , t + h2 ) − RX (t + h1 , t ) − RX (t , t + h2 ) + RX (t , t ) h1h2
存在。
7
所以有如下定理：
8
定理 (均方可微准则) 二阶矩过程{X( t ),t∈T}在t∈T处均方可微的充要 条件是极限
不加证明，给出均方导数如下的性质： （假定涉及到的各函数和随机过程都可导） 性质1 性质2 均方可导必均方连续 均方导数具有线性性
= E[l ⋅ i ⋅ m
Δs →0
X ( s + Δs) − X ( s) ⋅ X ′(t )] Δs
X (s + Δs) − X (s) = lim E[ ⋅ X ′(t )] Δs →0 Δs
称X(t)在t点均方连续； 若对T中一切点都连续,称X(t) 为均方连续过程
= R ( t + h, t + h ) − R ( t + h, t ) − R ( t , t + h ) + R ( t , t )
只需在上试中令 h → 0 即得 X(t),在t∈T 处均方连续。
1 2
必要性: 若
t 2 →t
存在
∫ ∫
a
b
a
R ( s , t ) dsdt
存在
19 20
所以有如下定理：
定理:（均方积分的数字特征） 设X(t)在[a,b]}均方可积, 则 b b （1） E ∫a X ( t ) dt = ∫a EX ( t ) dt （2）
随机过程讲义
2．基本公式
定理1（乘法公式）
假设 若 则
A1，A2， ，An为任意n个事件（ n 2 ），
P（A1 A2 An） 0
P（A1 A2 An） P( A1 ) P( A2 | A1 ) P( A3 | A1 A2 )
则
pi P( X xi ) pij
(i 1,2,
j 1,2,)
p j P(Y y j ) pij
i 1
j 1
分别称为（ X ， Y ）关于 X 和 Y 的边缘分布律。
X和Y相互独立的充要条件是
pij pi p j
连续型
若随机变量（X，Y）的概率密度为
P（Ai1 Ai2 Ais） P（Ai1）P（Ai2） P（Ais）
则称事件
A1，A2， ，An 相互独立。
美国有一对夫妻连续生了8个儿子。他们原本只想要4 个小孩，但是当前面4个小孩都是男孩时，他们想再生一 个女孩，直到连续生了7个男孩。后来他们的医生都保证 说，按照平均数定律，下次生女孩的概率是99％。不幸的 是，第8次还是男孩。因为生孩子和扔硬币一样，连续8个 男孩的概率固然很小，但是在已经生了7个男孩之后，下 一个是女孩的概率仍然是50％。
2
2
3．性质
（1）
E (C ) C
n n
D(C ) 0
2
E(CX ) CE ( X ) D(CX ) C D( X )
（2）
E ( X i ) E ( X i )
i 1 i 1
（3） 若X和Y相互独立，则
E( XY ) E ( X ) E(Y )
第三章泊松过程(随机过程刘次华版本)
P
W (1) k
W1(2)
0
e
1 x
x1
(1x)k 1
(k 1)!
2e2 ydydx
1k
x e dx k 1 (1 2 ) x
(k 1)! 0
1
1 2
k
32
3.2.3 到达时间Wn的条件分布
3.2 泊松过程的性质
假设在[0, t]内事件A已经发生1次，确定这一事
件到达时间W1的条件分布密度
求
P
W (1) k
W (2) 1
即第一个泊松过程第k次事件发生比第二个泊松过 程第1次事件发生早的概率.
29
3.2 泊松过程的性质
解
设
W (1) k
的取值为x，W1(2)
的取值为y，
fWk(1)
(
x)
1e
0
1 x
,
(1
(k x
x ) k 1 1)! 0
,
x
0
fW1( 2)
(
y)
2e
2
0 ,
y, y
nn
P
P[X[(Xt) (tX(0h))]
nX(tj)|]X([tX (ht))XX(t()0)]j
j0j 0
PnX|(tX(ht )hX)(t)X (jt) j PX(t h) X(t)
n
P[X(t) X(0)] n j | X(t h) X(t)10 j j0
3.1 泊松过程的定义
D[ X (s)] （E[ X (s)]）2
s(t s) s (s)2 s(t 1)
17
3.2 泊松过程的性质
BX (s, t) RX (s, t) mX (s)mX (t) s 若t s,则BX (s, t) t, 从而 BX (s, t) min(s, t)
刘次华版 平稳随机过程(2)---各态历经性
另一方面，对 的一个可能取值 [0,2 ] ，相 应便有过程的一个样本函数 x(t ) A cos( t ) ， 于是 1 1 lim 2T xt dt lim 2T A cost dt
T 1 2 T 0 1 1
B ( 1 ) E X t X t - X t - 1X t - - 1
第六章
平稳随机过程的 各态历经性
主讲人： 崔琳琳 WORD： 邱涵硕 信媛媛 PPT ： 李记梅
1120121099
1120120213 1120121136 1120121109
平稳随机过程
平稳过程的概念与例子 联合平稳过程及相关函数的性质 随机分析 平稳过程的各态历经性 习题
问题的提出
平稳过程的均值和自相关函数，当然在一般 情况下要做到这一点应当对平稳过程的每一 个样本函数按时间平均有相同结果才行。即 将x (t )换为 X (t ) 结果不变，当然此时的积分应当 为均方积分，即应有
1 x l.Tim 2T .
T
T
X t dt
1 RX ( ) l i m T 2T
各态历经过程
各态历经过程 非各态历经过程
两个图所示的都是平稳过程
随机过程的各个样本函数都同样地经历了随机过程的各种 可能状态，因此从随机过程的任何一个样本函数就能得到 随机过程的全部统计信息，任何一个样本函数的特性都能 充分地代表整个随机过程的特性。
生活中举例
统计2012年大爷平均卖给每人的煎饼数？
大数定理表明，随时间n的无限增长，
南京邮电大学随机过程讲稿第一章
P(X 1) p, P(X 0) q
二项分布
P( X
k)
C
k n
p k q nk
,k
0,1,2n
泊松分布 P( X k ) k e , k 0,1,2,
k!
连续型随机变量的概率分布用概率密度描述
均匀分布 正态分布
f
( x)
b
1
a
,
a xb
0, 其它
f (x)
1
e ,
(
xa) 2 2
22
离散型随机变量（X，Y）边缘分布律计算如下
P( X xi ) pi pij , i 1,2, j 1
P(Y y j ) p j pij , j 1,2, i 1
连续型随机变量（X，Y）边缘概率密度计算如下
f
X
(x)
f
(
x,
y)dy
fY
(
y)
f
(
x,
y)dx
23
联合密度
边缘密度
§1.3 随机变量的数字特征
❖ 随机变量的数学期望 ❖ 随机变量函数的期望 ❖ 方差 ❖ 协方差 ❖ 相关系数 ❖ 独立与不相关
26
一、斯蒂尔吉斯积分（补充）
1.有限区间上的斯蒂尔吉斯积分
定义 设f (x), g(x)是定义在区间a,b上的两个 有界函数， 把区间a,b分成n个子区间，
分点为a x0 x1 xn b
定义1.4：设（ Ω ，F，P）是概率空间，X=X(e)是 定义在Ω上的实函数，如果对任意实数x，{e:X(e) ≤x} ∈F，则称X(e)是F上的随机变量。
14
事件
随机变量
离散型随机变量：
只取有限个数值或可列无穷多个值。
4 刘次华《随机过程及其应用(第三版)》课件
内容提要
平稳过程的概念与性质
平稳过程 的各态历经性
平稳过程的功率谱密度
联合平稳过程
4.1
平稳过程的概念与性质
严平稳过程
[定义] 设{X (t), t T }是随机过程，若对任意常数 和正整 数n，t1 , t2 , … , tn T ，t1+ , t2+ , … , tn+ T ，( X (t1), X(t2), … , X (tn) )与( X (t1+ ), X(t2+ ), … , X (tn+ ) )有相
故 随机序列的均值为常数，相关函数仅与有关， 因此它是平稳随机序列。
例2
设有状态连续、时间离散的随机过程 X (t) = sin(2t)，
其中 为（0, 1）上均匀分布的随机变量，t 只取整数 值 1, 2, ，试讨论随机过程X (t)的平稳性。
[解] E [ X ( t )] E [sin( 2 t )]
在 T 上对 t 取平均，即得时间平均。
大数定理（回顾）
设独立同分布的随机变量序列 {Xn , n = 1, 2, }， 具有 E[Xn] = m, D[Xn] = 2, ( n = 1, 2, )，则
1 N lim P X m 1 k N N k 1
均值各态历经的充要条件
[定理] 设 { X (t), < t < } 是均方连续的平稳过程，
则它的均值具有各态历经性的充要条件为
T 12 2 lim 1 [ R ( ) m d 0 X X] 2 T T 2 T 2 T
R ( ) R ( ) X X
2023大学_随机过程第四版(刘次华著)课后答案下载
2023随机过程第四版（刘次华著）课后答案下载2023随机过程第四版（刘次华著）课后答案下载一般来说，把一组随机变量定义为随机过程。
在研究随机过程时人们透过表面的偶然性描述出必然的内在规律并以概率的形式来描述这些规律，从偶然中悟出必然正是这一学科的魅力所在。
随机过程整个学科的理论基础是由柯尔莫哥洛夫和杜布奠定的。
这一学科最早源于对物理学的研究，如吉布斯、玻尔兹曼、庞加莱等人对统计力学的研究，及后来爱因斯坦、维纳、莱维等人对布朗运动的.开创性工作。
1907年前后，马尔可夫研究了一系列有特定相依性的随机变量，后人称之为马尔可夫链。
1923年维纳给出布朗运动的数学定义，直到今日这一过程仍是重要的研究课题。
随机过程一般理论的研究通常认为开始于20世纪30年代。
1931年，柯尔莫哥洛夫发表了《概率论的解析方法》，1934年A辛钦发表了《平稳过程的相关理论》，这两篇著作奠定了马尔可夫过程与平稳过程的理论基础。
1953年，杜布出版了名著《随机过程论》，系统且严格地叙述了随机过程基本理论。
随机过程第四版（刘次华著）：基本简介点击此处下载随机过程第四版（刘次华著）课后答案随机过程第四版（刘次华著）：发展过程随时间推进的随机现象的数学抽象。
例如，某地第n年的年降水量xn由于受许多随机因素的影响，它本身具有随机性,因此{xn,n=1,2,…}便是一个随机过程。
类似地，森林中某种动物的头数，液体中受分子碰撞而作布朗运动的粒子位置，百货公司每天的顾客数，等等，都随时间变化而形成随机过程。
严格说来，现实中大多数过程都具有程度不同的随机性。
气体分子运动时，由于相互碰撞等原因而迅速改变自己的位置与速度，其运动的过程是随机的。
人们希望知道，运动的轨道有什么性质(是否连续、可微等等)?分子从一点出发能达到某区域的概率有多大?如果有两类分子同时运动，由于扩散而互相渗透，那么扩散是如何进行的,要经过多久其混合才会变得均匀?又如，在一定时间内，放射性物质中有多少原子会分裂或转化?电话交换台将收到多少次呼唤?机器会出现多少次故障?物价如何波动?这些实际问题的数学抽象为随机过程论提供了研究的课题。
刘次华 随机过程 第七章
π
解： （1）由于 EX (t ) = 0 ， RX (τ ) =
a2 cos ω0τ ，所以 X (t ) 是平稳过程，故 2 a2 。 2
ψ 2 = RX (0) =
（2）此时是非平稳过程，由定义得：
E[ X 2 (t )] =
a2 a2 − sin(2ω0t ) 2 T 1 2T
ψ 2 = lim E[
1.若 ∫
+∞ −∞
x(t ) dt < +∞ ，则 Fx (ω ) = ∫ x(t )e −iωt dt 存在。
−∞ +∞ −∞
∞
2. Fx (ω ) = ∫
x(t )eiωt dt = Fx (−ω ) 。
3. 帕塞伐公式：
∫
2
+∞
−∞
x 2 (t )dt =
1 2π
∫
+∞
−∞
Fx (ω ) dω
T T 1 E[ ∫ X (t )e− iωt dt ⋅ ∫ X ( s)e− iω s ds ] −T −T T →∞ 2T T T 1 = lim E[ ∫ ∫ X (t ) X ( s )e −iω (t − s ) dtds] −T −T T →∞ 2T 1 T T = lim E[ X (t ) X ( s )]e −iω (t − s ) dtds T →∞ 2T ∫−T ∫−T 1 T T = lim RX (t − s )e − iω ( t − s ) dtds T →∞ 2T ∫− T ∫− T
性质 1：若 ∫−∞ RX (τ ) dτ < ∞ ，则 s X (ω ) = ∫−∞ RX (τ )e−iωτ dτ 。 证明： s X (ω ) = T lim →∞
随机过程理论中的三个基本概念错误
随机过程理论中的三个基本概念错误作者：***来源：《高教学刊》2022年第06期摘要：随机过程是揭示和探讨客观世界动态随机现象数量关系及其变化规律的应用数学理论。
文章分析随机过程理论在研究质点随机运动时，将质点位移与时间之间的数量关系抽象为随机变量，并用描述大量重复试验中随机事件发生可能性的概率来度量随机游走每一步向右或向左的可能性大小，以及将随机过程样本函数当作随机变量等基本概念错误。
随机过程理论中出现的基本概念错误不仅导致随机过程样本轨道研究对象发生错位，而且也为自然科学、工程技术和社会科学提供错误的理论、方法及工具。
关键词：随机过程;样本轨道;随机变量中图分类号：G642 文献标志码：A 文章编号：2096-000X（2022）06-0096-04Abstract： Stochastic process is an applied mathematical theory that reveals and discusses the quantitative relationship and changing laws of dynamic random phenomena in the objective world. This paper analyzes the random process theory when studying the random movement of the particle，abstracting the relationship between the displacement of the particle and time as a random variable，and measuring the possibility of right or left in each step of random walk by the probability of a random event occurring in a large number of repeated trials， and treats the sample function of random process as a random variable. The basic conceptual errors in the stochastic process not only lead to the dislocation of the research object of random process sample path， but also provide wrong theories， methods and tools for natural sciences， engineering technology and social sciences.Keywords： stochastic processes; sample path; random variable數学概念是人脑对客观事物的数量关系和空间形式的思维反映。