应用随机过程教案 第1章 预备知识
《应用随机过程》教学大纲
《应用随机过程》课程教学大纲课程代码:090541007课程英文名称:Applications Stochastic Processes课程总学时:40 讲课:40 实验:0 上机:0适用专业:应用统计学大纲编写(修订)时间:2017.6一、大纲使用说明(一)课程的地位及教学目标随机过程是现代概率论的一个重要的组成部分,其理论产生于上世纪初期,主要是由物理学、生物学、通讯与控制、管理科学等方面的需求而发展起来的。
它是研究事物的随机现象随时间变化而产生的情况和相互作用所产生规律的学科。
随机过程的理论为许多物理、生物等现象提供诸多数学模型,同时为研究这类现象提供了数学手段。
本课程为统计学专业的专业课程,通过本课程的学习,掌握随机过程的基本概念、基本理论、内容和基本方法,了解随机过程的重要应用,为后继课程学习提供知识准备,另一方面,随机过程的发展也是人们认识客观世界的一个重要组成部分,它有助于学生辩证唯物主义世界观的培养。
(二)知识、能力及技能方面的基本要求1.基本知识:通过本科程的学习,使学生掌握,要求学生掌握随机过程的基本概念、二阶矩过程的均方微积分、马尔可夫过程的基本理论、平稳过程的基本理论、鞅和鞅表示、维纳过程、Ito定理、随机微分方程等理论和方法。
2.基本能力:通过本课程的学习,使学生能较深刻地理解随机过程的基本理论、思想和方法,并能应用其解决实践中遇到的随机问题,从而提高学生的数学素质,加强学生开展科研工作和解决实际问题的能力。
3.基本技能:掌握建立随机数学模型、分析和解决问题方面的技能,为进一步自学有关专业应用理论课程作好准备。
(三)实施说明本大纲是根据沈阳理工大学关于制订本科教学大纲的原则意见专门制订的。
在制订过程中参考了其他学校相关专业应用随机过程教学大纲。
本课程思维方式独特,还需要学生有较高的微积分基础,教学中应注意概率意义的解释和学生基础情况的把握,处理好抽象与具体,偶然与必然、一维与多维,理论与实践的关系。
第1章 预备知识
第1章 预 备 知 识在这一章里,我们将首先介绍在本书中要用到的一些基础知识,包括随机过程和排队模型方面的相关概念和结论,然后简单地介绍一下本书所涉及领域的两种常用的研究方法,包括无穷小摄动分析方法和Markov 过程无穷小矩阵摄动方法及其相关概念和结果.1.1 随 机 过 程本节我们将复习一下随机过程的有关知识,包括概率论、Poisson 过程、Markov 链、Markov 过程、再生过程和Markov 更新过程等,着重于这些过程的状态特征描述及稳态性能方面的概念和结果.本节材料可参看文献[1~4].1.1.1 概率论我们将以测度论的观点来简单地介绍一下概率论的一些基本概念和结论.定义1.1.1 设Ω是一个非空基本集,F 是Ω的一个子集族,且满足条件:(1) 若12,E E ∈F ,则12E E -∈F ;(2) 若n E ∈F ,1,2,n =L ,则1∞=∈U n n EF ,则称F 为Ω上的一个σ-环.若还有Ω∈F ,则称F 为Ω上的一个σ-域或σ-代数. 设G 是Ω的一个子集族,包含G 的最小σ-域称为由G 生成的σ-域.由实数空间R 上的所有开区间生成的σ-域称为Borel σ-域或Borel 集类,记为B .定义1.1.2 设F 为Ω上的一个σ-域,μ是定义在F 上的一个非负的,允许取+∞,但不恒取+∞的集函数,若它满足可列可加性:当n E ∈F ,1,2,n =L ,i j E E =∅I(i j ≠)时,有11()()μμ∞∞===∑U n n n n E E ,则称μ是F 上的一个测度,(,,)ΩμF 称为一个测度空间,F 中的集合称为可测集,()E μ称为E 的测度.定理1.1.1 设μ是σ-域F 上的一个测度,则有(1) 规定性:()0μ∅=;(2) 有限可加性:若1,,n E E ∈L F ,i j E E =∅I (i j ≠),则11()()n nk k k k E E μμ===∑U ;(3) 单调性:若12,E E ∈F ,12E E ⊂,则12()()E E μμ≤.定义1.1.3 设(,,)ΩμF 为一个测度空间,若()1μΩ=,并记()()P μ⋅=⋅, 称P 为σ-域F 上的一个概率测度,并称(,,)P ΩF 为一个概率空间,而F 中的任一元素称为一个事件.换句话说,定义在σ-域F 上的一个集函数称为一个概率测度,若它满足条件:(1) 对任意的A ∈F ,()0P A ≥;(2) ()1P Ω=,()0P ∅=;(3) 若n A ∈F ,1,2,n =L ,i j A A =∅I (i j ≠),则有11()()n n n n P A P A ∞∞===∑U .设(,,)P ΩF 为一个概率空间,则由定理1.1.1的(3)可以知道,对任意的A ∈F ,()1P A ≤.对A ∈F ,若()1P A =,则称A 为P 的支集.定义1.1.4 设(,,)P ΩF 为一个概率空间,B ∈F ,()0P B >,定义()()()P AB P A B P B = ,A ∈F , (1.1.1) 则()()B P P B ⋅=⋅为定义在F 上的一个概率测度,称为给定事件B 的条件概率,而称(,,)B P ΩF 为给定事件B 的条件概率空间.条件概率除了具有概率的有关性质外,还具有以下一些特殊性质:(1) 设(,,)A P ΩF 为一条件概率空间,B ∈F ,()0A P B >,则有()()()A AB P C B P C AB P C ==; (1.1.2)(2) (乘法公式)设n A ∈F ,1,2,,n k =L ,且121()0k P A A A ->L ,则有12121312121()()()()()k k k P A A A P A P A A P A A A P A A A A -=L L ; (1.1.3)(3) (全概率公式)设A ∈F ,n B ∈F ,1,2,n =L ,i j B B =∅I (i j ≠),()0n P B >,1n n B A ∞=⊃U ,则有1()()()n n n P A P B P A B ∞==∑; (1.1.4)(4) (Bayes 公式)设A ∈F ,n B ∈F ,1,2,n =L ,i j B B =∅I (i j ≠),()0P A >,()0n P B >,1n n B A ∞=⊃U ,则有 1()()()()()n n n i ii P B P A B P B A P B P A B ∞==∑,1,2,n =L . (1.1.5)定义 1.1.5 设(,,)P ΩF 为一个概率空间,n A ∈F ,1,2,,n k =L ,若对任意的n (1n k ≤≤)及任意的121n i i i k ≤<<<≤L ,都有1212()()()()n n i i i i i i P A A A P A P A P A =L L , (1.1.6)则称事件12,,,n A A A L 是独立的.定义 1.1.6 设(,,)P ΩF 为一个概率空间,:X Ω→R ,若对任意的t ∈R ,均有{}{:()}X t X t ωΩω≤=∈≤∈F ,则称X 为(,,)P ΩF 上的一个随机变量.设X 为概率空间(,,)P ΩF 上的一个随机变量,称(){}F t P X t =≤ (1.1.7)为随机变量X 的分布函数.易见,()F t 不减,且()0F -∞=,()1F +∞=.若存在一个非负函数()f t ,使对任意的t ∈R ,均有()()d t F t f t t -∞=⎰, (1.1.8) 则称()f t 为随机变量X 的概率密度函数,并称X 为连续型随机变量.随机变量X 的数学期望或均值定义为 [](d )()d E X tF t tf t t +∞+∞-∞-∞==⎰⎰, (1.1.9) 它的方差定义为222[][([])][]([])D X E X E X E X E X =-=-, (1.1.10)风险率函数定义为()()1()f t h t F t =-. (1.1.11)如果()F t 在R 上绝对连续,则()()f t F't =,从而有()d ()()e th t t f t h t -∞-⎰=. (1.1.12) 如果X 表示一个事件的寿命,则()h t 表示该事件活到时刻t ,而将在时间段[,)t t t +∆内终结的比率.下面将简单介绍一下在本书中要用到的有关概率论的一些基本事实和结论.首先,我们来考虑所谓的逆变换方法,该方法可被用来从一个在[0,1)上服从均匀分布的随机变量,生成一个具有已知分布函数()F t 的随机变量,它在排队网络的仿真中有重要应用.已知随机变量X 的分布函数为()F t ,注意到()F t ξ=服从[0,1)上的均匀分布,为了生成随机变量X ,我们先产生一个随机变量ξ,它服从[0,1)上的均匀分布,然后令1()sup{:()}t F t F t ξξ-==≤, (1.1.13)这样生成的随机变量就一定具有分布函数()F t .这是因为1{}{()}{()}()P X t P F t P F t F t ξξ-≤=≤=≤=.下面我们来考虑随机变量序列的收敛性.设(,,)P ΩF 为一个概率空间,n X ,1,2,n =L 及X 为定义在其上的随机变量,我们有下列四种收敛概念:(1) 以概率1收敛(几乎肯定收敛):若{lim }1n n P X X →∞==,或等价地,对任意的0ε>,有lim {,}0ε→∞->≥=对某个k n P X X k n ,则称随机序列{}n X 以概率1收敛到X ,记为lim n n X X →∞=(w.p. 1),也称随机序列{}n X 几乎肯定收敛到X ,记为lim n n X X →∞=(a.s.). (2) 以概率收敛:若对任意的0ε>,有lim {}0n n P X X ε→∞-≥=,则称随机序列{}n X 以概率收敛到X ,记为lim n n X X →∞=(P ). (3) r 阶收敛:设对0r >,[]r n E X <∞,[]r E X <∞,若lim []0rn n E X X →∞-=,则称随机序列{}n X r 阶收敛到X ,记为lim n n X X →∞=(r ).特别当1,2r =时,分别称为均值收敛和均方收敛.(4) 以分布收敛和弱收敛:设()n F t 和()F t 分别是n X 和X 的分布函数,1,2,n =L ,若lim ()()n n F t F t →∞=,则称随机序列{}n X 以分布收敛到X ,记为lim n n X X →∞=(d ),也称分布函数序列{()}n F t 弱收敛到()F t .可以证明:lim n n X X →∞=(a.s.)⇒lim n n X X →∞=(P )⇒lim n n X X →∞=(d );lim n n X X →∞=(r )⇒lim n n X X →∞=(P ). 定理 1.1.2(单调收敛定理) 设{}n X 为一个单调不降的非负随机变量序列,如果lim n n X X →∞=(a.s.),则有 lim [][]n n E X E X →∞=. 定理1.1.3(Lebesgue 控制收敛定理) 设{}n X 为一随机变量序列,若存在一个具有有限均值的随机变量Y ,使对任意的n ,有n X Y ≤,且lim n n X X →∞=(P ),则 lim [][]n n E X E X →∞=. 定义 1.1.7 设{}n X 为定义在概率空间(,,)P ΩF 上存在均值的随机变量序列,若11lim {[]}0nk k n k X E X n →∞=-=∑(P ),则称{}n X 服从(弱)大数定律. 定理 1.1.4 设{}n X 为定义在概率空间(,,)P ΩF 上的随机变量序列,若对任意的自然数n ,1[]nk k D X =∑存在,且211lim []0n k n k D X n →∞==∑,则{}n X 服从大数定律. 定理1.1.5(辛钦大数定律) 设{}n X 为相互独立同分布的随机变量序列,则{}n X 服从大数定律的充分必要条件是1X 具有有限的均值.定义 1.1.8 设{}n X 为定义在概率空间(,,)P ΩF 上存在均值的随机变量序列,若11lim {[]}0nk k n k X E X n →∞=-=∑(a.s.),则称{}n X 服从强大数定律. 定理1.1.6 设{}n X 为相互独立的随机变量序列,若21[]n n D X n ∞=<∞∑,则{}n X 服从强大数定律.定理1.1.7 设{}n X 为相互独立同分布的随机变量序列,则{}n X 服从强大数定律的充分必要条件是1X 具有有限的均值.设(,,)P ΩF 为一个概率空间,t X ,t T ∈为定义在(,,)P ΩF 上的一族随机变量,我们称{;}t X X t T =∈为定义在(,,)P ΩF 上的一个随机过程.这里,T ⊂R 称为随机过程X 的参数集.如果{0,1,2,}T +==L Z ,则称X 为离散时间的随机过程,一般用n 表示离散的时间参数;如果[,]T a b =,或R ,或[0,)+=+∞R ,则称X 为连续时间的随机过程,一般用t 表示连续的时间参数.令Φ为随机过程X 的所有可能取值组成的集合,我们称Φ为X 的状态空间,Φ中的元素称为状态.Φ可以是一个有限集,或可数无限集,或不可数无限集.我们也称X 为定义在状态空间Φ上的一个随机过程.1.1.2 Poisson 过程定义在概率空间(,,)P ΩF 上的一个随机过程{;0}t N N t =≥,如果它是非减的,纯跳跃的,右连续的,且00N =,则称其为一个到达过程.应用最广泛的一类到达过程是Poisson 过程.定义1.1.9 状态空间{0,1,2,}Φ=L 上的一个到达过程{;0}t N N t =≥称为Poisson 过程,如果它满足下列条件:(1) 对任意的,0s t ≥,t s t N N +-与{;}u N u t ≤独立;(2) 对任意的,0s t ≥,t s t N N +-的分布与t 无关.我们有下列引理,它描述了Poisson 过程的基本特征,通过它可给出Poisson 过程的多种定义.引理1.1.1 如果{;0}t N N t =≥是一个Poisson 过程,则(1) 存在一个常数0λ≥,使对所有的0t ≥,{0}e t t P N λ==;(2) 0{2}lim0t t P N t→≥=; (3) 0{1}lim t t P N t λ→==. 我们称引理1.1.1中的常数λ为Poisson 过程{;0}t N N t =≥的到达率.定理1.1.8 如果{;0}t N N t =≥是一个到达率为λ的Poisson 过程,则对任意的0t ≥,有e (){}!t kt t P N k k λλ-==,0,1,k =L . (1.1.14) 设{;0}t N N t =≥是一个到达率为λ的Poisson 过程,Λ<<<=2100T T T 是相继的到达时刻,则我们有下列引理:引理 1.1.2 如果{;0}t N N t =≥是一个到达率为λ的Poisson 过程,则对任意的0≥n ,有10{,,}1e t n n n P T T t T T λ-+-≤=-L ,0t ≥. (1.1.15)由引理1.1.2可知,一个到达率为λ的Poisson 过程,其相继到达时间间隔n n T T -+1,Λ,1,0=n 相互独立,且具有共同的指数分布1e t λ--.由这个引理,可给出Poisson 过程的另一个等价定义:定理 1.1.9 设Λ<<<=2100T T T 是一个到达过程{;0}t N N t =≥的相继到达时刻,则N 是一个Poisson 过程的充分必要条件为到达时间间隔n n T T -+1,Λ,1,0=n 相互独立,且具有共同的指数分布1e t λ--.Poisson 过程还有许多其他等价的定义,请参看文献[2].1.1.3 Markov 链如果一个随机过程在已知当前状态的情况下,它未来的行为与它过去的历史无关,则我们一般称该随机过程具有Markov 性.Markov 链和下一小节将要介绍的Markov 过程都是这样的随机过程.为叙述方便,以下如无特殊声明,均设状态空间{1,2,}Φ=L 为一个可数集.定义1.1.10 状态空间Φ上的一个随机过程}0;{≥=n X X n ,如果它对任意的j Φ∈及0≥n ,满足}{},,{101n n n n X j X P X X j X P ===++Λ, (1.1.16)则称X 为一个具有状态空间Φ的Markov 链.对Markov 链}0;{≥=n X X n ,条件概率}{1i X j X P n n ==+,,i j Φ∈称为Markov 链X 的转移概率,若它与n 无关,记ij n n P i X j X P ===+}{1,则称其为时间齐次的,简称齐次的.本书中出现的Markov 链均是齐次的.矩阵][ij P P =称为Markov 链X 的转移矩阵.显然,对任意的,i j Φ∈,0≥ij P ,且1ij j P Φ∈=∑.满足此条件的矩阵一般称为一个Markov 矩阵或随机矩阵.对,i j Φ∈,及0≥k ,令)(k ij P 为矩阵kP 的第),(j i 个元素,则易证 )(}{k ij n k n P i X j X P ===+ . (1.1.17)因此,矩阵k P 称为Markov 链X 的k -步转移矩阵.这里,特别I P =0为单位矩阵.显然,对任意的0,≥m n ,有m n m n P P P =+, (1.1.18)或等价地()()()n m n m ij ik kj k P P P Φ+∈=∑, (1.1.19)上式称为Markov 链X 的Chapman-Kolmogorov 方程.设X 为一个具有状态空间Φ和转移矩阵P 的Markov 链,对j Φ∈,令T 是过程首次到达状态j 的时刻.以下用}{A P j 表示}{0j X A P =,}{A E j 类似.对,i j Φ∈,置(,){}i F i j P T =<∞,它表示Markov 链X 始于状态i 到达状态j 的概率.定义1.1.11 如果{}1j P T <∞=,则称状态j 是常返的,否则,如果{}0j P T =+∞>,则称j 是瞬态的或滑过的;一个常返态j 称为零常返的,如果∞=}{T E j ,否则,称为正常返的或非零常返的;一个常返态j 称为周期的,且具有周期δ,如果2≥δ,且是满足下式的最大整数:{,1}1j P T n n δ=≥=对某一个,否则,称为非周期的.一个正常返且非周期的状态称为遍历的.如果X 的所有状态都是正常返的,则称X 为正常返的;如果X 的所有状态都是非周期的,则称X 为非周期的.定理1.1.10 如果状态j 是瞬态的或零常返的,则对任意的i Φ∈,有0lim )(=∞→n ij n P ;如果状态j 是正常返非周期的(遍历的),则0lim )()(>=∞→n jj n P j π,且对任意的i Φ∈,有()lim (,)()n ij n P F i j j π→∞=. (1.1.20) 定义1.1.12 如果对某个0≥n ,0)(>n ij P ,则称状态i 可达状态j ,记为j i →;如果j i →,且i j →,则称状态i 与状态j 互通,记为j i ↔.显然,可达关系具有传递性,即若j i →,且k j →,则k i →.定义1.1.13 一个状态的集合称为闭的,如果它内部的状态都不能到达它外部的状态;仅有其本身构成一个闭集的状态称为一个吸收状态;一个闭集称为不可约的,如果它没有真闭子集;一个Markov 链称为不可约的,如果它的状态空间是惟一的闭集.易证,状态j 是吸收的当且仅当1=jj P ;一个Markov 链是不可约的当且仅当其所有状态相互可达;如果Markov 链X 是不可约的,且具有有限状态空间,则X 无瞬态和零常返态.而由定义1.1.12易见,一个Markov 链是不可约的当且仅当其转移矩阵P 是不可约的.一个随机矩阵P 称为可约的,如果通过对其指标重新排序后,P 可表为下列形式:1121220⎛⎫= ⎪⎝⎭P P P P , (1.1.21)这里,11P 为一个有限阶方阵;否则,称P 为不可约的.定义1.1.14 概率分布((1),(2),)πππ=L 称为Markov 链X 的一个平稳分布或不变分布,如果P ππ=. (1.1.22)定理1.1.11 设Markov 链X 是不可约的,则X 为正常返的充分必要条件是X 存在惟一的平稳分布((1),(2),)πππ=L ,且()0i π>,i Φ∈.下面这个定理反映了Markov 链的平稳分布与其极限概率之间的关系.定理1.1.12 设Markov 链X 是不可约的和非周期的,则X 为正常返的充分必要条件是X 存在惟一的平稳分布((1),(2),)πππ=L ,且()()lim 0n ij n j P π→∞=>,,i j Φ∈.此时,我们也称((1),(2),)πππ=L 为X 的极限分布或稳态分布.由于具有有限状态空间的不可约Markov 链X 无瞬态和零常返态,故我们有下列推论:推论1.1.1 设Markov 链X 是不可约的和非周期的,且具有有限状态空间,则X 存在惟一的平稳分布((1),(2),)πππ=L ,且()()lim 0n ij n j P π→∞=>,,i j Φ∈.下面我们来简单介绍一下强遍历Markov 链的有关概念和结果.设Markov 链X 是不可约的,转移矩阵为][ij P P =,记0inf{0,}ij n T n X j X i =≥==为过程从状态i 出发首次到达状态j 的时间,[]ij ij M E T =为过程从状态i 出发首次到达状态j 的平均时间,[]ij M M =称为平均首达时矩阵.定义1.1.15 设不可约Markov 链{;0}n X X n =≥的转移矩阵为][ij P P =,0π>是X 的一个平稳分布,如果M π有限,则称Markov 链X 是强遍历的.定理1.1.13 如果Markov 链X 是不可约、非周期、正常返的和强遍历的,π是X 的稳态分布,则矩阵()I P e π-+非奇异,且10()()n n I P e P e ππ∞-=-+=-∑. 这里,e 为一个所有分量均为1的列向量.1.1.4 Markov 过程定义1.1.16 状态空间Φ上的一个随机过程{;0}t Y Y t =≥,如果它对任意的j Φ∈,及,0t s ≥,满足{;}{}t s u t s t P Y j Y u t P Y j Y ++=≤==, (1.1.23)则称Y 为一个具有状态空间Φ的Markov 过程.对Markov 过程{;0}t Y Y t =≥,(1.1.23)式中的条件概率一般依赖于t 和s ,如果对所有的,i j Φ∈及0s ≥,{}()t s t ij P Y j Y i P s +===与0t ≥无关,则称Markov 过程Y 是时间齐次的,简称齐次的.对固定的,i j Φ∈,称0(){}ij t P t P Y j Y i ===为转移函数;称矩阵()[()]ij P t P t =为Markov 过程Y 的转移概率矩阵.如果()P t I →(0t →+),这里I 为单位矩阵,则称Markov 过程Y 具有标准转移概率矩阵.本书中出现的Markov 过程均是齐次的,以后不再声明.易见,对任意的,i j Φ∈及,0t s ≥,有()0ij P t ≥,()1ik k P t Φ∈=∑, (1.1.24) ()()()ik kj ijk P t P s P t s Φ∈=+∑. (1.1.25) (1.1.25)式称为Markov 过程Y 的Chapman-Kolmogorov 方程.设{;0}t Y Y t =≥为一个随机过程,T 是一个取值于+R 的随机变量,若对每一个有限的0t ≥,事件{}T t ≤的发生与否可以由过程Y 直到时刻t 的历史{;}u Y u t ≤来确定,则称T 为Y 的一个停时.定理 1.1.14 设Y 为一个Markov 过程,T 为Y 的一个停时,则对任意的j Φ∈及0s ≥,有{;}()T s u ij P Y j Y u T P s +=≤=,这里T Y i =.这个定理中的性质称为Markov 过程Y 在停时T 的强Markov 性.下面我们来讨论Markov 过程的结构.以下设状态空间Φ上的Markov 过程Y 具有标准转移概率矩阵,00T =,1T ,2T ,L 是过程Y 相继的状态转移时刻,0X ,1X ,2X ,L 是Y 相继到达的状态.若n X i =,则1n n T T +-为Y 在状态i 的逗留时间.我们设对几乎所有的ωΩ∈,()t Y ω在+R 上是右连续的,即0n n T X Y +=.定理1.1.15 对任意的0n ≥,,i j Φ∈及0t ≥,如果事件{}n X i =发生,则有()1100{,,,;,,}(1e)i t n n n n n ij P X j T T t X X T T P λ-++=-≤=-L L , (1.1.26) 这里,0()i λ≤<∞.且有0ij P ≥,0ii P =,1ij j P Φ∈=∑. (1.1.27)该定理说明,序列0X ,1X ,2X ,L 构成一个具有转移矩阵[]ij P P =的Markov 链,称为Markov 过程Y 的嵌入Markov 链,记为{;0}n X X n =≥.定理中的()i λ称为Markov 过程Y 在状态i 的转移率.如果()0i λ=,则称i 为Y 的一个吸收状态.如果n X i =,则过程Y 在状态i 的逗留时间1n n T T +-具有参数为()i λ的指数分布.定义1.1.17 如果对几乎所有的ωΩ∈, ()sup ()n n T ζωω==+∞,则称Markov 过程Y 为正则的.下面两个定理是确定Markov 过程Y 是否正则的判别准则.定理1.1.16 如果Markov 过程Y 的转移率有界,即存在一个常数λ<∞,使对所有的i Φ∈,有()i λλ≤,则Y 正则.特别地,如果Φ有限,则Y 正则.定理1.1.17 如果Markov 过程Y 的嵌入Markov 链X 是常返的,则Y 正则.以下设Markov 过程Y 正则,具有标准转移概率矩阵()[()]ij P t P t =,{;0}n X X n =≥为其嵌入Markov 链,[]ij P P =为X 的转移矩阵,()i λ为Y 在状态i 的转移率,并记diag((1),(2),)Λλλ=L .我们来讨论()P t 与P 及Λ之间的关系.定理1.1.18 ()P t 在+R 上连续可导,且d()()d P t P t A t =, (1.1.28) d()()d P t AP t t=, (1.1.29) 其中,矩阵[]ij A a =为()P t 在0t =点的导数,且()A P I Λ=-. (1.1.30)方程(1.1.28)和(1.1.29)分别称为Kolmogorov 前瞻方程和后顾方程,定理中的矩阵A 称为Markov 过程Y 的无穷小矩阵或无穷小生成子.由定理1.1.18可得0()e !n Atnn t P t A n ∞===∑. (1.1.31)由定理1.1.15,对所有的i Φ∈,0ii P =,即Markov 过程Y 的每一个状态都不一步转移到自己.但我们可以构造一个等价的嵌入Markov 链,使得Markov 过程Y 的每一个状态都可以转移到自己.任选01i p <<,i Φ∈,置ii i P p =,(1)ij ij i P P p =-,i j ≠.则以[]ij P P =为转移矩阵的Markov 链相对于Markov 过程Y 是一个等价的嵌入Markov 链.此时,Markov 过程Y 具有状态转移率()()(1)i i i p λλ=-,i Φ∈.这是因为diag((1),(2),)()()P I P I A λλΛ-=-=L .设对所有的i Φ∈,()i λλ≤<∞.如果我们置1()i p i λλ=-,则对所有的i Φ∈,()i λλ=,这称为Markov 过程的一致化,而此时的等价Markov 链称为一致化Markov 过程的嵌入Markov 链.下面我们来讨论Markov 过程的极限行为.定义1.1.18 状态i 称为瞬态(常返的,零常返的,正常返的),如果i 在嵌入Makrov 链中是瞬态(常返的,零常返的,正常返的).Markov 过程Y 称为不可约的(常返的,正常返的),如果其嵌入Makrov 链是不可约的(常返的,正常返的).可以证明,上述定义与采用离散骨架的定义是一致的.由于我们总可以构造一个非周期的等价嵌入Markov 链,故Markov 过程总是非周期的.因此,对Markov 过程来说,正常返态就是遍历的.如果状态j 是瞬态的或零常返的,则对任意的i Φ∈,当t →+∞时,有()0ij P t →.此外易见,一个Markov 过程是不可约的当且仅当其无穷小矩阵A 是不可约的.一个无穷小矩阵称为不可约的定义与一个随机矩阵称为不可约的定义完全类似.定理1.1.19 如果Markov 过程Y 是不可约正常返的,则对任意的j Φ∈,极限()lim ()ij t p j P t →+∞= (1.1.32)存在,与i 无关,且()0p j >,j Φ∈.若嵌入链X 的稳态分布为((1),(2),)πππ=L ,Y 的状态转移率为()0j λ>,j Φ∈,则()()()()()i j m j p j i m i Φππ∈=∑, (1.1.33)这里,()1()m j j λ=为Y 在状态j 的平均逗留时间.定理中的概率分布()p j ,j Φ∈称为Markov 过程Y 的极限分布或稳态分布,记为((1),(2),)p p p =L .由定理1.1.18和定理1.1.19可得1pe =, 0Ae =,0pA =, (1.1.34)这里,(1,1,)e τ=L .注意到0pA =,p 也称为Markov 过程Y 的平稳分布或不变分布.这是因为,如果0Y 具有分布p ,则对任意的j Φ∈及0t ≥,{}()t P Y j p j ==.可以证明,在定理1.1.19的条件下,Markov 过程Y 具有惟一的平稳分布.置:f Φ→R ,称f 为一个性能函数,并记((1),(2),)f f f τ=L ,即f 既表示一个函数,也表示一个向量.定理1.1.20 如果Markov 过程Y 是不可约正常返的,((1),(2),)p p p =L 为其稳态分布,则01lim[()d ]()()T t T i E f Y t p i f i pf T Φ→∞∈==∑⎰. (1.1.35)设Markov 过程{;0}t Y Y t =≥是不可约的,记0inf{0,}ij t T t Y j Y i =≥==为过程从状态i 出发首次到达状态j 的时间,[]ij ij M E T =为过程从状态i 出发首次到达状态j 的平均时间,[]ij M M =称为平均首达时矩阵.定义1.1.19 设Markov 过程{;0}t Y Y t =≥是不可约的,0p >是Y 的稳态分布,如果pM 有限,则称Markov 过程Y 是强遍历的.定理1.1.21 设Markov 过程Y 是不可约正常返的和强遍历的,p 是Y 的稳态分布,如果Y 的状态转移率()i λ有界,即存在λ<∞,使()i λλ≤,i Φ∈,则对任意的0α≥,矩阵()I A ep αλ-+非奇异,且111()()()n n n I A ep A I ep αλλλλα∞-+=-+=+-+∑.下面简单介绍一下两类特殊的Markov 过程,即准生灭过程与生灭过程的有关结果.定义1.1.20 状态空间{(,);0,1}E i j i j m =≥≤≤上的一个Markov 过程Y ,如果它的无穷小矩阵可表示为001102102100B A B A A A A A A A A ⎛⎫ ⎪⎪⎪= ⎪⎪ ⎪⎝⎭L L M M O , (1.1.36)这里,0B ,1B ,0A ,1A ,2A 均为m m ⨯阶矩阵,则称Y 为一个准生灭过程,简称QBD过程.定理1.1.22 如果QBD 过程Y 不可约,则Y 正常返的充分必要条件是2阶矩阵方程22100R A RA A ++= (1.1.37)的最小非负解R 的所有特征值都在单位圆的内部,且方程001()0x B RB +=,10()1x I R --= (1.1.38)具有惟一的一个正解0x .如果QBD 过程Y 是不可约正常返的,则其平稳分布01(,,)x x x =L 由下式给出:0i i x x R =,0i ≥. (1.1.39)定义1.1.21 状态空间{0,1,}E =L 上的一个Markov 过程Y ,如果它的无穷小矩阵为11112222333()()()A λλμλμλμλμλμλμ-⎛⎫ ⎪-+ ⎪⎪=-+ ⎪-+ ⎪ ⎪⎝⎭L L M M O , (1.1.40)则称Y 为一个生灭过程.特别地,如果0i μ=,1i ≥,则称Y 为一个纯生过程;如果0i λ=,0i ≥,则称Y 为一个纯灭过程.显然,当0i λ>,0i μ>时,生灭过程Y 是一个不可约的Markov 过程.若令01112i i ip λλλμμμ-=L L ,1i ≥,则生灭过程Y 存在平稳分布的充分必要条件是1δ∞==<∞∑i i p .而其平稳分布为1(0)(1)p δ-=+,1()(1)i p i p δ-=+,1i ≥.特别地,当i λλ≡,i μμ≡时,若记ρλμ=,则生灭过程Y 存在平稳分布的充分必要条件是1ρ<,且平稳分布为()(1)i p i ρρ=-,0i ≥.此平稳分布也是Y 的稳态分布.1.1.5 再生过程考虑一个随机现象, 010T T =<<L 是该现象相继发生的时刻,则1n n n S T T +=-,0,1,n =L 为该现象相邻两次发生的时间间隔.定义1.1.22 如果01,,S S L 是独立同分布的非负随机变量,则称随机序列{;0}n T n ≥为一个更新过程,n T 称为更新时刻.若()F t 为n S 的分布函数,记t N 为一个更新过程在时间间隔[0,]t 内的更新次数,()[]t R t E N =为在[0,]t 内的期望更新次数,一般称()R t 为相应于分布函数()F t 的更新函数,则1()()n n R t F t ∞==∑. (1.1.41)这里,()nF t 表示()F t 的n 重卷积,即1()()F t F t =,10()()d ()tn n F t F t x F x -=-⎰,2n ≥.如果(0)1F <,则()R t <∞,0t ≥,且分布函数()F t 与更新函数()R t 相互惟一确定.定义1.1.23 如果n S <∞对每一个n 具有概率1成立,则称更新过程{;0}n T n ≥是常返的;否则,称其为瞬时的.如果随机变量01,,S S L 仅取离散值0,,2,δδL ,且δ是最大的这样的数,则称更新过程{;0}n T n ≥为周期的,且具有周期δ;否则,如果没有这样的0δ>,则称其为非周期的.易见,更新过程{;0}n T n ≥常返或瞬时,由()1F +∞=或1<决定.以下总设(0)1F <,()1F +∞=.令[](d )[1()]d >0μ∞∞===-⎰⎰n E S tF t F t t ,我们有下列基本更新定理:定理1.1.23 对更新过程{;0}n T n ≥,有()1limt R t t μ→+∞=. (1.1.42)定义 1.1.24 设00T =,1T ,L 为状态空间Φ上的随机过程{;0}t Y Y t =≥的一个停时序列,如果{;0}n T n ≥为一个更新过程,且对任意的正整数n ,m ,1,,n t t +∈L R 及定义在n Φ上的任意有界函数f ,有11[(,,),][(,,)]++≤=L L m m n n T t T t s m t t E f Y Y Y s T E f Y Y , (1.1.43)则称Y 为一个再生过程.(1.1. 43)式称为再生性,0T ,1T ,L 称为再生时刻.由定义可知,一个再生过程始于任何再生时刻的行为与始于00T =的行为在统计上是完全相同的.下面我们简单介绍一下更新理论的有关结果.设()f t 和()g t 均为定义在+R 上的函数,()F t 为非负分布函数,且有()()()(d )tf tg t f t x F t =+-⎰, (1.1.44)如果()g t 和()F t 已知,()f t 未知,则()f t 可看作是上述积分方程的解,我们称这个积分方程为更新方程.研究更新方程解的理论就称为更新理论,它是研究再生过程的重要工具.定理1.1.24 更新方程(1.1.44)有惟一解()()()(d )tf tg t g t x R t =+-⎰, (1.1.45)其中,()R t 为相应于分布函数()F t 的更新函数.定义1.1.25 如果非负随机变量X 仅取离散值0,,2,δδL ,且δ是最大的这样的数,则称X 为格的,且具有周期δ;否则,如果没有这样的0δ>,则称X 为非格的.当X 为格(非格)随机变量时,其分布函数也称为格(非格)的.定理1.1.25 如果分布函数()F t 非格,则对任意的0τ>,有lim[()()]t R t R t ττμ→+∞+-=; (1.1.46)如果()F t 是格的,且具有周期δ,则(1.1.46)式仅对n τδ=,1,2,n =L 成立.上述定理称为Blackwell 定理.为了给出关键更新定理,我们先来介绍直接Riemman 可积的概念.定义 1.1.26 设()f t 为定义在+R 上的函数,且在任意有限区间上有界,0τ>,记()n M τ和()n m τ分别为()f t 在区间[(1),)n n ττ-上的上确界与下确界.如对任意的0τ>,级数1()nn Mτ∞=∑与1()n n m τ∞=∑均收敛,且1lim [()()]0n n n M m ττττ∞→+=-=∑, (1.1.47)则称()f t 在+R 上是直接Riemman 可积的.易证,如果()f t 非增,且()f t 在+R 上绝对可积,则()f t 直接Riemman 可积.当()f t直接Riemman 可积时,有11lim ()lim ()()d ττττττ∞∞∞→+→+====∑∑⎰n n n n M m f t t ,其中最后一个积分就是()f t 在+R 上的Riemman 积分.故直接Riemman 可积的函数一定是Riemman 可积的.定理1.1.26 如果分布函数()F t 非格,()f t 直接Riemman 可积,则1lim ()(d )()d tt f t x R x f t t μ∞→+∞-=⎰⎰; (1.1.48)如果()F t 是格的且具有周期δ,()f t 直接Riemman 可积,且对t +∈R ,级数0()n f t n δ∞=+∑收敛,则对任意的0τ≥,有lim ()(d )()n n n f n x R x f n τδδτδτδμ∞+→∞=+-=+∑⎰. (1.1.49)这个定理称为关键更新定理.下面这个定理是再生过程的主要极限定理,我们仅给出非周期的情况.定理1.1.27 设{;0}t Y Y t =≥为一个具有再生时刻{;0}n T T n =≥的再生过程,且对任意的i Φ∈,1(,){,}t f t i P T t Y i =>=在+R 上Riemman 可积,如果T 是非周期的,则1lim {}(,)d t t P Y i f t i t μ∞→+∞==⎰. (1.1.50)定义1.1.27 设{;0}n T T n =≥为一个随机变量序列,如果0{;0}n T T T n =-≥为一个更新过程,且00T ≥与T 独立,则称{;0}n T T n =≥为一个延时更新过程.1.1.6 Markov 更新过程在这一小节里,我们将介绍一下Markov 更新过程、半Markov 过程以及半再生过程的有关概念和结论.1.1.6.1 Markov 更新过程以下除非特别声明,状态空间{1,2,}Φ=L 为一个可数集.定义 1.1.28 设{;0}n X X n =≥与{;0}n T T n =≥分别为取值于Φ及+R 上的随机变量序列, 且0120T T T =<<<L ,若对任意的0≥n ,任意的Φ∈-j i i i n ,,,,10Λ和任意的实数0≥t ,均有110{,,0,1,,1,;,,}n n n k k n n P X j T T t X i k n X i T T ++=-≤==-=L L11{,}n n n n P X j T T t X i ++==-≤=)(t Q ij =, (1.1.51)则称随机过程(,){,;0}n n X T X T n =≥为Markov 更新过程;转移概率族{(),,}ij Q t i j ∈Φ称为空间Φ上的半Markov 核.若记()[()]ij Q t Q t =, lim ()t P Q t →+∞=,则0P ≥,Pe e =, (1.1.52) 即P 为一个随机矩阵.因此,{;0}n X X n =≥为一个具有状态空间Φ和转移矩阵P 的Markov 链,称为Markov 更新过程(,)X T 的嵌入Markov 链.以下设(,){,;0}n n X T X T n =≥为一个Markov 更新过程,其半Markov 核为()Q t .对0n ≥,我们定义()0(){,}n ij n n Q t P X j T t X i ==≤=,,i j Φ∈,t +∈R , (1.1.53)并记()()()[()]n n ij Q t Q t =,则(0)()Q t I =为单位矩阵.对一个固定的状态j Φ∈,事件{}n X j =发生的时刻n T 构成一个可能延时的更新过程{;0}j j n T T n =≥,该更新过程在时间段[0,]t 内的更新次数为[0,]01()()∞=∑j nt n n XI T ,这里,1()j ⋅与[0,]()t I ⋅均为市性函数.可以证明,对任意的,i j Φ∈,t +∈R ,函数[0,]00()[1()()]ij j n t n n R t E X I T X i ∞===∑00{,}n n n P X j T t X i ∞===≤=∑()()n ij n Q t ∞==∑ (1.1.54) 有限.我们称()ij R t 为Markov 更新函数,()[()]ij R t R t =为Markov 更新核.对0α≥,我们定义e (d )t Q Q t αα∞-=⎰, ()()0e (d )n t n Q Q t αα∞-=⎰, (1.1.55)且对0α>,定义e (d )t R R t αα∞-=⎰. (1.1.56)可以证明,对任意的0n ≥及0α≥,()n nQ Q αα=.故当0α>时nn R Q αα∞==∑. (1.1.57)因此有()R I Q I αα-=, ()I Q R I αα-=. (1.1.58)定理1.1.28 当0α>时,如果Φ有限,则1()R I Q αα-=-; (1.1.59)如果Φ无限,则R α是方程()I Q R I α-=,0R ≥ (1.1.60)的最小解.定义1.1.29 状态j Φ∈称为瞬时的,或常返的,或非周期的,或具有周期δ的周期的,如果相应的更新过程0{;0}j j jn T T T n =-≥是瞬时的,或常返的,或非周期的,或具有周期δ的周期的.可以证明,状态j Φ∈常返(瞬时)当且仅当j 是嵌入Markov 链X 的常返态(瞬态).但这样定义的周期性却可能和在嵌入Markov 链X 中的周期性不同.不过,我们有下列结论:定理1.1.29 如果嵌入Markov 链X 是不可约的,则Markov 更新过程(,)X T 所有状态的周期性相同.为了讨论Markov 更新方程,我们先来引进一个函数类.设:f Φ+⨯→R R ,B 是满足下列条件的所有函数f 的集合:(1) 对每一个i Φ∈,函数(,)f i t 在+R 的任何有限区间上有界;(2) 对每一个t +∈R ,函数(,)f i t 在Φ上有界.显然,对每一个固定的j Φ∈,函数()ij Q t 和()ij R t 均属于B .设f ∈B ,如果对所有的i Φ∈,t +∈R ,及某一个g ∈B ,均有(,)(,)(,)(d )tij j f i t g i t f j t s Q s Φ∈=+-∑⎰, (1.1.61)则称f 满足Markov 更新方程.下面我们将限定函数,{:0}f g f f +∈=∈≥B B .定理1.1.30 Markov 更新方程(1.1.61)有解0(,)(,)(d )t ij j f i t g j t s R s Φ∈=-∑⎰,且每一个解可表为(,)(,)(,)(d )tij j f i t h i t g j t s R s Φ∈=+-∑⎰, (1.1.62)其中,h +∈B ,且满足(,)(,)(d )tij j h i t h j t s Q s Φ∈=-∑⎰.而其具有惟一解的充分必要条件是sup n T =+∞(w.p. 1).我们称sup n T 为Markov 更新过程的寿命.下列定理是判别sup n T =+∞(w.p. 1)的几个准则:定理1.1.31 如果下列条件之一成立,则sup n T =+∞(w.p. 1): (1) 所有状态都是常返的;(2) 仅有有限个瞬态,特别Φ有限;(3) 如果存在一个0τ>,及一个1c <,使对所有的i Φ∈,均有()ijj Q c Φτ∈≤∑.1.1.6.2 半Markov 过程定义 1.1.30 若状态空间Φ上的随机过程}0;{≥=t Y Y t 满足下列条件, 则称Y 为一个半Markov 过程:(1) 对任意的Φ∈j i ,,若已知过程处于状态i ,则它下一次转移到j 的概率是ij p ;(2) 若已知过程处于状态i 和下一次将转移到状态j ,则它在状态i 的逗留时间的分布为ij F ,即11(){,}ij n n n n F t P T T t X i X j ++=-≤==.设}0;{≥=t Y Y t 为状态空间Φ上的一个半Markov 过程,0120T T T =<<L 是Y 相继的状态转移时刻,0X ,1X ,2X ,L 是Y 相继到达的状态,则(,){,;0}n n X T X T n =≥是一个Markov 更新过程,且半Markov 核为)()(t F p t Q ij ij ij =,Φ∈j i ,.而{;0}n X X n =≥也称为半Markov 过程Y 的嵌入Markov 链,它的转移矩阵为[]ij P p =.设(,){,;0}n n X T X T n =≥为一个Markov 更新过程,其半Makrov 核为()[()]ij Q t Q t =,若设sup n T =+∞(w.p. 1),则由n t X Y =,1n n T t T +≤< (1.1.63)定义的随机过程}0;{≥=t Y Y t 为一个半Markov 过程,()[()]ij Q t Q t =也称为半Makrov 过程Y 的半Makrov 核.因此,我们可以认为,Makrov 更新过程和半Markov 过程不过是同一个过程的两种不同描述方式.现在设}0;{≥=t Y Y t 为一个半Makrov 过程,其半Makrov 核为()[()]ij Q t Q t =,(,){,;0}n n X T X T n =≥是相应的Markov 更新过程,P 是嵌入Markov 链的转移矩阵,()[()]ij R t R t =是相应于()Q t 的Markov 更新核.对任意的Φ∈j i ,及t +∈R ,令0(){}ij t P t P Y j Y i ===, (1.1.64) 则对任意的Φ∈j i ,及t +∈R ,我们有()(,)(d )tij ij P t h j t s R s =-⎰, (1.1.65)其中(,)1()jk k h j t Q t Φ∈=-∑,j Φ∈,t +∈R . (1.1.66)设:f Φ→R ,对0α≥,我们定义00()[e ()d ]t t i E f Y t Y i ααη∞-==⎰, (1.1.67)并称其为f 在状态i 的α-势.特别地,如果0α=,我们省略下标,称为f 在状态i 的势.对0α>,令e ()d t U P t t αα∞-=⎰, (1.1.68)这里,()[()]ij P t P t =.则可得U R H ααα=, (1.1.69)其中,diag((1),(2),)H h h ααα=L ,而()e (,)d t h j h j t t αα∞-=⎰,j Φ∈. (1.1.70)若记((1),(2),)h h h ααατ=L ,则易知()h I Q e ααα=-. (1.1.71)记0()(,)d m j h j t t ∞=⎰为过程在状态j 的平均逗留时间,我们有下列极限定理:定理 1.1.32 如果(,)X T 是不可约、非周期和常返的,π是X 的一个不变测度,()m j <∞,则对任意的i Φ∈,有0()()lim {}t t j m j P Y j Y i mππ→∞===. (1.1.72)我们称0()lim {}t t p j P Y j Y i →∞===,j Φ∈为半Markov 过程Y 的稳态分布或极限分布,并记((1),(2),)p p p =L .特别地,如果X 还是正常返的,则()0j π>,j Φ∈,故当m π<∞时,()0p j >,j Φ∈.。
应用随机过程 第一章 预备知识
1.4.3 独立性
定义 1.11
(1)设{A i,i I}是F的事件族,如果对I的每个非空 有限子集{i1,...,ik },有 P( A i j)= P(A i j) 则称{A i,i I}关于P是相互独立的.
j=1 j=1 k k
(2)设{Ai,i I}是F 的 子代数族,如果对I的每个非空 有限子集{i1,...,ik },Ai j Ai j 使得上式成立,则称 {Ai,i I}是相互独立的.
p p
(4)设{F ( n x)}是分布函数列,如果F(x):单调不减, 使得对F (x)的所有连续点x有 lim Fn (x)=F(x),则称 n {F ( }弱收敛于F(x); n x) 再设{X n }是一列以{F ( n x)}为分布函数的r.v.列, 如果{F ( } 敛于F(x), 则称{X n }依分布收敛。 n x)弱收
n
(9)若X , Y 是两个独立的随机变量,函数(x,y)使得 E(| (X,Y))<,则 E[ (X,Y)|Y] E[ (X,y)] |y=Y a.s
作业:
结合《概率论》和第一章的内容,写出学习心得. 要求:1. 可就某个知识点或某个定理、引理或例题等, 用自己的语言写出; 2. 也可以写一点对《应用随机过程 》这们课的一些想 法(例如希望通过学习这门课学点什么 等).
B
X dP=[P(B)] E(X I B).
-1
性质:
(1) 若X L1,则 E[E(X |B) ]=EX。
(2) 若X是B随机变量, 则 E(X |B) =X, a.s.。
(3) 若X=Y, a.s. 且X L 1, 则E(X|B)=E(Y|B),a.s.
(4) 若a,b是实数,X,Y L 1, 则E[(aX+bY)|B ]=aE(X|B )+bE(Y|B ),a.s.
随机过程-第一章__概率预备知识
概率空间
(1) Ω∈F ; (2) 若A∈F ,则A=Ω\A∈F ; (3) 若An∈F ,n=1,2,…,则 n 1 An∈F , 那么F 称为ς-代数(Borel域).(Ω,F )称为可测空间,F中 的元素称为事件. 由定义1.1且有: (4) υ∈F ; (5) 若A,B∈F ,则A\B∈F ; n n (6) 若Ai∈F ,i=1,2,…,则 i 1 Ai, i 1 Ai, i 1 Ai∈F . 定义1.2 设(Ω,F )是可测空间,P(· )是定义在F 上的实值 函数.若 (1) 任意A∈F ,0≤P(A)≤1; (2) P(Ω)=1;
y1
yn
n维随机变量及其概率分布
率密度. 定义1.6 设{Xt,t∈T}是一族随机变量,若对任意的n≥2, t1,t2,…,tn∈T, x1,x2,…,xn∈R, 有 n P( X t≤x1, X t≤x2,…, X t≤xn)= i 1 P( X t xi ) 1 2 n 则称{Xt,t∈T}是独立的. • 若{Xt,t∈T}是一族独立的离散型随机变量, 则上式等 n 价于P( X t1 =x1, X t2 =x2,…, X t n=xn)= i 1 P( X t xi ) ; 若{Xt,t∈T}是一族独立的连续型随机变量, 则上式等 n 价于 f t1 ,t2 ,,tn(x1,x2,…,xn)= i 1 f t ( xi ), 其中 f t1 ,t2 ,,tn 1, (x x2,…,xn)是随机向量(X1,X2,…,Xn)的联合概率密度且 f ti ( xi ) 是随机变量 X t 的概率密度,i=1,2,…,n. • 独立性是概率论中的重要概念,独立性的判断通常是根 据经验或具体情况来决定的.
n维随机变量及其概率分布
是右连续函数; (3)对于Rn中的任意区域(a1,b1;…;an,bn),其中ai≤bi, i=1,2,…,n, 成立 n F(b1,b2,…,bn)- i 1 F(b1,…,bi-1,ai,bi+1,…,bn)
应用随机过程全套教学课件
定义1.7 设X ()是F上的随机变量,函数 F(x) P( : X () x), x
称为随机变量X的分布函数。
分布函数的含义:分布函数F (x)表示随机变量X取值
不超过x的概率 (x为任意实数).
分布函数 F(x)的性质: (1)0 F(x) 1;
(2) F (x)是非降函数, 即x1 x2 F (x1) F (x2);
k
k!
e
,
(k 0,1, ),
0
____参数为 的 Poisson分布
5.均匀分布: 密度函数 f
(
x)
b
1
a
,
a x b (a b)
记作 X ~ U[a,b] 0, 其它
6.正态分布:
密度函数
f (x)
1
2
exp[
(
x 2 2
)2
]
,xR
称之为参数为和 2的正态分布,也称为Gauss分布,
i 1
i 1
1i jn
P( Ai Aj Ak ) (1)n1P( A1A2 An )
1i jk n
事件列极限1:假设事件序列Ai ,
(1) 如果A1 A2 An ,
则 lim
n
An
An
n1
An A
(2) 如果A1 A2 An , An A
则
lim
n
An
An
n1
结论: 单调事件(集合)序列必有极限.
(8) 概率的连续性:
定理:若{An,n 1}是单调递增(或递减)的事件序列
则
lim
n
P(
An
)
P( lim
n
An
随机过程-1预备知识
• 概率空间的性质
设(, F,P)为概率空间,则
(4) P()= 0
(5)P(B\A)= P(B) -P(A) , (AB)
(6)
lim n
P(
An
)
P P
n1 n1
An An
, ,
A1 A1
A2 An A2 An
• 显然,这样建立的概率满足三条公理。
17
• 例2 为依次抛掷三枚硬币的试验建立概率模型。 • 解 用“1”表示正面向上,“0”表示反面向上,
样本空间为:
• {(1,1,1),(1,1,0),(1,0,1),(1,0,0),(0,1,1),
(0,1,0),(0,0,1),(0,0,0)}
• 如果上述8种结果出现的可能性相同,根据可 加性和归一性,每个结果的概率为 1/8.
概率实例:
• 例1 给掷一枚硬币的试验建立概率模型。 • 解:掷一枚硬币,有两个可能的结果:正
面和反面。若用 1 表示正面,2 表示反面, 则样本空间为: {1, 2 } • 事件为: {1 , 2 }, {1}, {2 }, • 根据定义和性质,得到
P({1,2 }) 1, P() 0
(2)若AF, 则\AF (对立事件)
(3)若AiF,i=1,2…,则 AiF (可列
并事件)
i 1
称F为-代数,(, F )为可测空间
例 投掷一次骰子试验,ei表示出现i点, ={e1,e2,e3,e4,e5,e6} F ={,{e1,e2,e3},{e4,e5,e6}, }
• 定义1.2概率空间:设(,F)为可测空间,映
射P:F R,A|P(A)满足
随机过程第一章 预备知识及补充
n
PAn,i.o. P(A) 0
命题 1.3(波莱尔-坎泰利(Borel-Cantelli)第二引理):如果An , n 1 为独立的事件
序列,使得 P( An ) ,则 n1
PAn,i.o. 1
第一引理证明:
根据定义 1.4 对事件序列An , n 1 上极限的定义可知,因为样本点 在无穷多个事件
n1
n1
假定一些事件组成了一个可数的集合,那么这集合中的至少一个事件发生的概率不大于每个事件
发生的概率的和。);
当 An , n 1, 2,两两互不相容时,则 P( An ) P( An ) ;
n1
n1
概率函数 P 的一个重要性质是连续性,为了更精确地阐明这一性质,需要引进极限事
件的概念。定义如下:
An , n 1发生,则在 An ,k 1也同样发生,从而在
An 亦发生;另一方面,如果
nk
k 1 nk
样本点 在
An ,则对于 k 1, 在 An 发生,从而对于 k 1至少有一个 n k ,
k 1 nk
nk
即 n k ,使得 在 An 发生,因此有 在无穷多个 An 发生。
若 An An1, n 1,称事件序列An , n 1 为递增的;
当 An An1, n 1,则事件序列An , n 1 为递减的。
如果
An
,
n
1
是一递增的事件序列,那么我们定义一个新的事件,记为
lim
n
An
:
lim
n
An
Ai ;
i 1
如果
An
,
n
1
是一递减的事件序列,那么我们定义一个新的事件,记为
《应用随机过程》-课程教学大纲
《应用随机过程》课程教学大纲一、课程基本信息课程代码:16055502课程名称:应用随机过程英文名称:Applied Stochastic Processes课程类别:专业课学时:32学分: 2适用对象:财经类专业本科生考核方式:考试先修课程:微积分、线性代数、概率论二、课程简介中文简介紧抓课程改革核心环节,不断提升教学质量,将“课程思政”作为融合德育与智育的融合主渠道,是逐步实现“立德树人”的综合教育理念的前进方向。
《应用随机过程》是面向经济统计专业三年级学生开设的一门必修课,随机过程通常被视为概率论的动态部分,即研究的是随机现象的动态特征,着重对随时间和空间变化的随机现象提出各种不同的模型并研究其内在的性质与相互联系。
具有较强的理论性。
该学科在社会科学、自然科学、经济和管理等各个领域中都有广泛的应用,培养学生的科学精神,探索自然和人类的奥秘。
英文简介The course Applied Stochastic Processes is one of the compulsory courses for the junior undergraduates majoring in Economic Statistics,which is usually viewed as the dynamic part of probability theories. It focuses on the dynamic feature of stochastic phenomena and emphasizes modeling the stochastic phenomena varying with time and space .Moreover,it explores the inner property and relationship among various models and it is quite theoretical and widely used in social science,natural science,Economic and management science etc.三、课程性质与教学目的本课程是经济统计专业一门应用性很强的专业课。
《应用随机过程》课程教学大纲 - 南京财经大学教务处
《随机过程》课程教学大纲适用专业:数学与应用数学执笔人:肖丽华审定人:王宏勇系负责人:张从军南京财经大学应用数学系《随机过程》课程教学大纲课程代码:300069英文名:Stochastic Processes课程类别:专业选修课适用专业:数学与应用数学前置课:数学分析、线性代数、概率论、数理统计后置课:学分:2学分课时:54课时主讲教师:孙春燕等选定教材:刘次华,随机过程(第二版)[M],武汉:华中科技大学出版社,2001.课程概述:随机过程是数学与应用数学专业继数学分析、线性代数、概率论、数理统计后的一门专业课程。
随机过程是研究客观世界中随机演变过程的规律性,是以概率论为基础且是概率论的深入与发展的一门学科。
它在控制、经济、金融和管理等方面应用极为广泛。
教学目的:通过随机过程理论知识的学习,达到培养学生解决实际问题,特别是解决具体随机规律现象的问题能力,学生学习这门课程应该达到三个目标。
(1)建立随机过程的思维方法。
(2)掌握随机问题的统计特性及数学模型。
(3)通过经济、金融及管理等专业相关例题的讨论,初步掌握应用随机过程理论来分析问题和解决问题的能力。
教学方法:本课程采用“引出问题,建立模型,理论分析,课堂讨论,实际应用,总结提高”的教学方式,使学生在掌握随机过程基本理论、思想和方法的基础上,力求活跃思考,理论结合实际地进行学习、分析、归纳、提炼和解决问题,提高他们的数学素质和数学修养,提升他们开展科技活动和社会实践的能力以及开展科研工作的能力。
各章教学要求及教学要点第一章预备知识学时分配:6学时教学要求:补充和加强概率论知识。
理解母函数的概念,掌握母函数的方法;掌握特征函数的定义及性质,了解特征函数与分布函数一一对应的关系。
教学内容:第一节概率空间一、随机试验。
二、样本空间。
三、事件及概率空间的定义。
第二节随机变量及其分布一、分布函数。
二、联合分布函数及其性质。
第三节随机变量的数字特征一、随机变量的数学期望及其性质。
应用随机过程教案预备知识
E(X ) (0) np , E(X 2 ) (0) n(n 1) p2 np , D( X ) E[X 2 ] [EX ]2
其分布函数为
F(x) pk P{X xk }
xk x
xk x
连续型随机变量 X 的分布用概率密度 f(x)描述,其分布函数为:
x
F (x) f (t)dt
分布函数 F(x)的性质
(1) 0 F(x) 1
(2) F() 0, F() 1
(3) F(x) 是单调不减函数, a b 则 F(a) F(b)
定义 2 两个随机变量 X 与 Y,如果满足 P{ω∈Ω :X(ω) ≠Y(ω) }=0,则称它们是 等价的。
注:为简单起见,习惯将{ω:X(ω) ≥x}记为{X≥x},其他记号类似。
常用的随机变量:离散型随机变量、连续型随机变量。 离散性随机变量 X 的概率分布用如下分布列描述:
pk = P{X = xk }, k = 1,2, …
第三节 数字特征、矩母函数与特征函数 1.Riemann—Stietjes 积分 定义 1 设 g(x) ,F(x) 为有限区间 (a,b] 上的实值函数,a x0 x1 xn b 为
(a,b] 的 一 个 分 割 , 令 F(xi ) F(xi ) F(xi1) , i [xi1, xi ] , 1 i n ,
d 维正态分布
密度函数 f (x)
1
exp{(x ) (x )}
d
1
(2 ) 2 | | 2
Γ 分布
密度函数
f
(x)
s
(s)
x s1e x
应用随机过程(第一章)
定理1.5.5 条件期望的基本性质
• 9.设X、及XY 的期望存在,且Y为G可测的 则: E XY G YE X G a.s.
• 10.若X,与G相互独立,则
E X G E X a.s
定理1.5.5 条件期望的基本性质
11.若G1,G2是两个子σ代数,使得G1 G2 F 则 EE X G2 G1 E X G1 a.s. 12.若X,Y是两个独立的随机变量,函数 G(x,y)使得 E g x, y ,则有:
§1.4 收敛性
• 定义1.4.1 • (1)设 X n , n 1 是随机变量序列,若存 在随机变量X使得:
p : X lim X n 1
n
则称随机变量 X n , n 1 几乎必然收敛于X 记为 a.s X n X , a.s 或 Xn X
几乎必然收敛 依概率收敛 依分布收敛 p次均方收敛 依概率收敛 依分布收敛
例1.4.1 1 Yki 0 n Z n 0
1 r
1, i i k k 1, i i k k
0, 1 n 0, 1 n
f1dp
则f的积分存在,且有:
f n d P fd P
定理1.4.3 Fatou引理
• 设随机变量 X n , n 1 的期望存在,则:
E lim inf X n lim inf E X n n n lim sup E X n E lim sup X n n n
随机变量的独立性
(4)设 X i , i I 是Ω上的一族随机变量,如 果σ代数族 X i , i I 是独立事件类,则称
应用随机过程教学大纲
《应用随机过程A》课程教学大纲课程编号: L335001 课程类别:专业限选课适用专业:统计学专业学分数:3学分学时数: 48学时应修(先修)课程:数学分析、概率统计、微分方程、高等代数一、本课程的地位和作用应用随机过程是数学与应用数学专业的专业限选课程,是统计学专业的专业课程之一。
随机过程是研究客观世界中随机演变过程规律性的学科,随机过程的研究对象为随时间变化的随机现象,即随时间不断变化的随机变量,通常被视为概率论的动态部分。
随着科学技术的发展,它已广泛地应用于通信、控制、生物、地质、经济、管理、能源、气象等许多领域,国内外许多高等工科院校在研究生中设此课程,大量工程技术人员对随机分析的方法也越来越重视。
通过本课程的学习,使学生初步具备应用随机过程的理论和方法来分析问题和解决问题的能力。
二、本课程的教学目标使学生掌握随机过程的基本知识,通过系统学习,学生的概率理论数学模型解决随机问题的能力得到更加进一步的提高,特别在经济应用上,通过本课程的学习,可以让数学专业的学生很方便地转向在金融管理、电子通讯等应用领域的研究。
三、课程内容和基本要求∇”记号标记既(用“*”记号标记难点内容,用“∇”记号标记重点内容,用“*是重点又是难点的内容。
)第一章预备知识1.教学基本要求(1)掌握概率空间, 随机变量和分布函数, 矩母函数和特征函数的概念和相关性质。
(2)掌握条件概率, 条件期望和独立性的概念和相关性质。
(3)了解概率中收敛性的概念和相互关系。
2.教学内容(1)概率空间(2)▽随机变量和分布函数(3)▽*数字特征、矩母函数和特征函数(4)▽*条件概率、条件期望和独立性(5)收敛性第二章随机过程的基本概念和类型1.教学基本要求(1)掌握随机过程的定义。
(2)了解有限维分布族和Kolmogorov定理。
(3)掌握独立增量过程和独立平稳增量过程概念。
2.教学内容(1)基本概念(2)▽*有限维分布和Kolmogorov定理(3)▽随机过程的基本类型第三章 Poisson过程1.教学基本要求(1)了解计数过程的概念。
应用随机过程教学大纲
遵义师范学院课程教学大纲应用随机过程教学大纲(试行)课程编号:280020 适用专业:统计学学时数:48 学分数:执笔人:黄建文审核人:系别:数学教研室:统计学教研室编印日期:二〇一五年七月课程名称:应用随机过程课程编码:学分:总学时:48课堂教学学时:32实践学时:16适用专业:统计学先修课程:高等数学、线性代数、概率论、测度论或者实变函数(自学)一、课程的性质与目标:(一)该课程的性质《应用随机过程》课程是普通高等学校统计学专业必修课程。
它是在学生掌握了数学分析、线性代数和概率论等一定的数学专业理论知识的基础上开设的,要求学生掌握随机过程的基本理论和及其研究方法。
(二)该课程的教学目标(1)从生活中的需要出发,结合研究随机现象客观规律性的特点,并根据随机过程的内容和知识结构,着重从随机过程的基本理论和基本方法出发,就实际应用中的典型随机过程做应用研究,并在理论、观点和方法上予以总结、提高及应用。
(2)对各个章节的教学,随机过程侧重于基本思想和基本方法的探讨,介绍随机过程的基本概念,建立以分布函数等研究相关问题概率的实际应用思路,寻求解决统计和随机过程问题的方法。
着重基本思想及方法的培养和应用。
(3)结合学生实际,利用生活中的实例进行分析,培养学生的辩证唯物主义观点。
二、教学进程安排课外学习时数原则上按课堂教学时数1:1安排。
三、教学内容与要求 第一章 预备知识 【教学目标】通过本章的学习,复习并扩展概率论课程的内容,为学习随机过程打下良好的基础,提供必备的数学工具。
【教学内容和要求】随机过程以概率论为其主要的基础知识,为此,本章主要对概率空间;随机变量与分布函数;随机变量的数字特征、矩母函数与特征函数;独立性和条件期望;随机变量序列的收敛性与极限定理等常用到的概率论基本知识作简要的回顾和扩展。
其中概率空间,矩母函数和特征函数的定义及性质、条件期望、收敛性、极限定理等既是本章的重点,又是本章的难点。
深圳大学 随机过程课程教学大纲
第五章连续时间的马尔可夫链
介绍连续时间的马尔可夫链,柯尔莫哥洛夫微分方程,生灭过程。
第六章平稳随机过程
平稳过程的概念与例,联合平稳过程及相关函数的性质,随机分析,平稳过程的各态历经性。
复习2学时 答疑和机动:4学时
教材(作者,出版社及出版时间)
《随机过程》 刘次华编 华中科技大学出版社2001年出版2005年第9次印刷
必读书目
学习本课程要求学生具备微积分,微分方程,概率论,线性代数,复变函数,积分变换知识。
参考文献目录
思考讨论题
教
学
内
容
第一章 预备知识
本章主要复习一下概率论的基本知识,包括概论空间,随机变量及其分布,随机变量的数字特征,特征函数,母函数和拉氏变换,n维正态分布,条件期望。
第二章随机过程的概念与基本类型
介绍随机过程的基本概念,随机过程的分布律和数字特征,复随机过程,并简介几种重要的随机过程。
第三章泊松过程
介绍泊松过程的定义,并举出一些常见例子,研究泊松过程的基本性质,非齐次泊松过程,复合泊松过程。
第七章平稳过程的谱分析
平稳过程的谱密度,谱密度的性质,窄带过程及白噪声过程的功率谱密度,联合平稳过程的互谱密度,平稳过程通过线性系统的分析。
第八章时间序列分析
ARMA模型,模型的识别,模型阶数的确定,模型参数的估计,模型的检验,平稳时间序列预报,非平稳时间序列预报。
教
学
要
点
主要掌握两大类随机过程,马尔可夫过程和平稳随机过程。
对马尔可夫过程,重点在转移矩阵及其渐近性质上。
对平稳随机过程,重点掌握功率谱密度,及相应的RAMA产生机制。
随机数学第1讲 第一章预备知识
c12 c 22 cn2
c1 n ⎞ ⎟ c2n ⎟ ⎟ ⎟ c nn ⎟ ⎠
为 n 维随机变量的 协方差矩阵 .
定理:( X 1 ,
当 ρXY = 0 时, X 和 Y 不相关.
, X n ) 的协方差阵B 是对称,非负定的。
证明:对任意
x Bx = ∑
T i =1 n n n
x T = ( x1 , x2 ,
(
))
)
⎡ n = E ⎢∑ ⎣ i =1
n
∑x x (X
j =1 i j
n
i
⎤ − EX i ) X j − EX j ⎥ ⎦
(
证明: 对任意的实数t,
E[ X + Yt ]2 = t 2 EY 2 + 2tE[ XY ] + EX 2 ≥ 0 Δ = b 2 − 4ac = ( 2 E[ XY ]) − 4 EY 2 EX 2 ≤φ( t ) = E (e itX ) = 1i e itc = e itc , t ∈ R. Ex.2 两点分布
X 0 1 PX 1-p p
X c PX 1
Ex.3 指数分布 f ( x ) = ⎨
⎧λ e − λ x , ⎪ ⎪0, ⎩
x ≥ 0; x < 0.
(λ > 0)
φ(t ) = E e itX = ∫ e itx λe −λx dx
0
( )
2
+∞
φ(t ) = E eitX
( )
= ∫0 λe − λx costxdx + i λ ∫0 e − λx sintxdx
=λ
=
+∞
+∞
= eit⋅0 (1 − p) + eit⋅1 p
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
例 4 设Ω ={1,2,3,4,5,6},
C
={ {1,2},{1,3} },则 F ={ ϕ ,{1},{2},{3},
{1,2},{1,3}, {2,3},{1,2,3},{4,5,6},{1,4,5,6},{2,4,5,6},{3,4,5,6},
1
{1,2,4,5,6},{1,3,4,5,6}, {2,3,4,5,6},Ω }是由 C 定义 3 设 { An , n 1,2,} 为一集合序列。令
x0 x0
6
第三节 数字特征、矩母函数与特征函数 1.Riemann—Stietjes 积分 定义 1 设 g ( x) , F ( x) 为有限区间 (a, b] 上的实值函数, a x0 x1 xn b 为
(a, b] 的 一 个 分 割 , 令 F ( xi ) F ( xi ) F ( xi 1 ) , i [ xi 1 , xi ] , 1 i n ,
n
n
若对每个 n,有 An An 1 (或 An An 1 ) ,则称为单调增(单调减)序列。显然 对于单调集合序列 { An } 的极限存在, 且对于单调增集合序列 { An } , 若 A lim An ,
n
则 A An , 记 An A ; 对于单调减集合序列 { An } , A lim An , 则 A An ,
性质 1 如果是Ω 上的一个σ 代数,则 (1) ϕ∈F ; (2)若 An∈F (n=1,2,…),则 An ∈F 。
n 1
例 1 设Ω ={1,2,3,4,5,6}, F ={ ϕ ,{1,2},{3,4,5,6},Ω },则 F 是Ω 上的一 个σ 代数。
例 2 设Ω ={1,2,3,4,5,6},F ={ ϕ ,{1},{2}, {3}, {1,2},{1,3},{2, 3}, {1,2,3}, {4,5,6}, {1,4,5,6}, {2,4,5,6},{3,4,5,6},{1,2,4,5,6},{1,3,4,5,6}, {2,3,4,5,6},Ω } ,则 F 是Ω 上的一个σ 代数。
生成的最小σ 代数。
limsup An Ak , liminf An Ak
n n 1 k n
n n 1 k n
分别称其为 { An } 的上极限和下极限(上极限有时也记作 { An , i.o.} )显然有
limsup An { | 任意n N , 存在k n, 使 Ak } { | 属于无穷多个An }
Γ 分布
s s 1 x x e 密度函数 f ( x) ( s ) 0
指数分布
x0 x0
e x 密度函数 f ( x) 0
χ2 分布
x0 x0
n x 1 1 2 2 x e n n f ( x ) 密度函数 2 2 ( ) 2 0
a c
b
b
(3) (4)
b
a b
dF ( x) F (a ) F (b) ,其中 a, b 均可为有限数或无穷大;
g ( x)d [F1 ( x) F2 ( x)] g ( x)dF1 ( x) g ( x)dF2 ( x)
a a b a b b
a
(5)若 g ( x) 0 , F ( x) 单调不减, b a ,则 g ( x)dF ( x) 0 。
其分布函数为
F ( x)
xk x
p P{ X x }
k xk x k
x
连续型随机变量 X 的分布用概率密度 f(x)描述,其分布函数为:
F ( x ) f (t ) dt
分布函数 F(x)的性质 (1) 0 F ( x) 1 (2) F () 0, F () 1 (3) F ( x) 是单调不减函数, a b 则 F (a) F (b) (4) F ( x) 是右连续函数,即 x, F ( x 0) F ( x) 随机向量 ( X 1 , X 2 ,, X d ) 的联合分布函数定义为
b
a
g ( x)dF ( x) lim g ( i )F ( xi )
0
i 1
n
若函数 g ( x) 连续, F ( x) 单调,则 Riemann—Stietjes 积分存在。 Riemann—Stietjes 积分的推广:
a b
g ( x)dF ( x) lim g ( x)dF ( x) lim
n n
n
例 5 设 { An , n 1,2,} 是一集合序列,其中 { An }
1 1 1 1 A2 n-1 , 1 2 , A2n , 2n 1 2n 1 2n 1 2n
则 liminf An (0,1) , limsup An (0,2) .
第一章 预备知识 第一节 概率空间
定义 1 设Ω 是一个样本空间(或任何一个集合) ,F 是Ω 的某些子集组成的集合 族。如果满足 (1) Ω ∈F ; (2) 若 A∈F,则 AC =Ω \A∈F ; (3) 若 An∈F (n=1,2,…),则 A n ∈F ,
n 1
则称 F 为Ω 上的一个σ 代数, (Ω ,F)称为可测空间。
定义 2 以Ω 的某些子集为元素的集合称为(Ω 上的)集类。对于Ω 上的任一非 空集类 C,存在包含 C 的最小σ 代数,称为由 C 生成的最小σ 代数。
例 3 设Ω ={1,2,3,4,5,6}, Ω }是由 C 生成的σ 代数。
C
={ {1,2} },则 F ={ ϕ ,{1,2},{3,4,5,6},
定义 2 两个随机变量 X 与 Y,如果满足 P{ω∈Ω :X(ω) ≠Y(ω) }=0,则称它们是 等价的。
注:为简单起见,习惯将{ω:X(ω) ≥x}记为{X≥x},其他记号类似。
常用的随机变量:离散型随机变量、连续型随机变量。 离散性随机变量 X 的概率分布用如下分布列描述:
pk = P{X = xk }, k = 1,2, …
P( Ai ) P( Ai )
i 1 i 1
则称 P 是(Ω ,F)上的概率, (Ω ,F ,P)称为概率空间,F 中的元素称为事 件,P(A)称为事件 A 的概率。
事件的概率的性质 (1)若 A,B∈F,则 P(A∪B)+P(A∩B)=P(A)+P(B) 。 (2)若 A,B∈F,且 A B ,则 P(B-A)=P(B)-P(A) 。 (3)若 A,B∈F,且 A B ,则 P(A)≤P(B) 。 (4)若 An ∈F,n≥1,则 P( A n ) P( An ) 。
xi
x
2.常见的随机变量的分布 退化分布 分布列 P{X=C}=1 Bernoulli 分布 分布列 P{ X k} p k (1 p) nk ,k=0,1 二项分布 分布列 P{ X k} p k (1 p) nk ,k=0,1,…,n Poisson 分布 分布列 P{ X k} 几何分布 分布列 P{ X k} p(1 p) k -1 ,k=0,1,… Pascal 分布
Riemann—Stietjes 积分的性质: (1)线性性质: [g1 ( x) g 2 ( x)]dF ( x) g1 ( x)dF ( x) g 2 ( x)dF ( x)
a a a b b b
(2)区间可加性: g ( x)dF ( x) g ( x)dF ( x)
max{xi xi 1 } 。
1i n
当 0 时,极限
lim g ( i )F ( xi )
0
i 1 n
存在,且与分割的选择以及 i [ xi 1 , xi ] 的取法无关,则称该极限为函数 g ( x) 关 于 F ( x) 在区间 (a, b] 上的 Riemann—Stietjes 积分,记为
b
a
g ( x)dF ( x)
7
注: (1)当存在 f ( x) ,使任意 x ,有 F ( x)
x
f (t )dt ,则
b
a
g ( x)dF ( x) g ( x) f ( x)dx ;
a
b
(2)当 F ( x) 是一个阶梯函数, F ( x) 在 x xi 处有跃度 p i (i 1,2,) ,则
5
连续均匀分布
(b a) 1 密度函数 f ( x) 0
正态分布 密度函数 f ( x) d 维正态分布 密度函数 f ( x)
a xb 其他
1 2
exp{( x ) 2 / 2 2 }
1 (2 )
d 2
||
1 2
exp{( x ) ( x )}
n 1 n 1
(5) An ∈F,且,则 An A ,则 P( A) lim P( An ) 。
n
(6) An ∈F,且,则 An A ,则 P( A) lim P( An ) 。
n
3
第二节 随机变量与分布函数
1.随机变量与分布函数的概念与性质 定义 1 设(Ω , F ,P)是概率空间,X 是定义在Ω 上取值于实数 R 的函数,如 果任意 x∈R,{ω:X(ω) ≤x}∈F,则称 X 是 F 上的随机变量,简称随机变量。 函数 F(X)=P{ω:X(ω) ≤x},-∞<x<∞称为随机变量 X 的分布函数。
4
F ( x1 , x2 , xd ) P{ X 1 x1 , X 2 x2 ,, X d xd }