随机过程2(2.1)
随机过程习题第2章
t n /t n 1，,t n k (xn /xn 1 ,, xn k )即一个马尔可夫过程的反向也具有马尔可夫性。
证明：首先，由条件概率的定义式得ft n /t n 1, ,t n k (X n / X n 1,,t n k (x n , x n 1,, x n k ),t n k (x n 1,, x n k )根据马尔可夫性将上式中的分子和分母展开，并化简得t n /t n 1, ,t n k (x n / x n 1 ,, x n k )t n k /t n k 1 (x n k /x n k 1)ft n k /t n k 1 (x n k / x n k 1)t n 2 / t n 1 (x n 2 / x n 1) f t n 1 (x n 1)t n 1 /t n (x n 1 / x n ) f t n (x n )t n 1 (x n 1 )于是,t n ,t n 1(x n ，x n 1) f t n 1(x n 1)去”和“将来”是相互统计独立的，即如果有t 1 t 2 t 3，其中t 2代表“现在”，W 代 表“过去”，t 3代表“将来”，若(t 2) X 2为已知值。
试证明:t 1,t 3/t 2 (X i，X 3/X 2) f t 1 /t 2(X i / X 2) f t 3/t 2(X 3/X 2)证明：首先，由条件概率的定义式得MX?)如呼牛f t 2(X 2)然后，根据马尔可夫性将上式中的分子展开，并化简得r“ , 、 f t 3/t 2(X 3/x 2) f t 2/t 1(x 2/x 1)f t 1(x 1)ft 1,t 3/t 2(x 1,X 3/x 2)2.1设(t)是一马尔可夫过程，又设t 1t 2tn t n 1t n k 。
试证明:2.2试证明对于任何一个马尔可夫过程, 如“现在”的(t)值为已知，则该过程的“过 t n /t n 1(x n /x n 1),x n k )二ftn 1， ，t n kt n 2/t n 1(x n 2 /x n 1) f t n 1 /t n (x n 1 / X n ) f t n (x n )t n /t n 1, ,t n k (X n / X n 1, ,X n k )t n /t n 1(x n /x n 1)ft 2(X 2)t 3/t 2 (X 3 / X 2)ft 2(X 2)2.3 若(t )是一马尔可夫过程，t1 t2t m t m 1 t m 2。
研究生《随机过程》教材课后作业答案
1.1 证明：∵1111,,,,,A F F F F ∈ΩΦ∈ΩΩ∈Φ∈Ω-Φ∈ΩΦ∈ 且∴1F 是事件域。
∵222,,,,cA A F F A F A A ∈Ω∈Ω∈-Φ∈=Ω-∴22222,,,,c c A F A F A F A F A F ∈-Φ∈-Φ∈Ω-∈Ω-∈ 且2,ccA A A A F ΦΩ=ΩΦΩ∈ ∴2F 是事件域。
且12F F ∈。
∵2ΩΩ∈∴3F Ω∈∴3F 是事件域。
且23F F ∈∴123,,F F F 皆为事件域且123F F F ∈∈。
1.2一次投掷三颗均匀骰子可能出现的点数ω为(),,,,,,16,16,16i j k i R j R k R i j k ∈∈∈≤≤≤≤≤≤∴样本空间()61,,6=,,n i j k i j k =≤≤Ω事件(){},,|,,i j k A i j k ωω==，,,,1,,6i R j R k R i j k ∈∈∈≤≤ 事件域2F Ω= 概率测度(),,1P 216i j k A =，,,,1,,6i R j R k R i j k ∈∈∈≤≤ 则(),,F P Ω为所求的概率空间。
1.3 证明：（1）由公理可知()0P Φ=（2）有概率测度的可列可加性将第n+1个集合往后都取为空集，即可得结论()11n nk k k k P A P A ==⎛⎫= ⎪⎝⎭∑∑ （3）∵,,A B F A B ∈⊂ ∴B A F -∈,()A B A -=Φ由概率测度的可列可加性可得：()()()()P B P A B A P A P B A =+-=+-即()()()P B A P B P A -=-有概率测度的非负性可得()()()0P B P A P B A -=-≥，即()()P B P A ≥ （4）若B =Ω,由（3）则有()()1P A P A =- （5）∵()()()()121212P A A P A P A P A A +=+- 假设()()()()()11211111m m m k k i j i j k m k i j m i j k m k P A P A P A A P A A A P A A A +=≤<≤≤<<≤=⎛⎫=-+-+- ⎪⎝⎭∑∑∑ 成立，则()()()()()()()()()11111111111111211111+1m m m m k k m m k m k k k k k mm k iji j k k i j mi j k mm m m m k k m k i j i k i j mP A P A A P A P A P A A P A P A P A A P A A A P A A A P A A P A P A A P A A ++++====+=≤<≤≤<<≤++=+=≤<≤⎛⎫⎛⎫⎛⎫⎛⎫⎛⎫==+-= ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭⎝⎭+-+-⎛⎫⎛⎫+-- ⎪⎪⎝⎭⎝⎭=-+∑∑∑∑∑()()()()()()()()()()()()1121111121111212111111111n j k m i j k mm i j m i j k m m m i j m i j k m m m k i j i j k m k i j m i j k m A P A A A P A A A P A A A A P A A A A P A P A A P A A A P A A A +≤<<≤++++≤<≤≤<<≤+++=≤<≤+≤<<≤+-+-⎛⎫--+-+- ⎪⎝⎭=-+-+-∑∑∑∑∑∑也成立由数学归纳法可知()()()()()11211111n n n k k i j i j k n k i j n i j k n k P A P A P A A P A A A P A A A +=≤<≤≤<<≤=⎛⎫=-+-+- ⎪⎝⎭∑∑∑()()()()()()111122212123231231n nn n k k k k k k k k n n n k k k k k k nk k nk k P A P A A P A P A P A A P A P A P A P A A P A A P A P A P A P A =========⎛⎫⎛⎫⎛⎫⎛⎫=+=+- ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭⎛⎫⎛⎫⎛⎫=++-- ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎛⎫≤++ ⎪⎝⎭≤≤∑1.4 （1）()()()()()()()()()()()()()()()()()()()()()21040114P AB P A P B P AB P AB P A P B P AB P A P B P A P AB P A P B P AB P A P A B P A P A P A ≤-≤-≤≤-≤-=-=+-⎡⎤⎡⎤⎣⎦⎣⎦≤-≤（2）()()()()()()()()()()()()()()()()()()()()()()()if =1else if =P AB P BC P AB P BC P AB P AC P A B C P ABC P AB P BC P AC P A B C P ABC P BC P A B C P AB P BC P AB P BC --+=++-+=++-≤+≤--- 可由这个式子的轮换对称性证明这种情况（3）()()()()()()()()()()11111111111n nk k k k n nn nk k k k k k k k nk k nk k A A A AP A P A P A P A n P A P A n P A P A P A n ========⊂∴⊃⎛⎫≤≤=-=- ⎪⎝⎭-≤-∴≥--∑∑∑∑∑1.5()1(1)k nkk A P X k n--== 1.6由全概率公式()()()()()()()()()()()()100112211110101=1424P Y X P Y P X P Y P X P Y P X P Y P Y P Y e -≥=≥=+≥=+≥==+-=+-=-=-1.7 证明： 显然()()()()111111122,,,,,,0n n n n n F x x F x x F y x P x X y x X x X ∆=-=≤≤≤≤≥假设()()121111222,,,,,,,0i n i i i i i n n F x x P x X y x X y x X y x X x X ∆∆∆=≤≤≤≤≤≤≤≤≥ 成立 从而()()()()12+11111222111112221111122211122,,,,,,,,,,,,,,,,,,,0i i n i i i i i n n i i i i i n n i i i i i n n F x x P x X y x X y x X y x X x X P x X y x X y x X y y X x X P x X y x X y x X y x X x X +++++++++∆∆∆∆=≤≤≤≤≤≤≤≤-≤≤≤≤≤≤≤≤=≤≤≤≤≤≤≤≤≥ （分布函数对于每一变元单调不减）也成立有数学归纳法可知()()121111222,,,,0n n n n n F x x P x X y x X y x X y ∆∆∆=≤≤≤≤≤≤≥1.8()()()()()()()()()()()''''''',,0','x y x y x x y x y x y x y x y x x y y h x y eeh x y eeeee e e e x x y y -+-+-+-+-+-+----∆=-∆∆=---=--≥≤≤所以h 是二元单调不减函数。
第2章随机过程的基本概念
F ?? { F ?t1 , t2 ,? , tn ; x 1 , x 2 ,? , x n ?:
ti ? T , x i ? Ri , i ? 1,2, ? , n , n ? 0} 称F为XT 的有限维分布函数族. 定义3 过程 { X(t), t的? nT维} 特征函数定义为
φ?t1 , t2 ,? , tn;?1 ,θ 2 ,? ,θ n ?
? E{e i[θ 1 X (t1 )? ? } ?θ n X (tn )]
称 {φ(t1, t2 ,? , tn;θ 1 ,θ 2 ,? ,θ n ) : t1 , t2 ,? , tn ? T, n ? 1}
为XT 的有限维特征函数族. 特征函数和分布函数是相互唯一确定.
定义2 过程 { X(t),对t ?任T给} 的
t1 , t2 ,? , tn ? T ,
随机向量
?X (t1 ), X (t2 ),? , X (tn )?
的联合分布函数
F (t1 , t2 ,? , tn; x1 , x2 ,? , xn ) ?
P{ X (t1 ) ? x1 , X (t2 ) ? x2 ,? , X (tn ) ? xn }
X(t1,ω)
X(t2,ω)
t1
t2
X(t,ω1) X(t,ω2) X(t,ω3) tn
定义 对每一固定 ω?，Ω称 { X(t, ? ), t的? 一T}个样本函数.
X是t ?随ω?机过程
也称轨道, 路径,现实.
Ex.5 利用抛硬币的试验定义一个随机过程，
X(t)
?
?cos? t, ?
?2t
出现正面； 出现反面. t ? R.
过程识别
随机过程讲义（第二章）（PDF）
第二章 随机过程的一般概念2.1 随机过程的基本概念和例子定义2.1.1：设(P ,,F )Ω为概率空间，T 是某参数集，若对每一个，是该概率空间上的随机变量，则称为随机过程(Stochastic Process)。
T t ∈),(w t X ),w t (X 随机过程就是定义在同一概率空间上的一族随机变量。
随机过程可以看成定义在),(w t X Ω×T 上的二元函数，固定Ω∈0w ，即对于一个特定的随机试验，称为样本路径(Sample Path)，或实现(realization)，这是通常所观测到的过程；另一方面，固定，是一个随机变量，按某个概率分布随机取值。
),(0w t X T t ∈0),(0w t X抽象一点：令，即∏∈=Tt T R R T R 中的元素为),(T t x X t t ∈=,为其Borel域(插乘)(T R B σ域)，随机过程实质上是()F ,Ω到())(,T T R R B 上的一个可测映射，在())(,T TR RB 上诱导出一个概率测度：T P ()B X P B P R B T T T ∈=∈∀)(),(B 。
一般代表的是时间。
根据参数集T 的性质，随机过程可以分为两大类： t 1)为可数集，如T {}L ,2,1,0=T 或{}L L ,1,0,1,−=T ，称为离散参数随机过程，也称为随机序列；2)为不可数集，如T {}0≥=t t T 或{}∞<<∞−=t t T ，称为连续参数随机过程。
随机过程的取值称为过程所处的状态(State)，所有状态的全体称为状态空间(State Space)。
通常以表示随机过程的状态空间。
根据状态空间的特征，一般把随机过程分为两大类：T t t X ∈),(S 1) 离散状态，即取一些离散的值； )(t X 2)连续状态，即的取值范围是连续的。
)(t X离散参数离散状态随机过程： Markov 链 连续参数离散状态随机过程： Poisson 过程 离散参数连续状态随机过程： *Markov 序列连续参数连续状态随机过程： Gauss 过程，Brown 运动例2.1.1：一醉汉在路上行走，以的概率向前迈一步，以q 的概率向后迈一步，以p r 的概率在原地不动，1=++r q p ，选定某个初始时刻，若以记它在时刻的位置，则就是直线上的随机游动(Random Walk)。
第二章 随机过程
T /2
（2-2-7）
16
如果平稳过程使下式成立
a = a
σ
2
=σ
2
（2-2-8）
R (τ ) = R (τ )
称该平稳过程ξ(t)具有各态历经性。 称该平稳过程 具有各态历经性。 具有各态历经性 意义：随机过程中的任一次实现都经历了随机过程的 意义：随机过程中的任一次实现都经历了随机过程的 实现 所有可能状态。 所有可能状态。 具有各态历经性随机过程一定是平稳过程， 具有各态历经性随机过程一定是平稳过程，反之不 一定成立。 一定成立。 求解各种统计平均时（实际中很难获得大量样本）， 求解各种统计平均时（实际中很难获得大量样本）， 无需作无限多次考察，只要获得一次考察， 无需作无限多次考察，只要获得一次考察，用一次 实现的时间平均值代替过程的统计平均即可。 实现的时间平均值代替过程的统计平均即可。
满足上式则称ξ(t)为广义平稳随机过程或宽平稳随机过 满足上式则称 为广义平稳随机过程或宽平稳随机过 程。 严平稳随机过程（狭义平稳随机过程） 严平稳随机过程（狭义平稳随机过程）只要 Eξ2(t) 均方值有界，它必定是广义平稳随机过程。 均方值有界，它必定是广义平稳随机过程。 反之不一定成立。 反之不一定成立。
C (t1 , t 2 ) = E {[ξ (t1 ) − a (t1 ) ][ξ (t 2 ) − a (t 2 ) ]} =
∞ ∞ −∞ −∞
∫ ∫ [x
1
− a (t1 ) ][ x 2 − a (t 2 ) ] f 2 ( x1 , x2 ; t1 , t 2 ) dx1 x 2
（2-1-5） 2-1-5
互相关函数（针对两个随机过程） 互相关函数（针对两个随机过程）
Cξ ,η (t1 , t2 ) = E {[ξ (t1 ) − a (t1 ) ][η (t2 ) − a (t2 ) ]}
随机过程知识点
第一章：预备知识§1.1 概率空间随机试验;样本空间记为Ω..定义1.1 设Ω是一个集合;F 是Ω的某些子集组成的集合族..如果 1∈ΩF ；2∈A 若F ;∈Ω=A A \则F ； 3若∈n A F ; ，，21=n ;则∞=∈1n nAF ；则称F 为-σ代数Borel 域..Ω;F 称为可测空间;F 中的元素称为事件.. 由定义易知：定义1.2 设Ω;F 是可测空间;P ·是定义在F 上的实值函数..如果 则称P 是()F ,Ω上的概率;P F ，，Ω称为概率空间;PA 为事件A 的概率..定义1.3 设P F ，，Ω是概率空间;F G ⊂;如果对任意G A A A n ∈,,,21 ; ,2,1=n 有： (),11∏===⎪⎪⎭⎫⎝⎛ni i n i i A P A P则称G 为独立事件族..§1.2 随机变量及其分布随机变量X ;分布函数)(x F ;n 维随机变量或n 维随机向量;联合分布函数;{}T t X t ∈,是独立的..§1.3随机变量的数字特征定义1.7 设随机变量X 的分布函数为)(x F ;若⎰∞∞-∞<)(||x dF x ;则称)(X E ＝⎰∞∞-)(x xdF为X 的数学期望或均值..上式右边的积分称为Lebesgue-Stieltjes 积分..方差;()()[]EY Y EX X E B XY --=为X 、Y 的协方差;而 为X 、Y 的相关系数..若,0=XY ρ则称X 、Y 不相关..Schwarz 不等式若,,22∞<∞<EY EX则§ 1.4 特征函数、母函数和拉氏变换定义1. 10 设随机变量的分布函数为Fx;称为X 的特征函数随机变量的特征函数具有下列性质： 1(0)1,()1,()()g g t g t g t =≤-= 1 2 g t 在()∞∞-, 上一致连续..3()(0)()k k k g i E X =4若12,,,n X X X 是相互独立的随机变量;则12n X X X X =+++的特征函数12()()()()n g t g t g t g t =;其中()i g t 是随机变量X i 的特征函数;1,2,,i n =.定义1 . 11 设 12(,,,)n X X X X =是n 维随机变量;t = 12,,,n t t t ,R ∈ 则称121()(,,,)()[exp()]nitX n k k k g t g t t t E eE i t X '====∑;为X 的特征函数..定义1.12 设X 是非负整数值随机变量;分布列 则称)()(Xdef s E s P =＝k k k s P ∑∞=0为X 的母函数..§ 1.5 n 维正态分布定义1.13 若n 维随机变量),,,(21n X X X X =的联合概率密度为 式中;),,,(21n a a a a =是常向量;n n ij b B ⨯=)(是正定矩阵;则称X 为n 维正态随机变量或服从n 维正态分布;记作),(~B a N X ..可以证明;若),(~B a N X ;则X 的特征函数为为了应用的方便;下面;我们不加证明地给出常用的几个结论..性质1 若),(~B a N X 则n l b B a X E kl X X k k l k ,,2,1,,)( ===..性质2 设),(~B a N X ;XA Y =;若BA A '正定;则),(~BA A aA N Y '..即正态随机变量的线性变换仍为正态随机变量..性质3 设),,,(4321X X X X X =是四维正态随机变量;4,3,2,1,0)(==k X E k ;则§ 1.6 条件期望给定Y=y 时;X 的条件期望定义为由此可见除了概率是关于事件｛Y=y ｝的条件概率以外;现在的定义与无条件的情况完全一样..EX|Y=y 是y 的函数;y 是Y 的一个可能值..若在已知Y 的条件下;全面地考虑X 的均值;需要以Y 代替y;EX|Y 是随机变量Y 的函数;也是随机变量;称为 X 在 Y 下的条件期望.. 条件期望在概率论、数理统计和随机过程中是一个十分重要的概念;下面我们介绍一个极其有用的性质..性质 若随机变量X 与Y 的期望存在;则⎰===)()|()]|([)(y dF y Y X E Y X E E X E Y --------1如果Y 是离散型随机变量;则上式为如果Y 是连续型;具有概率密度fx;则1式为第二章 随机过程的概念与基本类型§2.1 随机过程的基本概念定义2.1 设P F ，，Ω是概率空间;T 是给定的参数集;若对每个t ∈T ;有一个随机变量Xt ;e 与之对应;则称随机变量族}),,({T t e t X ∈是P F ，，Ω的随机过程;简记为随机过程}),({T t t X ∈..T 称为参数集;通常表示时间..通常将随机过程}),,({T t e t X ∈解释为一个物理系统..Xt 表示在时刻t 所处的状态..Xt 的所有可能状态所构成的集合称为状态空间或相空间;记为I ..从数学的观点来说;随机过程}),,({T t e t X ∈是定义在T ×Ω上的二元函数..对固定的t;Xt ;e 是定义在T 上的普通函数;称为随机过程}),,({T t e t X ∈的一个样本函数或轨道;样本函数的全体称为样本函数的空间..§ 2.2 随机过程的函数特征t X ={Xt ;t ∈T }的有限维分布函数族..有限维特征函数族： 其中：定义2.3 设t X ={Xt ;t ∈T }的均值函数def t m X )()]([t X E ;T t ∈.. 二阶矩过程;协方差函数：T ,)]()([),()(2∈-=t t m t X E def t t B t D X X X相关函数： =),(t s R X )]()([t X s X E定义2.4 设{Xt ;t ∈T };{Yt ;t ∈T }是两个二阶矩过程;互协方差函数;互相关函数..§ 2.3 复随机过程定义 2.5 设},{T t X t ∈;},{T t Y t ∈是取实数值的两个随机过程;若对任意T t ∈ t t t iY X Z +=; 其中 1-=i ;则称},{T t Z t ∈为复随机过程．定理 2.2 复随机过程},{T t X t ∈的协方差函数 ),(t s B 具有性质 1对称性：),(),(s t B t s B =；2非负定性§2.4 几种重要的随机过程一、正交增量过程定义2.6 设(){}T ∈X t t ,是零均值的二阶矩过程;若对任意的,4321T ∈<≤<t t t t 有公式()()[]()()[]03412=X -X X -X E t t t t ;则称()t X 正交增量过程..二、独立增量过程定义2.7 设(){}T ∈X t t ,是随机过程;若对任意的正整数n 和,21T ∈<<<n t t t 随机变量()()()()()()12312,,,-X -X X -X X -X n n t t t t t t 是互相独立的;则称(){}T ∈X t t ,是独立增量过程;又称可加过程..定义 2.8 设(){}T ∈X t t ,是平稳独立增量过程;若对任意,t s <随机变量()()s t X -X 的分布仅依赖于s t -;则称(){}T ∈X t t ,是平稳独立增量过程..三、马尔可夫过程定义2.9设(){}T t t X ∈,为随机过程;若对任意正整数n 及n t t t << ,21;()()0,,)(1111>==--n n x t X x t X P ;且其条件分布()(){}1111,,|)(--===n n n n x t X x t X x t X P =(){}11|)(--==n n n n x t X x t X P ;2.6则称(){}T t t X ∈,为马尔可夫过程..四、正态过程和维纳过程定义 2.10设(){}T t t X ∈,是随机过程;若对任意正整数n 和T t t t ∈∈ ,,21;()() ,,21t X t X ;()n t X 是n 维正态随机变量;则称(){}T t t X ∈,是正态过程或高斯过程..定义 2.11设{}∞<<-∞t t W ),(为随机过程;如果 10)0(=W ；2它是独立、平稳增量过程； 3对t s ,∀;增量()0,||,0~)()(22>--σσs t N s W t W ;则称{}∞<<-∞t t W ),(为维纳过程;也称布朗运动过程..定理 2.3 设{}∞<<-∞t t W ),(是参数为2σ的维纳过程;则 （1） 任意t ),(∞-∞∈;()||,0~)(2t N t W σ； （2） 对任意∞<<<∞-t s a ,;[]),m in())()())(()((2a t a s a W t W a W s W E --=--σ;特别： ()()t s t s Rw ,m in ,2σ=..五、平稳过程定义 2.12 设(){}T t t X ∈,是随机过程;如果对任意常数τ和正整数,n 当T ∈++T ∈ττn n t t t t ,,,,,11 时;()()()()n t t t X X X ,,21与()()()()τττ+X +X +X n t t t ,,,21 有相同的联合分布;则称(){}T t t X ∈,为严平稳过程;也称狭义平稳过程..定义 2.13 设(){}T t t X ∈,是随机过程;如果 1(){}T t t X ∈,是二阶矩过程；2对于任意()()[]=X E =T ∈X t t m t ,常数；3对任意的()()s t R t s R t s -=T ∈X X ,,,;则称(){}T t t X ∈,为广义平稳过程;简称为平稳过程..若T 为离散集;则称平稳过程(){}T t t X ∈,为平稳序列..第三章 泊松过程§３.1 泊松过程的定义和例子定义3.1 计数过程定义3.2 称计数过程}0),({≥t t X 为具有参数λ＞0的泊松过程;若它满足下列条件 1 X0= 0；2 Xt 是独立增量过程；3 在任一长度为t 的区间中;事件A 发生的次数服从参数λt ＞0的泊松分布;即对任意s;t ＞0;有注意;从条件3知泊松过程是平稳增量过程且t t X E λ=)]([..由于;tt X E )]([=λ表示单位时间内事件A 发生的平均个数;故称λ为此过程的速率或强度..定义3.3 称计数过程}0),({≥t t X 为具有参数λ＞0的泊松过程;若它满足下列条件 1 X0= 0；2 Xt 是独立、平稳增量过程；3 Xt 满足下列两式：)(}2)()({),(}1)()({h o t X h t X P h o h t X h t X P =≥-++==-+λ 3.2定理3.1 定义3.2与定义3.3是等价的..3.2 泊松过程的基本性质一、数字特征设}0),({≥t t X 是泊松过程;一般泊松过程的有),m in(),(t s t s B X λ=..有特征函数定义;可得泊松过程的特征函数为二、时间间隔与等待时间的分布n W 为第n 次事件A 出现的时刻或第n 次事件A 的等待时间;n T 是第n 个时间间隔;它们都是随机变量..定理3.2 设}0),({≥t t X 是具有参数λ的泊松分布;)1(≥n T n 是对应的时间间隔序列;则随机变量),2,1( =n T n 是独立同分布的均值为λ/1的指数分布..定理3.3 设}1,{≥n W n 是与泊松过程}0),({≥t t X 对应的一个等待时间序列;则n W 服从参数为n 与λ的Γ分布;其概率密度为三、到达时间的条件分布定理3.4 设}0),({≥t t X 是泊松过程;已知在0;t 内事件A 发生n 次;则这n 次到达时间n W W W <<< 21与相应于n 个0;t 上均匀分布的独立随机变量的顺序统计量有相同的分布..§3.3 非齐次泊松过程定义 3.4 称计数过程{(),0}X t t ≥为具有跳跃强度函数()t λ的非齐次泊松过程;若它满足下列条件：1 (0)0X =；2 ()X t 是独立增量过程；3{()()1}()(){()()2}()P X t h X t t h o h P X t h X t o h λ+-==++-≥=非齐次泊松过程的均值函数为：定理 3.5 设{(),0}X t t ≥是具有均值函数0()()tX m t s ds λ=⎰的非齐次泊松过程;则有 或上式表明{()()}P X t s X t n +-=不仅是t 的函数;也是s 的函数..3.4 复合泊松过程定义3.5 设}0),({≥t t N 是强度为λ的泊松过程;,...}2,1{,=k Y k 是一列独立同分布随机变量;且与}0),({≥t t N 独立;令 则称}0),({≥t t X 为复合泊松过程..定理3.6 设,0)()(1≥∑==t k t x Y t N k 是复合泊松过程;则1..}0),({≥t t X 是独立增量过程；2Xt 的特征函数]}1)([ex p{)()(-=u g t u g Y t X λ;其中)(u g Y 是随机变量1Y 的特征函数；λ是事件的到达率..3若,)(21∞<Y E 则].[)]([],[)]([211Y tE t X D Y tE t X E λλ==第4章 马尔可夫链§4.1 马尔可夫链的概念及转移概率一、马尔可夫键的定义定义1 设有随机过程},{T n X n ∈;若对于任意的整数T n ∈和任意的I i i i n ∈+110,,, ;条件概率满足则称},{T n X n ∈为马尔可夫链;简称马氏链..二、转移概率定义2 称条件概率为马尔可夫链},{T n X n ∈在时刻n 的一步转移概率;其中I j i ∈,;简称为转移概率..定义 3 若对任意的I j i ∈,;马尔可夫链},{T n X n ∈的转移概率)(n p ij 与n 无关;则称马尔可夫链是齐次的;并记)(n p ij 为ij p ..定义4 称条件概率为马尔可夫链},{T n X n ∈的n 步转移概率;定理 1 设},{T n X n ∈为马尔可夫链;则对任意整数n l n <≤≥0,0和I j i ∈,;n 步转移概率)(n ij p 具有下列性质：定义5 设},{T n X n ∈为马尔可夫链;称为},{T n X n ∈的初始概率和绝对概率;并分别称},{I j p j ∈和}),({I j n p j ∈为},{T n X n ∈的初始分布和绝对分布;简记为}{j p 和)}({n p j ..定理2 设},{T n X n ∈为马尔可夫链;则对任意I j ∈和1≥n ;绝对概率)(n p j 具有下列性质：定理3 设},{T n X n ∈为马尔可夫链;则对任意I i i i n ∈,,,21 和1≥n ;有§4.2 马尔可夫链的状态分类一、状态分类假设{,0}n X n ≥是齐次马尔可夫链;其状态空间{0,1,2,}I =;转移概率是,,ij p i j I ∈; 初始分布为{,,}j p i j I ∈ ..定义 4.6 如集合(){:1,0}n ii n n p ≥>非空;则称该集合的最大公约数()()..{:0}n ii d d i G C D n p ==>为状态i 的周期..如1>d 就称i 为周期的;如1=d 就称i 为非周期的..若对每一个不可被d 整除的n ;有()n ii p =0;且d 是具有此性质的最大正整数;则称d为状态i 的周期..引理4.1 如i 的周期为d;则存在正整数M;对一切M n ≥;有()0nd ii p >..定义 对,,S j i ∈记()0{,,1,2,,1|},2n ij n k f P X j X j k n X i n ==≠=-=≥ 4.15称()n ij f 是系统在0时从i 出发经过n 步转移后首次到达状态j 的概率;而()ij f ∞则是在0时从i出发;系统在有限步转移内不可能到达状态j 的概率..我们将()n ij f 和ij f 统称为首达概率又称首中概率..引理1 ()0n ij ij f f ≤≤ n j i ,,∀（2） 首达概率可以用一步转移概率来表示：定义4.7 若ii f =1;则称状态i 为常返的；若ii f <1;则称状态i 为非常返的.. 定义4.8 如∞<i μ;则称常返态i 为正常返的；如∞=i μ;则称常返态i 为零常返的;非周期的正常返态称为遍历状态..从状态是否常返;如常返的话是否正常返;如正常返的话是否非周期等三层次上将状态区分为以下的类型：)(n ij f 与)(n ijp 有如下关系： 定理4.4 对任意状态,i j ;及∞<≤n 1;有()()()()()1.nnn k n k n k k ijijjjij jj k k pfpf p --====∑∑ 4.16引理4.2 }.0,1:{..}0,1:{..)()(>≥=>≥n ii n iif n n D C G p n n D C G二、常返态的性质及其性质定理4.5 状态i 常返的充要条件为∞=∑∞=0n iip4.18如i 非常返;则定理4.7 设i 常返且有周期d;则ind iin d p μ=∞→)(lim . 4.26其中i μ为i 的平均返回时间..当∞=i μ时;0=idμ.推论 设i 常返;则(1) i 零常返0lim )(=⇔∞→n iin p ；2i 遍历()1lim 0n ii n ip μ←∞⇔=>..定理4.8 可达关系与互通关系都具有传递性;即如果j i →;k j →;则k i →； 如果i k ↔;k j ↔;则k i ↔..定理4.9 如i j ↔;则（1） i 与j 同为常返或非常返;若为常返;则它们同为正常返或零常返； （2） i 与j 有相同的周期..§4.3 状态空间的分解定义4.9 状态空间I 的子集C 称为随机闭集;如对任意i C ∈及k C ∉都有0ik p =..闭集C 称为不可约的;如C 的状态互通..马氏链{}n X 称为不可约的;如其状态空间不可约..引理4.4 C 是闭集的充要条件为对任意i C ∈及k ∉C 都有()n ik p =0;n ≥1.. 称状态i 为吸收的;如ii p =1..显然状态i 吸收等价于单点集{}i 为闭集.. 定理4.10 任一马氏链的状态空间I;可唯一地分解成有限个或可列个互不相交的子集12,,,D C C 之和;使得① 每一n C 是常返态组成的不可约闭集..② n C 中的状态同类;或全是正常返;或全是零常返..它们有相同的周期且1jk f =; ,n i k C ∈..③ D 由全体非常返状态组成..自n C 中的状态不能到达D 中的状态.. 定义4.10 称矩阵ij a 为随机矩阵;如其元素非负且每i 有∑jij a ＝1..显然k 步转移矩阵)(k P ＝)(k ij p 为随机矩阵..引理4.5 设C 为闭集;又G ＝)(k ij p ; i ;j ∈C;是C 上所得的即与C 相应的k 步转移子矩阵;则G 仍是随机矩阵..定理4.11 周期为d 的不可约马氏链;其状态空间C 可唯一地分解为d 个互不相交地子集之和;即1,,,d r r S r C G G G r s φ-===≠ 4.31且使得自r G 中任一状态出发;经一步转移必进入1+r G 中其中0G G d =..定理4.12 设{,0}n X n ≥是周期为d 的不可约马氏链;则在定理4.11的结论下有1如只在时刻0,,2,d d 上考虑{}n X ;即得一新马氏链;其转移阵()()()d d ij P p =;对此新链;每一r G 是不可约闭集;且r G 中的状态是非周期的..2如原马氏链 {}n X 常返;{}nd X 也常返..§4.4 )(n ij p 的渐近性质与平稳分布一、)(n ij p 的渐近性质定理4.13 如j 非常返或零常返;则)(lim n ij n p ∞→＝0;I i ∈∀ 4.33推论1 有限状态的马氏链;不可能全是非常返状态;也不可能含有零常返状态;从而不可约的有限马氏链必为正常返的..推论2 如马氏链有一个零常返状态;则必有无限多个零常返状态..定理4.14 如j 正常返;周期为d;则对任意i 及10-≤≤d r 有()lim ()nd r ijij n jd p f r μ+→∞= 4.37 推论 设不可约、正常返、周期d 的马氏链;其状态空间为C;则对一切C j i ∈,;有,(),lim 0,s nd j ijn di j G p μ→∞⎧⎪=⎨⎪⎩如与同属于子集否则， 4.38 其中s d s G C 1－==U 为定理4.11中所给出..特别;如d=1;则对一切,i j 有.1lim )(jn ijn p μ=→∞4.39定理 4.15 对任意状态,,j i 有推论 如{}n X 不可约;常返;则对任意,i j ;有()111lim n k ij n k j p n μ→∞==∑ j μ＝∞时;理解j1μ＝0 定义4.11 称概率分布{,}j j I π∈为马尔可夫链的平稳分布;若它满足⎪⎪⎩⎪⎪⎨⎧≥==∑∑∈∈.0,1,j I j i ij I i i j p ππππ 4.41值得注意的是;对平稳分布{,}j j I π∈;有()n j i ij i Ip ππ∈=∑ 4.42定理 4.16 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布;且此平稳分布就是极限分布1{,}j j I u ∈..推论1 有限状态的不可约非周期马尔可夫链必存在平稳分布..推论 2 若不可约马尔可夫链的所有状态是非常返或零常返的;则不存在平稳分布.推论3 若{,}j j I π∈是马尔可夫链的平稳分布;则第五章 连续时间的马尔可夫链§5.1连续时间的马尔可夫链定义 5.1 设随机过程{X t;t ≥0};状态空间{,0}n I i n =≥;若对于任意1210n t t t +≤<<<及121,,,n i i i I +∈有= 11{()|()}n n n n P X t i X t i ++== 5.1 则称{X t;t ≥0}为连续时间的马尔可夫链..记5.1式条件概率的一般形式为(,){()|()}ij p s t P X s t j X s i =+== 5.2定义 5.2 若5.2式的转移概率与s 无关;则称连续时间马尔可夫链具有平稳的或齐次的转移概率;此时转移概率简记为(,)()ij ij p s t p t = 5.3其转移概率矩阵简记为()(()),(,,0)ij P t p t i j I t =∈≥..以下的讨论均假定我们所考虑的连续时间马尔柯夫链都具有齐次转移概率..为方便起见;简称为齐次马尔可夫过程..定理5.1.1 齐次马尔可夫过程的转移概率具有以下性质：其中3式为马尔可夫过程的Chapman-Kolmogorov 简称C-K 方程..1;2由概率定义及()ij p t 的定义易知;下面只证明3..定义5.1.3对于任一t ≥0;记分别称{(),}j p t j I ∈和{,}j p j I ∈为齐次马尔可夫过程的绝对概率分布和初始概率分布..性质5.1.1 齐次马尔可夫过程的绝对概率及有限维概率分布具有以下性质：§5.2 柯尔莫哥洛夫微分方程引理 5.2.1 设齐次马尔可夫过程满足正则性条件;则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数..定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率;则下列极限存在我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移速率或跳跃强度.. 推论 对有限齐次马尔可夫过程;有定理5.4 柯尔莫哥洛夫向后方程假设ik ii k iq q ≠=∑;则对一切,i j 及t 0;有()()()ijik kj ii ij k ip t q p t q p t ≠'=-∑ 5.2.4 定理5.2.3 柯尔莫哥洛夫向前方程在适当的正则条件下定理5.2.4 齐次马尔可夫链过程在t 时刻处于状态j ∈I 的绝对概率()j p t 满足如下方程：定理5.2.5 设马尔可夫过程是不可约的;则有下列性质：1若它是正常返的;则极限lim ()ij t p t →∞存在且等于0,j j I π>∈;这里j π是方程组的唯一非负解;此时称{,j j I π∈}是该过程的平稳分布;并且有2若它是零常返的或非常返的;则§5.3 生灭过程定义 设齐次马尔可夫过程{(),0}X t t ≥的状态空间为{0,1,2,}I =;转移概率为()ij p t ;如果则称{(),0}X t t ≥为生灭过程..其中;i λ称为出生率;i μ称为死亡率..1若,i i i i λλμμ==λ;μ为正常数;则称{(),0}X t t ≥为线性生灭过程；2若0i μ≡;则称{(),0}X t t ≥为纯生过程； 3若0i λ≡;则称{(),0}X t t ≥为纯灭过程..第六章 平稳随机过程§6.1 平稳过程的概念与例子一、平稳过程的定义1.平稳过程定义§6.2 联合平稳过程及相关函数的性质一、联合平稳过程定义 设{(),}X t t T ∈和{(),}Y t t T ∈是两个平稳过程;若它们的互相关函数[()()]E X t Y t τ-及[()()]E Y t X t τ-仅与τ有关;而与t 无关;则称()X t 和()Y t 是联合平稳随机过程..定理6.1 设{(),}X t t T ∈为平稳过程;则其相关函数具下列性质:1 ;0)0(≥X R2 );()(ττ-=X X R R3 );0()(X X R R ≤τ4 )(τX R 是非负定的;即对任意实数12,,,n t t t 及复数12,,,n a a a ;有5 若()X t 是周期为T 的周期函数;即()()X t X t T =+;则)()(t R R X X +=ττ；6 若()X t 是不含周期分量的非周期过程;当∞→τ时;()X t 与()X t τ+相互独立;则 1 );0()0()(),0()0()(22Y X XY Y X XY R R R R R R ≤≤ττ 2 ()()XY YX R R ττ-=§ 6.3 随机分析一、收敛性概念1、处处收敛对于概率空间(,,)P Ω℘上的随机序列{}n X ;每个试验结果e 都对应一序列..12(),(),,(),n X e X e X e 6.2故随机序列{}n X 实际上代表一族6.2式的序列;故不能用普通极限形式来定义随机序列的收敛性..若6.2式对每个e 都收敛;则称随机序列{}n X 处处收敛;即满足 其中X 为随机变量..2、以概率1收敛若使随机序列{()}n X e 满足的e 的集合的概率为1;即我们称二阶矩随机序列{()}n X e 以概率1收敛于二阶矩随机变量Xe;或称{()}n X e 几乎处处收敛于Xe;记作XX ea n −→−...3、依概率收敛若对于任给的ε>0; 若有0}|)()({|lim =≥-∞→εe X e X P n n ;则称二阶矩随机序列{()}n X e 依概率收敛于二阶矩随机变量Xe;记作X X Pn −→−.. 4、均方收敛设有二阶矩随机序列{}n X 和二阶矩随机变量X;若有0]|[|lim 2=-∞→X X E n n 6.3成立;则称{}n X 均方收敛;记作X X sm n −−→−... 注：6.3式一般记为l.i.m n x X X →∞=或..n l i mX X =.. 5、依分布收敛设有二阶矩随机序列{}n X 和二阶矩随机变量X;若{}n X 相应的分布函数列{()}n F x ;在X 的分布函数Fx 的每一个连续点处;有则称二阶矩随机序列{}n X 依分布收敛于二阶矩随机变量X;记作X X dn −→−对于以上四种收敛定义进行比较;有下列关系：1 若X X s m n −−→−.;则X X Pn −→− 2 若XX ea n −→−.;则X X Pn −→−3 若X X Pn −→−;则X X dn −→− 定理2 二阶矩随机序列{}n X 收敛于二阶矩随机变量X 的充要条件为定理3 设{},{},{}n n n X Y Z 都是二阶矩随机序列;U 为二阶矩随机变量;{n c }为常数序列;a;b;c 为常数..令X mX i l n =..;Y mY i l n =..;Z mZ i l n =..;c mc i l n =....则1 c c mc i l n n n ==∞→lim ..；2 U mU i l =..；3 cU U c m i l n =)(..；4 bY aX bY aX m i l n n +=+)(..；5 ]..[][][lim n n n mX i l E X E X E ==∞→；6 )]..)(..[(][][lim ,m n m n m n Y m i l mX i l E Y X E Y X E ==∞→；特别有]|..[|]|[|]|[|lim 222n n n mX i l E X E X E ==∞→..定理4 设{}n X 为二阶矩随机序列;则{}n X 均方收敛的充要条件为下列极限存在][lim ,m n m n X X E ∞→..二、均方连续定义 设有二阶矩过程}),({T t t X ∈;若对0t T ∈;有2000lim [|()()|]0h E X t h X t →+-=;则称()X t 在0t 点均方连续;记作000..()()h l i m X t h X t →+=..若对T 中一切点都均方连续;则称()X t 在T 上均方连续..定理均方连续准则二阶矩过程}),({T t t X ∈在t 点均方连续的充要条件为相关函数处连续在点),(),(21t t t t R X ..推论 若相关函数),(21t t R X 在}),,{(T t t t ∈上连续;则它在T ×T 上连续三、均方导数定义7 设}),({T t t X ∈是二阶矩过程;若存在一个随机过程)(t X ';满足类似的有22)(dtXd t X 或'' 称为),(21t t R X 在12(,)t t 的广义二阶导数;记为定理6 均方可微准则 二阶矩过程}),({T t t X ∈在t 点均方可微的充要条件为相关函数),(),(21t t t t R X 在点的广义二阶导数存在..推论1 二阶矩过程}),({T t t X ∈在T 上均方可微的充要条件为相关函数),(21t t R X 在}),,{(T t t t ∈上每一点广义二阶可微..推论2 若),(21t t R X 在}),,{(T t t t ∈上每一点广义二阶可微;则()X dm t dt在T 上以及在T T ⨯上存在;且有四、均方积分定义8 如果0n ∆→时;n S 均方收敛于S ;即2lim ||0n n E S S ∆→-=;则称()()f t X t 在[,]a b 上均方可积;并记为定理7 均方可积准则()()f t X t 在区间[,]a b 上均方可积的充要条件为存在..特别的;二阶矩过程()X t 在[,]a b 上均方可积的充要条件为12(,)X R t t 在[,][,]a b a b ⨯上可积..定理8 设()()f t X t 在区间[,]a b 上均方可积;则有 1 [()()]()[()]bbaaE f t X t dt f t E X t dt =⎰⎰特别有 [()][()]bbaaE X t dt E X t dt =⎰⎰2 111222121212[()()()()]()()(,)bb bbX aaaaE f t X t dt f t X t dt f t f t R t t dt dt =⎰⎰⎰⎰特别的有 21212|()|(,)bbbX aaaE X t dt R t t dt dt =⎰⎰⎰..定理9 设二阶矩过程}),({T t t X ∈在[,]a b 上均方连续;则在均方意义下存在;且随机过程}),({T t t X ∈在[,]a b 上均方可微;且有()()Y t X t '=.. 推论 设()X t 均方可微;且()X t '均方连续;则 特别有§4 平稳过程的各态历经性定义9 设{(),}X t t -∞<<∞为均方连续的平稳过程;则分别称为该过程的时间均值和时间相关函数..定义10 设{(),}X t t -∞<<∞是均方连续的平稳过程;若()Pr.1(())X t E X t <>;即 以概率1成立;则称该平稳过程的均值具有各态历经性..若()()Pr.1(()())X t X t E X t X t ττ<->-;即以概率1成立;则称该平稳过程的相关函数具有各态历经性..定义11 如果均方连续的平稳过程{(),}X t t T ∈的均值和相关函数都具有各态历经性;则称该平稳过程为具有各态历经性或遍历性..定理 10 设{(),}X t t -∞<<∞是均方连续的平稳过程;则它的均值具有各态历经性的充要条件为2221lim 1[()]022T X X T T R m d T T τττ-→∞⎛⎫--= ⎪⎝⎭⎰ 6.9 定理6.11 设{(),}X t t -∞<<∞为均方连续的平稳过程;则其相关函数具有各态历经性的充要条件为2211121lim1()()022TX T T B R d T T ττττ-→∞⎛⎫⎡⎤--= ⎪⎣⎦⎝⎭⎰ 6.15 其中111()()()()()B E X t X t X t X t τττττ⎡⎤=----⎢⎥⎣⎦6.16 定理6.12 对于均方连续平稳过程{(),0}X t t ≤<∞;等式以概率1成立的充要条件为若()X t 为实平稳过程;则上式变为定理 6.13 对于均方连续平稳过程{(),0}X t t ≤<∞;等式 以概率1成立的充要条件为 其中1()B τ与6.16式相同..若()X t 为实平稳过程;则上式变为第七章 平稳过程的谱分析§7.1 平稳过程的谱密度设)(t X 是均方连续随机过程;作截尾随机过程因为()t X T 均方可积;故存在傅式变换(,)()()i ti t x T T T F T X t e dt X t e dt Tωωω--∞==-∞-⎰⎰…………..7.4利用帕塞伐公式及傅式反变换;可得定义7.1 设 {}∞<<-∞t t X ),( 为均方连续随机过程;称 为 )(t X 的平均功率;称为 )(t X 的功率谱密度;简称谱密度..当 )(t X 是平稳均方连续函数时;由于[])(2t X E 是与t 无关的常数;利用均方积分的性质可以将7.5式简化得()221()()02limx T T E X t dt E X t R T T →∞⎡⎤⎡⎤===⎣⎦⎣⎦-⎰ ……….. 7.8 由7.8式和7.5式看出;平稳过程的平均功率等于该过程的均方值;或等于它的谱密度在频域上的积分;即()212X S d ψωωπ∞=-∞⎰ ………………. 7.9定义7.2 设{,0,1,2,}n X n =±±是平稳随机序列;若相关函数满足()X n R n ∞=-∞<∞∑则称为{,0,1,2,}n X n =±±的谱密度..§7.2谱密度的分析设 {}∞<<-∞t t X ),( 为均方连续平稳过程;)(τX R 为它的相关函数;()ωX S 为它的频率谱密度;()ωX S 具有下列性质： （1） 若()∞<∞-∞⎰ττd R X ;则()ωX S 是)(τX R 的傅式变换;即()()i t X X S R e d ωωττ-∞=-∞⎰ ………. 7.122 ()ωX S 是ω的实的;非负的偶函数..3 当 ()ωX S 是ω有理函数时;其形式必为其中22,(0,2,,2;2,4,,2)n i m j a b i n j m --==为常数;且20n a >;m n >;分母无实根..§7.3 窄带过程及白噪声过程的功率谱密度定义 1 设 (){},X t t -∞<<∞为实值平稳过程;若它的均值为零;且谱密度在所有频率范围内为非零的常数;即()()0X s N ωω=-∞<<∞则称()X t 为白噪声过程..具有下列性质的函数称为δ函数：δ函数有一个非常重要的运算性质;即抽样性质..对任何连续函数()f x ;有()()()0,f x x dx f δ∞-∞=⎰7.15或()()().f x x T dx f T δ∞-∞-=⎰§7.4 联合平稳过程的互谱密度定义7.4 设()X t 和()Y t 是两个平稳过程;且它们是联合平稳的平稳相关的;若它们的互相关函数()XY R τ满足()XY R d ττ∞-∞<∞⎰;则称()XY R τ的傅氏变换 ()()i XY XY s R ed ωτωττ∞--∞=⎰ ………………….7.21 是()X t 与()Y t 的互功率谱密度;简称互谱密度.. 因此互谱密度()YX s ω与互相关函数()YX R τ的关系如下：()()i YXYXs R e d ωτωττ∞--∞=⎰; 互谱密度具有下列性质：⑴ ()()XY YX s s ωω=;即()XY s ω与()YX s ω互为共轭；⑵ ()Re XY s ω⎡⎤⎣⎦和()Re YX s ω⎡⎤⎣⎦是ω的偶函数;而()Im XY s ω⎡⎤⎣⎦和()Im YX s ω⎡⎤⎣⎦是ω的奇函数；⑶ ()XY s ω与()X s ω和()Y s ω满足下列关系式： ⑷若()X t 和()Y t 相互正交;则()()0XY YX s s ωω==。
高等数学中的随机过程相关知识点详解
高等数学中的随机过程相关知识点详解近年来，随机过程被越来越多的人所关注和使用。
作为高等数学的一个分支，随机过程具有广泛的应用领域，包括金融、医学、生物学等等。
在本文中，将详细解析高等数学中的随机过程相关知识点，帮助读者更好地理解和应用这一领域的知识。
一、概率论基础在进行随机过程的学习之前，我们需要了解一些概率论的基础知识。
概率论是确定不确定性的一种科学方法，它研究的是随机事件的发生规律和概率计算方法。
在概率论中，有一些基本概念和公式，包括概率、条件概率、概率分布、随机变量等等。
1.1 概率概率是指一个事件发生的可能性大小。
通常用P来表示，它的取值范围是0到1。
当P=0时，表示这个事件不可能发生；当P=1时，表示这个事件一定会发生。
例如，掷一枚硬币正面朝上的概率为1/2，或者说P=0.5。
1.2 条件概率条件概率是指在已知某些条件下，某个事件发生的概率。
通常用P(A|B)来表示，表示在B发生的情况下，A发生的概率。
例如，从一副牌中摸两张牌，第一张是红桃，第二张是黑桃的概率为P(第二张是黑桃|第一张是红桃)=26/51。
1.3 概率分布概率分布是指所有可能事件发生的概率分布，它是概率论的基础。
在不同的情况下，概率分布也是不同的。
例如，在离散型随机变量中，概率分布通常以概率质量函数的形式给出；而在连续性随机变量中，概率分布通常以概率密度函数的形式给出。
1.4 随机变量随机变量是一种随机事件的数学描述。
它通常用大写字母表示，如X、Y、Z等等。
根据其取值的类型，随机变量可以分为离散型和连续型。
离散型随机变量只能取到有限或可数个值，如掷硬币、扔骰子等等；而连续型随机变量可以取到任意实数值，如身高、体重等等。
二、随机过程的基本概念2.1 随机过程的定义随机过程是一种描述随机事件随时间变化的方法。
它可以看作是有限维随机变量序列的无限集合，其中每个随机变量代表系统在某个时刻的状态。
随机过程的定义包括两个方面：空间（状态集合）和时间（时刻集合）。
（完整版）随机过程习题答案
（完整版）随机过程习题答案随机过程部分习题答案习题22.1 设随机过程b t b Vt t X ),,0(,)(+∞∈+=为常数，)1,0(~N V ，求)(t X 的⼀维概率密度、均值和相关函数。
解因)1,0(~N V，所以1,0==DV EV ，b Vt t X +=)(也服从正态分布，b b tEV b Vt E t X E =+=+=][)]([ 22][)]([t DV t b Vt D t X D ==+=所以),(~)(2t b N t X ，)(t X 的⼀维概率密度为),(,21);(222)(+∞-∞∈=--x ett x f t b x π，),0(+∞∈t均值函数 b t X E t m X ==)]([)(相关函数)])([()]()([),(b Vt b Vs E t X s X E t s R X ++==][22b btV bsV stV E +++=2b st +=2.2 设随机变量Y 具有概率密度)(y f ，令Yt e t X -=)(，0,0>>Y t ，求随机过程)(t X 的⼀维概率密度及),(),(21t t R t EX X 。
解对于任意0>t，Yt e t X -=)(是随机变量Y 的函数是随机变量，根据随机变量函数的分布的求法，}ln {}{})({);(x Yt P x e P x t X P t x F t Y ≤-=≤=≤=-)ln (1}ln {1}ln {tx F t x Y P t x Y P Y --=-≤-=-≥= 对x 求导得)(t X 的⼀维概率密度xtt x f t x f Y 1)ln ();(-=，0>t)(][)]([)(dy y f e eE t X E t m yt tY X相关函数+∞+-+---====0)()(2121)(][][)]()([),(212121dy y f e e E e e E t X t X E t t R t t y t t Y t Y t Y X 2.3 若从0=t 开始每隔21秒抛掷⼀枚均匀的硬币做实验，定义随机过程=时刻抛得反⾯时刻抛得正⾯t t t t t X ,2),cos()(π试求：（1）)(t X 的⼀维分布函数),1(),21(x F x F 和；（2）)(t X 的⼆维分布函数),;1,21(21x x F ；（3）)(t X 的均值)1(),(X X m t m ，⽅差 )1(),(22X Xt σσ。
随机过程 第2章
随机变量 随机变量族
e → x(e) (e, t) → xt(e)=x(e, t)
x=xt(ei)
x
e1 e2 e3
e
概率空间和随机对象
样本空间
概率空间
随机变量
随机向量
随机过程
2.1 随机过程的基本概念
定义：设(Ω, ö,P)为概率空间，T是参数集。 若对任意 t ∈T ，有随机变量X(t, e)与之 对应，则称随机变量族{X(t, e)， t ∈T } 是(Ω, ö,P)上的随机过程，简记为 {X(t)，t ∈T }或{Xt，t ∈T }。 ★ X(t)的所有可能的取值的集合称为状态空 间或相空间，记为I。
由此可将随机过程分为以下四类：
a. 离散参数离散型随机过程； b. 离散参数连续型随机过程； c. 连续参数离散型随机过程； d. 连续参数连续型随机过程。
2. 以随机过程的统计特征或概率特 征分类：
a. 独立增量过程； b. Markov过程； c. d. e. f. g. 二阶矩过程； 平稳过程； 鞅； 更新过程； Poission过程；
称之为随机过程X(t) 的二维概率密度。
2.3 随机过程的分布律
随机过程的二维分布函数比一维分布函数包含了随 机过程变化规律更多的信息，但它仍不能完整地反 映出随机过程的全部特性及变化规律。用同样的方 法，我们可以引入随机过程 X(t) 的 n 维分布函数和 n 维概率密度。
FX ( x1 , x2 , , xn ; t1 , t2 , tn )
• 又如移动某基站每天的通话次数，X 显然不 能确定，即为随机变量，进一步分析知这 个 X 还和时间 t 有关，即 X(t)，所以 X(t) 也构成一个过程，即随机过程；类似地， 气温、气压、商店每天的顾客流量等都构 成一个随机过程。
通信原理第2章 随机过程
aa
则称该平稳随机过程具有各态历经性。 R() R()
“各态历经”的含义：随机过程中的任一实现（样本函数） 都经历了随机过程的所有可能状态。因此， 我们无需（实际中 也不可能）获得大量用来计算统计平均的样本函数，而只需从 任意一个随机过程的样本函数中就可获得它的所有的数字特征， 从而使“统计平均”化为“时间平均”，使实际测量和计算的 问题大为简化。
注意： 具有各态历经性的随机过程必定是平稳随机过程， 但平稳随机过程不一定是各态历经的。在通信系统中所遇到的 随机信号和噪声， 一般均能满足各态历经条件。
第2章 随 机 过 程
三、平稳随机过程自相关函数
对于平稳随机过程而言， 它的自相关函数是特别重要的一 个函数。（其一，平稳随机过程的统计特性，如数字特征等， 可通过自相关函数来描述；其二，自相关函数与平稳随机过程 的谱特性有着内在的联系）。因此，我们有必要了解平稳随机 过程自相关函数的性质。
E[(t1)] x1f1(x1,t1)d1x
第2章 随 机 过 程
注意，这里t1是任取的，所以可以把t1直接写为t, x1改为x, 这时 上式就变为随机过程在任意时刻的数学期望，记作a(t)， 于是
a(t)E[(t)] x1(fx,t)dx
a(t)是时间t的函数，它表示随机过程的（n个样本函数曲线的） 摆动中心。
第2章 随 机 过 程
3. 相关函数
衡量随机过程在任意两个时刻获得的随机变量之间的关联 程度时，常用协方差函数B(t1, t2)和相关函数R(t1, t2)来表示。
（1）（自） 协方差函数：定义为 B(t1,t2)=E｛［ξ(t1)-a(t1)］［ξ(t2)-a(t2)］｝
= [x1a(t1)]x2[a(t2)f]2(x1,x2; t1,t2)dx1dx2
随机过程第二章
例2.8利用掷一枚硬币的试验定义一个随机过程 2.8
cosπt,出现正面 X (t) = 2t, 出现反面
0 ≤ t < +∞
已知出现正面与反面的概率相等. ⑴ 求X(t)的一维分布函数F(1/2; x),F(1; x). F(1/2; ),F(1; ). ⑵ 求X(t) 的二维分布函数F(1/2,1; x1,x2).
A, 例2.5 设 S.P.X (t) = A+ Bt，其中 B 相互独 S 立同服从正态分布 (0,1) ，求.P.X (t) 的一 N 维和二维分布．
例2.6 设 其中
S.P.X (t) = Acos t, t ∈ R ，
A是 r.v. ， 而且具有概率分布
A P 1 1/3 2 1/3 3 1/3
由于初位相的随机性， 由于初位相的随机性，在某时刻t = t0 , X (t0 )是一 个随机变量． 个随机变量． 若要观察任一时刻 描述. 变量 X (t ) 描述
t
的波形， 的波形，则需要用一族随机
为随机过程． 则称 { X (t ), t ∈ [0, +∞)}为随机过程．
例2 .4样本曲线与状态 样本曲线与状态 X(t) = Acos(ωt + Φ)
2.1： 热噪声电压） 例2.1：（热噪声电压）电子元件或器件由于内部微观粒子
（如电子）的随机热骚动所引起的端电压称为热噪声电压， 如电子）的随机热骚动所引起的端电压称为热噪声电压， 时刻的值是随机变量， 它在任一确定 t 时刻的值是随机变量，记为 V (t ) ． 不同时刻对应着不同的随机变量，当时间在某区间， 不同时刻对应着不同的随机变量，当时间在某区间，譬如 [0, +∞)上推移时，热噪声电压表现为一簇随机变量．在无 上推移时，热噪声电压表现为一簇随机变量． 线电通讯技术中，接收机在接收信号时， 线电通讯技术中，接收机在接收信号时，机内的热噪声电 压要对信号产生持续的干扰，为消除这种干扰（假设没有 压要对信号产生持续的干扰，为消除这种干扰（ 其它干扰因素）， ），就必须考虑热噪声电压随时间变化的过 其它干扰因素），就必须考虑热噪声电压随时间变化的过 为此， 程.为此，我们通过某种装置对电阻两端的热噪声电压进
随机信号课后习题答案2
2.1 随机过程t B t A t X ωωsin cos )(+=，其中ω为常数，A 、B 是两个相互独立的高斯变量，并且0][][==B E A E ，222][][σ==B E A E 。
求X (t )的数学期望和自相关函数。
解： ]sin []cos []sin cos [)]([t B E t A E t B t A E t X E ωωωω+=+=t B E t A E ωωsin ][cos ][+= 0= （0][][==B E A E ）)]sin cos )(sin cos [()]()([),(22112121t B t A t B t A E t X t X E t t R X ωωωω++==]sin sin cos sin sin cos cos cos [2122121212t t B t t AB t t AB t t A E ωωωωωωωω+++=2122121212sin sin ][cos sin ][][sin cos ][][cos cos ][t t B E t t B E A E t t B E A E t t A E ωωωωωωωω+++=212212sin sin ][cos cos ][t t B E t t A E ωωωω+= （22])[(][][X E X D X E +=） )(cos 122t t -=ωσ)(cos 2τωσ= （12t t -=τ）2.2 若随机过程X (t )在均方意义下连续，证明它的数学期望也必然连续。
证： 由均方连续的定义0])()([lim 2=-∆+→∆t X t t X E t ，展开左式为：)]()()()()()([lim 220t X t X t t X t X t t X t t X E t +∆+-∆+-∆+→∆=0))]()()((([))]()()((([{lim 0=-∆+--∆+∆+→∆t X t t X t X E t X t t X t t X E t固有0)]([)]([lim 0=-∆+→∆t X E t t X E t ，证得数学期望连续。
第二章 随机过程基本概念
第二章 随机过程的基本概念
§2.1 随机过程的定义 §2.2 随机过程的分布与数字特征 §2.3 随机过程的分类
§2.1 随机过程的定义
引入：
初等概率论的研究对象
§2.1 随机过程的定义
引例1
某电话交换台在时间段[0,t]内接到的电话次数记为X(t),
随机现象某个时刻或有限个时刻静态的结果 即一个或有限个随机变量(随机向量). 问 描述随机现象的整个变化过程， 需要多少个随机变量？
Fn ( xi1 , xi2 ,, xin , ti1 , ti2 ,, tin ) Fn ( x1 , x2 ,, xn , t1, t2 ,, tn )
(2)相容性 对任意自然数m<n,随机过程的m维分布函数 与n维分布函数之间有关系：
Fm ( x1 , x2 ,, xm , t1 , t2 ,, tm ) Fn ( x1 , x2 ,, xm , ,, , t1 , t2 ,, tn )
解
X(t ) A (t (T0 kT )), T0 kT t T0 (k 1)T (k 0, 1, 2) T
§2.2 随机过程的分布与数字特征
2、随机过程的二维分布函数
定义 设{ X ( t ), t T }是一个随机过程，对任意固定的
T 故有，T0 X (t ) t kT h( X (t )), T0 kT t T0 (k 1)T A
29 November 2015
随机过程
§2.2 随机过程的分布与数字特征
例1 设X ( t ) X cos(at ), t ，其中a为常数，
X服从标准正态分布，试求X(t)的一维概率密度函数。
(完整版)随机过程习题答案
随机过程部分习题答案习题22.1 设随机过程b t b Vt t X ),,0(,)(+∞∈+=为常数，)1,0(~N V ，求)(t X 的一维概率密度、均值和相关函数。
解 因)1,0(~N V，所以1,0==DV EV ，b Vt t X +=)(也服从正态分布，b b tEV b Vt E t X E =+=+=][)]([ 22][)]([t DV t b Vt D t X D ==+=所以),(~)(2t b N t X ，)(t X 的一维概率密度为),(,21);(222)(+∞-∞∈=--x ett x f t b x π，),0(+∞∈t均值函数 b t X E t m X ==)]([)(相关函数)])([()]()([),(b Vt b Vs E t X s X E t s R X ++==][22b btV bsV stV E +++=2b st +=2.2 设随机变量Y 具有概率密度)(y f ，令Yt e t X -=)(，0,0>>Y t ，求随机过程)(t X 的一维概率密度及),(),(21t t R t EX X 。
解 对于任意0>t，Yt e t X -=)(是随机变量Y 的函数是随机变量，根据随机变量函数的分布的求法，}ln {}{})({);(x Yt P x e P x t X P t x F t Y ≤-=≤=≤=-)ln (1}ln {1}ln {tx F t x Y P t x Y P Y --=-≤-=-≥= 对x 求导得)(t X 的一维概率密度xtt x f t x f Y 1)ln ();(-=，0>t均值函数⎰∞+--===0)(][)]([)(dy y f e eE t X E t m yt tY X相关函数⎰+∞+-+---====0)()(2121)(][][)]()([),(212121dy y f e e E e e E t X t X E t t R t t y t t Y t Y t Y X2.3 若从0=t 开始每隔21秒抛掷一枚均匀的硬币做实验，定义随机过程⎩⎨⎧=时刻抛得反面时刻抛得正面t t t t t X ,2),cos()(π 试求：（1）)(t X 的一维分布函数),1(),21(x F x F 和；（2）)(t X 的二维分布函数),;1,21(21x x F ；（3）)(t X 的均值)1(),(X X m t m ，方差 )1(),(22X Xt σσ。
第二章 随机过程的基本概念.
4
5
随机变量X (t1 )
x1 (t )
随机序列
x2 (t )
x3 (t ) xn (t )
t1
噪声电压
xi (t )为样本函数
每一个样本函数都是 一个确定的时间函数 随机过程在任意时刻 的状态是一随机变量
连续随机过程 离散随机过程
连续随机序列 离散随机序列
随机过程是一族时间函数的集合
6
设正弦波随机过程为 X (t ) A cos 0t 其中 0 为常数 A为均匀分布在(0,1)内的随机变量, 画出随机过程X (t ) 的几个样本函数的图形.
2 (t ) 就表征消耗在单位电阻 上的瞬时交流功率的统 计平均值 .
25
三、自相关函数
表征了随机过程在任意两个时刻之间的关联程度
m X (t ) X (t ) mY (t ) Y (t )
m X (t )
mY (t )
m X (t ) X (t )
X (t )起伏慢
Y (t )起伏快
2 2 若 A , 则 X (t ) cos 0t 为一个确定性函数 3 3
7
设正弦波随机过程为 X (t ) A cos 0t 其中 0 为常数 A为均匀分布在(0,1)内的随机变量, 画出随机过程X (t ) 的几个样本函数的图形.
若 A 0, 则 X (t ) 0 为一个确定性函数
[ x m X (t1 )][ y mY (t 2 )] f XY ( x, y; t1 , t 2 )dxdy
C XY (t1 , t 2 ) RXY (t1 , t 2 ) m X (t1 )mY (t 2 )
若对任意t1 , t 2 都有RXY (t1 , t 2 ) 0, 则称X (t ), Y (t )是正交过程, 此时有C XY (t1 , t 2 ) m X (t1 )mY (t 2 )
第二章随机过程基本概念.
为称使可积
}: ({ , ( , ( , (, 0 , (1111T t t X t x f dx
t x f t x F t x f x
Î=³ò¥-(2若有的一维概率分布。
为称满足}: ({}{1
, 0} ({T t t X p p
p p x t X P k k k k k
k Î=³==å
¥¥-k k iux X k k iux X p e
u t p x t X P t X dx t x f e u t t x f t X k , ( (( ( 2 , ( , ( , ( (111jj则有分布列若(,则
有密度若(
有时也需要利用常用的一些特征函数来求随机变量的分布函数,由特征函数与分布函数的一一对应性有:
cos(
(Q
+
=t
a
t
X w
的均值函数,方差函数和自相关函数。其中, a , w为常数, Q是在(0, 2p上均匀分布的随机变量。例4试求随机相位余弦波
2随机过程的特征函数
的一维特征函数。
为称为随机变量,记
由于给定( , ( ( ( , ( (, ( (t X u t u e
E u t t X T t X t X t iuX X jjjÙ==Îåò====
为X (t的有限维分布函数族。
为随机过程的n维分布函数。称关于随机过程X (t的所有有限维分布函数的集合
注意:随机过程的n维分布函数描述了随机过程在任意n不同时刻的状态之间的联系。
随机过程X (t的有限维分布函数族的意义何在?随机过程的n维分布函数(或概率密度能够近似地描述随机过程的统计特性,而且, n越大,则n维分布函数越趋完善地描述随机过程的统计特性。
第二章 随机过程
x1 x2 f X ( x1 , x2 ; t1,t2 ) dx1dx2
RX (t1 , t2 ) x1i x2 j P X (t1 ) x1i , X (t2 ) x2 j
i j
2017/5/2 32
2017/5/2
32/129
三、 RS的数字特征
二、 RS的分布特性
研究随机过程有两条途经：
侧重于研究概率结构
侧重于统计平均性质的研究
2017/5/2
21
21/117
二、 RS的分布特性
1.一维分布
研究RS上任意时刻对应的RV的统计特性
FX x , t P X t x
FX x, t f X x, t x
离散型随机序列
20பைடு நூலகம்7/5/2
13
例 正弦随机信号（连续型随机过程 ）
X t, s A cos t
正弦R.S.的三个参数 A, , 都可能是 R.V.
2017/5/2
14
14/117
. . ，A, 为常数 1）随机相位正弦信号 为RV
X t A cos t
6
6/117
定义2：设有一个过程X(t)，若对于每一个固定的
时刻tj(j=1,2,…)，X(tj)是一个随机变量，则称X(t) 为随机过程。 可把随机过程看成是依赖于时间 t 的一族随机 变量。
一、随机过程的定义
【理解】： 1）与RV 相比，点与线的关系 2）与确定信号
sin(t)
t
t
t
任一时刻函数值为定值
热噪声电压表示为：
X t, X t, 1 , X t, 2 ,K , X t, n ,K
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(3)n 2,0=t0 <t1< <tn < ,W (tn )-W (tn-1), W (t2 )-W (t1),W (t1)-W (t0 ) 是相互独立的随机变量 （４）随机过程Ｗ具有连续的样本轨道
W (0) 0 的ＢＭ也称为标准Ｂｒｏｗｎ运动
定理
设 {W(t),t≥0}是参数为σ2的Wiener过程.则 (1) t 0,W (t) ~ N (0, 2t) (2) mW (t) 0, DW (t) 2t, t 0,
RW (s,t) CW (s,t) 2 min(s,t), s, t, 0 证明 (1) 由定义,显然成立.
P(W (t2 ) W (t1) x2 x1 W (t1) x1)
P(W (t2 ) W (t1) x2 x1)
函数为
fW t2 W t1 x2 x1
1
( x2 x1 )2
e 2(t2 t1 )
2 (t2 t1)
ft2 t1 x2 x1
即
W (t2 ) W (t1)x1 N (x1, t2 t1)
P(W (t2 ) x2 W (t1) x1) P(W (t2 ) x1 x2 x1 W (t1) x1)
1 1 1
(W
(t1 ),W
(t2
)
W
(t1 ),,W
(tn
)
W
(t n 1 ))
0
1
1
0
0
1
0
0
1
所以(W (t1),W (t2 ),,W (tn ))是n维正态变量.
所以{W(t),t≥0}是正态过程.
例2: 求布朗运动W(t)的联合概率密度
解：设W(t)是标准布朗运动，对任意的t1<t2<…<x2 ,
其中
,W tn 的联合密度函数为
, xn ft1 (x1) ft2 t1 (x2 x1)
ft x
1
x2
e 2t
2 t
f ( x tn tn1 n xn1)
由此可以看出 W t1 , ,W tn 服 从n维正态分布。
这是因为在W(t1)=x1的条件下，W(t2)的条件密度
第二章 Brown运动
本章主要内容
Brown运动的定义及性质 Brown运动有关的随机过程 Brown运动的仿真
Brown 运动的背景介绍
1827年英国植物学家发现布朗运动 1905年由爱因斯坦基于物理定律导出这个 现象的数学描述. 此后该课题得到了巨大的发展,被一些列的 物理学家完善
相比之下数学上的描述比较慢，因为准确地数 学描述这个模型非常困难. 1900年巴舍利耶在他的博士论文中推测到布 朗运动的一些结果
(2) 由(1)易知有
mW (t) 0, DW (t) 2t,t 0
对s≥0, t ≥0,不妨设 s≤t,则
RW (s,t) E[W (s)W (t)] E[(W (s) W (0))(W (t) W (s) W (s))]
独立性 E[(W (s) W (0))(W (t) W (s))] E[W (s)]2 0 E[W (s)]2 D[W (s)] (E[W (s)])2
介质处于平衡状态，因此质点在一小区间上 位移的统计规律只与区间长度有关，而与开始 观察的时刻无关
由于分子运动的独立性和无规则性，认为质点 在不同时间内受到的碰撞是独立的，故所产生的 位移也是独立的
二. 布朗运动的定义
（Brown motion）ＢＭ
称实S.P.{W(t),t≥0}是Wiener过程,如果 (1) W (0) x R
2s 2 min(s,t) CW (s,t) RW (s,t) mW (s)mW (t) 2 min(s,t)
例1． SBM是正态过程．
证明 设 {W(t),t≥0}是参数为1的Wiener过程. 则对任意的n≥1,以及任意的 0 t1 t2 tn {W(t1), W(t2), …, W(tn)}是n维随机变量
令 x t 则当 t 0 时，有
E[ X (t)] 0,Var( X (t)) 2t
注：若 x (t) 当 1 2 时V，ar( X (t)) 0,
当 1 2 时，Var( X (t)) .
一维Brown运动可看作质点在直线上作简单随机游 动的极限.
三 Brown运动的数字特征
其中
X (t) x( X1 X[t t] )
1, 如果步长为△x的第i步向右 X i 1, 如果步长为△x的第i步向左
且Xi相互独立。
P{X i
1}
P{X i
1}
1 2
因为
EXi 0,Var( Xi ) 1
所以 E[ X (t)] 0,Var( X (t)) (x)2[t t]
当 t 0 时，应有x 0
1918年Wiener在博士论文以及后来的文章中给出该 理论简明的数学公式
布朗运动解释为随机游动的极限
W (t)表示质点在时刻t的位置，则W (t) 也表示 质点直到t所作的位移，因此在时间(s, t)内，它所 做的位移是W (t)-W (s),由于在时间(s, t)内质点受 到周围分子的大量碰撞，每次碰撞都产生一个小 的位移，故W (t)-W (s)是大量小位移的和，由中 心极限定理它服从正态分布
由Wiener过程的定义知 W (t1),W (t2 ) W (t1),,W (tn ) W (tn1) 相互独立
W (tk ) W (tk1)服从N (0，(tk tk1))分布
所以（W (t1),W (t2 ) W (t1),,W (tn ) W (tn1)）
是n维正态随机变量.
又由于
(W (t1),W (t2 ),,W (tn ))
Wiener过程
称实S.P.{W(t),t≥0}是参数为σ2的Wiener过程, 如果
(1) W (0) 0
(2) {W (t),t 0}是平稳的独立增量过程． (3) 0 s t,W (t) W (s) ~ N (0, 2 (t s))
布朗运动定义的来源
一、直线上的随机游动
设一粒子在直线上随机游动，即粒子每隔△t 时 间，等概率地向左或向右移动△x的距离。以X(t)表 示时刻t粒子的位置，则