应用随机过程期末复习资料全
随机过程知识点汇总
随机过程知识点汇总随机过程是指一组随机变量{X(t)}，其中t属于某个集合T，每个随机变量X(t)都与一个时刻t相关联。
２．随机过程的分类随机过程可以分为离散时间随机过程和连续时间随机过程。
离散时间随机过程是指在离散的时间点上取值的随机过程，例如随机游走。
连续时间随机过程是指在连续的时间区间上取值的随机过程，例如XXX运动。
３．随机过程的数字特征随机过程的数字特征包括均值函数和自相关函数。
均值函数E[X(t)]描述了随机过程在不同时刻的平均取值。
自相关函数R(t1,t2)描述了随机过程在不同时刻的相关程度。
４．平稳随机过程平稳随机过程是指其均值函数和自相关函数都不随时间变化而变化的随机过程。
弱平稳随机过程的自相关函数只与时间差有关，而不依赖于具体的时间点。
强平稳随机过程的概率分布在时间上是不变的。
５．高斯随机过程高斯随机过程是指其任意有限个随机变量的线性组合都服从正态分布的随机过程。
高斯随机过程的均值函数和自相关函数可以唯一确定该过程。
６．马尔可夫随机过程马尔可夫随机过程是指其在给定当前状态下，未来状态的条件概率分布只依赖于当前状态，而与过去状态无关的随机过程。
马尔可夫性质可以用转移概率矩阵描述，并且可以用马尔可夫链来建模。
７．泊松过程泊松过程是指在一个时间段内随机事件发生的次数服从泊松分布的随机过程。
泊松过程的重要性质是独立增量和平稳增量。
８．随机过程的应用随机过程在金融学、信号处理、通信工程、控制理论等领域有广泛的应用。
例如，布朗运动被广泛应用于金融学中的期权定价，马尔可夫链被应用于自然语言处理中的语言模型。
t)|^2]协方差函数BZs,t)E[(ZsmZs))(ZtmZt))]，其中Zs和Zt是Z在时刻s和t的取值。
复随机过程是由实部和虚部构成的随机过程，其均值和方差函数分别由实部和虚部的均值和方差函数计算得到。
协方差函数和相关函数也可以类似地计算得到。
复随机过程在通信系统中有广泛的应用，例如调制解调、信道编解码等。
应用随机过程复习资料
1 [()()][()()]()E X t X s D X t X s t s λ-=-=- 由于(0)0X =故()[()][()(0)]X m t E X t E X t X t λ==-=2()[()][()(0)]X t D X t D X t X t σλ==-=2222(,)[()()]{()[()()()]}[()(0)][()()][()][()(0)][()()][()]{[()]}()()(1)X R s t E X s X t E X s X t X s X s E X s X X t X s E X s E X s X E X t X s D X s E X s s t s s s st s s t λλλλλλλλ==-+=--+=--++=-++=+=+(,)(,)()()X X X X B s t R s t m s m t s λ=-=()()[]exp{(1)}iuX t iu X g u E e t e λ==-2 定理3.2 设{(),0}X t t ≥是具有参数λ的泊松分布，{,1}n T n ≥是对应的时间间隔序列，则随机变量n T 是独立同分布的均值为1λ的指数分布Proof:注意到1{}T t >发生当且仅当泊松过程在区间[0,]t 内没有事件发生，因而1{}{()0}t P T t P X t e λ->=== 即111(){}1{}1tT F t P T t P T t e λ-=≤=->=-所以1T 是服从均值为1λ的指数分布.利用泊松过程的独立、平稳增量性质，有21{|}{()()0}{()(0)0}tP T t T s P X t s X s P X t X eλ->==+-==-==即222(){}1{}1tT F t P T t P T t e λ-=≤=->=-对任意的1n ≥和121,,,...,0n t s s s -≥有21111{|,...,}{()(0)0}t n n P T t T s T s P X t X e λ--->===-==即(){}1n tT n F t P T t eλ-=≤=-所以对任一n T 其分布是均值为1λ的指数分布.所以1,0(){}0,0n t T n e t F t P T t t λ-⎧-≥=≤=⎨<⎩概率密度为,0()0,0n tT et f t t λλ-⎧≥=⎨<⎩3 设在[0,]t 内事件A 已经发生n 次,0s t <<,对于0k n <<,求{()|()}P X s k X t n ==解:利用条件概率及泊松分布得{(),()}{()|()}{()}{(),()()}{()}1kn kk n P X s k X t n P X s k X t n P X t n P X s k X t X s n k P X t n s s C t t -=======-=-==⎛⎫⎛⎫=- ⎪ ⎪⎝⎭⎝⎭这是一个参数为n 和st的二项分布 4 对有s t <有11(){,()1}{|()1}{()1}{()1,()()0}{()1}{()1}{()()0}{()1}s t s s P W s X t P W s X t P X t P X s X t X s P X t P X s P X t X s P X t se e s se tλλλλλ----≤=≤====-====-=====即分布函数为1|()10,0(),01,W X t s F s s t s t s t =<⎧⎪=≤<⎨⎪≥⎩分布密度为1|()11,0()0,W X t t s tf s =≤<⎧=⎨⎩其它5 设()1()N t kk X t Y==∑,0t ≥是复合泊松过程则（1）{(),0}X t t ≥是独立增量过程；（2）()X t 是特征函数()()exp{[()1]}X t Y g u t g u λ=-,其中()Y g u 是随机变量1Y 的特征函数; λ是事件的到达率;3)若21()E Y <∞,则1[()][]E X t tE Y λ=,21[()][]D X t tE Y λ= Proof:1)令010...m t t t ≤<<<, 则1()1()1()()k k N t k k i i N t X t X t Y --=+-=∑,1,2,...,k m = 故()X t …2)因为 ()()()01()[][|()]{()}()[exp()|()]!exp{[()1]}iuX t iuX t X t n n ntk n k Y g u E eE eN t n P N t n t E iu Y N t n en t g u λλλ∞=∞-=========-∑∑∑3)由条件期望的性质[()]{[()|()]}E X t E E X t N t =及假设知()11[()|()][|()]()N t ii E X t N t n E Y N t n nE Y =====∑所以11[()]{[()|()]}[()]()()E X t E E X t N t E N t E Y tE Y λ===类似地1[()|()]()[]D X t N t N t D Y =,2111[()]{()[]}{()()}()D X t E N t D Y D N t E Y tE Y λ=+=6 设脉冲到达计数器的规律是到达率为λ的泊松过程,记录每个脉冲的概率为p ,记录不同脉冲的概率是相互独立的.l 令()X t 表示已被记录的脉冲数. (1) 求{()},0,1,2,...P X t k k == (2) ()X t 是否为泊松过程.解：设{(),0}N t t ≥表示在[0,]t 区间脉冲到达计数器的个数,令1,0,i i i ξ⎧=⎨⎩第个脉冲被计数器记录第个脉冲没有被计数器记录则()1()N t ii X t ξ==∑根据复合泊松过程的定义知()X t 为泊松过程，且1()()EX t EN t E t p pt ξλλ=== 故()X t 强度为p λ,(){()}!kptpt P X t k e k λλ-==,0,1,...k =7 设{,}n X n T ∈为马尔科夫链,则对任意整数0,n ≥0l n ≤<和,i j I ∈,n 步转移概率()n ij p 具有下列性质：(1) ()()()n l n l ij ik kjk Ip pp -∈=∑; (2) 112111()......n n n ij ik k k k j k Ik I p pp p --∈∈=∑∑(3) ()(1)n n P PP-=(4) ()n nP P =Proof:1）利用全概率公式及马尔科夫性，有()()()()(){,}{|}{}()()n m m n ij m n m m n l l l n l kj ik ik kjk Ik IP X i X j p P X j X i P X i p m l p m p p ++--∈∈========+=∑∑2)在(1)中令11,l k k ==，得111()(1)n n ij ik k jk Ip pp -∈=∑ 这是一个递推公式，故可推得到112111()......n n n ij ik k k k j k Ik Ip p p p --∈∈=∑∑3）在(1)中令1l =,利用矩阵乘法可证 4）由(3),利用归纳法可证8 判别马氏性、齐次性1）马氏性定义: 110011{|,,...,}n n n n P X i X i X i X i ++====11{|}n n n n P X i X i ++===2)111111111111{,,...,}{|}{|}...{|}n n n n n n n n n n n n n n P X i X i X i P X i X i P X i X i P X i X i ++--++--==========9 设{,0}n X n ≥为马尔科夫链，试证(1) 1100{,...,|,...}n n n m n m n n P X i X i X i X i ++++====11{,...,|}n n n m n m n n P X i X i X i ++++====(2)002211{,...,,...,|}n n n n n m n m n n P X i X i X i X i X i ++++++=====00112211{,...|}{,...,|}n n n n n n n m n m n n P X i X i X i P X i X i X i ++++++++=======proof: (1)110000110011{,...,|,...}{,...,,...,}{,...}{,...,}{}{,...,|}n n n m n m n n n n n n n m n m n n n n n m n m n n n n n m n m n n P X i X i X i X i P X i X i X i X i P X i X i P X i X i P X i P X i X i X i ++++++++++++++===================(2)利用条件概率类似可得10 设马氏链{}n X 的状态空间为{0,1...}I =转移概率为00,10111,,,222i i i p p p i I +===∈考察状态0 可知000000(1)(2)(3)11111111,,22242228p p p ==⋅==⋅⋅=有00()12n n p =故0001111,22n n n n f n μ∞∞-=====<∞∑∑可见0为正常返，由于00(1)102f =>，所以它是非周期的，因而是遍历的，对于其它状态由定理4.9，因0i ↔故i 也是遍历的11 设{1,2,...6}I =转移矩阵为00100000000100001013130130010*******12P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦试分解此链并指出各状态的常返性及周期性. 解：有题可知1111(3)()1,0,3n f f n ==≠所以11()113n n nfμ∞===∑可见1为正常返状态且周期等于3.含1的基本常返闭集为1{:1}{1,3,5}C k k =→=从而状态3及5也为正常返且周期为3.同理可知6为正常返状态. 632μ=,其周期为1,含6的基本常返闭集为2{:6}{2,6}C k k =→=可见2是遍历的. 由于(1)()44441,0,13n f f n ==≠故4非常返，周期为1，于是I 可分解为12{4}{1,3,5}{2,6}I D C C ==12 设不可分马氏链的状态空间为{1,2,...6}C =,转移矩阵为0120120130010101000000100001000000140340P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦可知各状态的周期3d =.固定状态1i =令(3)01,(31)11,(32)21,{:00}{1,4,6}{:00}{3,5}{:00}{2}n j n jn jG j n p G j n p G j n p++=≥>==≥>==≥>=对某有对某有对某有 故012{1,4,6}{3,5}{2}C G G G ==13 设马尔科夫链具有状态空间{0,1,...}I =,转移概率11,,(0)ii i ii i ii i p p p r p q i +-===≥,其中,0i i p q >1i i i p r q ++=.称这种马尔科夫链为生灭链,是不可约的，记0101...1,,1...j j jp p a a j q q -==≥试证此马氏链存在平稳分布的充要条件为jj a∞=<∞∑Proof:由题可知000111111,11j j j j j j j j j j r q p r q j p r q πππππππ--++⎧=+⎪=++≥⎨⎪++=⎩于是有递推关系110011110j j j j j j j j q p q p q p ππππππ++---=⎧⎪⎨-=-⎪⎩解得11,0j j j j p j q ππ--=≥所以110001...j j j j jp p a q q ππππ--==== 对j 求和得001jj j j a ππ∞∞====∑∑由此可知平稳分存在的充要条件是jj a∞=<∞∑此时001,,1jj jjj a j aπππ∞===≥∑14 设马氏链的转移概率矩阵为(1) 12121323⎡⎤⎢⎥⎣⎦ (2) 112233000p q p q q p ⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦计算()()1112,,1,2,3n n f f n =解：(1) (1)(2)(3)(1)(2)(3)111111121213111111,,;,,269248f f f f f f ====== (2)(1)(2)(3)(1)(2)(3)2111111112312112111311,0,;,,f p f f q q q f q f p q f p q ======15 设马氏链的转移矩阵为1112010.........00......000.....................q p P q p ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦求它的平稳分布. 解：110011101...1,1,...1j j j kjj k k p p j pq q q πππ--∞==+=≥=+∑∏16 证明泊松过程{(),0}X t t ≥为连续时间齐次马氏链 Proof:先证泊松过程具有马氏性,再证齐次性,由泊松过程的定义知{(),0}X t t ≥识独立增量过程,且(0)0X =对任意110...n t t +<<<有111111111111{()|(),...,()}{()()|()(0),...,()()}{()()}n n n n n n n n n n n n n n n n P X t i X t i X t i P X t X t i i X t X i X t X t i i P X t X t i i ++++--++====-=--=-=-=-=-又因为1111{()|(),...,()}n n n n P X t i X t i X t i ++===1111{()()|()(0)}{()()}n n n n n n n n n n P X t X t i i X t X i P X t X t i i ++++=-=--==-=-所以111111{()|(),...,()}{()|()}n n n n n n n n P X t i X t i X t i P X t i X t i ++++=====即泊松过程是一个连续时间马氏链；再证齐次性,当j i ≥时,由泊松过程定义,得{()|()}(){()()}()!j i tP X s t j X s i t P X s t X s j i ej i λλ--+===+-=-=- 当j i <时,由于过程的增量只取非负整数,故(,)0ij p s t =,所以(),(,)()()!0,j it ij ij t ej i p s t p t j i j i λλ--⎧≥⎪==-⎨⎪<⎩即转移概率只与t 有关,泊松过程具有齐次性17 求poisson 过程的Q 及π解：poisson 过程(),0()()!0,j i tij t e j i p t j i λλ--⎧-≥⎪=-⎨⎪⎩其它(1) 0,(0)lim (0)lim 1,0,tij j i p p e j i j i λ-<⎧⎪===⎨⎪>⎩(2)由性质知()p t 关于t 一致连续lim ()t p t π→∞=（存在）(3) (0)limp IQ t-=存在 ()lim()lim lim,()!1()lim ,1()lim ()!0,1,ij ijij tj i t t j i tp t I q te t e t j i j i t e j i t e t t j i j i j i λλλλλλλλλ-------=⎧⎛⎫-==⎪ ⎪-⎝⎭⎪⎪=⎨⎧==+⎪⎪=⎨⎪-⎪>+<⎪⎩⎩由Q Q ππθ==得0...00...00...............Q λλλλλλ-⎡⎤⎢⎥-⎢⎥=⎢⎥-⎢⎥-⎣⎦,0π=18 M/M/s 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继到达顾客的时间间隔是均值为1λ的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队行列.当一个服务员结束对一位顾客的服务时,顾客就离开服务系统,排队中的下一个顾客进入服务.假定相继的服务时间是独立的指数随机变量,均值为1μ.如果我们以()X t 记时刻t 系统中的人数,则{(),0}X t t ≥是生灭过程,1,n n n ss n s μμμ=≤≤⎧⎨>⎩，,0n n λλ=≥ M/M/s 排队系统中M 表示马氏过程,s 代表有s 个服务员.特别,在M/M/s 排队系统中,,n n λλμμ===,于是若1λμ<,则1()1,01()nnn n n n λμλλπλμμμ∞=⎛⎫⎛⎫==-≥ ⎪ ⎪⎝⎭⎝⎭+∑ 要平稳分布存在, λ必须小于μ.λμ=的情况类似随机游动,它是常零返的,从而没有极限概率19 某修理店只有一个服务员,顾客按强度为4人每小时poisson 过程到达,服务员对每位顾客服务的时间是常数10的指数分布,问(1)修理店空闲的概率0β;(2)等候服务的顾客平均数解：(1) 010.6λβμ=-=； (2) 010101... 1.5n n L n λμβββλμ∞=-==++==∑20 讨论随机过程()X t Y =的各态历经性,其中Y 是方差不为零的随即变量.解：易知()X t Y =是平稳过程,事实上[()][]()X E X t E Y m ==常数，22(,)[][]()X X R t t E Y D Y m t τ-==+与无关但此过程不具有各态历经性，因为1()12TTT X t i mYdt Y T-→∞<>=⋅⋅=⎰,Y 是非常数，不等于[()]E X t .所以()X t Y =的均值不具有各态历经性.类似可证其相关函数也不具有各态历经性.21 设随机过程()sin()cos()X t A t B t λλ=+，其中A B 、是均值为零、方差为2σ相互独立的正态随机变量.试问： (1) ()X t 的均值是否各态历经的？(2) ()X t 的均方值2[()]E X t 是否各态历经的？(3)若sin cos A B φφ=，,φ是π（0,2）上服从均匀分布的随机变量,此时2[()]E X t 是否各态历经的？ 解：(1) [()]=sin()cos()=0E X t EA t EB t λλ+01()1()21=12cos()2sin()=1TTT T T T X t i mX t dtTi mB t dt T t i m B tλλλ-→∞→∞→∞<>=⋅⋅⋅⋅⨯⋅⋅⎰⎰由于2(0,)B N σ ,故22222sin()sin ()lim 0lim 0T T t t E B EB t tλλλλ→∞→∞-== 即sin()t B tλλ均方收敛于0,故()X t 的均值是各态历经的 (2)222222[()][sin ()cos ()2sin()cos()]E X t E A t B t AB t t λλλλσ=++=2222221()1()2sin 21()24T TT T X t i m X t dtT A B T i m B A Tλλ-→∞→∞<>=⋅⋅+=+⋅⋅-⎰类似(1)可证得22sin 21()04T T i mB A Tλλ→∞⋅⋅-=，故 222()2A B X t +<>=又2(0,)A N σ ,故222(1)A χσ,22()2A D σ=,242DA σ=222222222411[()]()2211[()]()024E A B EA EB D A B DA DB σσ+=+=+=+=≠因此()X t 的均方值2[()]E X t 非各态历经.(3) 将A B 、代于(2)中得222()[()]X t E X t σ<>== 故2[()]E X t 是各态历经的22 赌徒输光问题两赌徒甲、乙进行一系列赌博.赌徒甲有a 元,赌徒乙有b 元,每赌一局输者赢着一元钱,没有和局,直到两个人中有一个输光为止.设在每一局中,甲赢的概率为p,输的概率为q=1-p ，求甲输光的概率.解：设i u 表示甲从状态i 出发转移到0的概率,由于0和c 是吸收状态,故01,0c u u ==由全概率公式11i i i u pu qu +-=+,1,2,...,1i c =-由于1p q +=即有差分方程11(),1,2,...,1i i i i u u r u u i c +--=-=- 其中qr p=,其边界条件为01,0c u u ==Case1 当11,2r p q ===时，有 11i i i i u u u u +--=-解得1,1,2,...,1i i u i c c=-=- 令i a =求得甲输光的概率为1a a b u c a b=-=+ 故在p q =时赌本小的输光的可能性大 同样乙输光的概率为b a u a b=+ 由于1a b u u +=故必有一人要输光，赌博迟早要结束 Case2p q ≠时111()(1)1k cc c k i i i kr r u u r u u u r --=--=-=--∑ 令0k =由于0c u =故111(1)1cr u r-=--即11(1)1c r u r --=-所以,1,2,...11k ck cr r u k c r-==-- 令k a =得甲输光的概率1a ca cr r u r -=- 同样乙输光的概率为1b cb cr r u r -=-由于1a b u u +=p q ≠时也必有一人要输光。
应用随机期末试题及答案
应用随机期末试题及答案一、单选题（每题2分，共20分）1. 在随机过程中，如果随机变量的取值是离散的，那么这个过程被称为：A. 连续型随机过程B. 离散型随机过程C. 确定性过程D. 随机性过程答案：B2. 随机变量X的期望值E(X)表示的是：A. X的均值B. X的方差C. X的中位数D. X的众数答案：A3. 以下哪个不是随机变量的特征：A. 可测性B. 离散性C. 连续性D. 可加性答案：D4. 标准正态分布的均值μ和标准差σ分别是：A. μ=0, σ=1B. μ=1, σ=0C. μ=1, σ=1D. μ=0, σ=0答案：A5. 如果随机变量X服从二项分布，那么X的方差Var(X)为：A. npB. np(1-p)C. p(1-p)D. n答案：B6. 随机变量X的累积分布函数（CDF）表示的是：A. X取值小于或等于x的概率B. X取值大于x的概率C. X取值等于x的概率D. X取值在x和x+1之间的概率答案：A7. 以下哪个是随机过程的平稳性：A. 严格平稳B. 宽平稳C. 非平稳D. 以上都是答案：D8. 随机变量X和Y独立同分布，那么E(XY)等于：A. E(X)E(Y)B. E(X) + E(Y)C. E(X) - E(Y)D. E(X) / E(Y)答案：A9. 随机变量X服从泊松分布，其参数λ表示：A. 平均发生率B. 事件发生的概率C. 事件的总数D. 事件的持续时间答案：A10. 随机变量X服从指数分布，其参数α表示：A. 平均发生时间B. 事件发生的概率C. 事件的总数D. 事件的持续时间答案：A二、多选题（每题3分，共15分）1. 以下哪些是随机变量X的数字特征：A. 期望值B. 方差C. 协方差答案：A, B, C, D2. 随机变量X和Y的联合分布函数可以描述：A. X和Y的边缘分布B. X和Y的联合概率C. X和Y的独立性D. X和Y的协方差答案：A, B, C3. 以下哪些是随机过程的分类：A. 离散时间随机过程B. 连续时间随机过程C. 确定性过程D. 随机性过程答案：A, B4. 以下哪些是随机变量X的分布类型：A. 正态分布B. 泊松分布C. 二项分布D. 均匀分布答案：A, B, C, D5. 以下哪些是随机过程的平稳性特征：A. 严格平稳B. 宽平稳D. 周期性答案：A, B, C三、简答题（每题5分，共20分）1. 请简述随机变量的期望值和方差的意义。
应用随机过程期末复习题
1、设在底层乘电梯的人数服从均值5λ=的泊松分布，又设此楼共有N+1层。
每一个乘客在每一层楼要求停下来离开是等可能的，而且与其余乘客是否在这层停下是相互独立的。
求在所有乘客都走出电梯之前，该电梯停止次数的期望值。
2、设齐次马氏链{(),0,1,2,}X n n = 的状态空间{1,2,3}E =，状态转移矩阵1102211124412033P=（1）画出状态转移图；（2）讨论其遍历性；（3）求平稳分布；（4）计算下列概率： i ）{(4)3|(1)1,(2)1};P X X X === ii ）{(2)1,(3)2|(1)1}P X X X ===.3、设顾客以泊松分布抵达银行，其到达率为λ，若已知在第一小时内有两个顾客抵达银行，问：（1）此两个顾客均在最初20分钟内抵达银行的概率是多少？ （2）至少有一个顾客在最初20分钟抵达银行的概率又是多少？4、设2()X t At Bt C ++，其中A , B , C 是相互独立的标准正态随机变量，讨论随机过程{(),}X t t −∞<<+∞的均方连续、均方可积和均方可导性.5、设有实随机过程{(),}X t t −∞<<+∞，加上到一短时间的时间平均器上作它的输入，如下图所示，它的输出为1(),()()d tt TY t Y t X u u T −=∫，其中t 为输出信号的观测时刻，T 为平均器采用的积分时间间隔。
若()cos X t A t =，A 是（0, 1）内均匀分布的随机变量。
（1）求输入过程的均值和相关函数，问输入过程是否平稳？ （2）证明输出过程()Y t 的表示式为sin 2()cos()22T T Y t A t T=⋅−.（3）证明输出的均值为sin 12[()]cos()222T T E Y t t T =−，输出相关函数为12(,)R t t = 2sin 1232T T12cos()cos()22T Tt t −−，问输出是否为平稳过程？6、甲、乙两人进行比赛，设每局比赛甲胜的概率为p ，乙胜的概率为q ，和局的概率为R ，1p q r ++=，设每局比赛后胜者记“1”，分负者记“-1”分，和局记“0”分。
随机过程复习题2的答案
随机过程复习题2的答案1. 定义：随机过程是定义在概率空间上的随机变量序列，这些随机变量随时间或空间的变化而变化。
2. 分类：- 离散时间随机过程：随机变量序列的索引是离散的，例如整数序列。
- 连续时间随机过程：随机变量序列的索引是连续的，例如时间序列。
3. 基本特征：- 概率分布：描述随机过程在任意时刻的状态分布。
- 联合分布：描述随机过程在多个时刻的状态分布。
4. 重要随机过程：- 泊松过程：描述在固定时间或空间内随机事件发生的次数。
- 布朗运动（Wiener过程）：连续时间随机过程，具有独立增量和正态分布的增量。
5. 随机过程的数学描述：- 随机变量函数：每个时刻的随机变量可以看作是时间的函数。
- 样本路径：随机过程在特定样本空间中的实现。
6. 随机过程的性质：- 平稳性：如果随机过程的统计特性不随时间变化，则称其为平稳的。
- 遍历性：如果随机过程在足够长的时间后，其统计特性与初始状态无关，则称其具有遍历性。
7. 随机过程的应用：- 信号处理：分析和处理信号中的随机成分。
- 金融数学：模拟股票价格的变动。
8. 随机过程的数学工具：- 期望：随机过程在某一时刻的期望值。
- 方差：随机过程在某一时刻的方差，衡量其波动大小。
- 协方差和相关系数：描述不同时刻随机变量之间的关系。
9. 随机过程的极限定理：- 大数定律：随着时间的增长，随机过程的样本均值趋于其期望值。
- 中心极限定理：在一定条件下，随机过程的和趋于正态分布。
10. 随机过程的模拟：- 使用计算机模拟随机过程，例如通过生成随机数来模拟泊松过程或布朗运动。
结束语：随机过程是理解现实世界中不确定性现象的重要工具。
通过对随机过程的学习，我们能够更好地分析和预测各种随机现象，为科学研究和工程实践提供理论支持。
应用随机过程复习资料
17. 明确在离散参数时齐 Markov 链中：转移概率与起始时刻无关；互通是等价关系；状态均为正常返非
周期的不可约链称为遍历链; 常返状态的有限步首达概率为 1; 零常返状态的的有限步首达概率<1, 平均 首返步数为正无穷；有限维分布由初始分布和一步转移概率确定; 互通状态是同一种状态具有相同周期； 常返状态只能转移到常返状态
X n , n 1,2, 为时齐 Markov 链，（2）其一步转移概率矩阵
0 0.5 0.5 0
P
0.5 10/3
0 1/3 0
0.5 0 0
0 11/3 。
（3）昆虫从节点
1
开始经
2
次爬行后位于节点
3
的概率为
p(2) 13
，爬回节点
1
的概率为
p(2) 11
N (t)
分布，从而 X (t) Yi 为复合 Poisson 过程，于是保险公司一年的平均赔付金额 i1
E[X (t)] t12 tEY1 t 12 2 12 1 24 万元。
例 设一成批到达排队系统中，一段时间内的到达批数是强度为每小时 批的 Poisson 过程。 每批到达的个数服从均值为 的均匀分布，求 s 小时内到达的平均个数？
移概率与起始时刻 n 无关，故 X n , n 1,2, 为时齐 Markov 链，（2）其一步转移概率矩阵
一步转移概率矩阵
P
0.8 0.2
00..82 。
（3）开始投掷时硬币是正面，经
2
次投掷后是反面的概率为
p(2) 12
，硬币仍为正面的概率为
p(2) 11
，
因
随机过程复习提纲
第一章：1． 填空若X 1,X 2,…,X n 是相互独立的随机变量,且g i (t)是X i 的特征函数,i=1,2,…,n)则X=X 1+X 2+…X n 的特征函数g(t)= ＿g 1(t) g 2(t)…g n (t) 2.设P(S)是X 的母函数，试证: (1)若E(X)存在，则EX=P ′(1)(2)若D(X)存在，则 DX = P"(1)+ P ′(1)-[ P ′(1)]2 证明:(1)因为p 〔s 〕=sp kk k∑∞=0，则p ′〔s 〕=skpk k k11-∞=∑，令s ↑1，得EX==∑∞=1k kkpp ′(1)。
〔2〕同理可证DX=p 〞(1)+ p ′(1) —[p ′(1)] 23.设X 服从B(n,p),求X 的特征函数g(t)与EX,EX 2,DX. 解：X 的分布列为P(X=k)=1k k n nC p q -,q=1-p ,k=0,1,2,...n,()00k n n n itk k k n k k it n k it g t e C p q C pe q pe q n n k k ⎛⎫⎛⎫ ⎪ ⎪⎝⎭⎝⎭--===+∑∑== 由性质得()()np itdtdi i EX t n q ep g=-=-==+0,()()()p nq e p dtdg i EX npq iti t n 2222"220+=-===+-()npq DX EX EX=-=224． 设X~N(0,1),求特征函数g(t).解dx xt g eitx ⎰∞+∞--=2221)(π由于e exx xix itx 2222=-，且〈+∞⎰∞+∞--dx xeitx 2221π，故由积分号下求导公式有⎥⎥⎦⎤⎢⎢⎣⎡-==-∞+∞-∞+∞--⎰⎰de e ixeg x i dx xt ixt itx 22'22221)(ππdx xt xi eeitx itx ⎰⎰∞+∞--∞+∞-∞+∞---=222222ππ)(t tg -=于是得微分方程g ’(t)+tg(t)=0 解得方程的通解为e Ctt g +-=22)(由于g(0)=1,所以C=0， 于是得X 的特征函数为ett g 22)(-=5． 设随机变量Y~N(μ，σ2)，求Y 的特征函数是g Y (t). 解：设X~N(0,1),则由例1.3知X 的特征函数ett g 22)(-=令Y=μσ+X ,则Y~N(μ，σ2)，由前面的命题知Y 的特征函数是()()eg e g tt t t i Xxi Y222σσμμ-==，6． 设X 1,X 2…X n 是相互独立的随机变量，且X i ~b(n i ,p),i=1,2,…n,则⎥⎦⎤⎢⎣⎡=∑∑==n i i ni i p b Y n X 11,~证 因为X i ~b(n i ,p),所以其特征函数为()(),,...2,1,n i it nt X q e p g ii==+由特征函数的性质知，∑==ni i x Y 1的特征函数为()()()(),111∏++∏==∑====ni ni Yq e p q e p g g it n it nt X t ni iii再有唯一性定理知⎥⎦⎤⎢⎣⎡=∑∑==ni i ni i p b Y n X 11,~7． 设X 1,X 2…X n 是相互独立的随机变量，且(),,...2,1,~n i iiX=λπ则⎪⎭⎫⎝⎛=∑∑==n i i ni i X Y 11~λπ证 因为(),~λπii X 所以其特征函数为()n i e t Xe g itii,...2,1,1==⎪⎭⎫⎝⎛-λ有特征函数的性质知，∑==ni i X Y 1的特征函数为()()e eg g ni iti iti ie et X t ni n i Y ∑====⎪⎭⎫ ⎝⎛-=⎪⎭⎫ ⎝⎛-=∏∏11111λλ再由唯一性定理知⎪⎭⎫⎝⎛=∑∑==n i i ni i X Y 11~λπ。
应用随机过程复习资料
应⽤随机过程复习资料1 [()()][()()]()E X t X s D X t X s t s λ-=-=- 由于(0)0X =故()[()][()(0)]X m t E X t E X t X t λ==-=2()[()][()(0)]X t D X t D X t X t σλ==-=2222(,)[()()]{()[()()()]}[()(0)][()()][()][()(0)][()()][()]{[()]}()()(1)X R s t E X s X t E X s X t X s X s E X s X X t X s E X s E X s X E X t X s D X s E X s s t s s s st s s t λλλλλλλλ==-+=--+=--++=-++=+=+(,)(,)()()X X X X B s t R s t m s m t s λ=-=()()[]exp{(1)}iuX t iu X g u E e t e λ==-2 定理3.2 设{(),0}X t t ≥是具有参数λ的泊松分布，{,1}n T n ≥是对应的时间间隔序列，则随机变量n T 是独⽴同分布的均值为1λ的指数分布Proof:注意到1{}T t >发⽣当且仅当泊松过程在区间[0,]t 内没有事件发⽣，因⽽1{}{()0}t P T t P X t e λ->=== 即111(){}1{}1tT F t P T t P T t e λ-=≤=->=-所以1T 是服从均值为1λ的指数分布.利⽤泊松过程的独⽴、平稳增量性质，有21{|}{()()0}{()(0)0}tP T t T s P X t s X s P X t X eλ->==+-==-==即222(){}1{}1tT F t P T t P T t e λ-=≤=->=-对任意的1n ≥和121,,,...,0n t s s s -≥有21111{|,...,}{()(0)0}t n n P T t T s T s P X t X e λ--->===-==即(){}1n tT n F t P T t eλ-=≤=-所以对任⼀n T 其分布是均值为1λ的指数分布.所以1,0(){}0,0n t T n e t F t P T t t λ-?-≥=≤=?概率密度为,0T et f t t λλ-?≥=?3 设在[0,]t 内事件A 已经发⽣n 次,0s t <<,对于0k n <<,求{()|()}P X s k X t n ==解:利⽤条件概率及泊松分布得{(),()}{()|()}{()}{(),()()}{()}1kn kk n P X s k X t n P X s k X t n P X t n P X s k X t X s n k P X t n s s C t t -=======-=-===- ? ???这是⼀个参数为n 和st的⼆项分布 4 对有s t <有11(){,()1}{|()1}{()1}{()1,()()0}{()1}{()1}{()()0}{()1}s t s s P W s X t P W s X t P X t P X s X t X s P X t P X s P X t X s P X t se e s se t λλλλλ----≤=≤====-====-=====即分布函数为1|()10,0(),01,W X t s F s s t s t s t ==≤分布密度为1|()11,0()0,W X t t s tf s =≤其它5 设()1()N t kk X t Y（1）{(),0}X t t ≥是独⽴增量过程；（2）()X t 是特征函数()()exp{[()1]}X t Y g u t g u λ=-,其中()Y g u 是随机变量1Y 的特征函数; λ是事件的到达率;3)若21()E Y <∞,则1[()][]E X t tE Y λ=,21[()][]D X t tE Y λ= Proof:1)令010...m t t t ≤<<<, 则1()1()1()()k k N t k k i i N t X t X t Y --=+-=∑,1,2,...,k m = 故()X t …2)因为 ()()()01()[][|()]{()}()[exp()|()]!exp{[()1]}iuX t iuX t X t n n ntk n k Y g u E eE eN t n P N t n t E iu Y N t n en t g u λλλ∞=∞-=========-∑∑∑3)由条件期望的性质[()]{[()|()]}E X t E E X t N t =及假设知()11[()|()][|()]()N t ii E X t N t n E Y N t n nE Y =====∑所以11[()]{[()|()]}[()]()()E X t E E X t N t E N t E Y tE Y λ===类似地1[()|()]()[]D X t N t N t D Y =,2111[()]{()[]}{()()}()D X t E N t D Y D N t E Y tE Y λ=+=6 设脉冲到达计数器的规律是到达率为λ的泊松过程,记录每个脉冲的概率为p ,记录不同脉冲的概率是相互独⽴的.l 令()X t 表⽰已被记录的脉冲数. (1) 求{()},0,1,2,...P X t k k == (2) ()X t 是否为泊松过程.则()1()N t ii X t ξ==∑根据复合泊松过程的定义知()X t 为泊松过程，且1()()EX t EN t E t p pt ξλλ=== 故()X t 强度为p λ,(){()}! kptpt P X t k e k λλ-==,0,1,...k =7 设{,}n X n T ∈为马尔科夫链,则对任意整数0,n ≥0l n ≤<和,i j I ∈,n 步转移概率()n ij p 具有下列性质：(1) ()()()n l n l ij ik kjk Ip pp -∈=∑; (2) 112111()......n n n ij ik k k k j k Ik I p pp p --∈∈=∑∑(3) ()(1)n n P PP-=(4) ()n nP P =Proof:1）利⽤全概率公式及马尔科夫性，有()()()()(){,}{|}{}()()n m m n ij m n m m n l l l n l kj ik ik kjP X i X j p P X j X i P X i p m l p m p p ++--∈∈========+=∑∑2)在(1)中令11,l k k ==，得111()(1)n n ij ik k jk Ip pp -∈=∑ 这是⼀个递推公式，故可推得到112111()......n n n ij ik k k k j k Ik Ip p p p --∈∈=∑∑3）在(1)中令1l =,利⽤矩阵乘法可证 4）由(3),利⽤归纳法可证8 判别马⽒性、齐次性1）马⽒性定义: 110011{|,,...,}n n n n P X i X i X i X i ++====11{|}n n n n P X i X i ++===2)111111111111{,,...,}{|}{|}...{|}n n n n n n n n n n n n n n P X i X i X i P X i X i P X i X i P X i X i ++--++--==========9 设{,0}n X n ≥为马尔科夫链，试证(1) 1100{,...,|,...}n n n m n m n n P X i X i X i X i ++++====11{,...,|}n n n m n m n n P X i X i X i ++++====(2)002211{,...,,...,|}n n n n n m n m n n P X i X i X i X i X i ++++++=====00112211{,...|}{,...,|}n n n n n n n m n m n n P X i X i X i P X i X i X i ++++++++=======proof: (1)110000110011{,...,|,...}{,...,,...,}{,...}{,...,}{}{,...,|}n n n m n m n n n n n n n m n m n n n n n m n m n n n n n m n m n n P X i X i X i X i P X i X i X i X i P X i X i P X i X i P X i P X i X i X i ++++++++++++++===================(2)利⽤条件概率类似可得,,,222i i i p p p i I +===∈考察状态0 可知000000(1)(2)(3)11111111,,22242228p p p ==?==??=有00()12n n p =故0001111,22n n n n f n µ∞∞-=====<∞∑∑可见0为正常返，由于00(1)102f =>，所以它是⾮周期的，因⽽是遍历的，对于其它状态由定理4.9，因0i ?故i 也是遍历的11 设{1,2,...6}I =转移矩阵为00100000000100001013130130010*******12P =?试分解此链并指出各状态的常返性及周期性. 解：有题可知1111(3)()1,0,3n f f n ==≠所以11()113n n nfµ∞===∑可见1为正常返状态且周期等于3.含1的基本常返闭集为1{:1}{1,3,5}C k k =→=µ=,其周期为1,含6的基本常返闭集为2{:6}{2,6}C k k =→=可见2是遍历的. 由于(1)()44441,0,13n f f n ==≠故4⾮常返，周期为1，于是I 可分解为12{4}{1,3,5}{2,6}I D C C == 12 设不可分马⽒链的状态空间为{1,2,...6}C =,转移矩阵为0120120130010101000000100001000000140340P ??=?可知各状态的周期3d =.固定状态1i =令(3)01,(31)11,(32)21,{:00}{1,4,6}{:00}{3,5}{:00}{2}n j n jn jG j n p G j n p G j n p++=≥>==≥>==≥>=对某有对某有对某有故012{1,4,6}{3,5}{2}C G G G == 13 设马尔科夫链具有状态空间{0,1,...}I =,转移概率11,,(0)ii i ii i ii i p p p r p q i +-===≥,其中,0i i p q >1i i i p r q ++=.称这种马尔科夫链为⽣灭链,是不可约的，记0101...1,,1...j j jp p a a j q q -==≥试证此马⽒链存在平稳分布的充要条件为=<∞∑Proof:由题可知000111111,11j j j j j j j j j j r q p r q j p r q πππππππ--++?=+? =++≥??++=?于是有递推关系110011110j j j j j j j j q p q p q p ππππππ++---=-=-??解得11,0j j j j p j q ππ--=≥所以110001...j j j j jp p a q q ππππ--==== 对j 求和得001jj j j a ππ∞∞====∑∑由此可知平稳分存在的充要条件是jj a∞=<∞∑此时001,,1jj a j aπππ∞===≥∑14 设马⽒链的转移概率矩阵为(1) 12121323 (2) 112233000p q p q q p计算()()1112,,1,2,3n n f f n =解：(1) (1)(2)(3)(1)(2)(3)111111121213111111,,;,,269248f f f f f f ====== (2)(1)(2)(3)(1)(2)(3)2111111112312112111311,0,;,,f p f f q q q f q f p q f p q ====== 15 设马⽒链的转移矩阵为1112010.........00......000.....................q p P q p =??求它的平稳分布. 解：110011101...1,1,...1j j j kjj k k p p j pq q q πππ--∞==+=16 证明泊松过程{(),0}X t t ≥为连续时间齐次马⽒链 Proof:先证泊松过程具有马⽒性,再证齐次性,由泊松过程的定义知{(),0}X t t ≥识独⽴增量过程,且(0)0X =对任意110...n t t +<<<有111111111111{()|(),...,()}{()()|()(0),...,()()}{()()}n n n n n n n n n n n n n n n n P X t i X t i X t i P X t X t i i X t X i X t X t i i P X t X t i i ++++--++====-=--=-=-=-=-⼜因为1111{()|(),...,()}n n n n P X t i X t i X t i ++===1111{()()|()(0)}{()()}n n n n n n n n n n P X t X t i i X t X i P X t X t i i ++++=-=--==-=-所以111111{()|(),...,()}{()|()}n n n n n n n n P X t i X t i X t i P X t i X t i ++++=====即泊松过程是⼀个连续时间马⽒链；再证齐次性,当j i ≥时,由泊松过程定义,得{()|()}(){()()}()!j i tP X s t j X s i t P X s t X s j i ej i λλ--+===+-=-=- 当j i <时,由于过程的增量只取⾮负整数,故(,)0ij p s t =,所以(),(,)()()!0,j it ij ij t ej i p s t p t j i j i λλ--?≥?==-??即转移概率只与t 有关,泊松过程具有齐次性17 求poisson 过程的Q 及π解：poisson 过程(),0()()!0,j i tij t e j i p t j i λλ--?-≥?=-其它(1) 0,(0)lim (0)lim 1,0,tij j i p p e j i j i λ-?(2)由性质知()p t 关于t ⼀致连续lim ()t p t π→∞=（存在）(3) (0)limp IQ t,()!1()lim ,1()lim ()!0,1,ij ijij tj i t t j i tp t I q te t e t j i j i t e j i t e t t j i j i j i λλλλλλλλλ-------=-==? ?-?=??==+??=??-?>+由Q Q ππθ==得0...00...00...............Q λλλλλλ-??-?=-??-??,0π=18 M/M/s 排队系统.假设顾客按照参数为λ的泊松过程来到⼀个有s 个服务员的服务站,即相继到达顾客的时间间隔是均值为1λ的独⽴指数随机变量,每⼀个顾客⼀来到,如果有服务员空闲,则直接进⾏服务,否则此顾客加⼊排队⾏列.当⼀个服务员结束对⼀位顾客的服务时,顾客就离开服务系统,排队中的下⼀个顾客进⼊服务.假定相继的服务时间是独⽴的指数随机变量,均值为1µ.如果我们以()X t 记时刻t 系统中的⼈数,则{(),0}X t t ≥是⽣灭过程,1,n n n ss n s µµµ=≤≤??>?，,0n n λλ=≥ M/M/s 排队系统中M 表⽰马⽒过程,s 代表有s 个服务员.特别,在M/M/s 排队系统中,,n n λλµµ===,于是若1λµ<,则1()1,01()nnn n n n λµλλπλµµµ∞=??==-≥ ? ?????+∑ 要平稳分布存在, λ必须⼩于µ.λµ=的情况类似随机游动,它是常零返的,从⽽没有极限概率19 某修理店只有⼀个服务员,顾客按强度为4⼈每⼩时poisson 过程到达,服务员对每位顾客服务的时间是常数10的指数分布,问(1)修理店空闲的概率0β;(2)等候服务的顾客平均数解：(1) 010.6λβµ=-=； (2) 010101... 1.5n n L n λµβββλµ∞=-==++==∑20 讨论随机过程()X t Y =的各态历经性,其中Y 是⽅差不为零的随即变量.解：易知()X t Y =是平稳过程,事实上[()][]()X E X t E Y m ==常数，22(,)[][]()X X R t t E Y D Y m t τ-==+与⽆关但此过程不具有各态历经性，因为1()12TTT X t i mYdt Y T-→∞<>=??=?,Y 是⾮常数，不等于[()]E X t .所以()X t Y =的均值不具有各态历经性.类似可证其相关函数也不具有各态历经性.21 设随机过程()sin()cos()X t A t B t λλ=+，其中A B 、是均值为零、⽅差为2σ相互独⽴的正态随机变量.试问： (1) ()X t 的均值是否各态历经的？(2) ()X t 的均⽅值2[()]E X t 是否各态历经的？(3)若sin cos A B φφ=，,φ是π（0,2）上服从均匀分布的随机变量,此时2[()]E X t 是否各态历经的？解：(1) [()]=sin()cos()=0E X t EA t EB t λλ+()1()21=12cos()2sin()=1TTT T T T X t i mX t dtTi mB t dt T t i m B tλλλ-→∞→∞→∞<>=由于2(0,)B N σ ,故22222sin()sin ()lim 0lim 0T T t t E B EB t tλλλλ→∞→∞-== 即sin()t B tλλ均⽅收敛于0,故()X t 的均值是各态历经的 (2)222222[()][sin ()cos ()2sin()cos()]E X t E A t B t AB t t λλλλσ=++= 2222221()1()2sin 21()24T TT T X t i m X t dtT A B T i m B A Tλλ-→∞→∞<>=??+=+??-?类似(1)可证得22sin 21()04T T i mB A Tλλ→∞-=，故 222A B X t +<>=⼜2(0,)A N σ ,故222(1)A χσ,22()2A D σ=,242DA σ=222222222411[()]()2211[()]()024E A B EA EB D A B DA DB σσ+=+=+=+=≠因此()X t 的均⽅值2[()]E X t ⾮各态历经.(3) 将A B 、代于(2)中得222()[()]X t E X t σ<>== 故2[()]E X t 是各态历经的22 赌徒输光问题两赌徒甲、⼄进⾏⼀系列赌博.赌徒甲有a 元,赌徒⼄有b 元,每赌⼀局输者赢着⼀元钱,没有和局,直到两个⼈中有⼀个输光为⽌.设在每⼀局中,甲赢的概率为p,输的概率为q=1-p ，求甲输光的概率.解：设i u 表⽰甲从状态i 出发转移到0的概率,由于0和c 是吸收状态,故01,0c u u ==由全概率公式11i i i u pu qu +-=+,1,2,...,1i c =-由于1p q +=即有差分⽅程11(),1,2,...,1i i i i u u r u u i c +--=-=- 其中qr p=,其边界条件为01,0c u u ==Case1 当1r p q ===时，有 11i i i i u u u u +--=-解得1,1,2,...,1i i u i c c=-=- 令i a =求得甲输光的概率为1a a b u c a b=-=+ 故在p q =时赌本⼩的输光的可能性⼤同样⼄输光的概率为b a u a b =+ 由于1a b u u +=故必有⼀⼈要输光，赌博迟早要结束 Case2p q ≠时111()(1)1k cc c k i i i kr r u u r u u u r --=--=-=--∑ 令0k =由于0c u =故111(1)1cr u r-=--即11(1)1c r u r --=-所以,1,2,...11k ck cr r u k c r-==-- 令k a =得甲输光的概率1a ca cr r u r -=- 同样⼄输光的概率为1b cb cr r u r -=-由于1a b u u +=p q ≠时也必有⼀⼈要输光。
应用随机过程期末复习资料
第一章 随机过程的基本概念一、随机过程的定义例1：医院登记新生儿性别,0表示男,1表示女,X n 表示第n 次登记的数字,得到一个序列X 1 , X 2 , ···,记为{X n ,n=1,2, ···},则X n 是随机变量,而{X n ,n=1,2, ···}是随机过程; 例2：在地震预报中,若每半年统计一次发生在某区域的地震的最大震级;令X n 表示第n 次统计所得的值,则X n 是随机变量;为了预测该区域未来地震的强度,我们就要研究随机过程{X n ,n=1,2, ···}的统计规律性; 例3：一个醉汉在路上行走,以概率p 前进一步,以概率1-p 后退一步假设步长相同;以Xt 记他t 时刻在路上的位置,则{Xt, t ≥0}就是直线上的随机游动;例4：乘客到火车站买票,当所有售票窗口都在忙碌时,来到的乘客就要排队等候;乘客的到来和每个乘客所需的服务时间都是随机的,所以如果用Xt 表示t 时刻的队长,用Yt 表示t 时刻到来的顾客所需等待的时间,则{Xt, t ∈T}和{Yt, t ∈T}都是随机过程;定义：设给定参数集合T,若对每个t ∈T, Xt 是概率空间),,(P ℑΩ上的随机变量,则称{Xt, t ∈T}为随机过程,其中T 为指标集或参数集;E X t →Ω:)(ω,E 称为状态空间,即Xt 的所有可能状态构成的集合;例1：E 为{0,1} 例2：E 为0, 10例3：E 为},2,2,1,1,0{ -- 例4：E 都为),0[∞+注：1根据状态空间E 的不同,过程可分为连续状态和离散状态,例1,例3为离散状态,其他为连续状态;2参数集T 通常代表时间,当T 取R, R +, a,b 时,称{Xt, t ∈T}为连续参数的随机过程；当T 取Z, Z +时,称{Xt, t ∈T}为离散参数的随机过程;3例1为离散状态离散参数的随机过程,例2为连续状态离散参数的随机过程,例3为离散状态连续参数的随机过程,例4为连续状态连续参数的随机过程;二、有限维分布与Kolmogorov 定理随机过程的一维分布：})({),(x t X P x t F ≤= 随机过程的二维分布：T t t x t X x t X P x x F t t ∈≤≤=21221121,,},)(,)({),(21随机过程的n 维分布：T t t t x t X x t X x t X P x x x F n n n n t t t n ∈≤≤≤= ,,},)(,)(,)({),,(21221121,,211、有限维分布族：随机过程的所有一维分布,二维分布,…n 维分布等的全体}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 称为{Xt, t ∈T}的有限维分布族;2、有限维分布族的性质：1对称性：对1,2,…n 的任一排列),,(21n j j j ,有),,(),,(21,,,,212121n t t t j j j t t t x x x F x x x F n n nj j j=2相容性：对于m<n,有),(),,(1,1,,111m t t m t t t t x x F x x F m n m m =∞∞+3、Kolmogorov 定理定理：设分布函数族}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 满足上述的对称性和相容性,则必存在一个随机过程{Xt,t ∈T},使}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 恰好是{Xt, t ∈T}的有限维分布族;定义：设{Xt, t ∈T}是一随机过程：（1） 称Xt 的期望)]([)(t X E t X =μ如果存在为过程的均值函数;（2） 如果T t ∈∀,)]([2t X E 存在,则称随机过程{Xt, t ∈T}为二阶矩过程;此时,称函数))]()())(()([(),(221121t t X t t X E t t X X μμγ--=,T t t ∈21,为过程的协方差函数；称),()]([t t t X Var γ=为过程的方差函数；称T t s t X s X E t s R X ∈=,)],()([),(为自相关函数;例：)()(0b t a tV X t X ≤≤+=,其中0X 和V 是相互独立的且均服从N0,1分布的随机变量,求)(t X μ和),(21t t γ;三、随机过程的基本类型独立增量过程：如果对任意,,,,21T t t t n ∈⋅⋅⋅,21n t t t <⋅⋅⋅<<随机变量,)()(12⋅⋅⋅-t X t X)()(1--n n t X t X 是相互独立的,则称{Xt, t ∈T}是独立增量过程;平稳增量过程：如果对任意21,t t ,有Xt 1+h-Xt 1d Xt 2+h-Xt 2,则称{Xt, t ∈T}是平稳增量过程;平稳独立增量过程：兼有独立增量和平稳增量的过程称为平稳独立增量过程,例如Poisson 过程和Brownian motionPoisson 过程 2.1 Poisson 过程1. 计数过程定义：随机过程}0),({≥t t N 称为计数过程,如果)(t N 表示从0到t 时刻某一特定事件A 发生的次数,它具备以下两个特点： 10)(≥t N 且取值为整数；2t s <时,)()(t N s N ≤且)()(s N t N -表示],(t s 时间内事件A 发生的次数; 2. Poisson 过程定义2.1.1：计数过程}0),({≥t t N 称为参数为λ0>λ的Poisson 过程,如果1;0)0(=N2过程具有独立增量性；3在任一长度为t 的时间区间中事件发生的次数服从均值为t λ的Poisson 分布,即对一切0,0>≥t s ,有 () ,1,0,!))()((===-+-n n t en s N s t N P n tλλ注：Poisson 过程具有平稳增量性因为)()(s N s t N -+的分布只依赖于t, 与区间起点s 无关,,0=s 令() ,1,0,!)n )((===-n n t et N P n tλλt t EN t m λ==∴)()(于是可认为λ是单位时间内发生的事件的平均次数,一般称λ是Poisson 过程的强度; 例2.1.1：Poisson 过程在排队论中的应用研究随机服务系统中的排队现象时,经常用到Poisson 过程模型;例如：到达电话总机的呼叫数目,到达某服务设施商场、车站、购票处等的顾客数,都可以用Poisson 过程来描述;以某火车站售票处为例,设从早上8:00开始,此售票处连续售票,乘客以10人/小时的平均速率到达,则9:00-10:00这一小时内最多有5名乘客来此购票的概率是多少10:00-11:00没有人来买票的概率是多少解：我们用一个Poisson 过程来描述,设8:00为时刻0,则9:00为时刻1,参数10=λ,于是!10}5)1()2({510n eN N P n n ∑=-=≤-, 10010!010}0)2()3({--===-e e N N P 例2.1.2：事故发生次数及保险公司接到的索赔数若以)(t N 表示某公路交叉口、矿山、工厂等场所在],0(t 时间内发生不幸事故的数目,则Poisson 过程就是}0),({≥t t N 的一种很好近似;例如,保险公司接到赔偿请求的次数设一次事故导致一次索赔,向315台的投诉设商品出现质量问题为事故等都是可以用Poisson 过程的模型;我们考虑一种最简单的情形,设保险公司每次的赔付都是1,每月平均接到索赔要求4次,则一年中它要付出的金额平均为多少解：设一年开始时刻为0,1月末为时刻1,…年末为时刻12,则有124!)124(})0()12({⨯-⨯==-e n n N N P n∑∞=⨯-⨯⋅=-0124!)124()]0()12([n n e n n N N E =48问题：为什么实际中有这么多现象可以用Poisson 过程来反映呢{}{}{}).(2)(0h )iv ( );(1)(0h ,0)iii ( )ii ( ;0)()i ( 0),(2.1.2h o h N P h o h h N P t N Poisson t t N =≥↓+==↓>=≥时，当时，当存在过程有平稳独立增量过程，如果满足：称为：计数过程定义λλ定理2.1.1：定义1和定义2是等价的;例2.1.3：事件A 的发生形成强度为λ的Poisson 过程}0),({≥t t N ,如果每次事件发生时以概率p 能够被记录下来,并以Mt 表示到时刻t 被记录下来的事件总数,则}0),(M {≥t t 是一个强度为p λ的Poisson 过程;例2.1.4：若每条蚕的产卵数服从Poisson 分布,强度为λ,而每个卵变为成虫的概率为p,且每个卵是否变为成虫彼此间没有关系,求在时间0, t 内每条蚕养活k 只小蚕的概率;2.2 与Poisson 过程相联系的若干分布设n T 表示第n 次事件发生的时刻,n=1,2,…,规定00=T ;n X 表示第n 次与第n-1次事件发生的间隔时间,n=1,2,…; 1. 关于n X 和n T 的分布定理2.2.1：n X n=1,2,…服从参数为λ的指数分布,且相互独立; 定理2.2.2：n T n=1,2,…服从参数为n 和λ的Γ分布;注：如果每次事件发生的时间间隔,....,21X X 相互独立,且服从同一参数为λ的指数分布,则计数过程}0),({≥t t N 是参数为λ的Poisson 过程;例2.2.1：设从早上8:00开始有无穷多的人排队等候服务,只有一名服务员,且每个人接受服务的时间是独立的并服从均值为20min 的指数分布,则到中午12:00为止平均有多少人已经离去,已有9个人接受服务的概率是多少例2.2.2：假设某天文台观测到的流星流是一个Poisson 过程,根据以往资料统计为每小时平均观察到3颗流星;试求：上午8:00-12:00期间,该天文台没有观察到流星的概率;2. 事件发生时刻的条件分布 对于t s ≤,有ts t N s T P ==≤}1)(|{1 现在考虑2≥n 的情况：定理2.2.1：在已知n t N =)(的条件下,事件发生的n 个时刻,,21T T n T 的联合分布密度是nn t n t t t f !),,(21=, n t t t <<<210 例2.2.3：乘客按照强度为λ的Poisson 过程来到某火车站,火车在时刻t 启程,计算在],0(t 内到达的乘客等待时间的总和的期望值;即要求])([)(1∑=-t N i iT t E ,其中iT 是第i 个乘客来到的时刻;2.3 Poisson 过程的推广1. 非齐次Poisson 过程定义2.3.1：计数过程}0),({≥t t N 称作强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程,如果{}{}).(2)()t ()iv ( );()(1)()t ()iii ( }0),({)ii ( ;0)()i ( h o t N h N P h o h t t N h N P t t N t N ==≥-++==-+≥=λ具有独立增量等价定义：定义2.3.2：计数过程}0),({≥t t N 称作强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程,若1;0)0(=N2}0),({≥t t N 具有独立增量性； 3即任意实数0,0>≥s t ,)()(t N s t N -+为具有参数du u t m s t m st t⎰+=-+)()()(λ的Poisson 分布,称ds s t m t ⎰=0)()(λ为非齐次Poisson 过程的均值函数或累积强度函数;定理2.3.1：设}0),({≥t t N 是一个强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程;对任意的0≥t ,令)),(()(*1t m N t N -= 则)}(*{t N 是一个强度为1的Poisson 过程;例2.3.1：设某设备的使用期限为10年,在前5年内它平均2.5年需要维修一次,后5年平均2年需维修一次;试求它在试用期内只维修过一次的概率;2． 复合Poisson 过程定义2.3.3：称随机过程}0),({≥t t X 为复合Poisson 过程,如果对于0≥t ,它可以表示为：∑==)(1)(t N i iYt X ,其中}0),({≥t t N 是一个Poisson 过程,},2,1,{ =i Y i 是一族独立 同分布的随机变量,并且与}0),({≥t t N 独立;注：复合Poisson 过程不一定是计数过程;例2.3.2：保险公司接到的索赔次数服从一个Poisson 过程}0),({≥t t N ,每次要求赔付的金额i Y 都相互独立,且有相同分布F,每次的索赔数额与它发生的时刻无关,则],0[t 时间内保险公司需要赔付的总金额}0),({≥t t X 就是一个复合Poisson 过程,其中∑==)(1)(t N i iYt X ;例2.3.3：设顾客到达某服务系统的时刻 ,,21S S ,形成一强度为λ的Poisson 过程,在每个时刻),2,1( =n S n ,可以同时有多名顾客到达;n Y 表示在时刻n S 到达的顾客人数,假定),2,1( =n Y n 相互独立,并且与{n S }也独立,则在],0[t 时间内到达服务系统的顾客总人数可用一复合Poisson 过程来描述;例2.3.4：假定顾客按照参数为λ的Poisson 过程进人一个商店,又假设各顾客所花的钱数形成一族独立同分布的随机变量;以)(t X 记到时间t 为止顾客在此商店所花费的总值,易见}0),({≥t t X 是一个复合Poisson 过程;定理2.3.2：设{∑==)(1)(t N i iYt X ,0≥t }是一复合Poisson 过程,Poisson 过程}0),({≥t t N 的强度为λ,则1)(t X 有独立增量；2若+∞<][2i Y E ,则 ][)]([1Y tE t X E λ=,][)]([21Y tE t X Var λ=例2.3.5：在保险中的索赔模型中,设索赔要求以Poisson 过程到达保险公司,速率为平均每月两次;每次索赔服从均值为10000元的正态分布,则一年中保险公司平均的赔付额是多少例2.3.6：设顾客以每分钟6人的平均速率进入某商场,这一过程可用用Poisson 过程来描述;又该进入该商场的每位顾客买东西的概率为0.9,且每位顾客是否买东西互不影响,也与进入该商场的顾客数无关;求一天12小时在该商场买东西的顾客数的均值;3．条件Poisson 过程定义 2.3.4：设随机变量0>Λ,在λ=Λ的条件下,计数过程}0),({≥t t N 是参数为λ的Poisson 过程,则称}0),({≥t t N 为条件Poisson 过程;定理2.3.3：设}0),({≥t t N 是条件Poisson 过程,且∞<Λ][2E ,则 1][)]([Λ=tE t N E ；2][][)]([2Λ+Λ=tE Var t t N Var例2.3.7：设意外事故的发生频率受某种未知因素影响有两种可能21,λλ,且,)(1p P ==Λλq p P =-==Λ1)(2λ,10<<p 为已知;已知到时刻t 已发生了n 次事故;求下一次事故在t+s 之前不会到来的概率;另外,这个发生频率为1λ的概率是多少第三章 Markov 链3.1 基本概念定义3.1.1：随机过程}2,1,0,{ =n X n 称为Markov 链,若它只取有限或可列个值常用非负整数集{ 2,1,0}来表示,并且对任意的0≥n ,及任意状态110,,,,-n i i i j i ,有},,,|{11001i X i X i X j X P n n n n ====--+ =}|{1i X j X P n n ==+,其中i X n =表示过程在时刻n 处于状态i ,称{ 2,1,0}为该过程的状态空间,记为E . 上式刻画了Markov 链的特性,称为Markov 性;定义3.1.2：称条件概率}|{1i X j X P n n ==+为Markov 链}2,1,0,{ =n X n 的一步转移概率,简称转移概率,记为ij p ,它代表处于状态i 的过程下一步转移到状态j 的概率; 定义3.1.3：当Markov 链的转移概率ij p =}|{1i X j X P n n ==+只与状态j i ,有关,而与n 无关时,称之为时齐Markov 链；否则,就称之为非时齐的;注：我们只讨论时齐Markov 链,简称Markov 链;定义3.1.4：当Markov 链的状态为有限时,称为有限链,否则称为无限连;但无论状态有限还是无限,我们都可以将ij p E j i ∈,排成一个矩阵的形式,令P=ij p =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡222120121110020100p p p p p p p p p 为转移概率矩阵,简称转移矩阵;容易看出ij p E j i ∈,具有性质：10≥ij p ,E j i ∈,； 2∑∈Ej ijp=1,E i ∈∀;例3.1.1：考虑一个包含三个状态的模型,若个体健康,认为他处于状态1S ,若他患病,认为他处于状态2S ,若他死亡,认为他处于状态3S ,易见这是一个Markov 链,转移矩阵为P=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡10232221131211p p p p p p例3.1.2：赌徒的破产或称带吸收壁的随机游动系统的状态时n ~0,反映赌博者在赌博期间拥有的钱数,当他输光或拥有钱数为n 时,赌博停止,否则他将持续赌博;每次以概率p 赢得1,以概率q=1-p 输掉1;这个系统的转移矩阵为P=⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡100000000000000000000001 p q p q例3.1.3：带反射壁的随机游动设上例中当赌博者输光时将获得赞助1继续赌下去,就如同一个在直线上做随机游动的球在到达左侧0点处立刻反弹回一样,这就是一个一侧带有反射壁的随机游动,此时转移矩阵为：P=⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡100000000000000000000010 p q p q例3.1.4：自由随机游动设一个球在全直线上做无限制的随机游动,它的状态为0, ,2,1±±,它是一个Markov 链,转移矩阵为：P=⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡p q p q p q p q 000000000000000000000000练习：设有一只蚂蚁在图上爬行,当两个节点相邻时,蚂蚁将爬向它邻近的一点,并且爬向任何一个邻近节点的概率是相同的,求转移矩阵;2． n 步转移概率, C-K 方程定义 3.1.5：称条件概率}|{)(i X j X P p m n m n ij===+,1,0;,≥≥∈n m E j i 为Markov链的n 步转移概率,相应地称)()()(n ij n p P =为n 步转移矩阵;规定：⎩⎨⎧=≠=j i ji p ij 10)0( 问题：)(n ijp 和ij p 是什么关系定理3.1.1：Chapman-Kolmogorov 方程,简称C-K 方程 对一切E j i n ∈≥,,0m ,有1)()()(n kjm Ek ikn m ijp p p ∑∈+=2n n n n P P P P P P P ==⋅⋅=⋅=-- )2()1()( 证明：例3.1.5：赌徒的破产或称带吸收壁的随机游动系统的状态时n ~0,反映赌博者在赌博期间拥有的钱数,当他输光或拥有钱数为n 时,赌博停止,否则他将持续赌博;每次以概率p 赢得1,以概率q=1-p 输掉1;设21,3===q p n ,赌博者从2元赌金开始赌博,求他经过4次赌博之后输光的概率;例 3.1.6：甲乙两人进行某种比赛,设每局甲胜的概率是p;乙胜的概率是q,和局的概率是r,1r q p =++;设每局比赛后,胜者记“+1”分,负者记“-1”分,和局不计分,且当两人中有一人获得2分时比赛结束;以n X 表示比赛至第n 局时甲获得的分数,则},2,1,0,{ =n X n 为时齐Markov 链,求甲获得1分的情况下,不超过两局可结束比赛的概率;例3.1.7：质点在数轴上的点集}2,1,0,1,2{--上做随机游动,质点到达点-2后,以概率1停留在原处；到达点2后,以概率1向左移动一点；到达其他点后,分别以概率31向左、右移动一点,以概率31停留在原处;试求在已知该质点处于状态0的条件下,经3步转移后仍处于状态0的概率;例3.1.8：广告效益的推算某种啤酒A 的广告改变了广告方式,经调查发现买A 种啤酒及另外三种啤酒B, C,D 的顾客每两个月的平均转换率如下设市场中只有这四种啤酒：)50.0()10.0()20.0()20.0()00.0()70.0()10.0()20.0()04.0()06.0()60.0()30.0()01.0()02.0()02.0()95.0(D C B A D D C B A C D C B A B D C B A A →→→→假设目前购买A,B, C,D 四种啤酒的顾客的分布为25%,30%,35%,10%,试求半年后啤酒A 的市场份额;3.2 状态的分类及性质定义3.2.1：若存在0≥n 使得0)(>n ij p ,称状态i 可达状态),(E j i j ∈,记为j i →;若同时有i j →,则称i 与j 互通,记为j i ↔;定理3.2.1：互通是一种等价关系,即满足： （1） 自反性：i i ↔； （2） 对称性：j i ↔,则i j ↔ （3） 传递性：j i ↔,k j ↔,则k i ↔ 证明：定义3.2.2：把任何两个互通状态归为一类,若Markov 链只存在一个类,就称它是不可约的；否则称为可约的;例3.2.1：在例3.1.1中考三个状态：健康状态1S ,患病状态2S ,死亡状态3S ,可分为几个类定义3.2.3：若集合}0,1:{)(>≥n iip n n 非空,则称它的最大公约数)(i d d =为状态i 的周期;若1>d ,称i 是周期的;若1=d ,称i 是非周期的;规定,上述集合为空集时,称i 的周期为无穷大;注：1虽然i 有周期d 但并不是对所有的n,)(nd ii p 都大于0;请举出反例：2虽然i 有周期d 但可能0)(=d iip ,举出反例：定理3.2.2：若状态j i ,同属一类,则)()(j d i d =; 证明：定义3.2.4：对于任何状态j i ,,以)(n ijf 记从i 出发经n 步后首次到达j 的概率,则有1},|1,2,1,,{0)()0(≥=-=≠===n i X n k j X j X P f f k n n ijijij δ令∑∞==1)(n n ijij f f ,如果1=jj f ,称状态j 为常返状态；如果1<jj f ,称状态j 为非常返状态;问题：ij f 的含义是什么定义3.2.4：1对于常返状态i ,定义∑==1)(n n ii i nfμ,可以知道i μ表示的是由i 出发再返回到i 所需的平均步数时间;2对于常返状态i ,若+∞<i μ,则称i 为正常返状态；若+∞=i μ,则称i 为零常返状态;3若i 为正常返状态,且是非周期的,则称之为遍历状态;若i 是遍历状态,且1)1(=ii f ,则称i 为吸收状态,此时显然1=i μ;例3.2.3：设Markov 链的状态空间为}4,3,2,1{=E ,其一步转移概率矩阵为：⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=0210210323100001002121P 试将状态进行分类;定理3.2.3：状态i 为常返的当且仅当∞=∑=0)(n n iip；状态i 为非常返状态时,有iin n ii f p -=∑∞=11)(;引理3.2.1：对任意状态j i ,及+∞<≤n 1,有)(1)()(l n jj l l ij n ijp f p-∞=∑=;引理3.2.2：若j i ↔且i 为常返状态,则1=ji f ;定理3.2.4：常返性是一个类性质;例3.2.4：设Markov 链的状态空间为},2,1,0{ =E ,转移概率为E i p p p i i i ∈===+,21,21,2101,00,考虑各个状态的性质;3.3 极限定理与平稳分布3.3.1 极限定理例3.3.1 ： 设Markov 链的转移矩阵为⎥⎦⎤⎢⎣⎡--=q q p pP 11,0<p,q<1 试求： )(lim n n P∞→例3.3.2：在例3.2.5中令p =31,求)2(00lim n n P ∞→ 若令p =21 ,求)2(00lim n n P ∞→定理3.3.1：1若状态i 是周期为d 的常返状态,则 0,lim )(=∞==∞→ii ind iin ddP μμμ时，当,2若状态i 是非常返状态时,则0lim )(=∞→n iin P推论3.3.1：设i 是常返状态,则i 是零常返状态⇔ 0lim )(=∞→n iin P定理3.3.2：1若j 是非常返状态或零常返状态,则对0lim )(=∈∀∞→n ijn P E i 有2若j 为正常返状态且周期为d,则,lim ,,)(jnd iin dP E i j i μ=∈↔∀∞→有推论3.3.2： 对E j i ∈∀,, 有⎪⎩⎪⎨⎧=∑=∞→为正常返状态状态为非常返状态或零常返j d j P n jnk k ij n μ01lim1)(推论3.3.3：有限状态的Markov 链,不可能全为非常返状态,也不可能有零常返状态,从而不可约的有限Markov 链是正常返的;推论3.3.4：若Markov 链有一个零常返状态,则必有无限个零常返状态;例3.3.3：设Markov 链的状态空间为E ={1, 2 ,3,4, 5},转移矩阵为⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=21021210210002100210001000001P试确定常返状态,非常返状态,并对常返状态i 确定其平均回转时间i μ;3.3.2 平稳分布与极限分布定义3.3.1：对于Markov 链,概率分布{}E j p j ∈,称为平稳分布,若∑∈=Ei ji ij pp p ,问题：为什么称之为平稳分布定义3.3.2：1称Markov 链是遍历的,如果所有状态相通且均是周期为1的正常返状态; 2对于遍历的Markov 链,极限E j P E i j n ijn ∈=∈∀∞→,lim )(π有 称为Markov 链的极限分布;注：j jμπ1=定理3.3.3 对于不可约非周期的Markov 链： 1若它是遍历的,则)(,0lim )(E j P n ijn j ∈>=∞→π是平稳分布且是唯一的平稳分布;2若状态都是非常返的或全为零常返的,则平稳分布不存在;例3.3.4：设Markov 链的转移矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=5.05.005.005.005.05.0P 求极限分布;例3.3.5：设有6个车站,车站中间的公路连接情况如下图所示：汽车每天可以从一个车站驶向与之直接相邻的车站,并在夜晚到达车站留宿,次日凌晨重复相同的活动;设每天凌晨汽车开往邻近的任何一个车站都是等可能的,试说明很长时间后,各站每晚留宿的汽车比例趋于稳定;求出这个比例以便正确地设置各站的服务规模;例3.3.6 设甲袋中有k 个白球和1个黑球,乙袋中有k+1个白球,每次从两袋中各任取一球,交换后放入对方的袋中;证明经过n 次交换后,黑球仍在甲袋中的概率n P 满足21lim =∞→n n P例3.3.7 我国某种商品在国外的销售情况共有连续24个季度的数据其中1表示畅销,2表示滞销：1,1,2,1, 2,2,1,1,1,2,1,2,1,1,2,2,1,1,2,1,2,1,1,1 如果该商品销售情况近似满足时齐次与Markov 性： （1） 试确定销售状态的一步转移概率矩阵;（2） 如果现在是畅销,试预测这之后的第四个季度的销售状况; （3） 如果影响销售的所有因素不变,试预测长期的销售状况;3.4 Markov 链的应用群体消失模型分枝过程：考虑一个能产生同类后代的个体组成的群体,每一个体生命结束时以概率)2,1,0( =j p j 产生了j 个新的后代,与别的个体产生的后代的个数相互独立;初始个体数以0X 表示,称为第零代的总数；第零代的后代构成第一代,其总数记为1X ,第一代的每个个体以同样的分布产生第二代,……,一般地,以n X 记第n 代的总数;此Markov 链{} 2,1,0,1==n X n称为分枝过程;假设10=X ,则有∑∞=-=1,1i in n ZX其中i n Z ,1-表示第n-1代的第i 个成员的后代的个数; 考虑以下几个问题：1[]=n X E 2∑∞==0i iipμ 的意义3}{0群体消亡P =π定理3.4.1： 11,1000≤⇔=<<μπ则设p3.5连续时间Markov 链3.5.1 连续时间Markov 链定义 3.5.1：过程}0),({≥t t X 的状态空间E 为离散空间,若对一切0,≥t s 及E j i ∈,有})(|)({}0),()(,)(|)({i s X j s t X P s u u x u X i s X j s t X P ==+=<≤===+成立,则称}0),({≥t t X 是一个连续时间Markov 链;转移概率 })(|)({),(i s X j s t X P t s p ij ==+= 转移概率矩阵 ()),(),(t s p t s P ij =定义3.5.2：称连续时间Markov 链是时齐的,若),(t s p ij 与s 无关;简记)(),(t p t s p ij ij =,相应地记 ())()(t p t P ij =定理3.5.1：设}0),({≥t t X 是连续时间Markov 链,假定在时刻0过程刚刚到达)(E i i ∈;以i τ记过程在离开i 之前在i 停留的时间,则i τ服从指数分布;说明：构造连续时间Markov 链的方法1在转移到下一个状态之前处于状态i 的时间服从参数为i μ的指数分布; 2在过程离开状态i 时,将以概率ij p 到达j,且1=∑∈Ej ijp定义3.5.3 称一个连续时间Markov 链是正则的,若以概率1在任意有限长的时间内转移的次数是有限的;例3.5.1Poisson 过程参数为λ的Poisson 过程}0),({≥t t N ,取值为},2,1,0{⋅⋅⋅;由第2章可知,它在任意一个状态i 停留的时间服从指数分布,并且在离开i 时以概率1转移到i+1,由Poisson 过程的独立增量性看出它在i 停留的时间与状态的转移是独立的,从而Poisson 过程是时齐的连续时间Markov 链;例3.5.2Yule 过程考察生物群体繁殖过程的模型;设群体中各个生物体的繁殖是相互独立的,强度为λ的Poisson 过程,并且群体中没有死亡,此过程称为Yule 过程,此过程是一个连续时间Markov 链;例3.5.3生灭过程仍然考虑一个生物群体的繁殖模型;每个个体生育后代如例3.5.2的假定,但是每个个体将以指数速率μ死亡,这是一个生灭过程;例3.5.4M/M/S 排队系统顾客的来到是参数为λ的Poisson 过程;服务人员数为s 个,每个顾客接受服务的时间服从参数为μ的指数分布;遵循先来先服务,若服务员没有空闲时间就排队的原则;以)(t X 记t 时刻系统中的总人数,则}0),({≥t t X 是一个生灭过程来到看作出生,离去看作死亡,来到率是服从参数为λ的Poisson 过程,离去过程的参数会发生变化,以n μ记系统中有n 个顾客时的离去率,则sn sn s n n ><≤⎩⎨⎧=1μμμ3.5.2 Kolmogorov 微分方程定理3.5.2：时齐连续时间Markov 链的转移概率)(t p ij 满足：10)(≥t p ij 2∑∈=Ej ijt p1)(3 ∑∈=+Ek kj ikij s p t ps t p )()()( — 连续时间Markov 链的C-K 方程;证明 ：定理3.5.3 +∞≤=-→ii ii t q tt p )(1lim)1(0+∞<=→ij ij t q tt p )(lim)2(0推论3.5.1：对有限状态时齐的连续时间Markov 链,有+∞<=∑≠ij ijii qq注：对于无限状态的情况,一般只能得到 ∑≠≥ij ijii qq定理3.5.4 kolmogorov 微分方程对一切 0,,≥∈t E j i 且+∞<=∑≠ii ij ijq q,有1向后方程)()()('t p q t p qt p ij ii ik kj ikij -=∑≠2在适当的正则条件下,有向前方程)()()(t p q t p qt p ij jj ik ik kjij-='∑≠例3.5.5：讨论Poisson 过程的微分方程及转移概率;例3.5.6：类似Poisson 过程,给出Yule 过程}0),({≥t t X 的转移概率;例3.5.7：讨论生灭过程的微分方程;第三章练习题1、设今日有雨明日也有雨的概率为0.7,今日无雨明日有雨的概率为0.5;求星期一有雨,星期三也有雨的概率;2、设Markov 链的状态空间为E={1,2,3,4,5,6},其一步转移概率矩阵为⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=012100210000010004141041410002102100021210P 试确定状态的周期,常返性,并给此Markov 链分类;3、若1,1<<jj ii f f ,证明：1∑∞=+∞<1)(n n ijp2∑∑∞=∞=+=1)(1)(1n n jj n n ijij p pf4、 将两个红球、四个白球分别放入甲乙两个盒子中;每次从两个盒子中各取一球交换,以n X 记第n 次交换后甲盒中的红球数;1试说明},1,0,{⋅⋅⋅=n X n 是一个Markov 链并求转移矩阵P 2试证明},1,0,{⋅⋅⋅=n X n 是遍历的; 3求它的极限分布;5、对于Yule 过程计算群体总数从1增长到N 的平均时间;6、考虑有两个状态的连续时间Markov 链,状态为0和1,链在离开0到达1之前在状态0停留的时间服从参数为λ的指数分布,相应地在1停留的时间是参数为μ的指数变量;对此建立kolmogorov 微分方程,并求其解;第四章 更新过程4.1 更新过程的定义及若干分布4.1.1 更新过程的定义事件发生的时间间隔21,X X ···是独立同分布的非负随机变量,这样得到的计数过程}0),({≥t t N 叫做更新过程,其数学表达式如下：定义4.1.1：设{n X ,n=1,2,···}是一列独立同分布的非负随机变量,分布函数为Fx ﹙设F0=P{X n =0}≠1,记][n X E =μ=⎰∞)(x xdF ,则0＜μ≤+∞﹚;令∑==ni i n X T 1,n ≥1,T 0=0;我们把由}:sup{)(t T n t N n ≤=定义的计数过程称为更新过程;例子：机器零件的更换;在时刻0,安装上一个新零件并开始运行,设此零件在T 1时刻损坏,马上用一个新的来替换假设替换不需要时间,则第二个零件在T 1时刻开始运行,设它在T 2时刻损坏,同样马上换第三个······,很自然可以认为这些零件的使用寿命是独立同分布的,那么到t 时刻为止所更换的零件数目就构成一个更新过程;说明：1在更新过程中事件发生一次叫做一次更新,X n 表示第n-1次和第n 次更新的间隔时间,T n 是第n 次更新发生的时刻,Nt 就是t 时刻之前发生的总的更新次数;2Poisson 过程是更新过程;4.1.2 Nt 的分布及ENt 的一些性质问题一：在有限时间0,t 内是否会发生无穷多次更新,即Nt= ∞问题二：求Nt 的分布 P{Nt=n}问题三：以Mt记ENt,求MtMt叫做更新函数;注：Mt是t的不减函数,且对0≤t＜∞,Mt＜+∞,j=1,2···},在每个时刻独立地做Bernoulli 例4.1.1：考虑一个时间离散的更新过程{Nj试验,设成功的概率为p,失败的概率为q=1-p;以试验成功作为事件更新,求此过程的更新函数Mk;4.2 更新方程定义 4.2.1： 若)(t M 的导数存在,则其导数)(t M '称为更新密度,记为)(t m ;由)(t M =∑∞=1)(n nt F 知 mt=∑∞='1))((n nt F =∑∞=1)(n nt f;其中)(t f n 是)(t F n 的密度函数; 定理4.2.1：)(t M 和)(t m 分别满足积分方程 ⎰-+=ts dF s t M t F t M 0)()()()(⎰-+=t ds s f s t m t f t m 0)()()()(其中)()(t F t f '=;定义4.2.2: 更新方程称如下形式的积分方程为更新方程 ⎰-+=ts dF s t K t H t K 0)()()()(其中)(),(t F t H 为已知,)(t F 为分布函数,且当t 〈0时,)(),(t F t H 均为0; 定理4.2.2：设更新方程中)(t H 为有界函数,则方程存在唯一的在有限区间内有界的解 ⎰-+=ts dM s t H t H t K 0)()()()(其中)(t M 是)(t F 的更新函数;例4.2.1：Wald 等式设∞<][i X E i=1,2···,证明：]1)([][][][11)(211)(+=+++=++t N E X E X X X E T E t N t N4.3 更新定理定理4.3.1 Feller 初等更新定理记][n X E =μ,则)(1)(∞→→t t t M μ;若01,=∞=μμ;定义4.3.1格点分布：若存在0≥d ,使得∑∞===01}{n nd X P ,则称随机变量X 服从格点分布;同时称满足上述条件的最大的d 为此格点分布的周期;定理4.3.2 Blackwell 更新定理 记][n X E =μ(1) 若F 不是格点分布,则对一切0≥a ,当∞→t 时,有μat M a t M →-+)()(;(2) 若F 是格点分布,周期为d ,则当∞→n 时,有μdnd P →}{处发生更新在;定理4.3.3 关键更新定理记][n X E =μ,设函数),0[),(∞∈t t h 满足：1)(t h 非负不增；2⎰∞)(dt t h ＜∞; )(t H 是更新方程⎰-+=tx dF x t H t h t H 0)()()()(的解,那么(1) 若F 不是格点分布,有⎪⎩⎪⎨⎧∞=∞<=⎰∞∞→μμμ0)(1)(lim 0dxx h t H t(2) 若F 是格点分布,对于d c <≤0,有⎪⎩⎪⎨⎧∞=∞<+=+∑∞=∞→μμμ0)()(lim 1n n nd c h d nd c H例4.3.1：某控制器用1节电池供电,设电池寿命i X i =1,2,……服从均值为45小时的正态分布,电池失效时需要去仓库领取,领取新电池的时间i Y i =1,2,……服从期望为0.5小时的均匀分布;求长时间工作时,控制器更换电池的速率;。
最终版随机过程总复习汇总.ppt
分析 先求 X (t) 的概率分布
整理
解 对每一个确定的时刻 t， X (t) 的概率分布为
t
X (t) 3
t
e
2
1
P
3
3
所以
F(t1；x1 ) P( X(t1) x1)
0,
2, 3 1，
t x1 3
t 3
x1
et
x1 et
整理
随机过程的数字特征
1．均值函数 X (t) E[X (t)]
计算协方差时通常用下列关系式：
C ov( X ,Y ) E(XY ) E(X )E(Y )
整理
三、矩母函数
1．定义 称 e tX的数学期望 (t) E[etX ]
为X的矩母函数
2．原点矩 利用矩母函数可求得X的各阶矩，即对
的求法
(t)逐次求导并计算在 t 0 点的值：
(t) E[XetX ] （n)(t) E[X netX ]
Y X1 X2 Xr 的特征函数为
Y (t) 1(t ) 2 (t ) … r (t )
两个相互独立的随机变量之和的特征函数等于它 们的特征函数之积.
整理
练习:设随机变量X的概率密度函数为
p(
x)
1 2
x
0 x2
0 其 它
试求X的矩母函数。
解： (t ) E[etX ] 2 etx 1 xdx
Y (t) E[Ut2] t 2E[U] 所以 X (t) 和Y (t) 的互协方差函数
XY (t1 , t2 ) E{[X(t1) t1E(U)][Y(t2 ) t22E(U)]}
t1t22E[(U E(U))2] t1t22D(U ) 3t1t22
应用随机过程学习总结（小编整理）
应用随机过程学习总结（小编整理）第一篇：应用随机过程学习总结应用随机过程学习总结一、预备知识：概率论随机过程属于概率论的动态部分，即随机变量随时间不断发展变化的过程，它以概率论作为主要的基础知识。
1、概率空间方面，主要掌握sigma代数和可测空间，在随机过程中由总体样本空间所构成的集合族。
符号解释：sup表示上确界，inf 表示下确界。
本帖隐藏的内容2、数字特征、矩母函数与特征函数：随机变量完全由其概率分布来描述。
其中由于概率分布较难确定，因此通常计算随机变量的数字特征来估算分布总体，而矩母函数和特征函数便用于随机变量的N阶矩计算，同时唯一的决定概率分布。
3、独立性和条件期望：独立随机变量和的分布通常由卷积来表示，对于同为分布函数的两个函数，卷积可以交换顺序，同时满足结合律和分配率。
条件期望中，最重要的是理解并记忆E(X)= E[E(X|Y)] = intergral(E(X|Y=y))dFY(y)。
二、随机过程基本概念和类型随机过程是概率空间上的一族随机变量。
因为研究随机过程主要是研究其统计规律性，由Kolmogorov定理可知，随机过程的有限维分布族是随机过程概率特征的完整描述。
同样，随机过程的有限维分布也通过某些数值特征来描述。
1、平稳过程，通常研究宽平稳过程：如果X(t1)和X(t2)的自协方差函数r(t1,t2)=r(0,t-s)均成立，即随机过程X(t)的协方差函数r(t,s)只与时间差t-s有关，r(t)= r(-t)记为宽平稳随机过程。
因为一条随机序列仅仅是随机过程的一次观察，那么遍历性问题便是希望将随即过程的均值和自协方差从这一条样本路径中估计出来，因此宽平稳序列只需满足其均值遍历性原理和协方差遍历性原理即可。
2、独立增量过程：若X[Tn]–X[T(n-1)]对任意n均相互独立，则称X(t)是独立增量过程。
若独立增量过程的特征函数具有可乘性，则其必为平稳增量过程。
兼有独立增量和平稳增量的过程称为平稳独立增量过程，其均值函数一定是时间t的线性函数。
(完整版)答案应用随机过程a
山东财政学院2009—2010学年第 1 学期期末考试《应用随机过程》试卷(A )（考试时间为120分钟）参考答案及评分标准考试方式： 闭卷 开课学院 统计与数理学院 使用年级 07级 出题教师 张辉一． 判断题（每小题2分，共10分，正确划√，错误划ⅹ）1. 严平稳过程一定是宽平稳过程。
（ⅹ ）2. 非周期的正常返态是遍历态。
（√ ）3. 若马氏链的一步转移概率阵有零元，则可断定该马氏链不是遍历的。
（ⅹ ）4. 有限马尔科夫链没有零常返态。
（√ ）5．若状态i 有周期d, 则对任意1≥n , 一定有：0)(〉nd iip 。
（ⅹ ）二． 填空题（每小题5分，共10分） 1. 在保险公司的索赔模型中，设索赔要求以平均每月两次的速率的泊松过程到达保险公司，若每次赔付金额是均值为10000元的正态分布，一年中保险公司的平均赔付金额是＿＿240000元＿＿＿。
2．若一个矩阵是随机阵，则其元素满足的条件是：（1）任意元素非负（2）每行元素之和为1。
三． 简答题（每小题5分，共10分）1． 简述马氏链的遍历性。
答：设)(n ij p 是齐次马氏链{}1,≥n X n 的n 步转移概率，，如果对任意 I j i ∈,存在不依赖于i 的极限0)(〉=j n ij p p ，则称齐次马氏链{}1,≥n X n 具有遍历性。
2． 非齐次泊松过程与齐次泊松过程有何不同？答：非齐次泊松过程与齐次泊松过程的不同在于：强度λ不再是常数，而是与t 有关，也就是说，不再具有平稳增量性。
它反映了其变化与时间相关的过程。
如设备的故障率与使用年限有关，放射物质的衰变速度与衰败时间有关，等等。
四． 计算、证明题（共70分）1. 请写出C —K 方程，并证明之. （10分）解：2. 写出复合泊松过程的定义并推算其均值公式. （15分）解：若{}0),(≥t t N 是一个泊松过程，是Λ,2,1,=i Y i 一族独立同分布的随机变量，并且与{}0),(≥t t X 也是独立的， )(t X =∑=t N i i Y1，那么{}0),(≥t t X 复合泊松过程3. 顾客以泊松过程到达某商店，速率为小时人4=λ，已知商店上午9：00开门，求到9：30时仅到一位顾客，而到11：30时总计已达5位顾客的概率。
随机过程复习题
随机过程复习题一、随机过程的数字特征及平稳性1、设随机过程Z (t ) =X sin t +Y cos t ，其中X 和Y 是相互独立的随机变量，它们都分别以2/3和1/3的概率取值-1和2，讨论Z(t)的平稳性。
2、设随机过程()Xt e t -=ξ （t >0），其中随机变量X 具有在区间（0，T ）中的均匀分布。
试求随机过程ξ（t ）的数学期望和自相关函数。
3、有随机过程{ξ(t )，-∞<t <∞}和{η(t )，-∞<t <∞}，设ξ(t )=A sin(ω t +Θ)，η(t )=B sin(ω t +Θ+φ), 其中A ，B ，ω，φ为实常数，Θ均匀分布于[0，2π]，试求R ξη(s ,t )4、设有随机过程{ξ(t )，-∞<t <∞}，ξ(t )=η cos t , 其中η为均匀分布于（0，1）间的随机变量，即()()112311212(a)=cos cos (b)C =cos cos 1212R t ,t t t t ,t t t ξξξξ试证：5、随机过程ξ(t )=sin(Ut )，其中U 是在[0，2π]上均匀分布的随机变量。
若t ∈T , 而T =[0，∞）, 试分析ξ（t ）的平稳性。
6、随机过程()()0=cos +t A t ξωθ；式中：A 、ω0是实常数；θ是具有均匀分布的随机变量：()2(0=20(f πθθπ⎧≤≤⎪⎨⎪⎩其他） 分析ξ(t )的平稳性。
7、随机过程ξ(t )=A cos(ωt +Φ )，-∞<t <+∞，其中A, ω,Φ 是相互统计独立的随机变量，E A =2, D A =4, ω 是在[-5, 5]上均匀分布的随机变量，Φ 是在[-π，π]上均匀分布的随机变量。
试分析ξ(t)的平稳性和各态历经性。
8、设(){}+∞<<∞-t t X ,的均值函数为m X (t )，协方差函数为C X (t )，而ϕ(t )是一个普通函数，令()()()t t X t Y ϕ+=，+∞<<∞-t ，试求(){}+∞<<∞-t t Y ,的均值函数和协方差函数。
随机过程例题和知识点总结
随机过程例题和知识点总结随机过程是研究随机现象随时间演变的数学理论，在通信、金融、物理等众多领域都有广泛的应用。
接下来，我们通过一些例题来深入理解随机过程的相关知识点。
一、随机过程的基本概念随机过程可以看作是一族随机变量的集合，其中每个随机变量对应于一个特定的时间点。
例如，考虑一个在时间段0, T内的股票价格变化过程，对于每个时刻 t∈0, T，股票价格就是一个随机变量。
知识点 1：随机过程的分类随机过程可以分为离散时间随机过程和连续时间随机过程。
离散时间随机过程的时间参数是离散的，比如每天的股票收盘价；连续时间随机过程的时间参数是连续的，比如股票价格在任意时刻的取值。
知识点 2：随机过程的概率分布描述随机过程在不同时刻的概率分布是研究随机过程的重要内容。
对于离散随机过程，常用概率质量函数；对于连续随机过程，常用概率密度函数。
例题 1假设一个离散时间随机过程{Xn}，n ＝ 0, 1, 2, ，其中 Xn 取值为 0 或 1，且 P(Xn ＝ 0) ＝ 06，P(Xn ＝ 1) ＝ 04，求 X0 和 X1 的联合概率分布。
解：X0 和 X1 的可能取值组合有(0, 0)、（0, 1)、（1, 0)、（1, 1)。
P(X0 ＝ 0, X1 ＝ 0) ＝ P(X0 ＝ 0) × P(X1 ＝ 0) ＝ 06 × 06 ＝ 036P(X0 ＝ 0, X1 ＝ 1) ＝ P(X0 ＝ 0) × P(X1 ＝ 1) ＝ 06 × 04 ＝ 024P(X0 ＝ 1, X1 ＝ 0) ＝ P(X0 ＝ 1) × P(X1 ＝ 0) ＝ 04 × 06 ＝ 024P(X0 ＝ 1, X1 ＝ 1) ＝ P(X0 ＝ 1) × P(X1 ＝ 1) ＝ 04 × 04 ＝ 016二、随机过程的数字特征数字特征可以帮助我们更简洁地描述随机过程的某些重要性质。
随机过程总复习
随机过程总复习
9
性质：在 X(0)=0 的条件下， 独立增量过程 X (t) 的有限维分布
函数族可用一维增量 X( t ) X( s ), 0 s t 的分布来确定
定义3 若对任意实数 h 和 0 s h t h,X(t+h)-X(s+h)
与 X(t)-X(s) 具有相同的分布，则称增量具有平稳性 。
1）W(0)=0; 2) 具有独立增量；
3）对任意的 t s 0 ，增量
W( t ) W( s ) ~ N( 0, 2( t s )), 且 0;
则称此过程为维纳（Wiener）过程
2021/4/26
随机过程总复习
15
维纳过程增量的分布只与时间差有关，所以它是齐次的独立增 量过程，它也是独立增量过程。
事实上，对任意 n( n 0 ) 个时刻 0 t1 t2 tn ( 记 t0 0 ),
k
W (tk ) [W (ti ) W (ti1)], k 1, 2, , n i 1
根据1）－3），它们都是独立的正态随机变量的和。由 n 维
正态随机变量的性质知， (W( t1 ),W( t2 ),,W( tn )) 是 n
ai I
aiI
绝对分布的向量形式
ai
aj
p(n) p1(n), p2 (n),, Pj (n),
0
n
p(n) p(0)P(n)
2021/4/26
随机过程总复习
25
3、Markoff链的有限维分布
P{Xt1 ai1 ,, Xtn ain }
pi (0) pii1 (t1 ) pin1in (tn tn1 ) ai I
5
13
例: 若随机过程 X (t) At B, A ~ N(0,1), B ~ U(0,2)
随机过程期末考试题库及答案pdf
随机过程期末考试题库及答案pdf1. 随机过程期末考试题库及答案pdf以下是随机过程期末考试的题库及答案，供同学们参考。
一、选择题1. 假设随机过程{X(t), t≥0}是独立增量过程，那么下列哪个说法是正确的？A. X(t)的增量是独立的B. X(t)的增量是平稳的C. X(t)的增量是独立且平稳的D. X(t)的增量是相关且非平稳的答案：C2. 马尔可夫链具有以下哪种性质？A. 无记忆性B. 有记忆性C. 有周期性D. 以上都不是答案：A二、填空题1. 如果随机过程{X(t), t≥0}的自相关函数R(τ)满足R(τ) = R(-τ)，则该过程是__________的。
答案：对称2. 随机过程{X(t), t≥0}的均值函数为μ(t)，若μ(t) = 0，则称该过程为__________。
答案：零均值三、简答题1. 简述什么是泊松过程，并给出其特征。
答案：泊松过程是一种计数过程，其特征包括：- 在任意不相交的时间间隔内发生事件是相互独立的。
- 在任意小的时间间隔内，事件的发生次数服从泊松分布。
- 事件的平均发生率是恒定的。
2. 描述布朗运动的基本性质。
答案：布朗运动的基本性质包括：- 连续性：样本路径是连续的。
- 无记忆性：未来的行为不依赖于过去。
- 独立增量：不同时间间隔的增量是相互独立的。
- 正态分布：任意时间间隔的增量服从以零为均值的正态分布。
四、计算题1. 假设随机过程{X(t), t≥0}是标准布朗运动，求X(t)的均值和方差。
答案：对于标准布朗运动，X(t)的均值为0，方差为t。
2. 给定马尔可夫链的状态转移矩阵P，求状态i在时间t+1时刻的概率。
答案：设状态i在时间t时刻的概率为pi(t)，则状态i在时间t+1时刻的概率为pi(t+1) = Σ(pi(t) * Pij)，其中Pij是状态i转移到状态j的概率。
以上是随机过程期末考试题库及答案的部分内容，希望对同学们的复习有所帮助。
应用随机过程讲义汇总
应用随机过程讲义汇总随机过程是概率论中非常重要的一个分支，也是应用广泛的一个数学工具。
随机过程可以理解为随机变量在一些时间区间内的演化过程，它描述了随机现象随时间的变化规律。
随机过程可以分为离散时间随机过程和连续时间随机过程。
离散时间随机过程又可以分为离散参数随机过程和连续参数随机过程。
离散参数随机过程中，时间是离散的，状态空间也是离散的，比如投掷硬币的结果可以看作一个离散参数随机过程。
连续参数随机过程中，时间是连续的，状态空间可以是离散的或者连续的，比如一个时刻的温度可以看作一个连续参数随机过程。
随机过程有多种模型，其中最简单的是马尔可夫过程。
马尔可夫过程是指随机过程中，下一时刻的状态只依赖于当前的状态，与过去的状态无关。
马尔可夫过程的一个典型应用是随机游走模型，比如一维随机游走。
在一维随机游走中，每一步都向左或者向右移动一个单位，每一步的概率是相同的。
可以证明在一维随机游走中，如果步长的期望是0，那么在趋于无穷的步数中，游走的位置将趋于正态分布。
在实际应用中，随机过程可以用于建立模型并进行预测。
例如，在金融领域中，布朗运动是一种用于预测股票价格变化的随机过程模型。
布朗运动具有随机性和连续性的特点，可以描述价格在时间上的波动。
通过对历史价格数据进行分析，可以拟合出布朗运动的参数，并用于未来价格的预测。
随机过程也可以用于优化问题的建模。
例如，在生产线上，由于各种因素的随机变化，生产速度可能会有一定的波动。
如果想要最大化生产线的效率，可以将生产速度建模为一个随机过程，并使用最优化方法找到最佳的生产策略。
除了上述的应用，随机过程还被广泛应用于信号处理、通信系统、控制系统、生物学、物理学等领域。
随机过程不仅可以用于描述随机现象，还可以进行建模和预测，为实际问题的解决提供了有效的数学工具。
综上所述，随机过程作为概率论的一个重要分支，在实际应用中具有广泛的应用前景。
通过对不同类型的随机过程及其模型的学习和理解，可以更好地应用随机过程解决实际问题。
(完整)应用随机过程学习总结,推荐文档.doc
应用随机过程学习总结一、预备知识：概率论随机过程属于概率论的动态部分，即随机变量随时间不断发展变化的过程，它以概率论作为主要的基础知识。
1、概率空间方面，主要掌握sigma 代数和可测空间，在随机过程中由总体样本空间所构成的集合族。
符号解释： sup 表示上确界， inf 表示下确界。
本帖隐藏的内容2、数字特征、矩母函数与特征函数：随机变量完全由其概率分布来描述。
其中由于概率分布较难确定，因此通常计算随机变量的数字特征来估算分布总体，而矩母函数和特征函数便用于随机变量的 N 阶矩计算，同时唯一的决定概率分布。
3、独立性和条件期望：独立随机变量和的分布通常由卷积来表示，对于同为分布函数的两个函数，卷积可以交换顺序，同时满足结合律和分配率。
条件期望中，最重要的是理解并记忆E(X) = E[E(X|Y)] = intergral(E(X|Y=y))dFY(y)。
二、随机过程基本概念和类型随机过程是概率空间上的一族随机变量。
因为研究随机过程主要是研究其统计规律性，由 Kolmogorov 定理可知，随机过程的有限维分布族是随机过程概率特征的完整描述。
同样，随机过程的有限维分布也通过某些数值特征来描述。
1、平稳过程，通常研究宽平稳过程：如果X(t1) 和 X(t2) 的自协方差函数r(t1,t2)=r(0,t-s)均成立，即随机过程X(t) 的协方差函数 r(t,s)只与时间差t-s有关，r(t) = r(-t)记为宽平稳随机过程。
因为一条随机序列仅仅是随机过程的一次观察，那么遍历性问题便是希望将随即过程的均值和自协方差从这一条样本路径中估计出来，因此宽平稳序列只需满足其均值遍历性原理和协方差遍历性原理即可。
2、独立增量过程：若 X[Tn] – X[T(n-1)] 对任意 n 均相互独立，则称 X(t) 是独立增量过程。
若独立增量过程的特征函数具有可乘性，则其必为平稳增量过程。
兼有独立增量和平稳增量的过程称为平稳独立增量过程，其均值函数一定是时间t的线性函数。
随机过程考试及答案
随机过程考试及答案一、单项选择题（每题2分，共20分）1. 随机过程的数学定义是（）。
A. 随机变量的集合B. 随机变量序列C. 随机变量的函数D. 随机变量的积分答案：B2. 马尔可夫过程具有（）。
A. 独立性B. 无后效性C. 齐次性D. 以上都是答案：D3. 布朗运动具有（）。
A. 独立增量B. 正态分布C. 连续样本路径D. 以上都是答案：D4. 泊松过程具有（）。
A. 独立增量B. 无后效性C. 齐次性D. 以上都是答案：D5. 随机过程的均值函数是（）。
A. 随机变量的期望值B. 随机变量的方差C. 随机变量的协方差D. 随机变量的协方差矩阵答案：A6. 随机过程的协方差函数是（）。
A. 随机变量的期望值B. 随机变量的方差C. 随机变量的协方差D. 随机变量的协方差矩阵答案：C7. 随机过程的谱密度函数是（）。
A. 均值函数的傅里叶变换B. 自相关函数的傅里叶变换C. 协方差函数的傅里叶变换D. 以上都不是答案：B8. 随机过程的平稳性是指（）。
A. 均值函数是常数B. 自相关函数是常数C. 自相关函数仅依赖于时间差D. 以上都是答案：C9. 随机过程的遍历性是指（）。
A. 均值函数是常数B. 自相关函数是常数C. 自相关函数仅依赖于时间差D. 时间平均等于集合平均答案：D10. 随机过程的可分性是指（）。
A. 均值函数是常数B. 自相关函数是常数C. 自相关函数仅依赖于时间差D. 过程可以分解为独立增量的和答案：D二、填空题（每题2分，共20分）1. 随机过程的数学定义是随机变量的________。
答案：序列2. 马尔可夫过程具有无后效性，即未来状态仅依赖于当前状态，而与过去状态________。
答案：无关3. 布朗运动是一种连续时间随机过程，具有独立增量、正态分布和连续样本路径等性质。
答案：连续时间随机过程4. 泊松过程是一种计数过程，具有独立增量、无后效性和齐次性等性质。
答案：计数过程5. 随机过程的均值函数是随机变量的________。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一章 随机过程的基本概念一、随机过程的定义例1：医院登记新生儿性别，0表示男，1表示女，X n 表示第n 次登记的数字，得到一个序列X 1 ， X 2 ， ···，记为{X n ，n=1,2, ···}，则X n 是随机变量，而{X n ，n=1,2, ···}是随机过程。
例2：在地震预报中，若每半年统计一次发生在某区域的地震的最大震级。
令X n 表示第n 次统计所得的值，则X n 是随机变量。
为了预测该区域未来地震的强度，我们就要研究随机过程{X n ，n=1,2, ···}的统计规律性。
例3：一个醉汉在路上行走，以概率p 前进一步，以概率1-p 后退一步（假设步长相同）。
以X(t)记他t 时刻在路上的位置，则{X(t), t ≥0}就是（直线上的）随机游动。
例4：乘客到火车站买票，当所有售票窗口都在忙碌时，来到的乘客就要排队等候。
乘客的到来和每个乘客所需的服务时间都是随机的，所以如果用X(t)表示t 时刻的队长，用Y(t)表示t 时刻到来的顾客所需等待的时间，则{X(t), t ∈T}和{Y(t), t ∈T}都是随机过程。
定义：设给定参数集合T ，若对每个t ∈T, X(t)是概率空间),,(P ℑΩ上的随机变量，则称{X(t), t ∈T}为随机过程，其中T 为指标集或参数集。
E X t →Ω:)(ω，E 称为状态空间，即X(t)的所有可能状态构成的集合。
例1：E 为{0,1} 例2：E 为[0, 10]例3：E 为},2,2,1,1,0{Λ-- 例4：E 都为),0[∞+注：（1）根据状态空间E 的不同，过程可分为连续状态和离散状态，例1，例3为离散状态，其他为连续状态。
（2）参数集T 通常代表时间，当T 取R, R +, [a,b]时，称{X(t), t ∈T}为连续参数的随机过程；当T 取Z, Z +时，称{X(t), t ∈T}为离散参数的随机过程。
（3）例1为离散状态离散参数的随机过程，例2为连续状态离散参数的随机过程，例3为离散状态连续参数的随机过程，例4为连续状态连续参数的随机过程。
二、有限维分布与Kolmogorov 定理随机过程的一维分布：})({),(x t X P x t F ≤= 随机过程的二维分布：T t t x t X x t X P x x F t t ∈≤≤=21221121,,},)(,)({),(21M随机过程的n 维分布：T t t t x t X x t X x t X P x x x F n n n n t t t n ∈≤≤≤=ΛΛΛΛ,,},)(,)(,)({),,(21221121,,211、有限维分布族：随机过程的所有一维分布，二维分布，…n 维分布等的全体}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n ΛΛΛ称为{X(t), t ∈T}的有限维分布族。
2、有限维分布族的性质：（1）对称性：对（1,2，…n ）的任一排列),,(21n j j j Λ，有),,(),,(21,,,,212121n t t t j j j t t t x x x F x x x F n n nj j jΛΛΛΛ=（2）相容性：对于m<n ，有),(),,(1,1,,111m t t m t t t t x x F x x F m n m m ΛΛΛΛΛΛ=∞∞+3、Kolmogorov 定理定理：设分布函数族}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n ΛΛΛ满足上述的对称性和相容性，则必存在一个随机过程{X(t), t ∈T}，使}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n ΛΛΛ恰好是{X(t), t ∈T}的有限维分布族。
定义：设{X(t), t ∈T}是一随机过程：（1） 称X(t)的期望)]([)(t X E t X =μ（如果存在）为过程的均值函数。
（2） 如果T t ∈∀，)]([2t X E 存在，则称随机过程{X(t), t ∈T}为二阶矩过程。
此时，称函数))]()())(()([(),(221121t t X t t X E t t X X μμγ--=，T t t ∈21,为过程的协方差函数；称),()]([t t t X Var γ=为过程的方差函数；称T t s t X s X E t s R X ∈=,)],()([),(为自相关函数。
例：)()(0b t a tV X t X ≤≤+=，其中0X 和V 是相互独立的且均服从N(0,1)分布的随机变量，求)(t X μ和),(21t t γ。
三、随机过程的基本类型独立增量过程：如果对任意,,,,21T t t t n ∈⋅⋅⋅,21n t t t <⋅⋅⋅<<随机变量,)()(12⋅⋅⋅-t X t X)()(1--n n t X t X 是相互独立的，则称{X(t), t ∈T}是独立增量过程。
平稳增量过程：如果对任意21,t t ，有X(t 1+h)-X(t 1)d X(t 2+h)-X(t 2)，则称{X(t), t ∈T}是平稳增量过程。
平稳独立增量过程：兼有独立增量和平稳增量的过程称为平稳独立增量过程，例如Poisson 过程和Brownian motionPoisson 过程 2.1 Poisson 过程1. 计数过程定义：随机过程}0),({≥t t N 称为计数过程，如果)(t N 表示从0到t 时刻某一特定事件A 发生的次数，它具备以下两个特点： （1）0)(≥t N 且取值为整数；（2）t s <时，)()(t N s N ≤且)()(s N t N -表示],(t s 时间事件A 发生的次数。
2. Poisson 过程定义2.1.1：计数过程}0),({≥t t N 称为参数为λ（0>λ）的Poisson 过程，如果 （1）;0)0(=N（2）过程具有独立增量性；（3）在任一长度为t 的时间区间中事件发生的次数服从均值为t λ的Poisson 分布，即对一切0,0>≥t s ，有 ()Λ,1,0,!))()((===-+-n n t en s N s t N P n tλλ注：Poisson 过程具有平稳增量性因为)()(s N s t N -+的分布只依赖于t, 与区间起点s 无关，,0=s 令()Λ,1,0,!)n )((===-n n t et N P n tλλt t EN t m λ==∴)()(于是可认为λ是单位时间发生的事件的平均次数，一般称λ是Poisson 过程的强度。
例2.1.1：（Poisson 过程在排队论中的应用）研究随机服务系统中的排队现象时，经常用到Poisson 过程模型。
例如：到达总机的呼叫数目，到达某服务设施（商场、车站、购票处等）的顾客数，都可以用Poisson 过程来描述。
以某火车站售票处为例，设从早上8:00开始，此售票处连续售票，乘客以10人/小时的平均速率到达，则9:00-10:00这一小时最多有5名乘客来此购票的概率是多少？10:00-11:00没有人来买票的概率是多少？解：我们用一个Poisson 过程来描述，设8:00为时刻0，则9:00为时刻1，参数10=λ，于是!10}5)1()2({510n eN N P n n ∑=-=≤-, 10010!010}0)2()3({--===-e e N N P 例2.1.2：（事故发生次数及保险公司接到的索赔数）若以)(t N 表示某公路交叉口、矿山、工厂等场所在],0(t 时间发生不幸事故的数目，则Poisson 过程就是}0),({≥t t N 的一种很好近似。
例如，保险公司接到赔偿请求的次数（设一次事故导致一次索赔），向315台的投诉（设商品出现质量问题为事故）等都是可以用Poisson 过程的模型。
我们考虑一种最简单的情形，设保险公司每次的赔付都是1，每月平均接到索赔要求4次，则一年中它要付出的金额平均为多少？解：设一年开始时刻为0，1月末为时刻1，…年末为时刻12，则有124!)124(})0()12({⨯-⨯==-e n n N N P n∑∞=⨯-⨯⋅=-0124!)124()]0()12([n n e n n N N E =48问题：为什么实际中有这么多现象可以用Poisson 过程来反映呢？{}{}{}).(2)(0h )iv ( );(1)(0h ,0)iii ( )ii ( ;0)()i ( 0),(2.1.2h o h N P h o h h N P t N Poisson t t N =≥↓+==↓>=≥时，当时，当存在过程有平稳独立增量过程，如果满足：称为：计数过程定义λλ定理2.1.1：定义1和定义2是等价的。
例2.1.3：事件A 的发生形成强度为λ的Poisson 过程}0),({≥t t N ，如果每次事件发生时以概率p 能够被记录下来，并以M(t)表示到时刻t 被记录下来的事件总数，则}0),(M {≥t t 是一个强度为p λ的Poisson 过程。
例2.1.4：若每条蚕的产卵数服从Poisson 分布，强度为λ，而每个卵变为成虫的概率为p ，且每个卵是否变为成虫彼此间没有关系，求在时间[0, t]每条蚕养活k 只小蚕的概率。
2.2 与Poisson 过程相联系的若干分布设n T 表示第n 次事件发生的时刻，n=1,2，…，规定00=T 。
n X 表示第n 次与第n-1次事件发生的间隔时间，n=1,2，…。
1. 关于n X 和n T 的分布定理2.2.1：n X （n=1,2,…）服从参数为λ的指数分布，且相互独立。
定理2.2.2：n T （n=1,2,…）服从参数为n 和λ的Γ分布。
注：如果每次事件发生的时间间隔,....,21X X 相互独立，且服从同一参数为λ的指数分布，则计数过程}0),({≥t t N 是参数为λ的Poisson 过程。
例2.2.1：设从早上8:00开始有无穷多的人排队等候服务，只有一名服务员，且每个人接受服务的时间是独立的并服从均值为20min 的指数分布，则到中午12:00为止平均有多少人已经离去，已有9个人接受服务的概率是多少？例2.2.2：假设某天文台观测到的流星流是一个Poisson 过程，根据以往资料统计为每小时平均观察到3颗流星。
试求：上午8:00-12:00期间，该天文台没有观察到流星的概率。