应用随机过程复习资料

1 [()()][()()]()E X t X s D X t X s t s λ-=-=- 由于(0)0X =故()[()][()(0)]X m t E X t E X t X t λ==-=2()[()][()(0)]X t D X t D X t X t σλ==-=2222(,)[()()]{()[()()()]}[()(0)][()()][()][()(0)][()()][()]{[()]}()()(1)X R s t E X s X t E X s X t X s X s E X s X X t X s E X s E X s X E X t X s D X s E X s s t s s s st s s t λλλλλλλλ==-+=--+=--++=-++=+=+(,)(,)()()X X X X B s t R s t m s m t s λ=-=()()[]exp{(1)}iuX t iu X g u E e t e λ==-2 定理3.2 设{(),0}X t t ≥是具有参数λ的泊松分布，{,1}n T n ≥是对应的时间间隔序列，则随机变量n T 是独立同分布的均值为1λ的指数分布Proof:注意到1{}T t >发生当且仅当泊松过程在区间[0,]t 内没有事件发生，因而1{}{()0}t P T t P X t e λ->=== 即111(){}1{}1tT F t P T t P T t e λ-=≤=->=-所以1T 是服从均值为1λ的指数分布.利用泊松过程的独立、平稳增量性质，有21{|}{()()0}{()(0)0}tP T t T s P X t s X s P X t X eλ->==+-==-==即222(){}1{}1tT F t P T t P T t e λ-=≤=->=-对任意的1n ≥和121,,,...,0n t s s s -≥有21111{|,...,}{()(0)0}t n n P T t T s T s P X t X e λ--->===-==即(){}1n tT n F t P T t eλ-=≤=-所以对任一n T 其分布是均值为1λ的指数分布.所以1,0(){}0,0n t T n e t F t P T t t λ-⎧-≥=≤=⎨<⎩概率密度为,0()0,0n tT et f t t λλ-⎧≥=⎨<⎩3 设在[0,]t 内事件A 已经发生n 次,0s t <<,对于0k n <<,求{()|()}P X s k X t n ==解:利用条件概率及泊松分布得{(),()}{()|()}{()}{(),()()}{()}1kn kk n P X s k X t n P X s k X t n P X t n P X s k X t X s n k P X t n s s C t t -=======-=-==⎛⎫⎛⎫=- ⎪ ⎪⎝⎭⎝⎭这是一个参数为n 和st的二项分布 4 对有s t <有11(){,()1}{|()1}{()1}{()1,()()0}{()1}{()1}{()()0}{()1}s t s s P W s X t P W s X t P X t P X s X t X s P X t P X s P X t X s P X t se e s se tλλλλλ----≤=≤====-====-=====即分布函数为1|()10,0(),01,W X t s F s s t s t s t =<⎧⎪=≤<⎨⎪≥⎩分布密度为1|()11,0()0,W X t t s tf s =≤<⎧=⎨⎩其它5 设()1()N t kk X t Y==∑,0t ≥是复合泊松过程则（1）{(),0}X t t ≥是独立增量过程；（2）()X t 是特征函数()()exp{[()1]}X t Y g u t g u λ=-,其中()Y g u 是随机变量1Y 的特征函数; λ是事件的到达率;3)若21()E Y <∞,则1[()][]E X t tE Y λ=,21[()][]D X t tE Y λ= Proof:1)令010...m t t t ≤<<<, 则1()1()1()()k k N t k k i i N t X t X t Y --=+-=∑,1,2,...,k m = 故()X t …2)因为 ()()()01()[][|()]{()}()[exp()|()]!exp{[()1]}iuX t iuX t X t n n ntk n k Y g u E eE eN t n P N t n t E iu Y N t n en t g u λλλ∞=∞-=========-∑∑∑3)由条件期望的性质[()]{[()|()]}E X t E E X t N t =及假设知()11[()|()][|()]()N t ii E X t N t n E Y N t n nE Y =====∑所以11[()]{[()|()]}[()]()()E X t E E X t N t E N t E Y tE Y λ===类似地1[()|()]()[]D X t N t N t D Y =,2111[()]{()[]}{()()}()D X t E N t D Y D N t E Y tE Y λ=+=6 设脉冲到达计数器的规律是到达率为λ的泊松过程,记录每个脉冲的概率为p ,记录不同脉冲的概率是相互独立的.l 令()X t 表示已被记录的脉冲数. (1) 求{()},0,1,2,...P X t k k == (2) ()X t 是否为泊松过程.解：设{(),0}N t t ≥表示在[0,]t 区间脉冲到达计数器的个数,令1,0,i i i ξ⎧=⎨⎩第个脉冲被计数器记录第个脉冲没有被计数器记录则()1()N t ii X t ξ==∑根据复合泊松过程的定义知()X t 为泊松过程，且1()()EX t EN t E t p pt ξλλ=== 故()X t 强度为p λ,(){()}!kptpt P X t k e k λλ-==,0,1,...k =7 设{,}n X n T ∈为马尔科夫链,则对任意整数0,n ≥0l n ≤<和,i j I ∈,n 步转移概率()n ij p 具有下列性质：(1) ()()()n l n l ij ik kjk Ip pp -∈=∑; (2) 112111()......n n n ij ik k k k j k Ik I p pp p --∈∈=∑∑(3) ()(1)n n P PP-=(4) ()n nP P =Proof:1）利用全概率公式及马尔科夫性，有()()()()(){,}{|}{}()()n m m n ij m n m m n l l l n l kj ik ik kjk Ik IP X i X j p P X j X i P X i p m l p m p p ++--∈∈========+=∑∑2)在(1)中令11,l k k ==，得111()(1)n n ij ik k jk Ip pp -∈=∑ 这是一个递推公式，故可推得到112111()......n n n ij ik k k k j k Ik Ip p p p --∈∈=∑∑3）在(1)中令1l =,利用矩阵乘法可证 4）由(3),利用归纳法可证8 判别马氏性、齐次性1）马氏性定义: 110011{|,,...,}n n n n P X i X i X i X i ++====11{|}n n n n P X i X i ++===2)111111111111{,,...,}{|}{|}...{|}n n n n n n n n n n n n n n P X i X i X i P X i X i P X i X i P X i X i ++--++--==========9 设{,0}n X n ≥为马尔科夫链，试证(1) 1100{,...,|,...}n n n m n m n n P X i X i X i X i ++++====11{,...,|}n n n m n m n n P X i X i X i ++++====(2)002211{,...,,...,|}n n n n n m n m n n P X i X i X i X i X i ++++++=====00112211{,...|}{,...,|}n n n n n n n m n m n n P X i X i X i P X i X i X i ++++++++=======proof: (1)110000110011{,...,|,...}{,...,,...,}{,...}{,...,}{}{,...,|}n n n m n m n n n n n n n m n m n n n n n m n m n n n n n m n m n n P X i X i X i X i P X i X i X i X i P X i X i P X i X i P X i P X i X i X i ++++++++++++++===================(2)利用条件概率类似可得10 设马氏链{}n X 的状态空间为{0,1...}I =转移概率为00,10111,,,222i i i p p p i I +===∈考察状态0 可知000000(1)(2)(3)11111111,,22242228p p p ==⋅==⋅⋅=有00()12n n p =故0001111,22n n n n f n μ∞∞-=====<∞∑∑可见0为正常返，由于00(1)102f =>，所以它是非周期的，因而是遍历的，对于其它状态由定理4.9，因0i ↔故i 也是遍历的11 设{1,2,...6}I =转移矩阵为00100000000100001013130130010*******12P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦试分解此链并指出各状态的常返性及周期性. 解：有题可知1111(3)()1,0,3n f f n ==≠所以11()113n n nfμ∞===∑可见1为正常返状态且周期等于3.含1的基本常返闭集为1{:1}{1,3,5}C k k =→=从而状态3及5也为正常返且周期为3.同理可知6为正常返状态. 632μ=,其周期为1,含6的基本常返闭集为2{:6}{2,6}C k k =→=可见2是遍历的. 由于(1)()44441,0,13n f f n ==≠故4非常返，周期为1，于是I 可分解为12{4}{1,3,5}{2,6}I D C C ==12 设不可分马氏链的状态空间为{1,2,...6}C =,转移矩阵为0120120130010101000000100001000000140340P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦可知各状态的周期3d =.固定状态1i =令(3)01,(31)11,(32)21,{:00}{1,4,6}{:00}{3,5}{:00}{2}n j n jn jG j n p G j n p G j n p++=≥>==≥>==≥>=对某有对某有对某有 故012{1,4,6}{3,5}{2}C G G G ==13 设马尔科夫链具有状态空间{0,1,...}I =,转移概率11,,(0)ii i ii i ii i p p p r p q i +-===≥,其中,0i i p q >1i i i p r q ++=.称这种马尔科夫链为生灭链,是不可约的，记0101...1,,1...j j jp p a a j q q -==≥试证此马氏链存在平稳分布的充要条件为jj a∞=<∞∑Proof:由题可知000111111,11j j j j j j j j j j r q p r q j p r q πππππππ--++⎧=+⎪=++≥⎨⎪++=⎩于是有递推关系110011110j j j j j j j j q p q p q p ππππππ++---=⎧⎪⎨-=-⎪⎩解得11,0j j j j p j q ππ--=≥所以110001...j j j j jp p a q q ππππ--==== 对j 求和得001jj j j a ππ∞∞====∑∑由此可知平稳分存在的充要条件是jj a∞=<∞∑此时001,,1jj jjj a j aπππ∞===≥∑14 设马氏链的转移概率矩阵为(1) 12121323⎡⎤⎢⎥⎣⎦ (2) 112233000p q p q q p ⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦计算()()1112,,1,2,3n n f f n =解：(1) (1)(2)(3)(1)(2)(3)111111121213111111,,;,,269248f f f f f f ====== (2)(1)(2)(3)(1)(2)(3)2111111112312112111311,0,;,,f p f f q q q f q f p q f p q ======15 设马氏链的转移矩阵为1112010.........00......000.....................q p P q p ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦求它的平稳分布. 解：110011101...1,1,...1j j j kjj k k p p j pq q q πππ--∞==+=≥=+∑∏16 证明泊松过程{(),0}X t t ≥为连续时间齐次马氏链 Proof:先证泊松过程具有马氏性,再证齐次性,由泊松过程的定义知{(),0}X t t ≥识独立增量过程,且(0)0X =对任意110...n t t +<<<有111111111111{()|(),...,()}{()()|()(0),...,()()}{()()}n n n n n n n n n n n n n n n n P X t i X t i X t i P X t X t i i X t X i X t X t i i P X t X t i i ++++--++====-=--=-=-=-=-又因为1111{()|(),...,()}n n n n P X t i X t i X t i ++===1111{()()|()(0)}{()()}n n n n n n n n n n P X t X t i i X t X i P X t X t i i ++++=-=--==-=-所以111111{()|(),...,()}{()|()}n n n n n n n n P X t i X t i X t i P X t i X t i ++++=====即泊松过程是一个连续时间马氏链；再证齐次性,当j i ≥时,由泊松过程定义,得{()|()}(){()()}()!j i tP X s t j X s i t P X s t X s j i ej i λλ--+===+-=-=- 当j i <时,由于过程的增量只取非负整数,故(,)0ij p s t =,所以(),(,)()()!0,j it ij ij t ej i p s t p t j i j i λλ--⎧≥⎪==-⎨⎪<⎩即转移概率只与t 有关,泊松过程具有齐次性17 求poisson 过程的Q 及π解：poisson 过程(),0()()!0,j i tij t e j i p t j i λλ--⎧-≥⎪=-⎨⎪⎩其它(1) 0,(0)lim (0)lim 1,0,tij j i p p e j i j i λ-<⎧⎪===⎨⎪>⎩(2)由性质知()p t 关于t 一致连续lim ()t p t π→∞=（存在）(3) (0)limp IQ t-=存在 ()lim()lim lim,()!1()lim ,1()lim ()!0,1,ij ijij tj i t t j i tp t I q te t e t j i j i t e j i t e t t j i j i j i λλλλλλλλλ-------=⎧⎛⎫-==⎪ ⎪-⎝⎭⎪⎪=⎨⎧==+⎪⎪=⎨⎪-⎪>+<⎪⎩⎩由Q Q ππθ==得0...00...00...............Q λλλλλλ-⎡⎤⎢⎥-⎢⎥=⎢⎥-⎢⎥-⎣⎦,0π=18 M/M/s 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继到达顾客的时间间隔是均值为1λ的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队行列.当一个服务员结束对一位顾客的服务时,顾客就离开服务系统,排队中的下一个顾客进入服务.假定相继的服务时间是独立的指数随机变量,均值为1μ.如果我们以()X t 记时刻t 系统中的人数,则{(),0}X t t ≥是生灭过程,1,n n n ss n s μμμ=≤≤⎧⎨>⎩，,0n n λλ=≥ M/M/s 排队系统中M 表示马氏过程,s 代表有s 个服务员.特别,在M/M/s 排队系统中,,n n λλμμ===,于是若1λμ<,则1()1,01()nnn n n n λμλλπλμμμ∞=⎛⎫⎛⎫==-≥ ⎪ ⎪⎝⎭⎝⎭+∑ 要平稳分布存在, λ必须小于μ.λμ=的情况类似随机游动,它是常零返的,从而没有极限概率19 某修理店只有一个服务员,顾客按强度为4人每小时poisson 过程到达,服务员对每位顾客服务的时间是常数10的指数分布,问(1)修理店空闲的概率0β;(2)等候服务的顾客平均数解：(1) 010.6λβμ=-=； (2) 010101... 1.5n n L n λμβββλμ∞=-==++==∑20 讨论随机过程()X t Y =的各态历经性,其中Y 是方差不为零的随即变量.解：易知()X t Y =是平稳过程,事实上[()][]()X E X t E Y m ==常数，22(,)[][]()X X R t t E Y D Y m t τ-==+与无关但此过程不具有各态历经性，因为1()12TTT X t i mYdt Y T-→∞<>=⋅⋅=⎰,Y 是非常数，不等于[()]E X t .所以()X t Y =的均值不具有各态历经性.类似可证其相关函数也不具有各态历经性.21 设随机过程()sin()cos()X t A t B t λλ=+，其中A B 、是均值为零、方差为2σ相互独立的正态随机变量.试问： (1) ()X t 的均值是否各态历经的？(2) ()X t 的均方值2[()]E X t 是否各态历经的？(3)若sin cos A B φφ=，,φ是π（0,2）上服从均匀分布的随机变量,此时2[()]E X t 是否各态历经的？ 解：(1) [()]=sin()cos()=0E X t EA t EB t λλ+01()1()21=12cos()2sin()=1TTT T T T X t i mX t dtTi mB t dt T t i m B tλλλ-→∞→∞→∞<>=⋅⋅⋅⋅⨯⋅⋅⎰⎰由于2(0,)B N σ ,故22222sin()sin ()lim 0lim 0T T t t E B EB t tλλλλ→∞→∞-== 即sin()t B tλλ均方收敛于0,故()X t 的均值是各态历经的 (2)222222[()][sin ()cos ()2sin()cos()]E X t E A t B t AB t t λλλλσ=++=2222221()1()2sin 21()24T TT T X t i m X t dtT A B T i m B A Tλλ-→∞→∞<>=⋅⋅+=+⋅⋅-⎰类似(1)可证得22sin 21()04T T i mB A Tλλ→∞⋅⋅-=，故 222()2A B X t +<>=又2(0,)A N σ ,故222(1)A χσ,22()2A D σ=,242DA σ=222222222411[()]()2211[()]()024E A B EA EB D A B DA DB σσ+=+=+=+=≠因此()X t 的均方值2[()]E X t 非各态历经.(3) 将A B 、代于(2)中得222()[()]X t E X t σ<>== 故2[()]E X t 是各态历经的22 赌徒输光问题两赌徒甲、乙进行一系列赌博.赌徒甲有a 元,赌徒乙有b 元,每赌一局输者赢着一元钱,没有和局,直到两个人中有一个输光为止.设在每一局中,甲赢的概率为p,输的概率为q=1-p ，求甲输光的概率.解：设i u 表示甲从状态i 出发转移到0的概率,由于0和c 是吸收状态,故01,0c u u ==由全概率公式11i i i u pu qu +-=+,1,2,...,1i c =-由于1p q +=即有差分方程11(),1,2,...,1i i i i u u r u u i c +--=-=- 其中qr p=,其边界条件为01,0c u u ==Case1 当11,2r p q ===时，有 11i i i i u u u u +--=-解得1,1,2,...,1i i u i c c=-=- 令i a =求得甲输光的概率为1a a b u c a b=-=+ 故在p q =时赌本小的输光的可能性大 同样乙输光的概率为b a u a b=+ 由于1a b u u +=故必有一人要输光，赌博迟早要结束 Case2p q ≠时111()(1)1k cc c k i i i kr r u u r u u u r --=--=-=--∑ 令0k =由于0c u =故111(1)1cr u r-=--即11(1)1c r u r --=-所以,1,2,...11k ck cr r u k c r-==-- 令k a =得甲输光的概率1a ca cr r u r -=- 同样乙输光的概率为1b cb cr r u r -=-由于1a b u u +=p q ≠时也必有一人要输光。