随机过程与马尔可夫链习题答案

合集下载

随机过程习题集-第四章马尔可夫过程

1第四章马尔可夫过程内容提要1. 马尔可夫过程的概念（1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。

称(){}:,==∈E x X t x t T 为状态空间。

参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。

若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。

(解答)《随机过程》第二章习题

第二章 Markov 过程习题解答1、设}1,{≥n n ξ为相互独立同分布的随机变量序列，其分布为：01}0{,0}1{>-===>==p q P p P n n ξξ定义随机序列}2,{≥n X n 和}2,{≥n Y n 如下：⎪⎪⎩⎪⎪⎨⎧=========----;1,1,3;0,1,2;1,0,1;0,0,01111n nn n n n n nn X ξξξξξξξξ ⎩⎨⎧===-;,1;0,0,01其它n n n Y ξξ试问随机序列}2,{≥n X n 和}2,{≥n Y n 是否为马氏链？如果是的话，请写出其一步转移概率矩阵并研究各个状态的性质。

不是的话，请说明理由。

解：（1）显然，随机序列}2,{≥n X n 的状态空间为}3,2,1,0{=S 。

任意取S i i i j i n ∈-132,,,,, ，由于当i X n =给定时，即1,-n n ξξ的值给定时，就可以确定1+n X 的概率特性，即我们有：}{},,,,{12233111i X j X P i X i X i X i X j X P n n n n n n ========+--+因此}2,{≥n X n 是齐次马氏链，其一步转移概率矩阵为：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=p qp q p q p qP 0000000 由于01,0>-=>p q p ，画出状态转移图，可知各个状态都相通，且都是非周期的，因此此链是不可约的遍历链。

（也可以利用02>P 判定此链是不可约的遍历链）（2）显然，}2,{≥n Y n 的状态空间为}1,0{=S ，由于：}1,1{}1,1,0{}1,10{23234234=========Y Y P Y Y Y P Y Y Y P}0,1{}0,1,0{}0,10{23234234=========Y Y P Y Y Y P Y Y Y P由}2,{≥n Y n 的定义，可知}1,1,1{}1,1,0{}0,1,1{}0,1,0{}1,0,1{}1,1{12312312312312323===⋃===⋃===⋃⋃===⋃======ξξξξξξξξξξξξξξξY Y}1,1,0,0{}0,1,0,0{}1,1,0{12341234234====⋃========ξξξξξξξξY Y Y}0,0,1{}0,1{12323======ξξξY Y ， ∅====}0,1,0{234Y Y Y利用}1,{≥n n ξ是相互独立同分布的随机变量序列及其分布，我们有：322233}1,1{q q p pq Y Y P ++=== 223234}1,1,0{q p pq Y Y Y P +==== 223}0,1{pq Y Y P ===0}0,1,0{234====Y Y Y P即有：22222343}1,10{q p pq qp pq Y Y Y P +++==== 0}0,10{234====Y Y Y P由于01,0>-=>p q p ，因此有}0,10{}1,10{234234===≠===Y Y Y P Y Y Y P根据马氏链的定义可知}2,{≥n Y n 不是马氏链。

随机过程第四章马尔可夫链

0,
p(n) ij
1, i,
jI
jI
即P(n)也为随机矩阵.
当n
1时,
p (1) ij
pij
,
P (1)
P
当n
0时,规定pi(j0)
0 , i 1 , i
j j
13
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn, nT}为马尔可夫链, 则对任意整数n0, 0l<n和i,jI, n步转移概率 p具i(jn) 有性
Ckx 0
pxqy ，
,
k ( j i)为偶数 k ( j i)为奇数
11
4.1 马尔可夫链与转移概率
例4.4 具有吸收壁和反射壁的随机游动状态空间 {1,2,3,4}, 1为吸收壁, 4为反射壁.
解：状态转移图
状态转移矩阵
1 3
1 0 0 0
1
1
3
1 1
3
1
1
1 1 1
1 3
1 3
2
P 3
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
6
4.1 马尔可夫链与转移概率
定义称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn, nT}在时刻n的一步转移概率,简称转移概率,其中i,jI.
P{X 0 i}P{X1 i1 | X 0 i} iI
P{X 2 i2 | X1 i1} P{X n in | X n1 in1}

随机过程习题答案及知识点

协方差矩阵及n 维正态分布1、设n 维随机变量）（n X X ,,,X 21⋯的二阶混合中心距：[][];,,2,1,},)()({),(,n j i j X E j X X E X E X X Cov c i i j i j i ⋯=--==都存在，则称矩阵⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯=∑nn c c c c c c c c c n2n12n 22211n 1211为n 维随机变量）（n X X ,,,X 21⋯的协方差矩阵，它是一对称矩阵。

2、n 维正态分布定义：若n 维随机变量）（n X X ,,,X 21⋯的概率密度可以表示成以下的形式：⎭⎬⎫⎩⎨⎧-∑--∑==⋯-)()(21ex p )(det )2(1)(),,,(f 12/12/21U X U X X f x x x T n n π其中，Tn T T n X E X E X E U x x x X ))(,),(),((),,,(,),,,(21n 2121⋯=⋯=⋯=μμμ∑是）（n X X ,,,X 21⋯的协方差矩阵，则称n 维随机变量）（n X X ,,,X 21⋯为n 维正态随机变量，记为),(~),,,X (21∑⋯=μN X X X n ，),,,(f 21n x x x ⋯为n 维正态概率密度函数。

N 维正态随机变量的性质（1） n 维正态随机变量）（n X X ,,,X 21⋯的每一个分量都是正态变量；反之，若nX X ,,,X 21⋯都是正态随机变量，且相互独立，则）（n X X ,,,X 21⋯是n 维正态随机变量。

（2） n 维随机变量）（n X X ,,,X 21⋯服从n 维正态分布的充要条件是n X X ,,,X 21⋯的任意的线性组合n n X l X l X l +⋯++2211服从一维正态分布；（3）若）（n X X ,,,X 21⋯服从n 维正态分布，设n Y Y ,,,Y 21⋯是),,3,2,1(X n j j ⋯=的线性函数，则n Y Y ,,,Y 21⋯也服从正态分布。

上海大学随机过程第六章习题及答案

第三章习题1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为p ，乙胜的概率为q ，平局的概率为r ，其中,,0,1p q r p q r ≤++=，设每局比赛后，胜者得1分，负者得1-分，平局不记分，当两个人中有一个人得到2分时比赛结束，以n X 表示比赛至第n 局时甲获得的分数，则{,1}n X n ≥是一齐冯马尔可夫链.（1）写出状态空间；（2）求一步转移概率矩阵；（3）求在甲获得1分的情况下，再赛2局甲胜的概率. 解（1）{,0}n X n ≥的状态空间为{2,1,0,1,2}S =--（2）{,0}n X n ≥的一步转移概率矩阵为1000000000001q rp q r p q r p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦P （3）因为两步转移概率矩阵为22(2)22222210000202220200001q rq r pq pr p q rq r pqpr p q qr pq r p pr ⎡⎤⎢⎥++⎢⎥⎢⎥==+⎢⎥++⎢⎥⎢⎥⎣⎦P P所以在甲获得1分的情况下，再赛2局甲胜的概率为(2)12(1)p p pr p r =+=+2．设{,1,2,}i Y i =为相互独立的随机变量序列，则（1）{,1,2,}i Y i =是否为Markov 链？（2）令1nn ii X Y ==∑，问{,1,2,}iX i =是否为Markov 链？解（1）由于11221112211122111221111221(,,,,) (,,,)(,,,)()()()()()()(,,,)n n n n n n n n n n n P Y i Y i Y i Y j P Y j Y i Y i Y i P Y i Y i Y i P Y i P Y i P Y i P Y j P Y j P Y j Y i P Y i Y i Y i ------=========================因此，{,1,2,}n Y n =是马尔可夫链.（2）取1111()f U X U ==，当11U i =时，212X U U =+是2U 的函数，记为22().f U 依次类推，1121n n X U U U --=+++为1n U -的函数，记为1112(),n n n nf U X U U U --=+++为n U 的函数，记为().n n f U 由于12,,,,n U U U 相互独立，则其相应的函数1122(),(),,(),n n f U f U f U 也相互独立，从而122111221111112211 (,,,)(,,,)(,,,)()()nn n i n i n n n n n n P X j X i X i X i P Y j X i X i X i P X Y j X i X i X i P Y j i P X j X i --=---==========+======-===∑因此{,1,2,}n X n =是马尔可夫链.3 设,1,2,i X i =是相互独立的随机变量，且使得(),0,1,i j P X j a j ===，如果max{,1,2,,1}n i X X i n >=-，其中0X =-∞，就称在时刻n 产生了一个记录.若在时刻n产生了一个记录，就称n X 为记录值，以n R 表示第n 个记录值. （1）证明，{,1,2,}n R n =是Markov 链，并求其转移概率；（2）以i T 表示第i 个与第1i +记录之间的时间，问{,1,2,}n T n =是否是Markov 链，若是，则计算其转移概率.证明：（a ）根据题意有：k n k n n X R X R X R ===,....,2121，……满足........21k n n n X X X << 且........121k n n n <<<故},...,|{11111i R i R i R z R P k k k k k ====--+}...|{111i i i j z R P k k k >>>>==-+ }|{1k k i j z R P >==+}|{1k k k i R z R P ===+ 故}1,{≥i R i 是一个马尔可夫链且⎩⎨⎧≤>======++i j ij a i X z X P i R z R P j k n n k k k k k ,0,}|{}|{11 （由于i X 的独立性）（b ）记i T 为第i 个记录与第1i +个记录之间的时间，i T 是相互独立的随机变量，因为{}i P T t =}1...,2,1,,|{k 1-=<=====+++t k i X i X R z X R P i i i n n i t n i 且}{1z X R P tn i i ===++=⎩⎨⎧≤>ij i j a j ,0,（由于i X 的独立性）故{i T ，1≥i }是一个马尔可夫链令(,),1i i i Z R T i =≥ 则{}111,,,i i i P Z Z Z Z +-…{}111111(,)(,),(,),,(,)i i i i i i P R t R t R t R t ++--=…{}1111112111111211(,)(,),(,),,(,),(,)i i i t t i t t i t t i t t P X t X t X t X t X t +-+++++++-++=…+?+?+… {}111111(,)(,)i i t t i t t i P X t X t ++++++=…+?+ {}111111(,)(,)i i t t i t t i P X z t X i t ++++++===…+?+,0,j j i j iα>⎧=⎨≤⎩ 故}{,(),1i i R T i ≥是一个马尔可夫链。

上海大学随机过程第六章习题与答案

第三章习题1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为p ，乙胜的概率为q ，平局的概率为r ，其中,,0,1p q r p q r ≤++=，设每局比赛后，胜者得1分，负者得1-分，平局不记分，当两个人中有一个人得到2分时比赛结束，以n X 表示比赛至第n 局时甲获得的分数，则{,1}n X n ≥是一齐冯马尔可夫链.（1）写出状态空间；（2）求一步转移概率矩阵；（3）求在甲获得1分的情况下，再赛2局甲胜的概率. 解（1）{,0}n X n ≥的状态空间为{2,1,0,1,2}S =--（2）{,0}n X n ≥的一步转移概率矩阵为1000000000001q rp q r p q r p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦P （3）因为两步转移概率矩阵为22(2)22222210000202220200001q rq r pq pr p q rq r pqpr p q qr pq r p pr ⎡⎤⎢⎥++⎢⎥⎢⎥==+⎢⎥++⎢⎥⎢⎥⎣⎦P P所以在甲获得1分的情况下，再赛2局甲胜的概率为(2)12(1)p p pr p r =+=+2．设{,1,2,}i Y i =L 为相互独立的随机变量序列，则（1）{,1,2,}i Y i =L 是否为Markov 链？（2）令1nn ii X Y ==∑，问{,1,2,}iX i =L 是否为Markov 链？解（1）由于11221112211122111221111221(,,,,) (,,,)(,,,)()()()()()()(,,,)n n n n n n n n n n n P Y i Y i Y i Y j P Y j Y i Y i Y i P Y i Y i Y i P Y i P Y i P Y i P Y j P Y j P Y j Y i P Y i Y i Y i ------=========================L L L L L因此，{,1,2,}n Y n =L 是马尔可夫链.（2）取1111()f U X U ==，当11U i =时，212X U U =+是2U 的函数，记为22().f U 依次类推，1121n n X U U U --=+++L 为1n U -的函数，记为1112(),n n n n f U X U U U --=+++L 为n U 的函数，记为().n n f U 由于12,,,,n U U U L L 相互独立，则其相应的函数1122(),(),,(),n n f U f U f U L L 也相互独立，从而122111221111112211 (,,,)(,,,)(,,,)()()nn n i n i n n n n n n P X j X i X i X i P Y j X i X i X i P X Y j X i X i X i P Y j i P X j X i --=---==========+======-===∑L L L因此{,1,2,}n X n =L 是马尔可夫链.3 设,1,2,i X i =L 是相互独立的随机变量，且使得(),0,1,i j P X j a j ===L ，如果max{,1,2,,1}n i X X i n >=-L ，其中0X =-∞，就称在时刻n 产生了一个记录.若在时刻n 产生了一个记录，就称n X 为记录值，以n R 表示第n 个记录值.（1）证明，{,1,2,}n R n =L 是Markov 链，并求其转移概率；（2）以i T 表示第i 个与第1i +记录之间的时间，问{,1,2,}n T n =L 是否是Markov 链，若是，则计算其转移概率.证明：（a ）根据题意有：k n k n n X R X R X R ===,....,2121，……满足........21k n n n X X X << 且........121k n n n <<<故},...,|{11111i R i R i R z R P k k k k k ====--+}...|{111i i i j z R P k k k >>>>==-+ }|{1k k i j z R P >==+}|{1k k k i R z R P ===+ 故}1,{≥i R i 是一个马尔可夫链且⎩⎨⎧≤>======++i j ij a i X z X P i R z R P j k n n k k k k k ,0,}|{}|{11 （由于i X 的独立性）（b ）记i T 为第i 个记录与第1i +个记录之间的时间，i T 是相互独立的随机变量，因为{}i P T t =}1...,2,1,,|{k 1-=<=====+++t k i X i X R z X R P i i i n n i t n i 且}{1z X R P t n i i ===++=⎩⎨⎧≤>i j ij a j ,0,（由于i X 的独立性）故{i T ，1≥i }是一个马尔可夫链令(,),1i i i Z R T i =≥ 则{}111,,,i i i P Z Z Z Z +-…{}111111(,)(,),(,),,(,)i i i i i i P R t R t R t R t ++--=…{}1111112111111211(,)(,),(,),,(,),(,)i i i t t i t t i t t i t t P X t X t X t X t X t +-+++++++-++=…+?+?+… {}111111(,)(,)i i t t i t t i P X t X t ++++++=…+?+ {}111111(,)(,)i i t t i t t i P X z t X i t ++++++===…+?+,0,j j ij iα>⎧=⎨≤⎩ 故}{,(),1i i R T i ≥是一个马尔可夫链。

随机过程-9马尔科夫链的状态分类

1
1 2
P

0 1
1 0
0 1

2 0
1
2 0

1 0 1
P2

2 0
1
2 0
1 2
1
1
1 2
2
3
1 2
1
由1出发，经过一步首次回到1：无
由1出发，经过两步首次回到1：1→2→1
由1出发，经过三步首次回到1：无
由1出发，经过四步首次回到1：1→2→3→2→1
f (1) 0 11
f (2) 1
11
2
f (3) 0 11
f (4) 1
11
4
f (5) 0 11
f (6) 1
马尔科夫链状态的分类
1、周期性
• 例：从状态1出发，再回到状态1，可能的步数为 3,6,9，...，例如：1→3→6→1，或 1→4→6→2→5→6→1，等等。
• 步数的最大公约数，称为周期。周期为3.
4.2 马尔可夫链的状态分类
例4.6 设马尔可夫链的状态空间 I={1,2,,9}，转移概率如下图
• 定义4.3 状态i的周期d： d=G.C.D{n: p(n) >0}
ii
(最大公约数greatest common divisor) • 如果d>1，就称i为周期的， • 如果d=1，就称i为非周期的
4.2 马尔可夫链的状态分类
注(1)如果i有周期d，则对一切非零的n,
n0 mod d，有 p(n) 0
同理可得
4.2 马尔可夫链的状态分类
f (n) 13

( (
p1q2 p1q2

随机过程第三章马尔科夫链

4
设P表示一步转移概率所组成的矩阵，则
p11 p12 p1n P p21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有如下性质：
1、pij 0, i, j I
2、
p
jI
ij
1, i, j I
满足上述两个性质的矩阵称为随机矩阵。
p j (n)
pj
(n) p (n 1) p
( pi pijn) iI
i
ij
iI
PT (n) PT (0)P ( n)
P T (n) P T (n 1)P
13
定理设{Xn,n∈T}为马尔可夫链，则对任意i1, …,in∈I和n≥1，有
P{X1 i1 ,, X n in }
22
状态的常返性例：状态转移概率图
1 1/2
1
1
2
3
4
1/2
1
23
首中概率它表示质点由i出发，经n步首次到达j 的概率
f ij( n ) P( X m v j,1 v n 1, X m n j | X m i)
定理对任一状态i, j及1 n , 有 p
5
例：一维随机游动。设一醉汉Q(或看作一随机游动的质点)在直线上的点集I={1,2,3,4,5}作随机游动，游动的概率规则是：如果Q现在位于点i(1<i<5)，则下一时刻各以1/3的概率向左或向右移动一格，或以1/3的概率留在原处；如果Q现在处于1(或5) 这一点上，则下一时刻就以概率1移动到2(或4)这点上， 1和5这两点称为反射壁，这种游动称为带有两个反射壁的随机游动。

随机过程答案

随机过程答案2012-2013学年第一学期统计10本《随机过程》期中考试一. 填空题1．设马氏链的一步转移概率矩阵()ij P p =，n 步转移矩阵()()n ij P p =，二者之间的关系为(n)n P P =2.状态i 常返的充要条件为()0n iin p ∞==∑∞。

3.在马氏链{},0n X n ≥中，记()n i jp ={}0,11,n P Xm j m n X j X i ≠≤≤-==，n ≥1.i j p =()1n i j n p ∞=∑,若i j p <1,称状态i 为。

二. 判断题1. S 是一个可数集，{:0n n X ≥}是取值于S 的一列随机变量，若()1011100111111,,...,(,...,)n n n n n n n n n n n n i i S P i X i X i X i P i i -+++--++-?≥?∈X =|====X =|X=并且满足，则{:0n n X ≥}是一个马氏链。

×2. 任意状态都与它最终到达的状态是互通的，但不与它自己是互通的。

×3. 一维与二维简单随机游动时常返的，则三维或更高维的简单随机游动也是常返的。

×4. 若状态i ?状态j ，则i 与j 具有相同的周期。

√5. 一个有限马尔科夫链中不可能所有的状态都是暂态。

√三. 简答题1．什么是随机过程，随机序列答：设T 为[0，+∞）或（-∞，+∞），依赖于t(t ∈T)的一族随机变量（或随机向量）{t ξ}通称为随机过程，t 称为时间。

当T 为整数集或正整数集时，则一般称为随机序列。

2 .什么是时齐的独立增量过程答：称随机过程{t ξ：t ≥0}为独立增量过程，如果对于01,0,n n t t t ??≤<<<="" 起始随机变量及其后的增量s="">3.由4个状态组成的马氏链的转移概率矩阵000.50.5100001000010P=??，确定哪些状态是暂态，哪些状态是常返态4.考虑由状态0,1,2,3,4组成的马尔科夫链，而0.50.50000.50.5000000.50.50000.50.500.250.25000.5P=，确定常返态5.设有四个状态{}I=0123，，，的马氏链，它的一步转移概率矩阵1100221100P=22111144440011) 对状态进行分类；2) 对状态空间I 进行分解。

随机过程第四章习题解答

第四章习题解答4.1Y1,Y2,···是来自总体Y的随机变量，与X0独立，h(x,y)是实函数.对于n 1，取X n=h(X n−1,Y n).设{X n}的状态空间为I，验证{X n}是马氏链，给出转移概率p ij.解：由题知，Y k与X1,···,X k−1独立,k 1,∀n,i,j,i1,...,i n−1∈I有，P(X n+1=j|X n=i,X n−1=i n−1, (X0)i0)=P(h(i,Y n+1)=j|X n=i,X n−1=i n−1,···,X0=i0)=P(h(i,Y n+1)=j|X n=i)=P(h(i,Y)=j)=P(h(i,Y1)=j|X0=i)=P(X1=j|X0=i).∴X n是马氏链，P ij=P(h(i,Y)=j).4.2设{X i,i 0}是取非负整数值的独立同分布的随机变量序列，V ar(X0)>0.验证以下随机序列是马氏链：(a){X n,n 0};(b){S n,n 0}，其中S n=∑ni=0X i;(c){ξn,n 0}，其中ξn=∑ni=0(1+X i).解：∀n,i,j,i0,···,i n−1∈N+,(a).P(X n+1=j|X n=i,X n−1=i n−1,···,X0=i0)=P(X n+1=j)= P(X n+1=j|X n=i)=P(X1=j)=P(X1=j|X0=i).1第四章离散时间马尔可夫链第四章离散时间马尔可夫链(b).P(S n+1=j|S n=i,S n−1=i n−1,···,X0=i0)=P(X n+1=j−i|X n=i−i n−1,···,X0=i0)=P(X n+1=j−i)=P(X n+1=j−i,S n=i|S n=i)=P(S n+1=j|S n=i)=P(X1=j−i)=P(X1=j−i|X0=i)=P(S1=j|S0=i).(c).P(ξn+1=j|ξn=i,ξn−1=i n−1,···,ξ0=i0)=P(X n+1=ji −1)=P(X n+1=ji−1|ξn=i)=P(ξn+1=j|ξn=i)=P(X1=ji −1)=P(X1=ji−1|X0=i)=P(ξ1=j|ξ0=i).4.3马氏链的状态空间是I=(1,2,3,4,5)，转移概率矩阵P=0.20.80000.50.5000000.50.500.20.3000.500001界定马氏链的状态。

概率论与数理统计习题册第七章答案

上是不可能的．再设有无顾客来到与服务是否完毕是相互独立的．试用马氏链描述
这个服务系统，并求其一步转移概率矩阵．(参考陕西人民教育出版社，概率论与数
理统计辅导，P214)
- 106 -
第十一章马尔可夫莲
系别
班级
姓名
学号
.
作业 19 多步转移概率的确定、遍历性
一、设任意相继的两天中，雨天转晴天的概率为 1 ，晴天转雨天的概率为 1 ，
要服务的顾客到达系统时发现系统内已有 3
个顾客（一个正在接受服务，两个在等候室
排队），则该顾客即离去．设时间间隔 ∆t 内
将有一个顾客进入系统的概率为 q ，有一原
来被服务的顾客离开系统（即服务完毕）的
第 11.5 题图
概率为 p ．又设当 ∆t 充分小时，在这时间间隔内多于一个顾客进入或离开系统实际
⎡1 1⎤
P
=
⎢ ⎢
2
2
⎥ ⎥
⎢1 2⎥
⎢⎣3 3 ⎥⎦
⎡5 P 2 = ⎢⎢12
⎢7 ⎢⎣18
7⎤
12
⎥ ⎥，
11 ⎥
18 ⎥⎦
所以已知
5
月
1
日为晴天，5
月
3
日为晴天的概率为
p00
(2)
=
5 12
；已知
5
月
3
日为晴天，5
月
5
日为雨天的概率等于
p01
(2)
=
7 12
，已知
5
月
1
日为晴天，5
月
3
日为晴天，且
5
月
5
日为雨天
的概率
P{X3 = 0, X5 = 1| X1 = 0} = P{X3 = 0 | X1 = 0} P{X5 = 1| X3 = 0, X1 = 0}

随机过程习题及部分解答(共享).docx

随机过程习题及部分解答习题一1.若随机过程X(/)为X(0 = A?,-oo<r<+oo,式中4为(0, 1)上均匀分布的随机变量，求X(/)的一维概率密度Px(x；t)。

2.设随机过程X(/) = 4cos(初+ 其中振幅A及角频率①均为常数,相位&是在[-兀,刃上服从均匀分布的随机变量，求X(/)的一维分布。

习题二1.若随机过程X(/)为X(t)=At -00 < r < +00 ,式中4为(0,1)上均匀分布的随机变量，求E[xa)],7?xa』2)2.给定一随机过程X(/)和常数Q,试以X(/)的相关函数表示随机过程y(0 = X(/ + a) —X(/)的自相关函数。

3.已知随机过程X(/)的均值阪⑴和协方差函数Cx (爪© , 0(/)是普通函数，试求随机过程丫⑴=X(/) + 0(/)是普通函数，试求随机过程丫⑴=X(/) + 0(/)的均值和协方差函数。

4.设X(t) = A cos at + B sin at,其中A, B是相互独立且服从同一高斯(正态)分布N(0Q2)的随机变量，a为常数，试求X(/)的值与相关函数。

习题三1.试证3.1节均方收敛的性质。

2.证明:若X(t),twT;Y(t),twT均方可微，a0为任意常数,则aX(t) + bY(t) 也是均方可微，且有[aX (?) + b Y(/)]' = aX'(/) + b Y'(/)3.证明：若X⑴,twT均方可微，/X/)是普通的可微函数，则f(Z)X(Z)均方可微且[f(ox(or-/w(o+/(ox,(o4.证明:设X⑴在[a,b]上均方可微，且X0)在[a,切上均方连续，则有X'⑴ dt = X(b) — X(a)J a5•证明，设X(t\t eT =[a,b];Y{t\t eT = [a,b]为两个随机过程，且在T上均方可积，a和0为常数，则有(*b (*b (*bf [aX(/) + 0Y(/)M = a [ Xit)dt + /3\ Y⑴ dtJ a J a J aeb rc rbaX (t)dt = X (t)dt + XQ) dt,aWcWbJ a J a Jc6.求随机微分方程X'(/) + aX ⑴二丫⑴ze[0,+oo]'X(0) = 0的X(t)数学期望E [X(0]。

(完整版)随机过程习题答案

随机过程部分习题答案习题22.1 设随机过程b t b Vt t X ),,0(,)(+∞∈+=为常数，)1,0(~N V ，求)(t X 的一维概率密度、均值和相关函数。

解因)1,0(~N V，所以1,0==DV EV ，b Vt t X +=)(也服从正态分布，b b tEV b Vt E t X E =+=+=][)]([ 22][)]([t DV t b Vt D t X D ==+=所以),(~)(2t b N t X ，)(t X 的一维概率密度为),(,21);(222)(+∞-∞∈=--x ett x f t b x π，),0(+∞∈t均值函数 b t X E t m X ==)]([)(相关函数)])([()]()([),(b Vt b Vs E t X s X E t s R X ++==][22b btV bsV stV E +++=2b st +=2.2 设随机变量Y 具有概率密度)(y f ，令Yt e t X -=)(，0,0>>Y t ，求随机过程)(t X 的一维概率密度及),(),(21t t R t EX X 。

解对于任意0>t，Yt e t X -=)(是随机变量Y 的函数是随机变量，根据随机变量函数的分布的求法，}ln {}{})({);(x Yt P x e P x t X P t x F t Y ≤-=≤=≤=-)ln (1}ln {1}ln {tx F t x Y P t x Y P Y --=-≤-=-≥= 对x 求导得)(t X 的一维概率密度xtt x f t x f Y 1)ln ();(-=，0>t均值函数⎰∞+--===0)(][)]([)(dy y f e eE t X E t m yt tY X相关函数⎰+∞+-+---====0)()(2121)(][][)]()([),(212121dy y f e e E e e E t X t X E t t R t t y t t Y t Y t Y X2.3 若从0=t 开始每隔21秒抛掷一枚均匀的硬币做实验，定义随机过程⎩⎨⎧=时刻抛得反面时刻抛得正面t t t t t X ,2),cos()(π 试求：（1）)(t X 的一维分布函数),1(),21(x F x F 和；（2）)(t X 的二维分布函数),;1,21(21x x F ；（3）)(t X 的均值)1(),(X X m t m ，方差 )1(),(22X Xt σσ。

随机过程_华东师范大学中国大学mooc课后章节答案期末考试题库2023年

随机过程_华东师范大学中国大学mooc课后章节答案期末考试题库2023年1.隐马尔可夫链的三类基本问题不包括_____________.答案:识别问题2.有限状态时齐马氏链的任意一个状态都不是零常返的答案:正确3.接上题。

试用切比雪夫不等式估计小王在一个小时完成的概率最大是________？答案:0.064.小王同学要做一个社会调查，为此他打算到某公共场所发放调查问卷。

他先去该场所观察人群到达情况，发现到达的人流可以用强度为1000人/小时的泊松过程拟合。

由于人手不够，小王只能在到达的人群中随机发放问卷，每个人拿到问卷的可能性是30%，另外，不是所有人都会配合调查问卷，根据经验每个人拿到问卷的人都有50%的可能配合完成调查。

小王要获得200份已完成的调查问卷，请问配合小王完成调查问卷的人群所构成的泊松过程的强度是______人/小时。

答案:1505.【图片】表示相继两列列车之间的等待时间(单位：小时)，服从(1, 2)上的均匀分布，乘客按强度为100人/小时的泊松过程到达火车站，问乘上某列火车的乘客中等待时间超过1个小时的乘客数量。

答案:506.已知随机游动【图片】的步长分布为【图片】. 那么【图片】=——————(用小数表示，四舍五入，保留4位小数)。

答案:0.02887. 2. .若N(t)是个等待时间分布为F(t)的更新过程，g是一个定义在正整数上的函数, 满足g(0)=0, g(n+1)=g(1)+rg(n), 【图片】, 其中r是个常数，那么函数h(t)=E(g(N(t)))满足_____.答案:8.平稳独立增量过程一定是平稳过程答案:错误9.努利过程既是平稳过程也是严平稳过程答案:正确10.若随机变量序列【图片】为独立增量过程，那么【图片】.答案:错误11.对离散时间随机过程【图片】定义【图片】,那么【图片】是关于该随机过程的停时答案:错误12.已知W是初值为0, 步长分布为【图片】的随机游动，那么以下错误的是答案:13.已知非负整数值随机变量X的概率母函数为【图片】那么【图片】______.(用小数表示)答案:0.514.若X，Y是独立同分布的随机变量服从参数为a的指数分布, 那么在X+Y=1的条件下X的分布是_____.答案:均匀分布15.【图片】(注意结果用小数表示)答案:0.0516.【图片】(注意：结果用小数表示)答案:0.517.已知X, Y是两个方差有限的随机变量，若以X的一个函数随机变量g(X)作为Y的一个近似，为了使得近似误差的均方最小，那么在几乎处处意义下g(X)=_____。

上海大学随机过程第六章习题及标准答案

上海大学随机过程第六章习题及标准答案上海大学随机过程第六章习题及答案————————————————————————————————作者：————————————————————————————————日期：第三章习题1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为p ，乙胜的概率为q ，平局的概率为r ，其中,,0,1p q r p q r ≤++=，设每局比赛后，胜者得1分，负者得1-分，平局不记分，当两个人中有一个人得到2分时比赛结束，以n X 表示比赛至第n 局时甲获得的分数，则{,1}n X n ≥是一齐冯马尔可夫链.（1）写出状态空间；（2）求一步转移概率矩阵；（3）求在甲获得1分的情况下，再赛2局甲胜的概率. 解（1）{,0}n X n ≥的状态空间为{2,1,0,1,2}S =--（2）{,0}n X n ≥的一步转移概率矩阵为1000000000001q rp q r p q r p =P （3）因为两步转移概率矩阵为22(2)22222210000202220200001q rq r pq pr p q rq r pqpr p q qr pq r p pr ++==+??++??P P所以在甲获得1分的情况下，再赛2局甲胜的概率为(2)12(1)p p pr p r =+=+2．设{,1,2,}i Y i =L 为相互独立的随机变量序列，则（1）{,1,2,}i Y i =L 是否为Markov 链？（2）令1nn ii X Y ==∑，问{,1,2,}iX i =L 是否为Markov 链？解（1）由于11221112211122111221111221(,,,,) (,,,)(,,,)()()()()()()(,,,)n n n n n n n n n n n P Y i Y i Y i Y j P Y j Y i Y i Y i P Y i Y i Y i P Y i P Y i P Y i P Y j P Y j P Y j Y i P Y i Y i Y i ------=========================L L L L L因此，{,1,2,}n Y n =L 是马尔可夫链.（2）取1111()f U X U ==，当11U i =时，212X U U =+是2U 的函数，记为22().f U 依次类推，1121n n X U U U --=+++L 为1n U -的函数，记为1112(),n n n n f U X U U U --=+++L 为n U 的函数，记为().n n f U 由于12,,,,n U U U L L 相互独立，则其相应的函数1122(),(),,(),n n f U f U f U L L 也相互独立，从而122111221111112211 (,,,)(,,,)(,,,)()()nn n i n i n n n n n n P X j X i X i X i P Y j X i X i X i P X Y j X i X i X i P Y j i P X j X i --=---==========+======-===∑L L L因此{,1,2,}n X n =L 是马尔可夫链.3 设,1,2,i X i =L 是相互独立的随机变量，且使得(),0,1,i j P X j a j ===L ，如果max{,1,2,,1}n i X X i n >=-L ，其中0X =-∞，就称在时刻n 产生了一个记录.若在时刻n产生了一个记录，就称n X 为记录值，以n R 表示第n 个记录值. （1）证明，{,1,2,}n R n =L 是Markov 链，并求其转移概率；（2）以i T 表示第i 个与第1i +记录之间的时间，问{,1,2,}n T n =L 是否是Markov 链，若是，则计算其转移概率.证明：（a ）根据题意有：k n k n n X R X R X R ===,....,2121，……满足........21k n n n X X X << 且........121k n n n <<<故},...,|{11111i R i R i R z R P k k k k k ====--+}...|{111i i i j z R P k k k >>>>==-+ }|{1k k i j z R P >==+}|{1k k k i R z R P ===+ 故}1,{≥i R i 是一个马尔可夫链且≤>======++i j ij a i X z X P i R z R P j k n n k k k k k ,0,}|{}|{11 （由于i X 的独立性）（b ）记i T 为第i 个记录与第1i +个记录之间的时间，i T 是相互独立的随机变量，因为{}i P T t =}1...,2,1,,|{k 1-=<=====+++t k i X i X R z X R P i i i n n i t n i 且}{1z X R P tn i i ===++=≤>ij i j a j ,0,（由于i X 的独立性）故{i T ，1≥i }是一个马尔可夫链令(,),1i i i Z R T i =≥ 则{}111,,,i i i P Z Z Z Z +-…{}111111(,)(,),(,),,(,)i i i i i i P R t R t R t R t ++--=…{}1111112111111211(,)(,),(,),,(,),(,)i i i t t i t t i t t i t t P X t X t X t X t X t +-+++++++-++=…+?+?+… {}111111(,)(,)i i t t i t t i P X t X t ++++++=…+?+ {}111111(,)(,)i i t t i t t i P X z t X i t ++++++===…+?+,0,j j i j iα>?=?≤? 故}{,(),1i i R T i ≥是一个马尔可夫链。

随机过程课后试题答案

随机过程课后试题答案一、选择题1. 随机过程的基本定义中，样本空间通常表示为：A. 一个集合B. 一个函数集合C. 一个概率空间D. 一个参数集合答案：A2. 若随机过程的样本轨迹几乎是连续的，则该过程是：A. 离散时间随机过程B. 连续时间随机过程C. 泊松过程D. 马尔可夫过程答案：B3. 马尔可夫性质的含义是未来的状态只依赖于当前状态，而与过去的状态无关。

这一性质不适用于：A. 泊松过程B. 布朗运动C. 马尔可夫链D. 所有随机过程答案：D4. 在随机过程中，如果两个随机变量的联合分布可以表示为它们各自的边缘分布的乘积，则这两个随机变量是：A. 独立的B. 相关的C. 正相关的D. 负相关的答案：A5. 随机游走的期望步长是：A. 1B. 2C. 依赖于起始点D. 依赖于步长分布答案：D二、填空题1. 一个随机过程的样本函数是定义在参数集合上的_________函数。

答案：实值或随机2. 在随机过程中，如果给定当前状态，下一状态的条件概率分布仅依赖于当前状态而不依赖于之前的状态，那么该过程是一个_________过程。

答案：马尔可夫3. 随机过程的均值函数（或称数学期望函数）是描述过程长期行为的重要工具，它是一个关于_________的函数。

答案：时间4. 布朗运动是一种连续时间随机过程，其样本轨迹具有_________性质。

答案：无处处可微5. 泊松过程是一种描述事件在时间上随机发生的随机过程，其特点是事件在任意两个不重叠时间区间内发生是_________的。

答案：相互独立三、计算题1. 假设有一个离散时间马尔可夫链，其状态转移矩阵为：\[P = \begin{bmatrix}0.7 & 0.3 \\0.4 & 0.6\end{bmatrix}\]求该马尔可夫链在第二时刻的状态概率分布，给定初始状态概率分布为：\\[\pi_0 = \begin{bmatrix}0.5 \\0.5\end{bmatrix}\]解：首先计算\( P^2 \)，即状态转移矩阵的二次幂，然后利用\( \pi_0 \)和\( P^2 \)来计算第二时刻的状态概率分布。