上海大学随机过程第六章习题及答案

第三章 习 题1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为p ，乙胜的概率为q ，平局的概率为r ，其中,,0,1p q r p q r ≤++=，设每局比赛后，胜者得1分，负者得1-分，平局不记分，当两个人中有一个人得到2分时比赛结束，以n X 表示比赛至第n 局时甲获得的分数，则{,1}n X n ≥是一齐冯马尔可夫链.（1）写出状态空间；（2）求一步转移概率矩阵；（3）求在甲获得1分的情况下，再赛2局甲胜的概率. 解（1）{,0}n X n ≥的状态空间为{2,1,0,1,2}S =--（2）{,0}n X n ≥的一步转移概率矩阵为1000000000001q rp q r p q r p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦P （3）因为两步转移概率矩阵为22(2)22222210000202220200001q rq r pq pr p q rq r pqpr p q qr pq r p pr ⎡⎤⎢⎥++⎢⎥⎢⎥==+⎢⎥++⎢⎥⎢⎥⎣⎦P P所以在甲获得1分的情况下，再赛2局甲胜的概率为(2)12(1)p p pr p r =+=+2．设{,1,2,}i Y i =为相互独立的随机变量序列，则 （1）{,1,2,}i Y i =是否为Markov 链？（2）令1nn ii X Y ==∑，问{,1,2,}iX i =是否为Markov 链？解（1）由于11221112211122111221111221(,,,,) (,,,)(,,,)()()()()()()(,,,)n n n n n n n n n n n P Y i Y i Y i Y j P Y j Y i Y i Y i P Y i Y i Y i P Y i P Y i P Y i P Y j P Y j P Y j Y i P Y i Y i Y i ------=========================因此，{,1,2,}n Y n =是马尔可夫链.（2）取1111()f U X U ==，当11U i =时，212X U U =+是2U 的函数，记为22().f U 依次类推，1121n n X U U U --=+++为1n U -的函数，记为1112(),n n n nf U X U U U --=+++为n U 的函数，记为().n n f U 由于12,,,,n U U U 相互独立，则其相应的函数1122(),(),,(),n n f U f U f U 也相互独立，从而122111221111112211 (,,,)(,,,)(,,,)()()nn n i n i n n n n n n P X j X i X i X i P Y j X i X i X i P X Y j X i X i X i P Y j i P X j X i --=---==========+======-===∑因此{,1,2,}n X n =是马尔可夫链.3 设,1,2,i X i =是相互独立的随机变量，且使得(),0,1,i j P X j a j ===，如果max{,1,2,,1}n i X X i n >=-，其中0X =-∞，就称在时刻n 产生了一个记录.若在时刻n产生了一个记录，就称n X 为记录值，以n R 表示第n 个记录值. （1）证明，{,1,2,}n R n =是Markov 链，并求其转移概率；（2）以i T 表示第i 个与第1i +记录之间的时间，问{,1,2,}n T n =是否是Markov 链，若是，则计算其转移概率.证明：（a ）根据题意有：k n k n n X R X R X R ===,....,2121，……满足........21k n n n X X X << 且........121k n n n <<<故},...,|{11111i R i R i R z R P k k k k k ====--+}...|{111i i i j z R P k k k >>>>==-+ }|{1k k i j z R P >==+}|{1k k k i R z R P ===+ 故}1,{≥i R i 是一个马尔可夫链且⎩⎨⎧≤>======++i j ij a i X z X P i R z R P j k n n k k k k k ,0,}|{}|{11 （由于i X 的独立性）（b ）记i T 为第i 个记录与第1i +个记录之间的时间，i T 是相互独立的随机变量，因为{}i P T t =}1...,2,1,,|{k 1-=<=====+++t k i X i X R z X R P i i i n n i t n i 且}{1z X R P tn i i ===++=⎩⎨⎧≤>ij i j a j ,0,（由于i X 的独立性）故{i T ，1≥i }是一个马尔可夫链 令(,),1i i i Z R T i =≥ 则{}111,,,i i i P Z Z Z Z +-…{}111111(,)(,),(,),,(,)i i i i i i P R t R t R t R t ++--=…{}1111112111111211(,)(,),(,),,(,),(,)i i i t t i t t i t t i t t P X t X t X t X t X t +-+++++++-++=…+?+?+… {}111111(,)(,)i i t t i t t i P X t X t ++++++=…+?+ {}111111(,)(,)i i t t i t t i P X z t X i t ++++++===…+?+,0,j j i j iα>⎧=⎨≤⎩ 故}{,(),1i i R T i ≥是一个马尔可夫链。

4考虑一个具有状态0,1,2,的Markov 链，其转移概率满足,1,11i i i i i p p p +-==-，其中01p =，请找出为了使该Markov 链正常返，所有的i p 所应该满足的充要条件，并计算其在这种情况下的转移概率.解：根据题意知，要满足马尔可夫链为正常返约，当且仅当πj i y iP ππ=∑ j =0，1，2...有一组解j π>0, 1j jπ=∑根据,1,11i i i i i P P P +-==- ，方程可重写为011q ππ=1111,1i i i i i P q i πππ--++=+≥ 则11,0i i i i q P i ππ++=≥ 因此01011....,0. (i)i i P P i q q ππ++=≥从而，随机游动为正常返约的充要条件是0011 (i)i i P P q q ∞=+<∞∑5 捕捉苍蝇的一只蜘蛛依循一个Markov 链在位置1，2之间移动，其初始位置是1，转移矩阵为0.70.30.30.7⎛⎫⎪⎝⎭，未觉察到蜘蛛的苍蝇的初始位置是2，并依照转移矩阵为0.40.60.60.4⎛⎫ ⎪⎝⎭的Markov 链移动，只要它们在同一个位置相遇，蜘蛛就会捉住苍蝇而结束捕捉.（1）证明：在捕捉的过程中，除非知道它结束的位置，否则都必须用三个状态的Markov 链来描述，其中一个是吸收状态，表示结束捕捉，另外两个代表蜘蛛与苍蝇处在不同位置，对此求转移矩阵；（2）求在时刻n 蜘蛛与苍蝇都处在各自初始位置的概率； （3）求捕捉过程的平均持续时间.证明：捕捉过程中，除非知道它结束时的位置，可用三个状态的马尔可夫链来描述，其中一个是吸收状态代表捕捉结束，而另外的两个代表植蜘蛛与苍蝇处在不同的位置，对此链求转移概率矩阵。

求在时刻n 蜘蛛与苍蝇都处于各自的出事位置的概率，捕捉过程的平均持续时间是多少？解：（1）根据题意可知，在捕捉过程中共有三个状态，我们分别令为1，2，3则1={蜘蛛为1，苍蝇在2} 2={蜘蛛为2，苍蝇在1} 3={蜘蛛，苍蝇在同一位置}其中状态3也代表着捕捉结束，则转移概率矩阵为0.280.180.540.180.280.54001⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦（2）分别设n X ，n Y 代表时刻n 蜘蛛和苍蝇的位置。

令{1,2}n n n P P X Y === '{2,1}n n n P P X Y === 则有{1,2}n n n P P X Y ====111{1,2|1,2}n n n n n P X Y X Y P ---====+'111{1,2|1,2}n n n n n P X Y X Y P ---=====0.281n P -+0.18'1n P -同理'n P =0.28'1n P -+0.181n P - 且1P =0.28,'1P =0.18(3)苍蝇被吃掉的概率为P =P {蜘蛛不动，苍蝇动}＋P {苍蝇不动，蜘蛛动} 故P ＝0.7*0.6+0.4*0.3=0.54 故捕捉过程的平均时间为1.856 在一个分枝过程中，每个个体的后代个数服从参数为（2，p ）的二项分布，从一个个体开始，计算： （1）灭绝概率；（2）到第三代群体灭绝的概率；（3）若开始时不是一个个体，初始的群体总数0Z 是一个随机变量，服从均值为λ的泊松分布，证明：此时对于12p >，灭绝概率为2exp{(12)/}p p λ-. 解 （a ）设0π=P {灭绝的概率}= 210{}{j}j p j P X ===∑1灭绝的概率|X22002(1)j j j j p p j π-=⎛⎫=- ⎪⎝⎭∑故有222000(1)2(1)p p p p πππ=-+-+解得220221|12|122(1)2p p p p p p π⎧±-+-+⎪===-⎨⎪⎩因为p X E 2][=，根据定理4.5.1可知， 若P ≤0.5 时 ，0π=1P >0.5 时 ，0π= 22(1)p p-即201,0.51(),0.5p p p p π≤⎧⎪=-⎨>⎪⎩（b ）Ⅱ={第三代群体首次灭绝}=∑=21j p {第三代群体首次灭绝|j x =2}}{2j x ==∑=21j Ⅱj j j j p p C --22)1(故Ⅱ=Ⅱ22p +2Ⅱ)1(p p -（c ）Ⅱ*=p {群体灭绝}=∑∞=0k p {群体灭绝|k Z =0}}{0k Z p ==∑∞=0k p {群体灭绝|k Z =0}λλ-e k k!=λλπ-∞=∑e k kk k !=}ex p{0λπλ-e =})21(ex p{2p p -λ7 一辆出租车流动在三个位置之间，当它到达位置1时，然后等可能的去位置2或3.当它到达位置2时，将以概率1/3到位置1，以概率2/3到位置3.但由位置3总是开往位置1.在位置i 和位置j 之间的平均时间是12132320,30,30t t t ===，且ij ji t t =.求 （1）此出租车最近停的位置是i 的（极限）概率是多少？1,2,3i =； （2）此出租车朝位置2开的（极限）概率是多少？ （3）有多少比例的时间此出租车从位置2开到位置3?注意，以上均假定出租车到达一个位置后立即开出.解：根据题意有12P =1/2，13P =1/2，21P =1/3，23P =2/3，32P =0 12t =21t =20，3113t t ==30，23t =30(a)根据123123213121131121223j i ij i i p ππππππππππππππ++=⎧⎪⎪=+⎧=⎪⎪⎪⇒⎨⎨=⎪⎪=⎩⎪⎪=+⎪⎩∑∑解得12337314514πππ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩(b)此出租汽车朝位置2开的极限概率是112332p p ππ+，为3/14(c)2232332301214331312576(3020)(2030)3072143314j ji ji ijp t p t ππ⨯⨯==⨯++⨯+⨯+⨯∑8 转移矩阵称为双随机的，若对于一切j ，1iji p+∞==∑，设一个具有双随机转移矩阵的Markov链，有n 个状态，且是遍历的，求它的极限概率.解：由于Markov 链是状态有限的遍历链，极限分布是唯一的平稳分布，满足121...1,1,2,...,n n j i ij i p j nπππππ=+++=⎧⎪⎨==⎪⎩∑ 解得121...n n πππ====。