随机过程Markov链 中科大

15. 三种同类的商品(1, 2, 3)的市场占有率开始为1/3, 一个季度以后顾客的转移概率矩阵为 1 0.6 0.3 0.1 P = 2 0.3 0.2 0.5 . 3 0.1 0.2 0.7
试求
(a) 半年之后的三种商品的市场占有率; (b) 从状态2到状态3的平均首达时间; (c) 平稳状态下三种商品的市场占有率. 16. 甲有a元, 乙有b元(a, b为正整数). 二人进行赌博, 每局输赢为1元, 一直赌到其中一人输光
4
Байду номын сангаас
(a) 转移矩阵P ; (b) 状态分类（关于可约、 周期、 常返、 正常返）; (c) 极限分布. 8. 2N 个球（N 个白球N 个黑球）随机装到甲、乙两个袋子里, 每袋各装N 个球, 每次从两
个袋子中个随机取一个球, 并放入对方袋中. 若以Xn 表示第n次取球后甲袋中的黑球数, 则{Xn , n ≥ 0}为一Markov链.
为止, 甲赢的概率为p, 输的概率为q . 现以Xn 表示第n局结束时甲所有的赌资, 则{Xn , n ≥
0}为马氏链. 试求甲输光的概率. 17. 考虑赌徒输光模型, 其中赌徒甲的初始赌资为a(> 10), 赌徒乙的初始赌资为b(> 10). 求
赌徒甲的赌资在减少到5 之前达到a + b − 3的概率.
到0的次数. 证明：
(a) 问过程回到0的平均返回时间是？ (b) E N2 n ) 2n −2n = (2n + 1) 2 − 1; n 1 (
√ (c) 当n充分大时, ENn 与 n成比例. 5. 考虑从0出发的简单对称随机游动. 现以Xn 表示质点在时刻n所处的位置. (a) 试求期望E[Xn ]和协方差Cov(Xm , Xn ); (b) 试求Xn 的分布律(n = 1, 2, 3, . . .); (c) {Xn , n ≥ 0}是否为平稳过程? 6. 一质点在区间[0, N ]的整数点上作随机游动, 每次往正向和反向移动一格的概率为p, 0 <
Markov 链 1. 考虑一个状态为{1, 2, 3}的Markov链, 其转移矩阵为 0.6 0.4 0 P = 0.35 0.3 0.35 0 0.2 0.8
.
试求
n; (a) lim Pi,j n→∞
(b) 每个状态的平均返回时间; (c) 初始分布为何时, 该链为平稳序列. 2. 设Markov链{Xn , n ≥ 0}的状态空间I = {0, 1, 2, . . .}, 转移概率为 1 P0,0 = Pi,i+1 = Pi,0 = , 2 (a) 试求f00 和f00 ; (b) 从0出发首次返回0的平均步长µ0 ; (c) 证明此链不可约遍历. 3. 一质点在圆周上作随机游动, 圆周上共有N (≥ 2) 格, 质点以概率p 顺时针方向游动一格,
n→∞
11. 设河流每天的BOD（生物耗养量）浓度为一个齐次马氏链, 状态空间I = {1, 2, 3, 4}是
按BOD的浓度为极低, 低, 中, 高分别表示的, 其一步转移概率矩阵(以一天为单位)为
1 0.5 0.4 0.1 0 2 0.2 0.5 0.2 0.1 P = . 3 0.1 0.2 0.6 0.1 4 0 0.2 0.4 0.4
若BOD浓度高, 则称河流处于污染状态.
(a) 证明该链遍历; (b) 求该链极限分布和平稳分布; (c) 求河流再次达到污染的平均时间. 12. 独立连续地掷一枚骰子, 现以Xn 表示前n次所掷出的最大点数, 则{Xn , n ≥ 1}为一马氏
链,
(a) 试求一步转移概率矩阵P ; 3
(b) 状态分类(几个等价类, 周期, 常返, 正常返); (c) 试求该链的n步转移概率矩阵P (n) ; (d) 试求极限 lim P (n) =?
14. 从数1, 2, 3, . . . , N 中任取一数作为X1 . 对n > 1, 从1, 2, 3, . . . , Xn−1 中任取一数作为Xn , 则Xn 为
一马氏链.
(a) 试写出该链的转移矩阵P ; (b) 对该链进行状态分类; (c) 极限 lim P n 是否存在？为什么？
n→∞
2
数据可得转移概率矩阵为：
−1 P = 0 1 0.35 0.3 0.35 0 0.2 0.8 0.6 0.4 0 .
试比较稳定经济条件下增长趋势与减少趋势的期望长度.
10. 设马氏链转移概率矩阵为： 1 0 0 1 0 2 1 0 0 0 P = . 3 1/2 1/2 0 0 4 1/3 1/3 1/3 0 (a) 状态分类; 对正常返的状态求出平均常返时; (b) 求出平稳分布; (c) 极限 lim P (n) 是否存在？为什么？
n→∞
13. 设{Xn , n ≥ 0}为[0, 3]上的随机游动, 其转移概率矩阵如下： 0 1 0 0 0 1 1/4 1/2 1/4 0 P = . 2 0 1/4 1/2 1/4 3 0 0 1 0
试求质点由点k出发被0吸收的概率pk 以及平均步数vk .
1 p< 2 , 而以q = 1 − 2p留在原处. 设0为吸收壁, N 为反射壁 （即PN,N −1 = 1） . 若以Xn 表示
时刻n质点所处的位置, 则{Xn , n ≥ 0}为一Markov链.
(a) 试求该链转移矩阵P ; (b) 若该质点从n出发, 求它被0吸收的概率un , 以及它被吸收的平均步数vn , n = 1, 2, . . . , N . 7. 某车间有两台相同的机器, 每天之多使用其中的一台, 工作着的机器在一天内损坏的概
(a) 试求该链转移矩阵P ; (b) 证明该链不可约遍历; (c) 试求极限 lim Pi,j .
n→∞ (n)
9. 一个国家在稳定经济条件下其商品出口可用三状态的马氏链来描述. 其中“1”表示今年
比去年增长≥ 5%, “-1”表示今年比去年减少≥ 5%, “0”表示波动低于≥ 5%. 由以往的统计
率为p. 车间里有一名修理工, 他一次只能修理一台机器, 且要花两天时间才能修复. 当 一台机器损坏之后, 当天即停止生产. 若另一台机器是好的, 则第二天使用这台好的, 并 修理那台坏的. 系统的状态可用数对(x, y ) 来表示, 其中x是一天结束时仍未损坏的机器 数, 而当损坏的机器已经修理了一天时y 取1, 否则取0. 试用一个Markov链{Xn , n ≥ 0} 来 描述这个系统（状态空间I = {a = (2, 0), b = (1, 0), c = (1, 1), d = (0, 1)}）. 试求该链的
(n)
i ∈ I.
以q = 1 − p逆时针方向游动一格.
(a) 试求该Markov链的转移概率矩阵P ; (b) 对该链进行状态分类（关于可约、 周期、 常返、 正常返）; (c) 求该链的平稳分布. 问 lim P (n) 是否存在？
n→∞
提示 ： 注意N 的奇偶.
4. 考虑从0出发的简单对称随机游动 （见课本例子3.8） . 若以Nn 表示到时刻n为止过程返回