随机过程Markov链作业 中科大
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(a) 试求该链转移矩阵P; (b) 证明该链不可约遍历； (c) 试求极限 lim Pi,j 。
n→∞ (n)
7. 一质点在区间[0, N ]的整数点上作随机游动， 每次往正向和反向移动一格的概率为p, 0 < p< 1 N 为反射壁（即PN,N −1 = 1） 。若以Xn 表 2 , 而以q = 1 − 2p留在原处。设0为吸收壁，
1. 考虑赌徒输光模型，其中赌徒甲的初始赌资为a(> 10), 赌徒乙的初始赌资为b(> 10)。求
赌徒甲的赌资在减少到5 之前达到a + b − 3的概率。
2. 考虑一个状态为{1, 2, 3}的Markov链， 其转移矩阵为 0.6 0.4 0 P = 0.35 0.3 0.35 0 0.2 0.8 .
示时刻n质点所处的位置， 则{Xn , n ≥ 0}为一Markov链。
(a) 试求该链转移矩阵P; (b) 若该质点从n出发， 求它被0吸收的概率un ， 以及它被吸收的平均步数vn , n = 1, 2, . . . , N . 8. 某车间有两台相同的机器， 每天之多使用其中的一台， 工作着的机器在一天内损坏的概
到0的次数。证明：
(a) E N2 n ) 2n −2n = (2n + 1) 2 − 1; n 1 (
√ (b) 当n充分大时， ENn 与 n成比例。 6. 2N 个球（N 个白球N 个黑球）随机装到甲、乙两个袋子里，每袋各装N 个球，每次从两
个袋子中个随机取一个球， 并放入对方袋中。 若Байду номын сангаасXn 表示第n次取球后甲袋中的黑球数， 则{Xn , n ≥ 0}为一Markov链。
(n)
i ∈ I.
格， 以q = 1 − p逆时针方向游动一格。
(a) 试求该Markov链的转移概率矩阵P; (b) 对该链进行状态分类（关于可约、 周期、 常返、 正常返） ； (c) 求该链的平稳分布。问 lim P(n) 是否存在？
n→∞
提示 ： 注意N 的奇偶。
5. 考虑从0出发的简单对称随机游动 （见课本例子3.8） 。 若以Nn 表示到时刻n为止过程返回
试求
n; (a) lim Pi,j n→∞
(b) 每个状态的平均返回时间; (c) 初始分布为何时， 该链为平稳序列。 3. 设Markov链{Xn , n ≥ 0}的状态空间I = {0, 1, 2, . . .}, 转移概率为 1 P0,0 = Pi,i+1 = Pi,0 = , 2 (a) 试求f00 和f00 ; (b) 从0出发首次返回0的平均步长µ0 ; (c) 证明此链不可约遍历。 4. 一质点在圆周上作随机游动，圆周上共有N (≥ 2) 格，质点以概率p 顺时针方向游动一
率为p。 车间里有一名修理工， 他一次只能修理一台机器， 且要花两天时间才能修复。 当 一台机器损坏之后，当天即停止生产。若另一台机器是好的，则第二天使用这台好的， 并修理那台坏的。 系统的状态可用数对(x, y ) 来表示， 其中x是一天结束时仍未损坏的机 器数， 而当损坏的机器已经修理了一天时y 取1， 否则取0。 试用一个Markov链{Xn , n ≥ 0} 来描述这个系统（状态空间I = {a = (2, 0), b = (1, 0), c = (1, 1), d = (0, 1)}） 。试求该链的
(a) 转移矩阵P; (b) 状态分类（关于可约、 周期、 常返、 正常返）; (c) 极限分布。
2
n→∞ (n)
7. 一质点在区间[0, N ]的整数点上作随机游动， 每次往正向和反向移动一格的概率为p, 0 < p< 1 N 为反射壁（即PN,N −1 = 1） 。若以Xn 表 2 , 而以q = 1 − 2p留在原处。设0为吸收壁，
1. 考虑赌徒输光模型，其中赌徒甲的初始赌资为a(> 10), 赌徒乙的初始赌资为b(> 10)。求
赌徒甲的赌资在减少到5 之前达到a + b − 3的概率。
2. 考虑一个状态为{1, 2, 3}的Markov链， 其转移矩阵为 0.6 0.4 0 P = 0.35 0.3 0.35 0 0.2 0.8 .
示时刻n质点所处的位置， 则{Xn , n ≥ 0}为一Markov链。
(a) 试求该链转移矩阵P; (b) 若该质点从n出发， 求它被0吸收的概率un ， 以及它被吸收的平均步数vn , n = 1, 2, . . . , N . 8. 某车间有两台相同的机器， 每天之多使用其中的一台， 工作着的机器在一天内损坏的概
到0的次数。证明：
(a) E N2 n ) 2n −2n = (2n + 1) 2 − 1; n 1 (
√ (b) 当n充分大时， ENn 与 n成比例。 6. 2N 个球（N 个白球N 个黑球）随机装到甲、乙两个袋子里，每袋各装N 个球，每次从两
个袋子中个随机取一个球， 并放入对方袋中。 若Байду номын сангаасXn 表示第n次取球后甲袋中的黑球数， 则{Xn , n ≥ 0}为一Markov链。
(n)
i ∈ I.
格， 以q = 1 − p逆时针方向游动一格。
(a) 试求该Markov链的转移概率矩阵P; (b) 对该链进行状态分类（关于可约、 周期、 常返、 正常返） ； (c) 求该链的平稳分布。问 lim P(n) 是否存在？
n→∞
提示 ： 注意N 的奇偶。
5. 考虑从0出发的简单对称随机游动 （见课本例子3.8） 。 若以Nn 表示到时刻n为止过程返回
试求
n; (a) lim Pi,j n→∞
(b) 每个状态的平均返回时间; (c) 初始分布为何时， 该链为平稳序列。 3. 设Markov链{Xn , n ≥ 0}的状态空间I = {0, 1, 2, . . .}, 转移概率为 1 P0,0 = Pi,i+1 = Pi,0 = , 2 (a) 试求f00 和f00 ; (b) 从0出发首次返回0的平均步长µ0 ; (c) 证明此链不可约遍历。 4. 一质点在圆周上作随机游动，圆周上共有N (≥ 2) 格，质点以概率p 顺时针方向游动一
率为p。 车间里有一名修理工， 他一次只能修理一台机器， 且要花两天时间才能修复。 当 一台机器损坏之后，当天即停止生产。若另一台机器是好的，则第二天使用这台好的， 并修理那台坏的。 系统的状态可用数对(x, y ) 来表示， 其中x是一天结束时仍未损坏的机 器数， 而当损坏的机器已经修理了一天时y 取1， 否则取0。 试用一个Markov链{Xn , n ≥ 0} 来描述这个系统（状态空间I = {a = (2, 0), b = (1, 0), c = (1, 1), d = (0, 1)}） 。试求该链的
(a) 转移矩阵P; (b) 状态分类（关于可约、 周期、 常返、 正常返）; (c) 极限分布。
2