第五章习题答案

第五章习题解答
5.1 设 P = (pij (t)) 是马氏链的转移概率矩阵，当状态空间 I 是有限集合时， 证明 det(P (t)) > 0. 证 明：因为 P (t) = eQt ，我们知道 P (t) e−Qt = I (I 是单位阵)
所以 det(P (t)) ̸= 0. 又因为 P (t) = P (t − s)P (s) ，特别的取 s = t/2 时，我们有 t P (t) = (P ( ))2 2 两边取行列式，既得到 det(P (t)) > 0.
k∈Ik̸=j
pjk (t − s)pkj (s)
5.3
一个工人照看两台机床，第 i 台机床的正常工作时间服从参数为 λi 的指
数分布。每台机床发生故障后需要维修的时间服从参数为 µ 的指数分布。用马 氏链描述 t 时机床的工作状态并写出该马氏链的转移速率和嵌入链的转移概率. 解 ： 用 X (t) = i 表示 t 时第 i 台机床在工作，X (t) = 0 表示没有机床在 工作，X (t) = 3 表示两台机器在工作。X (t) 是马氏链。转移概率计算结果如 下： p00 (t) = (e−µt )2 ,p01 (t) = p02 (t) = 1 − e−µt ,p03 (t) = (1 − e−µt )2 ; p10 (t) = e−µt ·(1 − e−λ1 t ), p11 (t) = e−µt ·e−λ1 t , p12 (t) = (1 − e−µt )·(1 − e−λ1 t ), p13 (t) = e−λ1 t ·(1 − e−µt ); p20 (t) = e−µt ·(1 − e−λ2 t ), p21 (t) = (1 − e−µt )·(1 − e−λ2 t ), p22 (t) = e−µt ·e−λ2 t , 2
(b) 套用例 8.6 公式, 可得修车处自行车的平均排队时间为： E Σk=1 τk
第五章 连续时间马尔可夫链
第五章 连续时间马尔可夫链
p23 (t) = e−λ2 t ·(1 − e−µt ); p30 (t) = (1 − e−λ1 t )·(1 − e−λ2 t ), p31 (t) = e−λ1 t ·(1 − e−λ2 t ), p32 (t) = e−λ2 t ·(1 − e−λ1 t ), p33 (t) = e−λ1 t ·e−λ2 t ; 根据上面的转移概率矩阵和公式 qij = p′ ij (0) 可以求出转移速率矩阵 Q 如 下： λ1 Q = P ′ (0) = λ2 0 −2µ µ −(λ1 + µ) 0 λ2 µ 0 −(λ2 + µ) λ1 0 µ µ −(λ2 + λ1 )
··· ··· ··· ···
···
(b) 对 λn 按个体总数是否达到 m 分情况讨论如下 nλ1 + λ3 如果 n < m . λn = nλ1 如果 n m .
转移速率矩阵 Q 的形式和第一问一样.
5.5
教 授 和助 教两人 在办 公室 为同学 进行 答 疑. 对 每 位 前 来 的 学 生 ， 教
由上面的转移速率矩阵得到下面的嵌入链的转移概率矩阵如下： K= 0 λ1 λ1 + µ λ2 λ2 + µ 0 1 2 0 0 λ2 λ1 + λ2 1 2 0 0 λ1 λ1 + λ2 0 µ λ1 + µ µ λ2 + µ 0
Q= 0 µ2
(c) 因为该马氏链在状态 0，1，2 的停留时间分别服从指数分布 ε(q0 ), ε(q1 ), ε(q2 )， 所以该马氏链在状态 0，1，2 的平均停留时间分别为 1/λ, 1/µ1 , 1/µ2 . 5.6 带有移民的线性生灭过程由 µn = nµ, n ≥ 1, λn = nλ + θ, n ≥ 0 描述. 这里除了线性生灭过程描述的情况外，群体的外面人口按照强度为 θ 的 泊松流迁入群体. 用 X (t) 表示 t 时的人数，在条件 X (0) = i 下，计算 EX (t). 解 ： 该移民的线性生灭过程由线性生灭过程及以强度为 θ 的泊松流迁入群体构 成，并且迁入进来的个体进入线性生灭过程，由书上 230 页的结果可知：0 时 刻存在的单个个体在 t 时的期望人数为 EX1 (t) = e(λ−µ)t ，所以 ti 时刻迁入的 个体在 t 时的期望人数为 e(λ−µ)(t−ti ) . 该泊松流迁入群体在 t 时的人数可以看做复合泊松过程，以 N (t) 表示 (0, t] 迁入人数，λ ̸= µ 时： EX2 (t) = EN (t)Ee(λ−µ)(t−ti ) ∫ 1 (λ−µ)(t−s) = θt e ds t e(λ−µ)t − 1 = θt (λ − µ)t =θ e(λ−µ)t − 1 λ−µ 5
EX (t) = EX1 (t) + EX2 (t) =
5.7
例 8.6 中，如果到达的病人发现有人在排队，就放弃看病，用马氏链描述
诊室的总人数。在稳定状态下， (a) 计算诊室的平均人数； (b) 计算医生的可用度； (c) 计算能看病人数占到达人数的比例。 解: (a) 根据题意，用 X (t) 表示诊室的总人数，则 X (t) = 0 1, 用 S 表示 等待新到一个人所需的时间，用 T 表示离开一人所需的时间，则 S，T 独 立，S ∼ ξ (λ), S ∼ ξ (µ)。 {X (t)} 在 1 的停留时间为 p1 = P (X (t) = 1) = P (S < T ) = {X (t)} 在 0 的停留时间为 p0 = P (X (t) = 0) = P (T < S ) = 则诊室的平均人数为： EX (t) = 1 · λ µ λ +0· = (λ + µ) ( λ + µ) (λ + µ) µ , ( λ + µ) λ , ( λ + µ)
5.2 对于马氏链的转移概率 pjj (t)，证明： (1)pjj (t + s) ≤ 1 − pjj (t) + pjj (s)pjj (t) (2) 对 t > s, pjj (t) − pjj (s) ≤ 1 − pjj (t − s).
1
第五章 连续时间马尔可夫链
第五章 连续时间马尔可夫链
3
第五章 连续时间马尔可夫链
第五章 连续时间马尔可夫链
µ1 下：K = 0 0 ···
−λ0
λ0 −(λ1 + µ1 ) µ2 0 ···
0 λ1 −(λ2 + µ2 ) µ3 ···
0 0 λ2 −(λ3 + µ3 ) ···
0 0 0 λ3 ···
(b) 医生的可用度为： 1 − p0 = 1 − P (X (t) = 0) = 1 − (c) 计算能看病人数占到达人数的比例：
λ µ · (λ+ µ µ · (1 − p0 ) µ) = = λ λ (λ + µ)
µ λ = (λ + µ) (λ + µ)
6
第五章 连续时间马尔可夫链
第五章 连续时间马尔可夫链
授先对课程的内容答疑，答疑时间是来自指数总体 ε(µ1 ) 的随机变量，然后助 教对作业的内容进行答疑，答疑时间是来自总体 ε(µ2 ) 的随机变量. 任何时候 到达的学生发现办公室有学生时就马上离开，不再要求答疑. 用 0，1，2 分别 表示办公室无学生，教授在答疑，助教在答疑，用 X (t) 表示 t 时的答疑状态. 当学生按照强度为 λ 的泊松过程来到办公室时， (a) 说明 X (t) 是马氏链； (b) 写出转移速率； (c) 计算马氏链在各状态的平均停留时间. 解 ： (a) 由题意，该马氏链有 3 种状态，并且状态的转移基于当前马氏链所处 的状态，即：对于任何正整数 n，t0 < t1 < · · · < tn+1 和 i, j, i0 , i1 , · · · , in−1 ∈ I 有 P (X (tn+1 ) = j |X (tn ) = i, · · · , X (t0 ) = i0 ) = P (X (tn+1 ) = j |X (tn ) = i) 所以 X (t) 是马氏链. (b) 该马氏链在状态 0，1，2 的停留时间分别服从指数分布 ε(q0 ), ε(q1 ), ε(q2 )， 又因为学生按照强度为 λ 的泊松过程来到办公室，所以状态 0 的停留时间 服 从 指 数 分 布 ε(λ)， 同 时 由 题 意 状 态 1，2 的 停 留 时 间 分 别 服 从 指 数 分 4
第五章 连续时间马尔可夫链
第五章 连续时间马尔可夫链
当 λ = µ 时，e(λ−µ)(t−ti ) = 1，所以 EX2 (t) = θt. X (0) = i 时，对于线性生灭过程，EX1 (t) = ie(λ−µ)t . 所以 θ e(λ−µ)t −1 + ie(λ−µ)t , λ ̸= µ λ−µ θt + i, λ=µ
证 明：(1) pjj (t + s) = ∑
k ∈I
pjk (t)pkj (s) ∑
k∈Ik̸=j
= pjj (t)pjj (s) + ≤ pjj (t)pjj (s) + =
pjk (t)pkj (s) pjk (t)
∑
k∈Ik̸=j
1 − pjj (t) + pjj (s)pjj (t)
(2) 一方面，我们知道 pjj (t) ≥ pjj (t − s)pjj (s). 所以 pjj (t) − pjj (s) ≥ (pjj (t − s) − 1)pjj (s) ≥ pjj (t − s) − 1 另一方面， pjj (t) − pjj (s) = pjj (t − s)pjj (s) − pjj (s) + ≤ 1 − pjj (t − s) ∑