第12讲1研究生 概率论与数理统计 资料与讲义

马氏链的马尔可夫性通常用条件概率分布 或条件分布律来刻画，即对任意的正整数 n, r 或条件分布律来刻画， 和 0≤t1<t2 < …<tr<m；m, n ∈ T1，有 ；
P{ X m + n = a j X t1 = a i1 , X t 2 = a i2 , L , X t r = a ir , X m = aBaidu Nhomakorabeai } = P{ X m + n = a j X m = a i }, (1.2)
其中a 其中 i ∈I。 。
式等号后的项为p 记(1.2)式等号后的项为 ij(m, m+n), 称条件 式等号后的项为 概率 pij(m, m+n)=P{Xm+n= aj∣Xm = ai} (1.3)
为马氏链在时刻m处于状态 条件下， 为马氏链在时刻 处于状态ai条件下，在时刻 处于状态 步转移概率。 m+n转移到状态 j的n步转移概率。 转移到状态a 步转移概率 转移到状态 由转移概率所组成的矩阵 P(m, m+n)=( pij(m, m+n) ) 步转移概率矩阵。 式知， 称为马氏链的 n步转移概率矩阵。由(1.4)式知， 步转移概率矩阵 式知 矩阵的每一行元素之和都等于1。 矩阵的每一行元素之和都等于 。
时间和状态都离散的马尔可夫过程称为马 的马尔可夫过程称为马
尔可夫链，简称马氏链，记为 尔可夫链，简称马氏链，记为{Xn , n =0, 1, 马氏链 2, …}。 。 时间集T 我们约定， 时间集 1={0, 1, 2, …} 。我们约定，马氏 链的状态空间为I={a1, a2, …}, ai ∈R。 链的状态空间为 。
第十二讲
马尔可夫链 Markov Chains
§11.1 马尔可夫过程及其概率分布 如果一个系统(或过程 有如下特征 如果一个系统 或过程)有如下特征：过程 或过程 有如下特征： (或系统 在时刻 t0 所处的状态为已知的条件 或系统)在时刻 或系统 下，过程在时刻 t>t0 所处状态的条件分布与 之前所处的状态无关， 过程在 t0 之前所处的状态无关，我们称这种 性质为无后效性 马尔可夫性，简称马氏性 无后效性或 马氏性。 性质为无后效性或马尔可夫性，简称马氏性。 通俗地说，马氏性就是在已经知道过程 通俗地说，马氏性就是在已经知道过程 (或系统 现在状态”的条件下，其“将来状 或系统)“现在状态 或系统 现在状态”的条件下， 不依赖于“过去状态” 态” 不依赖于“过去状态”。
在马氏链为齐次情形下， 在马氏链为齐次情形下，记一步转移概 齐次情形下 率为 pij=pij(1)=P{Xm+1= aj∣Xm = ai} , 一步转移概率矩阵为 一步转移概率矩阵为
在上述矩阵的左侧和上边标上状态a 在上述矩阵的左侧和上边标上状态 1, a2, … 是为了显示 是由状态a 显示P 是为了显示 ij是由状态 i经一步转移到状态 aj的概率。 的概率。
p11 —系统内恰有 个顾客的条件下，在∆t 系统内恰有1个顾客的条件下 系统内恰有 个顾客的条件下， 间隔内，他因服务完毕而离去， 间隔内，他因服务完毕而离去，而另一顾客 进入系统， 进入系统，或者正在接受服务的顾客将继续 要求服务，且无人进入系统的概率。 要求服务，且无人进入系统的概率。 p11=pq+(1-p)(1-q). p12 —正在接受服务的顾客继续要求服务， 正在接受服务的顾客继续要求服务， 正在接受服务的顾客继续要求服务 且另一个顾客进入系统的概率p12=q(1-p). 且另一个顾客进入系统的概率 p13 —正在接受服务的顾客继续要求服务， 正在接受服务的顾客继续要求服务， 正在接受服务的顾客继续要求服务 且在∆t 间隔内有两个顾客进入系统的概率 ， 且在 由假设，后者实际上是不可能发生的， 由假设，后者实际上是不可能发生的，p13 =0.
设随机过程{X(t), t ∈T}的状态空间为 。如 的状态空间为I。 设随机过程 的状态空间为 任意n个 果对时间 t 的任意 个取值 t1<t2< …<tn, n≥3, ti ∈T，在条件 i)=xi, xi∈I, i=1,2, …, n-1下, ，在条件X(t - 下 X(tn)的条件分布函数等于在条件 n-1)=xn-1下 的条件分布函数等于在条件X(t 的条件分布函数等于在条件 X(tn)的条件分布函数，即 的条件分布函数， 的条件分布函数
类似地， 类似地，有p21 = p32=p(1-q), p22 =pq+(1p)(1-q), p23= q(1-p), pij =0(|i-j|≥2). p33 —一人因服务完毕而离去且另一人将 一人因服务完毕而离去且另一人将 进入系统，或者无人离开系统的概率， 进入系统，或者无人离开系统的概率， p33 = pq+(1-p) 于是， 于是，该马氏链的一步转移概率矩阵为
表示时刻n∆t 时系统内的顾客 设Xn=X(n∆t)表示时刻 表示时刻 即系统的状态, 数，即系统的状态 { Xn , n=0,1,2…} 是一随机 过程,状态空间 状态空间I={0,1,2,3},可知它是一个齐次马 过程 状态空间 可知它是一个齐次马 氏链。下面来计算此马氏链的一步转移概率。 氏链。下面来计算此马氏链的一步转移概率。
若以X 表示时刻n时 的位置 的位置， 若以 n表示时刻 时Q的位置，不同的位置就 的不同状态，那么{ … 是一随机 是Xn的不同状态，那么 Xn , n=0,1,2…}是一随机 过程，状态空间就是I，而且X 为已知时， 过程，状态空间就是 ，而且 n=i, i ∈I为已知时， 为已知时 Xn+1所处的状态的概率分布只与 n= i 有关，而与 所处的状态的概率分布只与X 有关，而与Q 在时刻n以前如何达到 是完全无关的，所以{ 以前如何达到i是完全无关的 在时刻 以前如何达到 是完全无关的，所以 Xn , n=0,1,2…}是一马氏链，而且还是齐次的，它的一 是一马氏链， … 是一马氏链 而且还是齐次的， 步转移概率和一步转移概率矩阵分别为
设一醉汉Q在如下图所 例2 一维随机游动 设一醉汉 在如下图所 示直线的点集I={1,2,3,4,5}上作随机游动， 示直线的点集 上作随机游动， 上作随机游动 且仅在1秒 秒等时刻发生游动。 且仅在 秒、2秒等时刻发生游动。游动的 秒等时刻发生游动 概率规则是：如果Q现在位于点 现在位于点i(1<i<5)， 概率规则是：如果 现在位于点 ， 则下一时刻各以1/3的概率向左或向右移动 则下一时刻各以 的概率向左或向右移动 一格，或以1/3的概率留在原处 如果Q现 的概率留在原处； 一格，或以 的概率留在原处；如果 现 在位于1(或5)这点上，则下一时刻就以概率 在位于 或 这点上， 这点上 1移动到 或4)这一点上。1和5这两点称为 移动到2(或 这一点上 这一点上。 和 这两点称为 移动到 反射壁。上面这种游动称为带有两个反射 反射壁。上面这种游动称为带有两个反射 壁的随机游动。 壁的随机游动。
排队模型): 例4(排队模型 设服务系统由一个服务员和只 排队模型 可以容纳两个人的等候室组成，见图11-3。 可以容纳两个人的等候室组成，见图 。 服务规则是：先到先服务， 服务规则是：先到先服务，后来者首先需 在等候室。 在等候室。
假定一顾客到达系统时发现系统内已有3 假定一顾客到达系统时发现系统内已有 个顾客，则该顾客离去。设时间间隔∆t内有 个顾客，则该顾客离去。设时间间隔 内有 一个顾客进入系统的概率为q， 一个顾客进入系统的概率为 ，有一原来被服 务的顾客离开系统(即服务完毕 的概率为p。 即服务完毕)的概率为 务的顾客离开系统 即服务完毕 的概率为 。 又设当∆t充分小时，在这时间间隔内多 又设当 充分小时， 充分小时 于一个顾客进入或离开系统实际上是不可能 的。再设有无顾客来到与服务是否完毕是相 互独立。现用马氏链来描述这个服务系统。 互独立。现用马氏链来描述这个服务系统。
∑P
j =1
∞
ij
( m , m + n ) = 1,
i = 1, 2 , L ,
(1.4)
式知， 由(1.4)式知， 式知 n步转移概率矩阵的每一行元素之和都等于 。 步转移概率矩阵的每一行元素之和都等于1。 步转移概率矩阵的每一行元素之和都等于
只与i, 及时 当 n 步转移概率 pij(m, m+n) 只与 j及时 有关时， 间间距 n 有关时，将其记成 pij(n)，即 ， pij(m, m+n)= pij(n) 并称此转移概率具有平稳性。 并称此转移概率具有平稳性。同时也称马氏 平稳性 链是齐次的 时齐的。 齐次的或 链是齐次的或时齐的。以下我们讨论齐次马 氏链。 氏链。
如果把1这一点改为吸收壁，即是说 一旦 如果把 这一点改为吸收壁，即是说Q一旦 这一点改为吸收壁 到达1这一点，则就永远留在点1上，此时，转 到达 这一点，则就永远留在点 上 此时， 这一点 移概率矩阵的第一横行为(1,0,0,0,0)。总之， 移概率矩阵的第一横行为 。总之， 改变游动的概率规则,就可得到不同方式的随 改变游动的概率规则 就可得到不同方式的随 机游动和相应的马式链。 机游动和相应的马式链。
再由第三章§ 定理知 此时X(t 与 定理知， 再由第三章§4定理知，此时 n)与X(tj)， ， j=1, 2, …, n-2相互独立。这表明：X(t)具有后 相互独立。 - 相互独立 这表明： 具有后 无效性， 是一个马尔可夫过程。 无效性，即{X(t), t ≥0}是一个马尔可夫过程。 是一个马尔可夫过程 由上例知， 由上例知， 泊松过程是时间连续状态离散的马氏过程； 泊松过程是时间连续状态离散的马氏过程； 维纳过程是时间状态都连续的马氏过程。 维纳过程是时间状态都连续的马氏过程。
则称过程{X(t), t ∈T}具有马尔可夫性或无后 则称过程 具有马尔可夫性或无后 效性，称此过程为马尔可夫过程 马尔可夫过程。 效性，称此过程为马尔可夫过程。
是独立增量过程， 例1: 设{X(t), t ≥0}是独立增量过程，且 是独立增量过程 X(0)=0,试证 {X(t), t ≥0}是马尔可夫过程。 是马尔可夫过程。 试证 是马尔可夫过程 式知， 证: 由(1.1)式知，只要证明在已知 n式知 只要证明在已知X(t 的条件下X(tn)与X(tj), j=1, 2, …, n-2相互 与 - 相互 1)=xn-1的条件下 独立即可。 独立即可。 由独立增量过程的定义知：当 0<tj<tn-1<tn, 由独立增量过程的定义知： j=1, 2, …, n-2时，增量 X(tj)-X(0) 与 X(tn)-X(tn-1) - 时 相互独立。 相互独立。 根据X(0)=0和X(tn-1)=xn-1, 有 X(tj) 与 X(tn)和 根据 X(tn-1) 相互独立。 相互独立。
p00 —在系统内没有顾客的条件下，经∆t 后 在系统内没有顾客的条件下， 在系统内没有顾客的条件下 仍没有顾客的概率(此处是条件概率 以下同) 此处是条件概率， 仍没有顾客的概率 此处是条件概率，以下同 p00=1-q. p01---在系统内没有顾客的条件下，经∆t 后 在系统内没有顾客的条件下， 在系统内没有顾客的条件下 有一顾客进入系统的概率， 有一顾客进入系统的概率，p01=q. p10---系统内恰有一个顾客正在接受服务的 系统内恰有一个顾客正在接受服务的 条件下， 后系统内无人的概率， 条件下，经∆t后系统内无人的概率，它等于在 后系统内无人的概率 ∆t 间隔内顾客因服务完毕而离去 ，且无人进入 系统的概率， 系统的概率，p10=p(1-q).
P{ X (t n ) ≤ x n X ( t1 ) = x1 , X ( t 2 ) = x 2 , L , X ( t n −1 ) = x n −1 } = P{ X (t n ) ≤ x n X (t n −1 ) = x n −1 }, x n ∈ R 或 Ft n t1 L t n- 1 ( x n , t n x1 , x 2 , L , x n −1 ;t1 , t 2 , L , t n −1 ) = Ft n t n- 1 ( x n , t n x n −1 , t n −1 )， (1.1)