第六章 6.1马尔可夫链的定义

pij = P( X1 = j X 0 = i) i, j ∈ S
相应的一步转移概率矩阵分别记为 P=(p ij )
马尔可夫链举例 例6.1.1 (随机游动) 设一质点在直线上的整数格点 上作随机游动，移动规则如下：
如果某时刻质点位于整数格点i处，
q p
i-1
i
i+1
p, q ≥ 0, p + q = 1;
例6.1.7 设{ξ n , n ≥ 0}是相互独立同分布的随机变量序列
P (ξ n = 1) = p, P (ξ n = −1) = 1 − p, p > 0, n ≥ 0
令X n = ξ 0 + ξ1 + ⋯ + ξ n , n ≥ 0
若以X n表示质点在n时刻的位置，则X={X n , n ≥ 0} 为齐次马尔可夫链.状态空间为S = {0, ±1, ±2， ⋯}.
一步转移概率为 p, pij = q, 0, i= ± 1， ± 2， ⋯，j = i + 1 i= ± 1， ± 2， ⋯，j = i − 1 i − j >1
α β γ δ
如果Xn仍表示时刻n的天气状态，则 {X n , n ≥ 0} 是以下状态空间上的齐次马尔可夫链.
S = {(1,1),(1,0),(0,1),(0,0)} 一步转移概率矩阵为
α 1 − α 0 0 P= γ 1− γ 0 0
0 β 1− β 0 0 δ 1− δ 0
一步转移概率的直观表示— 一步转移概率的直观表示—状态转移图
其一步转移概率矩阵为
⋮ ⋯ ⋯ P = ⋯ ⋯ ⋯ ⋮ ⋮ 0 q 0 0 0 ⋮ ⋮ p 0 q 0 0 ⋮ ⋮ 0 p 0 q 0 ⋮ ⋮ 0 0 p 0 q ⋮ ⋮ 0 0 0 p 0 ⋮ ⋮ ⋯ ⋯ ⋯ ⋯ ⋯ ⋮
其一步转移概率矩阵为
0 1 m 0 P= ⋮ 0 0
1 0 2 m ⋮ 0 0
0 m −1 m 0 ⋮ 0 0
0 0
⋯ ⋯
0 0 0
ห้องสมุดไป่ตู้
0 0 0
m−2 ⋯ m ⋮ 0 0
⋮ ⋮ m −1 ⋯ 0 m ⋯ 0 1
0 0 0 ⋮ 1 m 0
例6.1.6 (卜里耶模型Polya) 设一个坛子中装有b个 黑球和r个球， 个球，每次随机的从坛子中摸出一球再放回 去，并加入c个同颜色的球. 设Xn表示第n次摸放后坛中的黑球数,则
6.1 马尔可夫链的定义
主讲人： 主讲人：李伟 西安电子科技大学数学与统计学院 2013年秋季
马尔可夫简介
• 安德雷·安德耶维齐·马尔可夫(1856年6月14日－1922年7月20 日），俄国数学家 ），俄国数学家。 俄国数学家。 • 马尔可夫出生于梁赞， 马尔可夫出生于梁赞，他的父亲是一位中级官员， 他的父亲是一位中级官员，后来举家 迁往圣彼得堡。 迁往圣彼得堡。1874年马尔可夫入圣彼得堡大学 年马尔可夫入圣彼得堡大学， 入圣彼得堡大学，师从切比 师从切比 雪夫， 雪夫，毕业后留校任教。 毕业后留校任教。1886年当选为圣彼得堡科学院院士。 年当选为圣彼得堡科学院院士。 • 马尔可夫的主要研究领域在概率和统计方面。 马尔可夫的主要研究领域在概率和统计方面。二十世纪初， 二十世纪初， 他的兴趣转移到相依随机变量序列的研究上来， 他的兴趣转移到相依随机变量序列的研究上来，从而创立了 以他命名的著名概率模型——马尔可夫链． 马尔可夫链．他的研究开创了 随机过程这个新的领域， 随机过程这个新的领域，以他的名字命名的马尔可夫链在现 以他的名字命名的马尔可夫链在现 代工程、 工程、自然科学和社会科学各个 自然科学和社会科学各个领域都有很广泛的应用 和社会科学各个领域都有很广泛的应用。 领域都有很广泛的应用。
例(补) (有限制随机游动) 设质点在直线上的{0，1 ，2，···，a}各点上作随机游动，移动规则如下：
（）移动前 1 i ∈ {1, 2,⋯ , a − 1}处
p, q, r ≥ 0, p + q + r = 1;
q p
i-1
p0
i
i+1
r
0 1
（ 2）移动前i = 0处
p0 , r0 ≥ 0, p0 + r0 = 1
例6.1.5诶伦菲斯特模型（ 诶伦菲斯特模型（Ehrenfest）设一个坛子中 装有m个球， 个球，它们或是红色的， 它们或是红色的，或是黑色的， 或是黑色的，从坛子 中随机的摸出一球， 中随机的摸出一球，并换入一个相反颜色的球. 设经过n次摸换,坛中黑球数为Xn,则
X = { X n , n ≥ 0}是以S = {0,1,⋯ , m}状态空间的齐次马氏链.
X = { X n , n ≥ 0}是一以S={0， 1}为状态空间的齐次马氏链.
其一步转移概率矩阵为
a 1 − a P= b 1 − b
如果任意一天的天气与前两天的天气有关， 如果任意一天的天气与前两天的天气有关，即
昨天 今天 明天晴 晴（1） 晴（1） 晴（1） 阴（0） 阴（0） 晴（1） 阴（0） 晴（0）
P( X n +1 = in +1 X 0 = i0 , X 1 = i1 ,⋯ , X n = in ) = P( X n +1 = in +1 X n = in ) (6.1)
则称随机过程X为离散时间马尔可夫链，简称马氏链.
(6.1)式所表达的性质，称为马氏性.
马氏性的直观解释 看作现在， 如果将时刻n看作现在 ，则时刻0，1，…，n-1就 表示过去， 表示过去，而时刻n+1就表示将来， 就表示将来，
王梓坤院士(1929 年—)江西吉安 人,1952年大学毕业 后，被分派到天津南 开大学数学系任教. 是一位对我国科学和 教育事业作出卓越贡 献的数学家和教育家， 献的数学家和教育家， 也是我国概率论研究 的先驱和学术带头人 之一。 之一。
•1954年，他又以优异的成绩考取了赴苏研究生。 他又以优异的成绩考取了赴苏研究生。踏进世界著名 学府－ 学府－莫斯科大学， 莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥洛 夫院士正领导看一个强有力的概率研究集团。 夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧眼 识英才， 识英才，非常信赖这位由中国选派的年轻人的能力， 非常信赖这位由中国选派的年轻人的能力，把他选作自 己的研究生， 己的研究生，去攻概率论的中心问题随机过程理论。 去攻概率论的中心问题随机过程理论。 • 当时中国近代数学才刚刚起步 当时中国近代数学才刚刚起步， 中国近代数学才刚刚起步，大学也没有概率课程。 大学也没有概率课程。此时 苏联的概率论水平已届于世界最前列。 苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么 是概率， 是概率，可他的研究方向又恰恰被定为概率论， 可他的研究方向又恰恰被定为概率论，著有《概率论基 础及其应用》 础及其应用》、《随机过程论》 随机过程论》、《生灭过程与马尔科夫链》 生灭过程与马尔科夫链》等 9部数学著作． 部数学著作．
X = { X n , n ≥ 0}状态空间为S = {b, b + c, b + 2c,⋯}的马氏链.
其一步转移概率为
pij (n) = P ( X n +1 = j X n = i ) i b + r + nc , j = i + c i = 1 − , j =i b + r + nc 其它 0,
t = 0,1,..., n − 1 过去 t=n 现在
t = n +1 将来
(6.1)式表示的马氏性指： 式表示的马氏性指：在已知过程现在状态的条 件下， 件下，过程将来处于那个状态的概率不依赖于过程 过去经历的状态. 也称之为无记忆性 也称之为无记忆性.
(6.1)式中的条件概率 P( X n +1 = in +1 X n = in )
p
(0) ij
1, i = j = δ ij = i, j ∈ S , n ≥ 0 0, i ≠ j
此时 P (n) = I为单位矩阵.
(0)
不难验证， 不难验证，转移概率矩阵是随机矩阵， 转移概率矩阵是随机矩阵，即
(k ) pij (n) ≥ 0, (k ) p ∑ ij (n) = 1, j∈S
本章内容 马尔可夫链的定义 马尔可夫链的概率分布 齐次马尔可夫链的状态分类 转移概率的极限与平稳分布
离散时间马尔可夫链的定义
定义 6.1.1 X={ X n , n ≥ 0}是定义在概率空间(Ω , F , P )上 的随机过程，状态空间为可数集合 S，如果对任意的 n ≥ 0,以及 i0 , i1 ,⋯ , in， in +1 ∈ S , 有
称以p (n)为第i行第j列元素的矩阵为马氏链 在n时刻的k步转移概率矩阵.记为
P (n) = ( p (n))
(k ) (k ) ij
(k ) ij
k=1时 ，马氏链的一步转移概率矩阵为
(1) P(1) (n) = ( pij (n))
常简记为 P(n) = ( pij (n))
特别约定， 特别约定，当k＝０时，
⋯ 0 ⋯ 0 ⋯ 0 ⋯ ⋮ 0 0 0 ⋮ 0 0 0 ⋮ p ra
⋯ q r ⋯ 0 qa
例6.1.3 (天气变化) 如果明天是否有雨仅与今天的天 气有关， 气有关，而与过去的天气无关. 并设今天下雨、 并设今天下雨、明天 有雨的概率为a，今天无雨而明天有雨的概率为b， 又假设有雨称为0状态天气， 状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态， 时的天气状态，则
经过世界各国几代数学家的相继努力, 至今已成为内 容十分丰富, 理论上相当完整, 应用也十分广泛的一门 数学分支. 它的应用领域涉及计算机、 它的应用领域涉及计算机、通讯、 通讯、自动控制、 自动控制、随机服 务、可靠性、 可靠性、生物、 生物、经济、 经济、管理、 管理、气象、 气象、物理、 物理、化学 等. 马尔可夫1922年逝世于圣彼得堡。 年逝世于圣彼得堡。马尔可夫的儿子 A·A·小马尔可夫也是一位著名数学家。 小马尔可夫也是一位著名数学家。
条件概率，即 (k ) pij (n) = P( X n + k = j X n = i ), i, j ∈ S , n ≥ 0, k ≥ 1
它表示马氏链X 在n时从状态i出发经过k步转移，于n+k 时到达状态j的概率，称为马氏链在n时刻的k步转移 概率.
(1) p k=1时， ij (n)为n时的一步转移概率, 记为 pij (n)
r0
a-1
（3）移动前i = a处
qa , ra ≥ 0, qa + ra = 1
qa
a
ra
若X n 表示质点在n时的位置，则X={ X n , n ≥ 0}是以 S = {0,1,⋯ , a}为状态空间的齐次马氏链.
其一步转移概率矩阵为 r0 p0 0 0 q r p 0 0 q r p P= ⋮ ⋮ ⋮ ⋮ 0 0 0 0 0 0 0 0
i, j ∈ S , n ≥ 0, k ≥ 0
齐次马尔可夫链
如果马氏链X的一步转移概率pij (n)衡与起始时刻n无关，即有 pij (n) = pij (n + 1) = pij (n + 2) = ⋯ i, j ∈ S
则称马氏链具有时齐性，也称X为齐次马氏链.
为方便，一般常将齐次马氏链的起始时刻取为零．即
其一步转移概率矩阵为
b b 0 0 1− a+b+nc a+b+nc b +c b +c 0 1− 0 P= a+b+nc a+b+nc b+2c b+2c 0 0 1− a+b+nc a+b+nc ⋮ ⋮ ⋮ ⋮ ⋯ ⋯ ⋯ ⋮
称为马氏链X在n时刻从状态in到in +1的一步转移概率， 记为pinin+1 (n).即
pinin+1 (n) = P ( X n +1 = in +1 X n = in )
一般地， 一般地，有以下定义
定义6.1.2 设马氏链X = { X n , n ≥ 0}的状态空间为S，对任
(k ) (n)表示以下 意的n ≥ 0,k ≥ 1以及任意的状态i, j ∈ S，用pij