4.马尔可夫链1
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
而其一步转移概率为
qr p
i 1
p,
pij
r, q,
0,
i i 1
j i 1 j i j i 1 其它
其一步转移概率矩阵为
i 2 i 1 i i 1... ... ...
... ... ... ... ... ... ... ... ... ... q r p 0 0 ... 0 ... i 1 ... 0 q r p 0 ... 0 ... i ... 0 0 q r p ... 0 ... i 1 ... ... ... ... ... ... ... ... ...
（时间离散、状态连续的马尔可夫过程，通常用泛函中 二元函数的范数进行研究）
例1 独立过程 X t,t T 是马尔可夫过程
证 设Xt,t T是独立过程，对于t1 t2 ... tn T,
X t1, X t2 ,..., X tn 相互独立，因此
P X tn xn X t1 x1, X t2 x2,..., X tn1 xn1 =P X tn xn =P X tn xn X tn1 xn1
率r原地不动。若以 X n 表示时刻 n 时质点的位置，
则X n，n 0,1, 2，...是一个随机过程。而且当
X n i 时，X n+1，X n+2，...，X n+k,...等 n时刻后质点所处的状态，只与X n i 有关，而与
质点在n以前是如何到达i的完全无关。所以它是一
个齐次马尔可夫链，其状态空间为I= ,-2,-1,0,1,2,
则称 Xn,nT 为马尔可夫链.
定义4.1 设有随机过程Xn ,n T，若
对于任意的整数n T和任意的 i0,i1,...,in1 I 条件概率满足
P Xn+1 in1 X 0 i0 , X1 i1,..., X n in
=P Xn+1 in1 X n in
*
则称Xn, nT为马尔可夫链，简称马氏链。 *式是马尔可夫链的马氏性或无后效性
2
jI
jI
3 p11 p12 p13
1 p14
4
p11+p12 +p13 +p14 =1
p jI X n1
j
Xn
i
p X n i 1
其中为必然事件。 证毕。
（2）式中对j 求和是对状态空间I 的所有可能状态 进行的。此性质说明一步转移概率矩阵中任一行 元素之和为1，通常满足上述（1）（2）性质的 矩阵称为随机矩阵。
可见，马尔可夫链的统计特性完全由条件概率
P X k = ik X k1 = ik1 ,k = 1,2,...,n 所决定。
如何确定这个概率，是马尔可夫链理论和应用中的重要问题。
二、转移概率
条件概率P X n+1 = j X n = i 的直观意义为
系统在时刻n 处于状态i 的条件下，在时刻n+1 系统处于状态j 的概率。它相当于随机游动的 质点在时刻n 处于状态i 的条件下，下一步转
本例是一个两状态的马尔可夫链，它的一步转移概率矩
阵为
P=
P00 P10
P01 P11
1
1
行表示今日状 态，列表示明
日状态
设=0.7, =0.4,则一步转移概率矩阵为：
P=
0.7 0.4
0.3 0.6
例2 在某数字通信系统中传递0,1两种信号，
且传递要经过许多级.每级中由于噪声的存
在会引起误差。如果每级送入0,1信号后,它 的输出不产生误差的概率为p（即各级正确
传递信息的概率），则各级输入状态和输出 出状态间的转移概率矩阵（即一步转移概率
矩阵）为
P=
p 1-p
1-p
p
例3 无限制的随机游动：质点在直线上做随机游动。 如某一时刻质点位于i ，则下一步质点以概率p向右 移动一格到达i +1 ,或以概率1 p = q 向左移动一格
到达i 1。若以 n表示时刻n 时质点的位置，则
因而是马尔可夫过程
Ftn| t1 tn1 (xn | x1, x2,..., xn1) Ftn| tn1 (xn | xn1)
一、马尔可夫链的定义
假设马尔可夫过程Xn , n T的参数集T
是离散的时间集合，即T 0,1,2,...,其
相应的X
可能取值全体组成的状态空间
n
是离散的状态集I i1,i2,...,in,....
,
i
1,
i
I
pij
0,
j i 1,i 1, j I ,i 1,i I
p00
1
由于状态0为状态空间的
一个端点，所以把这种
其一步转移概率矩阵为
表示马尔可夫链具有平稳转移概率。
2、定义4.3 若对任意的i, j I,马尔可夫链
Xn,nT的转移概率Pij n与n 无关，则称马尔 可夫链是齐次的,并记Pij n为Pij .
3、一步转移概率矩阵
设P表示一步转移概率Pij所组成的矩阵，
且状态空间I 1,2,...,则
p11 p12 ... p1 j ...
移到状态j 的概率，记此条件概率为Pij n ,
其严格定义如下，称为一步转移概率。
1、定义4.2 称条件概率Pi j n = P X n+1 = j X n = i 为
马尔可夫链X n , n T在时刻n的一步转移概率，
简称为转移概率，其中i, j I.
一般地，转移概率Pij n不仅与状态i, j有关， 而且与时刻n有关，。当Pij n不依赖于时刻n 时，
马氏性成立。故独立过程X t,t T为马氏过程。
特例 贝努力随机序列，即Xn, n 1, 2,...,
是相互独立同分布的贝努力随机变量
X(n) 0 1
0 p 1, p q 1, n 1, 2,...
p q p 是离散参数马氏链。
例2 独立增量过程 X t,t 0， X 0 0
是马尔可夫过程
证 设Xt,t 0是独立增量过程，X 0 0,
对任意0 t1 t2 ... tn
P X tn xn X t1 x1, X t2 x2,..., X tn1 xn1
=P X tn X tn1 xn xn1 X t1 X t0 x1,
X t2 X t1 x2 x1,..., X tn1 X tn2 xn1 xn2
例4 带一个吸收壁的的随机游动：质点在直线 上做随机游动。其规律如例3，这里仅作一点改
变，即当质点一旦到达 n =0时， n 1就停
留在这个零状态了，这样的状态叫做吸收态。这 种过程是一个齐次马尔可夫链，其状态空间为
I=0,1,2,...，而其一步转移概率为
pi,i1 pi,i1
p q
1
p
正整数n及t1 <t2<< tn， P{X(t1)=x1,, X(tn-1)=xn-1}>0，且条件分布 P{X(tn)xn|X(t1)=x1,, X(tn-1)=xn-1} = P{X(tn) xn|X(tn-1)=xn-1}， 则称{X(t)，t T }具有马尔可夫性或无后效性。
即Ftn|t1 (x tn1 n| x1,x2,...,xn1)Ftn| (x tn1 n| xn1)
如果状态空间的状态是有限的，则称为有限 状态的马尔可夫链。如果状态空间I是无限的， 则称为可列状态的马尔可夫链。
例1 天气预报问题：如果明天是否有雨仅与今日的天气
（是否有雨）有关，而与过去的天气无关，并设今日下雨，
明日有雨的概率为 ，今日无雨而明日有雨的概率为 ；
又设把有雨称为0状态天气，把无雨称为1状态天气。则
第4章 Markov链
4.1 Markov链的概念及状态转移概率 4.2 Markov链的状态分类 4.3 状态空间的分解 4.4pinj 的渐近性质与平稳分布 课后作业
引言： Markov过程是在理论上和实际应用中都十分重要的一类随
机过程，它是由苏联数学家A.A. Markov(1856-1922)首次 提出并进行研究。至今已形成内容丰富、理论完整、应用 广泛的一门数学分支。特别地， Markov过程在工程系统中 的噪声和信号分析、通信网络的模拟、统计物理学、生物 学、数字计算方法、经济管理和市场预测等领域中都有十 分重要的作用和广泛的应用，它在人工智能和在人工神经 网络中也有重要的应用。
在物理学中，很多确定性现象遵从如下演变原则：
由时刻t0系统或过程所处的状态可以决定 系统或过程在时刻t t0所处的状态，而无需
借助于t0以前系统或过程所处状态的历史资料。 如微分方程的初值问题所描绘的物理过程就 是属于这类确定性现象。把这种原则延伸到
随机现象，可引入以下的马尔可夫性或无后
效性。
定义 设 {X(t)，t T }为随机过程，若对任意
=P X tn X tn1 xn xn1 =P X tn xn X tn1 xn1
马氏性成立。故独立增量过程X t,t 0 为马氏过程。
特别地 设X n, n 1, 2,...,是贝努力随机序列，X 0 0, X n, n 1, 2, ,是相互独立同分布的贝努力随机变量，设
= P X n = in X n-1 = in-1 P X n-1 = in-1 X n-2 = in-2 P X0 = i0 , X1 = i1,..., Xn-2 = in-2 =...
= P X n = in X n-1 = in-1 P X n-1 = in-1 X n-2 = in-2 ... P X1 = i1 X0 = i0 P X0 = i0
•
•
t1
t2
过去
•
•
•
tn2 t n1 tn
现在 将来
t
过程的“将来” 依赖于“现在”，
具有Markov性的随机过程称为Markov过程. 与“过去” 是
无关的.
马尔可夫过程按其状态和时间通常分为三类：
(1)时间、状态都是离散的，称为马尔可夫 链(2)时间连续、状态离散的，称为连续时间马尔可夫链 (3)时间、状态都是连续的，称为马尔可夫过程
p21
p22
...
p2 j
...
P ... ... ... ... ...
pi1 pi2 ... pij ...
... ... ... ... ...
称为一步转移概率矩阵
*一步转移概率矩阵的性质
（1）pij 0,i, j I
（2） pij 1,i I jI
（2）式的证明： pij p Xn1 j Xn i
... ...
0 0
1 p 0 0 1 p
p 0
0 ... p ...
0 ... 0 ...
i i 1
... ... ... ... ... ... ... ... ...
例3 无限制的随机游动：质点在直线上做随机游动。 如某一时刻质点位于i，则下一步质点以概率p向右移 动一格到达i+1,以概率 q 向左移动一格到达i-1,以概
1 p p
i 1 i i 1
pi,i1 pi,i1
p q 1
p
,
i
I
,
0
p
1pij0, Nhomakorabeaj i 1,i 1, j I
其一步转移概率矩阵为
i 2 i 1 i i 1... ... ...
... ... ... ... ... ... ... ... ...
... 1 p 0 p 0 0 ... 0 ... i 1
n
Y n X k , n 1, 2,...,Y 0 0 k 0
称Y n,n 1,2,...为二项计数过程（广义随机游动），
它是平稳独立增量过程，因而是离散参数马氏链。
例3 维纳过程
W t,t 0，是平稳独立增量过程，且W 0 0
因而是马尔可夫过程 例4 泊松过程
N t,t 0，是平稳独立增量过程，且N 0 0
n，n = 0,1,2，... 是一个随机过程。而且当 n = i
时， n+1， n+ 2，...， n+ k ,...等n时刻后质点所处的状态，只与 n = i
有关，而与质点在n以前是如何到达i 的完全无关。 所以它是一个齐次马尔可夫链，其状态空间为
I = ...,2,1,0,1,2,... ,而其一步转移概率为
的数学表达式。
由马尔可夫链的马氏性知：
PX0 i0,X1 i1,...,Xn in
=P Xn =in X0 i0,X1 i1,..., Xn-1 in1 P X0 i0,X1 i1,...,Xn-1 in1
=P Xn =in Xn-1 in1 P Xn-1 in1 X0 i0, X1 i1,..., Xn-2 in2 P X0 i0,X1 i1,...,Xn-2 in2
qr p
i 1
p,
pij
r, q,
0,
i i 1
j i 1 j i j i 1 其它
其一步转移概率矩阵为
i 2 i 1 i i 1... ... ...
... ... ... ... ... ... ... ... ... ... q r p 0 0 ... 0 ... i 1 ... 0 q r p 0 ... 0 ... i ... 0 0 q r p ... 0 ... i 1 ... ... ... ... ... ... ... ... ...
（时间离散、状态连续的马尔可夫过程，通常用泛函中 二元函数的范数进行研究）
例1 独立过程 X t,t T 是马尔可夫过程
证 设Xt,t T是独立过程，对于t1 t2 ... tn T,
X t1, X t2 ,..., X tn 相互独立，因此
P X tn xn X t1 x1, X t2 x2,..., X tn1 xn1 =P X tn xn =P X tn xn X tn1 xn1
率r原地不动。若以 X n 表示时刻 n 时质点的位置，
则X n，n 0,1, 2，...是一个随机过程。而且当
X n i 时，X n+1，X n+2，...，X n+k,...等 n时刻后质点所处的状态，只与X n i 有关，而与
质点在n以前是如何到达i的完全无关。所以它是一
个齐次马尔可夫链，其状态空间为I= ,-2,-1,0,1,2,
则称 Xn,nT 为马尔可夫链.
定义4.1 设有随机过程Xn ,n T，若
对于任意的整数n T和任意的 i0,i1,...,in1 I 条件概率满足
P Xn+1 in1 X 0 i0 , X1 i1,..., X n in
=P Xn+1 in1 X n in
*
则称Xn, nT为马尔可夫链，简称马氏链。 *式是马尔可夫链的马氏性或无后效性
2
jI
jI
3 p11 p12 p13
1 p14
4
p11+p12 +p13 +p14 =1
p jI X n1
j
Xn
i
p X n i 1
其中为必然事件。 证毕。
（2）式中对j 求和是对状态空间I 的所有可能状态 进行的。此性质说明一步转移概率矩阵中任一行 元素之和为1，通常满足上述（1）（2）性质的 矩阵称为随机矩阵。
可见，马尔可夫链的统计特性完全由条件概率
P X k = ik X k1 = ik1 ,k = 1,2,...,n 所决定。
如何确定这个概率，是马尔可夫链理论和应用中的重要问题。
二、转移概率
条件概率P X n+1 = j X n = i 的直观意义为
系统在时刻n 处于状态i 的条件下，在时刻n+1 系统处于状态j 的概率。它相当于随机游动的 质点在时刻n 处于状态i 的条件下，下一步转
本例是一个两状态的马尔可夫链，它的一步转移概率矩
阵为
P=
P00 P10
P01 P11
1
1
行表示今日状 态，列表示明
日状态
设=0.7, =0.4,则一步转移概率矩阵为：
P=
0.7 0.4
0.3 0.6
例2 在某数字通信系统中传递0,1两种信号，
且传递要经过许多级.每级中由于噪声的存
在会引起误差。如果每级送入0,1信号后,它 的输出不产生误差的概率为p（即各级正确
传递信息的概率），则各级输入状态和输出 出状态间的转移概率矩阵（即一步转移概率
矩阵）为
P=
p 1-p
1-p
p
例3 无限制的随机游动：质点在直线上做随机游动。 如某一时刻质点位于i ，则下一步质点以概率p向右 移动一格到达i +1 ,或以概率1 p = q 向左移动一格
到达i 1。若以 n表示时刻n 时质点的位置，则
因而是马尔可夫过程
Ftn| t1 tn1 (xn | x1, x2,..., xn1) Ftn| tn1 (xn | xn1)
一、马尔可夫链的定义
假设马尔可夫过程Xn , n T的参数集T
是离散的时间集合，即T 0,1,2,...,其
相应的X
可能取值全体组成的状态空间
n
是离散的状态集I i1,i2,...,in,....
,
i
1,
i
I
pij
0,
j i 1,i 1, j I ,i 1,i I
p00
1
由于状态0为状态空间的
一个端点，所以把这种
其一步转移概率矩阵为
表示马尔可夫链具有平稳转移概率。
2、定义4.3 若对任意的i, j I,马尔可夫链
Xn,nT的转移概率Pij n与n 无关，则称马尔 可夫链是齐次的,并记Pij n为Pij .
3、一步转移概率矩阵
设P表示一步转移概率Pij所组成的矩阵，
且状态空间I 1,2,...,则
p11 p12 ... p1 j ...
移到状态j 的概率，记此条件概率为Pij n ,
其严格定义如下，称为一步转移概率。
1、定义4.2 称条件概率Pi j n = P X n+1 = j X n = i 为
马尔可夫链X n , n T在时刻n的一步转移概率，
简称为转移概率，其中i, j I.
一般地，转移概率Pij n不仅与状态i, j有关， 而且与时刻n有关，。当Pij n不依赖于时刻n 时，
马氏性成立。故独立过程X t,t T为马氏过程。
特例 贝努力随机序列，即Xn, n 1, 2,...,
是相互独立同分布的贝努力随机变量
X(n) 0 1
0 p 1, p q 1, n 1, 2,...
p q p 是离散参数马氏链。
例2 独立增量过程 X t,t 0， X 0 0
是马尔可夫过程
证 设Xt,t 0是独立增量过程，X 0 0,
对任意0 t1 t2 ... tn
P X tn xn X t1 x1, X t2 x2,..., X tn1 xn1
=P X tn X tn1 xn xn1 X t1 X t0 x1,
X t2 X t1 x2 x1,..., X tn1 X tn2 xn1 xn2
例4 带一个吸收壁的的随机游动：质点在直线 上做随机游动。其规律如例3，这里仅作一点改
变，即当质点一旦到达 n =0时， n 1就停
留在这个零状态了，这样的状态叫做吸收态。这 种过程是一个齐次马尔可夫链，其状态空间为
I=0,1,2,...，而其一步转移概率为
pi,i1 pi,i1
p q
1
p
正整数n及t1 <t2<< tn， P{X(t1)=x1,, X(tn-1)=xn-1}>0，且条件分布 P{X(tn)xn|X(t1)=x1,, X(tn-1)=xn-1} = P{X(tn) xn|X(tn-1)=xn-1}， 则称{X(t)，t T }具有马尔可夫性或无后效性。
即Ftn|t1 (x tn1 n| x1,x2,...,xn1)Ftn| (x tn1 n| xn1)
如果状态空间的状态是有限的，则称为有限 状态的马尔可夫链。如果状态空间I是无限的， 则称为可列状态的马尔可夫链。
例1 天气预报问题：如果明天是否有雨仅与今日的天气
（是否有雨）有关，而与过去的天气无关，并设今日下雨，
明日有雨的概率为 ，今日无雨而明日有雨的概率为 ；
又设把有雨称为0状态天气，把无雨称为1状态天气。则
第4章 Markov链
4.1 Markov链的概念及状态转移概率 4.2 Markov链的状态分类 4.3 状态空间的分解 4.4pinj 的渐近性质与平稳分布 课后作业
引言： Markov过程是在理论上和实际应用中都十分重要的一类随
机过程，它是由苏联数学家A.A. Markov(1856-1922)首次 提出并进行研究。至今已形成内容丰富、理论完整、应用 广泛的一门数学分支。特别地， Markov过程在工程系统中 的噪声和信号分析、通信网络的模拟、统计物理学、生物 学、数字计算方法、经济管理和市场预测等领域中都有十 分重要的作用和广泛的应用，它在人工智能和在人工神经 网络中也有重要的应用。
在物理学中，很多确定性现象遵从如下演变原则：
由时刻t0系统或过程所处的状态可以决定 系统或过程在时刻t t0所处的状态，而无需
借助于t0以前系统或过程所处状态的历史资料。 如微分方程的初值问题所描绘的物理过程就 是属于这类确定性现象。把这种原则延伸到
随机现象，可引入以下的马尔可夫性或无后
效性。
定义 设 {X(t)，t T }为随机过程，若对任意
=P X tn X tn1 xn xn1 =P X tn xn X tn1 xn1
马氏性成立。故独立增量过程X t,t 0 为马氏过程。
特别地 设X n, n 1, 2,...,是贝努力随机序列，X 0 0, X n, n 1, 2, ,是相互独立同分布的贝努力随机变量，设
= P X n = in X n-1 = in-1 P X n-1 = in-1 X n-2 = in-2 P X0 = i0 , X1 = i1,..., Xn-2 = in-2 =...
= P X n = in X n-1 = in-1 P X n-1 = in-1 X n-2 = in-2 ... P X1 = i1 X0 = i0 P X0 = i0
•
•
t1
t2
过去
•
•
•
tn2 t n1 tn
现在 将来
t
过程的“将来” 依赖于“现在”，
具有Markov性的随机过程称为Markov过程. 与“过去” 是
无关的.
马尔可夫过程按其状态和时间通常分为三类：
(1)时间、状态都是离散的，称为马尔可夫 链(2)时间连续、状态离散的，称为连续时间马尔可夫链 (3)时间、状态都是连续的，称为马尔可夫过程
p21
p22
...
p2 j
...
P ... ... ... ... ...
pi1 pi2 ... pij ...
... ... ... ... ...
称为一步转移概率矩阵
*一步转移概率矩阵的性质
（1）pij 0,i, j I
（2） pij 1,i I jI
（2）式的证明： pij p Xn1 j Xn i
... ...
0 0
1 p 0 0 1 p
p 0
0 ... p ...
0 ... 0 ...
i i 1
... ... ... ... ... ... ... ... ...
例3 无限制的随机游动：质点在直线上做随机游动。 如某一时刻质点位于i，则下一步质点以概率p向右移 动一格到达i+1,以概率 q 向左移动一格到达i-1,以概
1 p p
i 1 i i 1
pi,i1 pi,i1
p q 1
p
,
i
I
,
0
p
1pij0, Nhomakorabeaj i 1,i 1, j I
其一步转移概率矩阵为
i 2 i 1 i i 1... ... ...
... ... ... ... ... ... ... ... ...
... 1 p 0 p 0 0 ... 0 ... i 1
n
Y n X k , n 1, 2,...,Y 0 0 k 0
称Y n,n 1,2,...为二项计数过程（广义随机游动），
它是平稳独立增量过程，因而是离散参数马氏链。
例3 维纳过程
W t,t 0，是平稳独立增量过程，且W 0 0
因而是马尔可夫过程 例4 泊松过程
N t,t 0，是平稳独立增量过程，且N 0 0
n，n = 0,1,2，... 是一个随机过程。而且当 n = i
时， n+1， n+ 2，...， n+ k ,...等n时刻后质点所处的状态，只与 n = i
有关，而与质点在n以前是如何到达i 的完全无关。 所以它是一个齐次马尔可夫链，其状态空间为
I = ...,2,1,0,1,2,... ,而其一步转移概率为
的数学表达式。
由马尔可夫链的马氏性知：
PX0 i0,X1 i1,...,Xn in
=P Xn =in X0 i0,X1 i1,..., Xn-1 in1 P X0 i0,X1 i1,...,Xn-1 in1
=P Xn =in Xn-1 in1 P Xn-1 in1 X0 i0, X1 i1,..., Xn-2 in2 P X0 i0,X1 i1,...,Xn-2 in2