随机过程马尔科夫过程
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 离散时间马尔可夫链
马尔可夫过程是前苏联数学家A.A.Markov首先提出 和研究的一类随机过程. 经过世界各国几代数学家的相继努力,至今已成为内 容十分丰富,理论上相当完整,应用也十分广泛的一门 数学分支. 它的应用领域涉及计算机、通讯、自动控制、随机 服务、可靠性、生物、经济、管理、气象、物理、 化学等.
m 1 m 0
0 m2
m
0
0
0
0
0 0 0
0
0 0
0
m 1
m 0
0 0
0
0
0 0
0 1
1
m 0
例3（群体增长）某种生物群体的每个个体在其生存 期内彼此独立地产生后代，假设每个个体都以概率 pk产生k个后代，且有
pk 0,
(k 1, 2,L )
pk 1
k 0
用Xn表示第n代生物群体的总数，它是生物群体的第 n-1代的每个个体的后代个数的总和，因此第n+1代 的个体总数仅依赖于第n代的个体总数，所以X={Xn, n=0,1,2,···}是一个马尔科夫链，状态空间为 S={0,1,2，···}
或 P( X n in X 0 i0 , X1 i1,L , X n1 in1)
P( X n in X n1 in1)
今后,记 S {1, 2,3,L }, T {0,1, 2,L } 马尔可夫链记为{X n , n 0} 也称马氏链,或系统
二 马尔可夫链的转移概率
1. 转移概率
l
P( X nk l X n i) P( X nkm j X nk l)
l
p(k il
)
(n)
例2 （埃伦菲斯特模型）设一个坛子中装有m个球， 它们或是红色的，或是黑色的，从坛子中随机的摸 出一球，并换入一个相反颜色的球. 设经过n次摸换,坛中黑球数为Xn,则{X n , n 0}是以 S {0,1, , m} 为状态空间的齐次马尔可夫链.
其一步转移概率矩阵为
0 1 0
0
1
m
P
0
0 2 m
li (1 li N，) 对应的网页集合为 Si (Si S)，用户进入网 页 i 后，按照以下规则进入新的网页；以概率p进 入网页集合S中任何一个网页或者以概率q进入i 的 任一个超级链接，令Xn表示用户在n次选取后所在的 网页，问Xn是非是一马氏链，若是的话，写出其一 步转移概率.
pij
=
如果记第n代的生物群体个数 X n i 则马氏链的一步转移概率为：
P(Xn1 j Xn i)
记i个个体各自产生的后代数分别记为随机变 量 1,2,L ,i ，且 l (l 0,1,L ,i)有概率分布
P(l k) pk , k 0,1, 2L
故一步转移概率为
P(Xn1 j Xn i) P(1 2 L i j)
P(k) (n) ( pi(jk) (n))
为系统{X n , n 0}在 n时的k步转移概率矩阵.
特别 当k=1时，
p(1) ij
(n)为系统在n时的一步转移概率,
记为 pij (n)
P(1)
(n)
(
p(1) ij
(n))为系统的一步转移概率矩阵
记为 P(n) ( pij (n))
定义 称可数维的矩阵 P ( pij ) 为随机矩阵，如果
证明
p(k ij
m)
(n)
P{X
nk
m
j
Xn
i)
U P{( X nk l), X nkm j X n i)
l
U P{ ( X nk l, X nkm j) X n i)
l
P( X nk l, X nkm j) X n i)
l
P( X nk l X n i) P( X nkm j X n i, X nk l)
P
a b
1 a 1 b
天气的变化过程还可以用不同的马尔科夫链来描述， 假设任意一天的天气与前一天的天气有关，即如果 昨天和今天都为晴天，明天为晴天的概率为α，昨 天和今天分别为晴天和阴天，明天为晴天的概率为 β，昨天和今天分别为阴天和晴天，明天为晴天的 概率为γ，如果昨天和今天都为阴天，明天为晴天 的概率为δ。如果将阴天和晴天分别记为0,1，则昨 天和今天的所有天气情况可以用数对表示为集合 S={（1,1），（1,0），（0,1），（1,1）}，由此， 将数对看做状态，天气的变化过程可用状态空间为S 上的其次马尔科夫链描述，一步转移概率矩阵为：
r0 p0 0 0
q
r
p 0
0 q r p
P
ห้องสมุดไป่ตู้
0 0 0 0 0 0 0 0
0 0 0
0
0
0
0 0 0
q r p
0 qa ra
例１(天气预报问题) 如果明天是否有雨仅与今天的 天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则 {X n , n 0}是以 S {0,1}为状态空间的齐次马尔可夫链. 其一步转移概率矩阵为
q li
+
p N
,
p N
, j Si j Si
§２. 马尔科夫链的概率分布
定理 (C-K方程)（解决了k步转移概率与一步转移概率间的关系）
p(k m) ij
(n)
p(k il
)
(n)
p(m) lj
(n
k
),
n, m, k 0,i, j S
l
或矩阵形式
P(km) (n) P(k) (n)P(m) (n k)
所处的状态无关。
通俗地说，就是在知道过程现在的条件下，其 将来的条件分布不依赖于过去，则称{X (t),t T} 具有马尔可夫（Markov)性。
t t0 过去
t t0 现在
t t0 将来
2. 马尔可夫过程 定义 设 {X (t),t T} 的状态空间为S,
如果对n 2, t1 t2 L tn T , 在条件 X (ti ) xi , xi S, i 1, 2,L , n 1下
pij (n) pij (n 1) pij (n 2) L 则称马氏链X具有时齐性，或称X为其次马尔科夫 链，简称齐次马氏链.
引理(有限制随机游动问题)
设质点只能在{0，1，2，···，a}中的各点上作随机
游动，移动规则如下：
（1）移动前i {1, 2,L , a 1}处 i-1 q
i
p i+1
当时中国近代数学才刚刚起步，大学也没有概率课程。此时 苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么 是概率，可他的研究方向又恰恰被定为概率论， 著有《概率论基础及其应用》、《随机过程论》、 《生灭过程与马尔科夫链》等9部数学著作．
本章主要内容
马尔可夫过程的定义 马尔可夫链的转移概率与概率分布 齐次马尔可夫链状态的分类 转移概率的稳定性能
引例(有限制随机游动问题)
设质点只能在{0，1，2，···，a}中的各点上作随机
游动，移动规则如下：
（1）移动前i {1, 2,L , a 1}处 i-1 q
i
p i+1
p, q, r 0, p q r 1;
r
（2）移动前i 0处
p0 , r0 0, p0 r0 1
0
p0
1
r0
（3）移动前i a处
qa , ra 0, qa ra 1
qa
a-1
a
ra
设Xn表示质点在n时刻所处的位置
§1 马尔可夫过程的定义 一.基本概念
1．马尔可夫性 定义 设 {X (t),t T} 是一个随机过程，如果
{X (t),t T} 在t0时刻所处的状态为已知，它在
时刻 t t0 所处状态的条件分布与其在 t0 之前
nc
,
j ic
1
i, b r nc
j
i
0,
其他
例5：设{n : n 0}是相互独立同分布的随机变量序 列，且
P(n 1) p, P(n 1) 1 p, p 0, n 0
n
令随机序列：X n k , k 0
n0
验证：随机序列X={Xn: n≥0}是一个齐次马氏链.
例6（网页浏览）用集合 S={1，2，L ，N } 表示因特 网中的所有网页，假设网页i 上的超级链接数为
例4（卜里耶模型）设一个坛子里有b个黑球和r个红 球，每次随机地从坛子中摸出一个球后再放回去， 并加入c个与摸出球同颜色的球。重复以上步骤将摸 球进行下去，设Xn表示第n次摸球放回后坛子中的黑 球数，试写出其一步转移概率矩阵和状态空间
pij (n) P( X n1 j X n i)
b
i r
X (tn ) 的条件分布函数恰好等于
在条件 X (tn1) xn1下的条件分布函数,即
P( X (tn ) xn X (t1) x1 , X (t2 ) x2,L , X (tn1) xn1) P( X (tn ) xn X (tn1) xn1), xn R
则称{X (t),t T}为马尔可夫过程.
3.马尔可夫链 定义 参数集和状态空间都是离散的马尔可夫过程
称为马尔可夫链。
注 只讨论马尔可夫链的状态空间为有限或可列无限. 则马尔可夫性可表示为
对n 2,t1 t2 L tn T ,i1,i2,L ,in S,
有 P( X (tn ) in X (t1) i1 , X (t2 ) i2 ,L , X (tn1) in1) P( X (tn ) in X (tn1) in1), xn R
pij 0, (i, j)
pij 1,(i)
j
显然，{X n, n 0}在n时的k步转移概率矩阵 P(k) (n)
是一随机矩阵.
特别 k＝０时，约定
p(0) ij
ij
1 0
,
i j i j
i, j S, n 0
此时 P(0) (n) I为单位矩阵.
实际中常会碰到具有时齐性的马氏链
若对任意的状态i, j和时刻n，均有
马尔可夫 (1856年6月14日——1922年7月20日）
马尔可夫对数学的最大贡献是在概率论领域作出 的．十九世纪后二十年，他主要是沿着切比雪夫开创 的方向，致力于独立随机变量和古典极值理论的研究， 从而改进和完善了大数定律和中心极限定理．
二十世纪初，他的兴趣转移到相依随机变量序列的 研究上来，从而创立了以他命名的著名概率模型—— 马尔可夫链．
特别 对取T={0,1,2,···}的马尔可夫链，记为 {X (n), n 0} 或 {X n, n 0}
此时的马尔可夫性为 对n 1,i0,i1,L ,in S, 有
P( X (n) in X (0) i0 , X (1) i1,L , X (n 1) in1) P( X (n) in X (n 1) in1)
定义 设 {X n , n 0}是马尔可夫链,称条件概率
p(k ij
)
(n)
@P(
X
nk
j
Xn
i),
i, j S, n 0, k 1
为{X n , n 0}在n时的k步转移概率.
(它表示系统{Xn, n 0}在n时处于状态i的条件下
经过k步转移,于n+k时到达状态j的条件概率).
称以pi(jk) (n)为第i行底j列元素的矩阵
1 0 0
P
0
0
1
1 0 0
0
0
1
练习
天气预报问题，其模型是：今天是否下雨依赖 于前三天是否有雨（即一连三天有雨；前面两 天有雨，第三天晴天…..),问能否把这一问题归 纳为一马尔科夫链，如果可以，问该过程的状 态有几个？如果过去一连三天有雨，今天有雨 的概率为0.8；过去连续为晴天，而今天有雨的 概率为0.2；在其他天气情况，今天的天气和昨 天相同的概率为0.6，求这个马儿科夫链的转移 概率.
王梓坤院士(1929年—)江西吉安人,1952年大学毕业后，被分派 到天津南开大学数学系任教. 是一位对我国科学和教育事业作出 卓越贡献的数学家和教育家，也是我国概率论研究的先驱和学术 带头人之一。
1954年，他又以优异的成绩考取了赴苏研究生。踏进世界著 名学府－莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥 洛夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧 眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作 自己的研究生，去攻概率论的中心问题随机过程理论。
p, q, r 0, p q r 1;
r
（2）移动前i 0处
p0 , r0 0, p0 r0 1
0
p0
1
r0
（3）移动前i a处
qa , ra 0, qa ra 1
qa
a-1
a
ra
设Xn表示质点在n时刻所处的位置，则 {X n , n 0}是以S {0,1,L , a}为状态空间的齐次 马尔可夫链. 其一步转移概率矩阵为
马尔可夫过程是前苏联数学家A.A.Markov首先提出 和研究的一类随机过程. 经过世界各国几代数学家的相继努力,至今已成为内 容十分丰富,理论上相当完整,应用也十分广泛的一门 数学分支. 它的应用领域涉及计算机、通讯、自动控制、随机 服务、可靠性、生物、经济、管理、气象、物理、 化学等.
m 1 m 0
0 m2
m
0
0
0
0
0 0 0
0
0 0
0
m 1
m 0
0 0
0
0
0 0
0 1
1
m 0
例3（群体增长）某种生物群体的每个个体在其生存 期内彼此独立地产生后代，假设每个个体都以概率 pk产生k个后代，且有
pk 0,
(k 1, 2,L )
pk 1
k 0
用Xn表示第n代生物群体的总数，它是生物群体的第 n-1代的每个个体的后代个数的总和，因此第n+1代 的个体总数仅依赖于第n代的个体总数，所以X={Xn, n=0,1,2,···}是一个马尔科夫链，状态空间为 S={0,1,2，···}
或 P( X n in X 0 i0 , X1 i1,L , X n1 in1)
P( X n in X n1 in1)
今后,记 S {1, 2,3,L }, T {0,1, 2,L } 马尔可夫链记为{X n , n 0} 也称马氏链,或系统
二 马尔可夫链的转移概率
1. 转移概率
l
P( X nk l X n i) P( X nkm j X nk l)
l
p(k il
)
(n)
例2 （埃伦菲斯特模型）设一个坛子中装有m个球， 它们或是红色的，或是黑色的，从坛子中随机的摸 出一球，并换入一个相反颜色的球. 设经过n次摸换,坛中黑球数为Xn,则{X n , n 0}是以 S {0,1, , m} 为状态空间的齐次马尔可夫链.
其一步转移概率矩阵为
0 1 0
0
1
m
P
0
0 2 m
li (1 li N，) 对应的网页集合为 Si (Si S)，用户进入网 页 i 后，按照以下规则进入新的网页；以概率p进 入网页集合S中任何一个网页或者以概率q进入i 的 任一个超级链接，令Xn表示用户在n次选取后所在的 网页，问Xn是非是一马氏链，若是的话，写出其一 步转移概率.
pij
=
如果记第n代的生物群体个数 X n i 则马氏链的一步转移概率为：
P(Xn1 j Xn i)
记i个个体各自产生的后代数分别记为随机变 量 1,2,L ,i ，且 l (l 0,1,L ,i)有概率分布
P(l k) pk , k 0,1, 2L
故一步转移概率为
P(Xn1 j Xn i) P(1 2 L i j)
P(k) (n) ( pi(jk) (n))
为系统{X n , n 0}在 n时的k步转移概率矩阵.
特别 当k=1时，
p(1) ij
(n)为系统在n时的一步转移概率,
记为 pij (n)
P(1)
(n)
(
p(1) ij
(n))为系统的一步转移概率矩阵
记为 P(n) ( pij (n))
定义 称可数维的矩阵 P ( pij ) 为随机矩阵，如果
证明
p(k ij
m)
(n)
P{X
nk
m
j
Xn
i)
U P{( X nk l), X nkm j X n i)
l
U P{ ( X nk l, X nkm j) X n i)
l
P( X nk l, X nkm j) X n i)
l
P( X nk l X n i) P( X nkm j X n i, X nk l)
P
a b
1 a 1 b
天气的变化过程还可以用不同的马尔科夫链来描述， 假设任意一天的天气与前一天的天气有关，即如果 昨天和今天都为晴天，明天为晴天的概率为α，昨 天和今天分别为晴天和阴天，明天为晴天的概率为 β，昨天和今天分别为阴天和晴天，明天为晴天的 概率为γ，如果昨天和今天都为阴天，明天为晴天 的概率为δ。如果将阴天和晴天分别记为0,1，则昨 天和今天的所有天气情况可以用数对表示为集合 S={（1,1），（1,0），（0,1），（1,1）}，由此， 将数对看做状态，天气的变化过程可用状态空间为S 上的其次马尔科夫链描述，一步转移概率矩阵为：
r0 p0 0 0
q
r
p 0
0 q r p
P
ห้องสมุดไป่ตู้
0 0 0 0 0 0 0 0
0 0 0
0
0
0
0 0 0
q r p
0 qa ra
例１(天气预报问题) 如果明天是否有雨仅与今天的 天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则 {X n , n 0}是以 S {0,1}为状态空间的齐次马尔可夫链. 其一步转移概率矩阵为
q li
+
p N
,
p N
, j Si j Si
§２. 马尔科夫链的概率分布
定理 (C-K方程)（解决了k步转移概率与一步转移概率间的关系）
p(k m) ij
(n)
p(k il
)
(n)
p(m) lj
(n
k
),
n, m, k 0,i, j S
l
或矩阵形式
P(km) (n) P(k) (n)P(m) (n k)
所处的状态无关。
通俗地说，就是在知道过程现在的条件下，其 将来的条件分布不依赖于过去，则称{X (t),t T} 具有马尔可夫（Markov)性。
t t0 过去
t t0 现在
t t0 将来
2. 马尔可夫过程 定义 设 {X (t),t T} 的状态空间为S,
如果对n 2, t1 t2 L tn T , 在条件 X (ti ) xi , xi S, i 1, 2,L , n 1下
pij (n) pij (n 1) pij (n 2) L 则称马氏链X具有时齐性，或称X为其次马尔科夫 链，简称齐次马氏链.
引理(有限制随机游动问题)
设质点只能在{0，1，2，···，a}中的各点上作随机
游动，移动规则如下：
（1）移动前i {1, 2,L , a 1}处 i-1 q
i
p i+1
当时中国近代数学才刚刚起步，大学也没有概率课程。此时 苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么 是概率，可他的研究方向又恰恰被定为概率论， 著有《概率论基础及其应用》、《随机过程论》、 《生灭过程与马尔科夫链》等9部数学著作．
本章主要内容
马尔可夫过程的定义 马尔可夫链的转移概率与概率分布 齐次马尔可夫链状态的分类 转移概率的稳定性能
引例(有限制随机游动问题)
设质点只能在{0，1，2，···，a}中的各点上作随机
游动，移动规则如下：
（1）移动前i {1, 2,L , a 1}处 i-1 q
i
p i+1
p, q, r 0, p q r 1;
r
（2）移动前i 0处
p0 , r0 0, p0 r0 1
0
p0
1
r0
（3）移动前i a处
qa , ra 0, qa ra 1
qa
a-1
a
ra
设Xn表示质点在n时刻所处的位置
§1 马尔可夫过程的定义 一.基本概念
1．马尔可夫性 定义 设 {X (t),t T} 是一个随机过程，如果
{X (t),t T} 在t0时刻所处的状态为已知，它在
时刻 t t0 所处状态的条件分布与其在 t0 之前
nc
,
j ic
1
i, b r nc
j
i
0,
其他
例5：设{n : n 0}是相互独立同分布的随机变量序 列，且
P(n 1) p, P(n 1) 1 p, p 0, n 0
n
令随机序列：X n k , k 0
n0
验证：随机序列X={Xn: n≥0}是一个齐次马氏链.
例6（网页浏览）用集合 S={1，2，L ，N } 表示因特 网中的所有网页，假设网页i 上的超级链接数为
例4（卜里耶模型）设一个坛子里有b个黑球和r个红 球，每次随机地从坛子中摸出一个球后再放回去， 并加入c个与摸出球同颜色的球。重复以上步骤将摸 球进行下去，设Xn表示第n次摸球放回后坛子中的黑 球数，试写出其一步转移概率矩阵和状态空间
pij (n) P( X n1 j X n i)
b
i r
X (tn ) 的条件分布函数恰好等于
在条件 X (tn1) xn1下的条件分布函数,即
P( X (tn ) xn X (t1) x1 , X (t2 ) x2,L , X (tn1) xn1) P( X (tn ) xn X (tn1) xn1), xn R
则称{X (t),t T}为马尔可夫过程.
3.马尔可夫链 定义 参数集和状态空间都是离散的马尔可夫过程
称为马尔可夫链。
注 只讨论马尔可夫链的状态空间为有限或可列无限. 则马尔可夫性可表示为
对n 2,t1 t2 L tn T ,i1,i2,L ,in S,
有 P( X (tn ) in X (t1) i1 , X (t2 ) i2 ,L , X (tn1) in1) P( X (tn ) in X (tn1) in1), xn R
pij 0, (i, j)
pij 1,(i)
j
显然，{X n, n 0}在n时的k步转移概率矩阵 P(k) (n)
是一随机矩阵.
特别 k＝０时，约定
p(0) ij
ij
1 0
,
i j i j
i, j S, n 0
此时 P(0) (n) I为单位矩阵.
实际中常会碰到具有时齐性的马氏链
若对任意的状态i, j和时刻n，均有
马尔可夫 (1856年6月14日——1922年7月20日）
马尔可夫对数学的最大贡献是在概率论领域作出 的．十九世纪后二十年，他主要是沿着切比雪夫开创 的方向，致力于独立随机变量和古典极值理论的研究， 从而改进和完善了大数定律和中心极限定理．
二十世纪初，他的兴趣转移到相依随机变量序列的 研究上来，从而创立了以他命名的著名概率模型—— 马尔可夫链．
特别 对取T={0,1,2,···}的马尔可夫链，记为 {X (n), n 0} 或 {X n, n 0}
此时的马尔可夫性为 对n 1,i0,i1,L ,in S, 有
P( X (n) in X (0) i0 , X (1) i1,L , X (n 1) in1) P( X (n) in X (n 1) in1)
定义 设 {X n , n 0}是马尔可夫链,称条件概率
p(k ij
)
(n)
@P(
X
nk
j
Xn
i),
i, j S, n 0, k 1
为{X n , n 0}在n时的k步转移概率.
(它表示系统{Xn, n 0}在n时处于状态i的条件下
经过k步转移,于n+k时到达状态j的条件概率).
称以pi(jk) (n)为第i行底j列元素的矩阵
1 0 0
P
0
0
1
1 0 0
0
0
1
练习
天气预报问题，其模型是：今天是否下雨依赖 于前三天是否有雨（即一连三天有雨；前面两 天有雨，第三天晴天…..),问能否把这一问题归 纳为一马尔科夫链，如果可以，问该过程的状 态有几个？如果过去一连三天有雨，今天有雨 的概率为0.8；过去连续为晴天，而今天有雨的 概率为0.2；在其他天气情况，今天的天气和昨 天相同的概率为0.6，求这个马儿科夫链的转移 概率.
王梓坤院士(1929年—)江西吉安人,1952年大学毕业后，被分派 到天津南开大学数学系任教. 是一位对我国科学和教育事业作出 卓越贡献的数学家和教育家，也是我国概率论研究的先驱和学术 带头人之一。
1954年，他又以优异的成绩考取了赴苏研究生。踏进世界著 名学府－莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥 洛夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧 眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作 自己的研究生，去攻概率论的中心问题随机过程理论。
p, q, r 0, p q r 1;
r
（2）移动前i 0处
p0 , r0 0, p0 r0 1
0
p0
1
r0
（3）移动前i a处
qa , ra 0, qa ra 1
qa
a-1
a
ra
设Xn表示质点在n时刻所处的位置，则 {X n , n 0}是以S {0,1,L , a}为状态空间的齐次 马尔可夫链. 其一步转移概率矩阵为