随机过程课件第三章

则称{Xn,n∈T}为马尔可夫链，简称马氏链
将来的状态只与当前状态有关，与过去状态无关
定义4.2 称条件概率
p ij ( n ) = P{ X n +1 = j | X n = i}
为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。
定义4.3 若对任意的i,j∈I，马尔可夫链{Xn,n∈T}的转移概率与n无关，则称马尔 可夫链是齐次马尔可夫链。
随机矩阵
定义4.4
( n) 称条件概率 pij = P{X m+ n = j | X m = i}, i, j ∈ I , m ≥ 0, n ≥ 1
为马尔可夫链{Xn,n∈T}的n步转移概率，并称
( P(n) = ( pijn) )
为马尔可夫链的n步转移矩阵。
例题 设马尔可夫链{Xn,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为
定义4.8 如ui<∞，则称常返态i为正常返的；如ui= ∞，则称常返态i为零常返的。
非周期的正常返态称为遍历状态。
定义： 对于状态有限的马尔可夫链，若对一切i∈I，下式成立
n→ ∞ ( p ij n ) = p
lim
wenku.baidu.com
j
> 0
则称此马尔可夫链遍历，并称pj为极限分布或最终分布。
遍历性判定定理： 对于状态有限的马尔可夫链，若存在正整数，使pij(S)>0，（对一切i,j∈I , 1≤S＜∞），则称此马尔可夫链遍历。
马尔可夫链定义
设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的i0,i1, …,in+1∈I， 条件概率满足
P { X n +1 = i n +1 | X 0 = i 0 , X 1 = i1 , L , X n = i n } = P{ X n +1 = i n +1 | X n = i n }
同时我们令 f ij = 定义4.7 称状态i为常返的，如fii=1；称状态i为非常返的，如fii<1。 对于常返态i，由定义知{fii(n),n≥1}构成一概率分布，此分布的期望值
∑f
n =1
∞
(n) ij 表示质点由i出发，经有限步终于到达j
的概率。
μi =
∑ nf
n =1
∞
(n) ii
表示由i出发再返回的i的平均返回时间。
∑
( ( p ikl ) p kjn − l )
( p ijn ) =
k1 ∈ I
∑L ∑ p
k n −1 ∈ I
( n −1)
k∈ I
Chapman-Kolmogorov 方程
ik 1
p k1 k 2 L p k n −1 j
P
(n)
= PP
P (n) = P n
证明
例题4.1：无限制随机游动 设质点在数轴上移动，每次移动一格，向右移动的概 率为p，向左移动的概率为q=1-p，这种运动称为无限 制随机游动。以Xn表示时刻n质点所处的位置，则 {Xn,n∈T}是一个齐次马尔可夫链，求一步和k步转移 概率。
若信号在信道中第k时刻处于0状态，第k+1时刻处于1状态概率为1/2； 信号在信道中k时刻处于1状态，第k+1时刻处于0状态的概率为2/5； 求该信道的状态转意图和一步转移矩阵。
课堂练习
马尔可夫链的状态空间I={0，1}，其一步转移概率矩阵为
⎡1 P = ⎢2 2 ⎢5 ⎣
1 2 3 5
⎤ ⎥ ⎥ ⎦
⎛ p00 P=⎜ ⎜p ⎝ 10
求
p01 ⎞ ⎟ p11 ⎟ ⎠
P{Xm+2 = 0 | Xm = 0} 和两步转移概率矩阵P(2)
定理4.1 设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤L<n和i,j∈I，n (n 步转移概率 pij )具有下列性质： 1. 2. 3. 4.
( p ij n ) =
定义4.5： 称 p j ( n ) = P { X n = j}, ( j ∈ I ) 为时刻n马尔可夫链的绝对概率； 称 { p j ( n ), j ∈ I } 为马尔可夫链的绝对分布； 称 PT (n) = { p1 (n), p2 (n),L n > 0 为n时刻的绝对概率向量。 },
定义： 称 p j = P{ X 0 = j}, ( j ∈ I ) 为马尔可夫链的初始概率； 称 { p j , j ∈ I } 为马尔可夫链的初始分布； 称 P T ( 0 ) = ( p 1 , p 2 , L ) 为马尔可夫链的初始概率向量。
定理4.2 设{Xn,n∈T}为马尔可夫链，则对任意j∈I和n≥1，绝对概率pj(n)具有下 列性质： 1. 2. 3. 4.
p j (n) =
∑
( p i p ij n )
p j (n) =
∑ p ( n − 1) p
i i∈ I
i∈ I
ij
PT (n) = PT (0)P (n)
P
T
(n ) = P
定理4.16 不可约非周期马尔可夫链是正常返的充要条件是存在 平稳分布，且此平稳分布就是极限分布。
定理： 遍历的马尔可夫链，其最终的分布等于平稳分布。
马尔可夫链的应用实例
离散信源I={0,1}，在规定时刻发出0和1，如下图中的数字通信设备， 信源 0110111110… 信道 信宿 1011011000…
例题4.3：天气预报问题 设昨日、今日都下雨，明日有雨的概率为0.7；昨日 无雨、今日有雨，明日有雨的概率为0.5；昨日有 雨、今日无雨，明日有雨的概率为0.4；昨日、今日 均无雨，明日有雨的概率为0.2。若星期一、星期二 均下雨，求星期四下雨的概率。 解：设昨日、今日连续两天有雨称为状态0（RR）， 昨日无雨，今日有雨称为状态1（NR），昨日有 雨，今日无雨称为状态2（RN），昨日，今日无 雨称为状态3（NN），于是天气预报模型可以看 作是一个四状态的马尔可夫链。
补课通知
本学期原第9，10周星期一的两次课调整到 14，15周星期二， 补课时间：14，15周星期二（6月5日和12 日）第7，8节课； 补课地点：东九楼-B502
马尔可夫链的状态分类
周期、非周期
常返、非常返
正常返、零常返
遍历状态
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态间的概率转移图如下图
引理4.1 如i的周期为d，则存在正整数M，对一切n≥M，有pii(nd)>0。
已知马尔可夫链状态空间为{1,2,3,4}，其状态转移概率如下图
状态转移概率图
首中概率 它表示质点由i出发，经n步首次到达j 的概率，表示为
f ij( n ) = P ( X m + v ≠ j ,1 ≤ v ≤ n − 1, X m + n = j | X m = i )
问该转移矩阵是否遍历，若遍历求其平稳分布
课堂练习 若马尔可夫链有三状态，其概率转移矩阵为
⎛q ⎜ P = ⎜q ⎜0 ⎝
p 0 q
0⎞ ⎟ p⎟ p⎟ ⎠
问此马尔可夫链是否遍历，若遍历求其平稳分布 (p1,p2,p3)
课后作业
习题四 4.1， 4.2， 4.7， 4.13
标准数字电视（SDTV）的信息传输问题
Quality Evolution
通信系统的信息传输问题
信源 0110111110…
信道
信宿 1011011000…
第三章 马尔可夫链
1. 2. 3. 4. 5. 6.
马尔可夫链定义 一步转移概率及多步转移概率 初始概率及绝对概率 Chapman-Kolmogorov方程 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布
P{X1 = i1,L, X n = in } =
∑p p
i∈I
i ii1 L pin−1in
证明
课堂练习： 设某地区有1600居民，有甲、乙、丙三个工厂的产品 在该地区销售，据调查8月份买甲、乙、丙三厂产品 的用户数分别为480，320，800，9月份调查发现原 买甲产品的有48户转买乙产品，96户转买丙产品，原 买乙产品的有32户转买甲产品，64户转买丙产品，原 买丙产品的有64户转买甲产品，有32户转买乙产品， 求9月份和12月份，甲、乙、丙的市场占有率。 提示：9，12月份甲、乙、丙的市场占有率可以认为 是一个马尔可夫链在不同时刻的绝对概率分布。
T
( n − 1) P
证明
课堂练习： 设马尔可夫链有k个状态，已知第n-1时刻的绝对概 率向量为
{ p 1 ( n − 1), p 2 ( n − 1), K , p k ( n − 1)}
求第n时刻绝对概率向量。
定理4.3 设{Xn,n∈T}为马尔可夫链，则对任意i1, …,in∈I和n≥1，有
例题4.8 设马尔可夫链的状态空间I＝{1,2,3}其转移概率矩阵为
⎡0 P = ⎢ q2 ⎢ ⎢ p3 ⎣ p1 0 q3 q1 ⎤ p2 ⎥ ⎥ 0⎥ ⎦
求从状态1出发经n步转移首次到达各状态的概率。
1
p3 q1 q3
3
p1 q2
2
p2
课堂练习
问下述转移概率矩阵是否遍历？
⎡1 2 ⎢2 ⎢5 ⎣
1⎤ 2 3⎥ 5⎥ ⎦
⎡1 0⎤ ⎢0 1 ⎥ ⎣ ⎦
状态空间的分解
定义： 状态空间I的子集C称为闭集，如果对任意 i ∈ C 及 k ∉ C 都有 pik = 0
定义： 闭集C称为不可约的，如果C的状态互通。 定义： 马尔可夫链称为不可约的，如果其状态空间不可约。
状态空间的分解定理 4.10： 任一马尔可夫链的状态空间I，可唯一的分解成有限个 或可列个互不相交的子集D,C1,C2, …之和，使得 ① 每一Cn是常返态组成的不可约闭集； ② Cn中的状态同类，或全是正常返，或全是零常返。 它们有相同的周期且fjk=1,j,k∈Cn。 ③D由全体非常返状态组成，自Cn中的状态不能到达D 中的状态。
设P表示一步转移概率所组成的矩阵，则
⎡ p11 p12 L p1n L ⎤ ⎥ P = ⎢p21 p22 L p2n L ⎢ ⎥ ⎢L L L L L ⎥ ⎣ ⎦
称为系统状态的一步转移概率矩阵，它具有如下性质： 1. 2.
p ij ≥ 0 ,
i, j ∈ I
∑p
j∈ I
ij
= 1, i , j ∈ I
假设{Xn,n≥0}是齐次马尔可夫链，其状态空间I={0,1,2,3, …}，转移概率 是pij，i,j∈I，初始分布为{pj,j ∈I}。 定义4.6 如集合{n: n≥1,pii(n)>0}非空，则称该集合的最大公约数 d=d(i)=G.C.D{n:pii(n)>0}为状态i的周期。 如d>1就称i为周期的，如d=1就称i为非周期的。
定义4.11 称概率分布{πj,j∈I}为马尔可夫链的平稳分布，若它 满足 ⎧π = π p
⎪ ⎪ ⎨ ⎪ ⎪ ⎩
j
∑
i∈ I
i
ij
∑π
j∈ I
j
= 1,
πj ≥0
若初始概率分布是平稳分布，则对一切正整数n， 绝对概率pj(n)等于初概率。 定义： 若存在一个概率分布（p1,p2, …,pk）使得(p1,p2, …,pk)= (p1,p2, …,pk)P，则称(p1,p2, …,pk)为平稳分布。