随机过程 第四章4
随机过程习题集-第四章马尔可夫过程
1
第四章 马尔可夫过程
内容提要
1. 马尔可夫过程的概念 （1）马尔可夫过程
给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<
<∈n n t t t T ，有
11221111{()|(),(),,()}
{()|()}
n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=
则称{}(),X t t T ∈为马尔可夫过程。称(){}:,==∈E x X t x t T 为状态空间。 参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率
设{}(),0,1,2,
=X n n 为离散参数马氏链，称
()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k
为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称
(),(,)((,)),P =∈i j n k p n k i j E
为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的
一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布
称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,
=X n n 的初始分布，记为0P ，
称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链
《随机过程及其在金融领域中的应用》习题四答案
1t
0
e1t
0!
2t 1!
1
e2t
2t
e e 1t 2t
0
N1 t N2 t ,t 0 不是泊松过程。
解法二：
依照上述步骤求得 N1 t N2 t 的特征函数为：
E e E e E e e e e iuN1tN2t
E
M
T
及Var
M
T
答：
（1）
由 P47，Poisson 过程自相关函数结果知：
E Nt Nts min t,t s 2t t s t 2t t s
（2）
P
Ns
Nt
P Nt
百度文库
Ns
0
P Nts
0
P
N1 t s N2 t s k
k
1
i
t s e1ts
2
k i
t s e2ts
i0
i!
k i!
k
i k i
e 12 ts 1 2
N1N2 u E eiuN1tN2t E eiuN1t E eiuN2t e12 t eiu 1
第4章 鞅与Brown运动(应用随机过程,陈萍)
1
2
,
1
2
,
1
2
,
sup
i
i
,
inf i
i
,
lim i
i
,
lim
i
i
也是停时。
2. ( ), ( ), ( ) F ; , a.s. F F
定理 4.1.6 (停时 定理) 设(,F, P) 为概率空间，Ft 满足 通常条件. Mt 为右连续 Ft -鞅 (或下鞅, 上鞅). 令 {t}t≥0 为有界 Ft-停时， 满足
则
V0 1 r n E g(Sn )
8
§4.1.3 停时与停时定理
定义 4.1.3 设 {Ft ,tT} 是(,F)上的单调递增子代数 族. : →[0, ∞)。 若对 t≥0,
; () t Ft ,
则称是关于{Ft ,tT} 的停时。 当{Ft}t≥0 满足通常条件时,停时与下列可选时一致. 定理 4.1.3 映射 : →[0, ∞) 是 停时，当且仅当
Def 4.2.1 设(,F, P) 为概率空间, {Ft}tT 是 (,F)上 的单调递增子代数族. {Bt, t0 } 是取值于 Rn且 关于{Ft}tT 适的随机过程， 如果
i) 0 s<t, B(t)-B(s) 与 Fs独立，
数理统计与随机过程智慧树知到课后章节答案2023年下长安大学
数理统计与随机过程智慧树知到课后章节答案2023年下长安大学
长安大学
绪论单元测试
1.数理统计是以概率论为基础，研究社会和自然界中大量随机现象内在变化基
本规律的一门科学。（）
答案:
对
2.用数理统计方法去解决一个实际问题时，一般有如下几个步骤：收集数据，
整理数据，建立数学模型，进行统计推断、预测和决策。（）
答案:
对
3.数理统计给出的结论未必百分之百地正确。（）
答案:
对
第一章测试
1.若离散型随机变量X只有6个不同的取值，则确定其概率分布最多需要5
个参数。（）
答案:
对
2.设随机变量X，Y的联合分布函数为F(x, y)，边际分布函数为F X(x)和F Y(y)，
则X与Y相互独立的充要条件是对一切x, y都成立。
（）
答案:
错
3.设是取自总体X的一个样本，是未知参数，则统计量为（）。
答案:
4.设是取自正态总体的一个样本，为样本均
值，，则服从分布的统计量为（）。
答案:
5.设是取自总体的一个样本，存在，
, 则（）。
答案:
是的无偏估计和相合估计
第二章测试
1.设总体服从二项分布，为样本均值，那么矩估计量
.（）
答案:
错
2.在总体的分布函数或概率函数的数学形式已知时，通过对总体的实际观察取
得样本数据，并由此构造样本统计量，对分布中未知参数真实值给出具体推测值的过程，叫做（）。
答案:
点估计
3.对具体的一个样本观测值来说，用无偏估计给出的结果（）。
答案:
不能确定与真值的接近程度;可能比有偏估计的结果更差;不一定为参数真值
4.评价估计量的标准主要有（）。
答案:
无偏性;均方误差;相合性;有效性
5.求区间估计的枢轴变量法要求枢轴变量满足的条件是（）。
随机过程第四章马尔可夫链
质
(1)
p(n) ij
p p (l ) (nl ) ik kj
kI
(2) p(n) ij
...
p p ...p ik1 k1k2
kn1 j
k1I kn1I
(3) P(n)=PP(n-1)
(4) P(n)=Pn
14
证：(1)
4.1 马尔可夫链与转移概率
p(n) ij
P X mn
j|
Xm
i
PXm i, X mn PX m i
kkII
p p p p p p ((nnll)) ((ll)) kkjj ikik
p p (l()l) (n(nl)l)
ikik kjkj
kkII
kkI I
15
4.1 马尔可夫链与转移概率
(2)
在(1)中令l=1,
k=k1,
得
p(n) ij
第四章 随机过程中的平稳过程
注 在科学和工程中，例中的过程称为“白噪声”，它 是实际中最常用的噪声模型。
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
例3
设随机序列{ X (t ) sin 2t ， t T }，
其中T={1，2，…} ，η是在[0，1]上服从均匀 分布的随机变量， 试讨论随机序列 X (t ) 的平稳性。
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
第四章 平稳过程
4.1 平稳过程的基本概念 4.2 平稳过程相关函数的性质 4.3 平稳过程的各态历经性 4.4 平稳过程的谱密度 4.5 平稳过程的谱分解 4.6 线性系统中的平稳过程
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
F (t1, t2 ,, tn；x1, x2 ,, xn )
F (t1 , t2 ,, tn ；x1, x2 ,, xn )
则称{X(t),t∈T} 为严(强、狭义）平稳过程，或称 {X(t),t∈T} 具有严平稳性。
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
维分布都只由它的一、二阶矩来确定，广义平稳的正态随机过 程必定是严格平稳的。因此，在实际中，我们通常只考虑广义 平稳性，今后除特别声明外，平稳性指的是广义平稳。
随机过程第四章 马尔科夫连
pj
(n) p (n Leabharlann Baidu 1) p
( pi pijn ) iI
i
ij
iI
PT (n) PT (0)P(n)
PT (n) PT (n 1)P
16
定理 设{Xn,n∈T}为马尔可夫链，则对任意i1, …,in∈I和n≥1，有
P{X1 i1 ,, X n in }
P P X n1 1| X n 1 11
52 52 18 52 70
19
8 26 P 18 70
18 26 52 70
(2)某一时段的状态为0,定义其为初始状态,即X 0 0, 所求概率为 :
P X1 1, X 2 1, X3 1| X 0 0
1 p 、
(n) ij
p
kI
(l ) ik
p
( n l ) kj
ChapmanKolmogorov方程
( 2、pijn) pik1 pk1k2 pkn1 j k1I kn1I
3、P( n ) PP( n1)
4、P ( n ) P n
14
定义：
称 p j (n) P{X n j}, ( j I ) 为时刻n马尔可夫链的绝对概率； 称 { p j (n), j I } 为马尔可夫链的绝对分布； 称 PT (n) { p1 (n), p2 (n),}, n 0 为n时刻的绝对概率向量。
第四章 平稳随机过程的谱分析
s2 (t)dt
即信号总能量有限，s(t)也称为有限能量信号
2020/5/20
10
4.1、平稳随机过程的功率谱密度
❖Parseval定理
信号在时域的总能量等于其在频域的总能量
即
[x(t)]2 dt 1
2
X
X
()
2d
证明： [x(t)]2 dt
1
x(t)
2
X
X
()e
，RX ( ) 0 。因此，通常情
34
况下，第二项为0)
4.2、功率谱密度与自相关函数的关系
Theorem 4.1 (Wiener-Khintchine Theorem)
若随机过程X t是平稳的，自相关函数绝对可积，则自相关函数
与功率谱密度构成一对傅氏变换，即：
SX ()
RX
(
)e
j
d
RX ( )
E[ X
X
(T ,)X
*
X
(T ,)]
lim 1 T 2T
E[
T T
X (t1)e jt1 dt1
T T
X (t2 )e jt2 dt2 ]
lim 1 T 2T
T T
T T
E[ X
(t1)
X
(t2
)]e
j(t2 t1)dt1dt2
第四章-马尔可夫链-随机过程
所以 d(j)整除 d(i)。类似论证 d(i)整除 d(j)。于是 d(i)＝d(j)。
3.状态首达概率和分类
对于任何状态
i
与
j，定义
f
n ij
是从
i
出发在时刻
n
首次转移
到
j
的概率，
f
n ij
P{ X n
j, Xk
j,k
1,
,n 1| X0 i}，n=1,2…
令
fij
f
n ij
命题 4.2.1 相通是一种等价关系(an equivalence relation)，即 (1)反身性 i i (2)对称性 若i j ，则 j i (3)传递性 若i j 及 j k ，则i k 。
证明 前两点从相通的定义显然得知．为了证明(3)，假设i j及
j k ；则存在m, n，使得 Pijm 0, Pjnk 0。因此，Pikmn Pirm Prnk Pijm Pjnk 0
例 4.1(d) 简 单 随 机 游 动 。 若 对 于 某 个 p,0 p 1 有 P{Xi 1} p, P{Xi 1} q 1 p 则 称 随 机 游 动 {Sn,n1} ， 其 中
n
S0 0, Sn Xi 为简单随机游动。于是在简单随机游动中过程总 i 1
第四章正态随机过程
Y (t ) X ()h(t )d lim
t
max i 0
X ( )h(t )
i 0 i i
N
i
4.1.3 随机过程的正态化
白噪声通过线性系统，输出服从正态分布
宽带噪声通过窄带系统，输出近似服从正态分布
4.1.4 正态随机过程举例
例4.1 设平稳正态随机过程的均值为零，自相关函数为
G X ( ) H ( ) d
2
f Y ( y)
2 1 y exp 2RY (0) 2 RY (0)
2
1
3 2
1 T 1 exp x K x 1 2 K2
1 2 2 2 2 2 exp [( 4)( x x ) x 4 ( x x x x ) 8 x x ] 1 3 2 1 2 2 3 1 3 2 2 2( 8 ） 2 2( 8)
4.1.2 正态随机过程的性质
性质1 正态随机过程的统计特性完全由它的的均值 函数和协方差函数决定。 性质2 广义平稳的正态随机过程也一定是严格平稳的 平稳正态随机过程
m X (t ) m X
RX (t1 , t 2 ) RX ( )
K X (t1 t n ) K X ( 0) K K X ( 0) K X (t n t1 )
西安交通大学汪荣鑫随机过程第二版课后答案
随机过程习题解答
第一章习题解答
1．
设随机变量X 服从几何分布，即：(),0,1,2,
k
P X k pq
k ===。求
X 的特征函数，EX 及DX 。其中01,1p q p <<=-是已知参数。 解
()()jtx
jtk k X k f t E e
e pq ∞
===
∑ =
()1jt k jt
k p
p qe qe ∞
==
-∑
又
200
()k
k
k k q q
E X kpq p kq p p p ∞
∞
======∑∑
（其中 0
(1)n
n
n
n n n nx n x x ∞
∞
∞
====+-∑∑∑）
令 0
()(1)n
n S x n x ∞
==+∑
则 10
00
()(1)1x
x
n
n k n x
S t dt n t dt x x
∞
∞
+===
+=
=
-∑∑⎰⎰
同理 2
(1)2k
k
k
k k k k k k
x k x kx x ∞
∞
∞
∞=====+--∑∑∑∑
令2
()(1)
k
k S x k x ∞
==+∑ 则
21
1
()(1)
(1)x
k
k k
k k k S t dt k t dt k x
kx ∞
∞
∞
+====+=+=∑∑∑⎰）
2、（1） 求参数为(,)p b 的Γ分布的特征函数，其概率密度函数为
（2） 其期望和方差；
（3）
证明对具有相同的参数的b 的Γ分布，关于参数p 具有可加性。
解 （1）设X 服从(,)p b Γ分布，则 （2）'1()(0)X
p E X f
j
b
∴==
（4）
若(,)i i X p b Γ 1,2i = 则
同理可得：()()i i P X b f t b jt
∑=∑-
3、设ln (),()(k
随机过程-第四章 更新过程
N n ，则在观察 X1 ,, X n 之后与观察 X n1 , X n 2 , 之前我们停止观察。
例 4.2（a）掷硬币试验的停时：设 X n , n 1, 2, 相互独立且使得
1 P X n 0 P X n 1 , 0表示反面,1表示正面 2
N (t ) sup n, Tn t
定义 4.1 更新过程：计数过程 N (t ), t 0 称为更新过程。
在更新过程中我们将事件发生一次叫做一次更新， 从而 X n 就是第 n 1 次与第 n 次更新 相距的时间，Tn 表示第 n 次更新发生的时刻， 而 N (t ) 就是 t 时刻或 t 时刻之前发生的总的更 新次数。更新过程一个典型的例子是机器零件的更换。 我们首先要回答是第一个问题是在有限时间内是否会有无限多次更新发生。答案是不 会发生这种情况的概率为 1。由强大数定律可知
P 1 因 此 存 在 a 0 ， 使 得 P Xn a 0 ， 从 而 由 于 F( 0 ) X n 0 ， P X n a 1 。而 F (a) P X n a P X n a P X n a
为 避 免 因 可 能 的
t
N (t ) 的情况。 t
为考虑 N (t ) 的发散速度，我们先考虑到达时刻 TN (t ) （ TN (t ) 表示在时刻 t 或时刻 t 之前 最后一次更新发生的时刻，以此类推，则 TN (t )1 表示在时刻 t 之后第一次更新发生的时刻） 。 利用 TN (t ) 和 TN (t )1 ，我们提出并证明以下命题。
第四章随机过程
令 f ij = ∑ f ij( n ) ，它表示从 i 出发最终转入到状态 j 的概率。再引入一重要随机变
n =1
∞
量 τ ij = min{n : X 0 = i, X n = j , n ≥ 1}，因此 f ij( n ) = P(τ ij = n X 0 = i ) 。
( n −l ) 定理 4.4.1： Pij( n ) = ∑ f ij( l ) Pjj , ∀i, j ∈ S l =1 n
定义 4.3.3 ：记 d (i ) = gcd n n ≥ 1, Pii( n ) > 0 ，这里 gcd 表示最大公因子（ greatest ，若 d (i ) > 1 ，称 i 为周期的（periodic） ，且周期为 d (i ) ；否则称 common divisor） 为非周期的（aperiodic） 。 由定义立即可知，若 n 不是 d (i ) 的倍数，则 Pii( n ) = 0 。
Pij ( s ) = ∑ Pij( n ) s n = δ ij + ∑ Pij( n ) s n ， Fij ( s) = ∑ f ij( n ) s n
n =0 n =1 n =1
定义 4.1.2：Markov 链 {X n , n ≥ 0}称为齐次 Markov 链或称为有平稳转移概率的
Markov 链若它一步转移概率 Pijn , n +1 ， n ∈ T i, j ∈ S 不依赖于 n 。
第四章平稳随机过程的非线性变换
第四章平稳随机过程的非线性变换
引言：
在前几章中，我们已经学习了平稳随机过程的基本概念和性质，以及
一些线性变换对平稳过程的影响。在本章中，我们将进一步研究平稳随机
过程的非线性变换，并分析其对平稳过程的影响。
一、非线性变换的基本概念和性质
1.非线性变换的定义：
非线性变换是指将一个随机变量或随机过程通过非线性函数进行变换
的过程。一般而言，非线性变换会使得原始随机过程的统计特性发生变化。
2.非线性变换的性质：
(1)非线性变换可逆性：与线性变换不同，非线性变换并不保证可逆性，即经过非线性变换之后，难以从变换后的结果恢复出原始的随机过程。
(2)非线性变换的稳定性：与线性变换类似，非线性变换也有稳定性
的概念。如果对于任意的平稳随机过程，通过非线性变换得到的随机过程
仍然是平稳的，则称该非线性变换为稳定的非线性变换。
(3)非线性变换的矩特性：非线性变换会改变随机过程的矩特性，即
均值、方差等统计特性会发生变化。因此，通过非线性变换可以得到更多
的统计信息。
二、非线性变换对平稳随机过程的影响
1.非线性变换的影响：
(1)直观影响：非线性变换通常会使得随机过程的波形更为复杂，振
幅变化更大，同时也可能改变波形的周期性。
(2)统计特性的变化：非线性变换会改变平稳过程的矩特性，如均值、方差等统计特性将发生变化。此外，非线性变换也可能增加过程的相关性，使之更接近于高斯分布。
(3)动力学特性的变化：非线性变换可能改变平稳随机过程的动力学
行为，使之呈现更加复杂的行为，包括分岔、混沌等现象。这些变化对于
描述实际系统的行为非常重要。
随机过程第四章习题解答
第四章习题解答
4.1Y1,Y2,···是来自总体Y的随机变量，与X0独立，h(x,y)是实函数.对
于n 1，取X n=h(X n−1,Y n).设{X n}的状态空间为I，验证{X n}是马
氏链，给出转移概率p ij.
解：由题知，Y k与X1,···,X k−1独立,k 1,
∀n,i,j,i1,···,i n−1∈I有，P(X n+1=j|X n=i,X n−1=i n−1,···,X0= i0)
=P(h(i,Y n+1)=j|X n=i,X n−1=i n−1,···,X0=i0)
=P(h(i,Y n+1)=j|X n=i)
=P(h(i,Y)=j)
=P(h(i,Y1)=j|X0=i)
=P(X1=j|X0=i).
∴X n是马氏链，P ij=P(h(i,Y)=j).
4.2设{X i,i 0}是取非负整数值的独立同分布的随机变量序列，
V ar(X0)>0.
验证以下随机序列是马氏链：
(a){X n,n 0};
(b){S n,n 0}，其中S n=∑n
i=0
X i;
(c){ξn,n 0}，其中ξn=∑n
i=0
(1+X i).
解：∀n,i,j,i0,···,i n−1∈N+,
(a).P(X n+1=j|X n=i,X n−1=i n−1,···,X0=i0)=P(X n+1=j)= P(X n+1=j|X n=i)=P(X1=j)=P(X1=j|X0=i).
1
第四章离散时间马尔可夫链第四章离散时间马尔可夫链
(b).P(S n+1=j|S n=i,S n−1=i n−1,···,X0=i0)
教学大纲_随机过程
教学⼤纲_随机过程
《随机过程》教学⼤纲
课程编号：121213A
课程类型：□通识教育必修课□通识教育选修课
□√专业必修课□专业选修课
□学科基础课
总学时：48 讲课学时：32实验（上机）学时：16
学分：3
适⽤对象：数学与应⽤数学（⾦融数学）、统计学
先修课程：数学分析、⾼等代数、概率论
毕业要求：
1.掌握数学、统计及计算机的基本理论和⽅法；
2.建⽴数学、统计等模型解决⾦融实际问题；
3.具备国际视野，并且能够与同⾏及社会公众进⾏有效沟通和交流。
⼀、教学⽬标
随机过程是对随时间和空间变化的随机现象进⾏建模和分析的学科，在物理、⽣物、⼯程、⼼理学、计算机科学、经济和管理等⽅⾯都有⼴泛的应⽤。本课程介绍随机过程的基本理论和⼏类重要随机过程模型与应⽤背景，通过本课程的学习，使学⽣获得随机过程的基本知识和基本运算技能，同时使学⽣在运⽤数学⽅法分析和解决问题的能⼒得到进⼀步的培养和训练，为学习有关专业课程提供必要的数学基础。
⼆、教学内容及其与毕业要求的对应关系
（⼀）教学内容
随机过程的基本概念（有限维分布、数字特征，复值随机过程，特征函数），
⼏种重要随机过程（独⽴过程，独⽴增量过程，伯努利过程，正态过程，维纳过程），泊松过程（定义（计数过程）与例⼦，泊松过程的叠加与分解，时间间隔与等待时间的分布，复合泊松过程，⾮齐次泊松过程），更新过程介绍，马尔科夫过程（离散时间的马尔科夫过程定义及转移概率，C-K⽅程，马⽒链的分布，遍历性与平稳分布，状态分类与分解，马⽒链的应⽤，连续时间的马尔可夫链的定义与基本性质，鞅论初步），平稳随机过程（平稳过程及相关函数，随机微积分，各态历经，谱密度）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
j lim
i I
i
p ij ( n ) i lim p ij ( n )
i I n
1 i i I j
1 j
i I
i
1，故至少存在一个
1
k 0，即
1 uk
0
于是 lim p ik ( n )
集合不可能是闭集；
正常返态；
5 I D C 1 C 2 C n。
每个 C n， n 1, 2 , 均是由正常返态组成的 不可约闭集， D 是非常返态。 有限
对于一般的马尔可夫链 若存在，是否唯一？有
，其平稳分布是否存在 以下结论：
常返状态构成
？
定理：设 C 为马尔可夫链中全体正 的集合，则有：
N
1 p kj ( n ) kI k
(1)
下面来证明等号成立， 1
由
p ik ( n )
kI
N
p ik ( n )
k 0
先令 n ，再令 N 取极限得： 1 1 kI u k
2 1 j ， 式为严格大于
j 的概率，式中
显然：
d 1
f ij
(r)
r 0
m 0 r0
d 1
f ij ( md r ) f ij ( m ) f ij
m 0
展开： f ij ( 0 ) f ij (1) f ij ( d 1) f ij ( d ) f ij ( d 1) f ij ( 2 d 1) f ij ( 2 d ) f ij ( 2 d 1) f ij ( 3 d 1)
i
0
引理： C 是闭集的充要条件为对 都有 p ik ( n ) 0， n 1。
任意 i C 及 k C
§4.4
p n 的渐近性质与平稳分布 ij
在实际应用中，人们常关心的问题：
lim p ij ( n ) 是 否 存 在 ?
n
若 存 在 ， 其 极 限 是 否 与 i有 ?
二、平稳分布
考虑绝对概率
j ( n ) P X n j , j I 的极限
j (n)
i I
i
( n 1) p ij
若 j ( n ) 与 n 无关 , 记 j ( n ) j , 则上式可写成
j
定义：设
i I
i
p ij
间为 I ，
j 0 . 5 小时，
平均半小时返回一次，
j
2 单位时间内返回二次。
而
1
j
也表示从 j 出发，单位时间回到 1 n
j 的平均次数，
所以应有
n
p jj ( k )
1
k 1
j
i 出发能否到达 理： j的
如果质点由
i 出发，则要考虑从
情况，即要考虑
定理：对任意状态 1 n
f ij的大小，于是有如下定
j
kI
k
p ij n , 令 n 取极限得： p kj n
j
kI
k
lim
n
1
j
1
kI
k
1
kI
k
1
1 , j j
I 是平稳分布。
有限马尔可夫链性质：
1 所有非常返状态组成的 2 没有零常返状态； 3 必有正常返状态； 4 不可约有限马氏链只有
Pi , j 1, i C
(n ) j C
2 .是正常返情形
以上讨论了零常返与非 情形。这比前面两种情
常返情形，现讨论正常 况要复杂一此，事实上
n
返 ，
如果状态 j 是正常返的， lim p ij ( n ) 不一定存在，即使 存在也可能与 i 有关，例如下图描述了 一个有 6 种 见
将式 1 对于 j 求和，并假定对某个 产生矛盾。
1
j I
1 p kj ( n ) j j I k I k 1
1 kI k 故有 1 1
1
j I
p kj ( n ) 1
1
kI
k
产生矛盾 ，
m 0
N
f ij ( md r ) p jj ( n m ) d
m N 1
f ij ( md r )
在上式中先固定
N ，然后令 n ，再令 N ，
d 由前面定理得： lim p ii ( nd ) n i
r
f ij f ij
0 0 0 .7 0 0 .4
试分析状态类型
3设齐次马氏链{Xn,n=0,1,2,…}状态空间为 S＝{1,2,3,4},其一步转移概率矩阵为
0 P 1 0 0
0 0 1 1
1 2 0 0 0
1 2 0 0 0
试分析状态类型
定理：如 j 为正常返，周期为 及 0 r d 1有 lim p ij ( nd r ) f ij
n (r)
d ，则对任意的
i
d
j
证：因为 d 为 j 的周期，所以当 p ij ( n ) 0
所以
n 不能被 d 整除时，
n 0 (mod( d ))
nd r
n
k
0 k 0 0 为非常返 , 或零常返 链是正常返的。
k 为正常返态，故该马氏
再证必要性： 设马氏链是非周期正常 lim p ij n
n
返的，于是
1 uk
0
由方程 c k ，对任意正整数 p ij ( n m )
N ，有
n
n
p ij ( k )。
k 1
(1) lim p ij ( nd )
n
记
f ij
(r )
m 0
f ij ( md r )， r d 1， 0 n r mod( d ) ( 不计周期 ) d 为马氏链的周期。
表示从 i 出发，在某时刻 首次到达状态
1
j
1 , j j
2 lim
1 n
n
n
p ij ( k )
j 平均次数，
k 1
1 n
n
p jj ( k )表示从 j 出发，在 n 步之内返回到的
n
k 1
p jj ( k )表示单位时间内再回到
j 的平均次数。
k 1
j
nf
n 1
jj
( n )表示平均返回时间，如 1
P ， 则对
P P ，当 n 时，因为 C ，故该
I ，则对一切
d ， 如 i 与 j 同属于子集 lim p ij ( nd ) j n 0， 否则
d 1
其中 I
G ，前面定理给出。
s s0
特别当 d 1，则对一切 lim p ij ( n )
n
i， j有 I 称为极限分布。
1 平稳分布不存在的充要 2 平稳分布唯一存在的充
常返闭集；
条件为 C ； 要条件为只有一个基本
3 有限状态马尔可夫链的 4 有限不可约非周期马尔
分布。
平稳分布总存在； 可夫链存在唯一的平稳
证 1 充分性：反证，假设该
马氏链存在一个平稳
分布 0 则由平稳分布定义知有 n 1有
p ij ( nd r )
n
f ij ( v ) p jj ( nd r v ) f ij ( md r ) p jj ( n m ) d
v0
m 0
于是，对任意的
1 N n有
m 0
N
f ij ( md r ) p jj ( n m ) d p ij ( nd r )
回顾
定 理 ： 如 果 i j， if i 常 返 ， th en j 也 常 返 ， 且 f ji 1， i j。
定 理 4.4： (1)若 i 零 常 返 lim p ii ( n ) 0；
n
( 2 ) 若 i 正 常 返 lim p ii ( n )
n
1
在马氏链理论中，有关 为遍历定理。
一 . p ij ( n )的渐近性质 1 . j 是非常返或零常返的情
这类问题的定理，统称
况 对一切 i ，有
定理：设 j 为非常返或零常返，则 lim p ij ( n ) 0
n
i I
推论： （1） 有限齐次马氏链的所有非常返状态 集合D不可能是闭集。 （2）有限齐次马氏链不可能存在零常返状态。 （3）不可约的有限齐次马氏链的所有状态都 是正常返状态。 补充：C是闭集的充要条件是
1 2
n 1 ， p 23 ( n ) 0，
n
极限 lim p i 3 ( n ) 存在 i 2 , 3 , 5
对正常返状态
j ，我们一般不讨论极限 1 n
lim p ij ( n )，
n
而只研究： (1) lim p ij ( nd )；2 ) lim (
n
j 0
定理：不可约非周期马 是存在平稳分布，且此 1 ，j u j 证：先证充分性 I
氏链是正常返的充要条 平稳分布就是极限分布
件
设 j， j I 是平稳分布， j
由于 得
i I
i
p ij ( n )
顺序，
j I
i
1， i 0，故可交换极限与求和
d
j
lim p ij ( nd r ) f ij
n
r
d
j
r
m 0
f ij ( md r )
(r )
lim p ij ( nd r ) f ij
n
d
j
推论：设不可约，正常 其状态空间为
返，周期 d 的马氏链， i， j I有 Gs
X n , n 0 为齐次马氏链，状态空
p ij，称概率分布
转移概率为
j
, j I 为马氏链的
平稳分布。若它满足
j i p ij , i I 1, I j j
或 P 1 , 2 , , j
i， j有
lim
n
n
k 1
0， 如 j 为非常返或零常返 f p ij ( k ) ij ， 如 j 为正常返 j
练习
1设状态空间S={1,2,3,4}的齐次马氏链，它的 一步转移概率矩阵为
1 2 1 P 2 1 4 0 1 1 2 1 4 0 1 4 0 0 0 2 0 1 4 1 0
研究其状态类型。
2 设齐次马氏链{Xn,n=0,1,2,…}状态空间为 S＝{1,2,3,4,5},其一步转移概率矩阵为
0 .5 0 P 0 0 .2 5 0 .3
0 0 .2 5 0 0 .5 0
0 .5 0 0 .3 0 0 .3
0 0 .7 5 0 0 .2 5 0
4设齐次马氏链的状态空间S={1,2,3,4,5},它的一 步转移概率矩阵为，试对其状态进行分类
1 2 1 2 P 0 0 1 4 1 2 1 2 0 0 1 4 1 2 1 2 0 1 2 1 2 0 0 0 0 0 0 0 0 0 1 2
p ik ( m ) p kj ( n )
kI
N
p ik ( m ) p kj ( n )
k 0
令 m 取极限得： 1 p kj ( n ) j k 0 u k 1
N
再令 N 取极限得： 1 p kj ( n ) j k 0 k 1
状态的马氏链的状态转
移概率情况，由下图易
1
1 1
5
1 2
2
1 2
3
1
1 3
1 3
6
1 3
4
1
p 11 ( 2 n ) 1， p 11 ( 2 n 1) 0，n 1, 2 ,
故 lim p 11 ( n ) 不存在；
n
另外 p 33 ( nHale Waihona Puke Baidu) 1， p 53 ( n ) 这说明对正常返状态， 但极限值与 i 有关。