随机过程4

b d
(1) f12 p12 (2) f12 p11 p12 (3) f12 p11 p12 2
p21
(n) f12 p11
n 1
p12
引理
0 f
( n) ij
p fij 1
n ij
fij(n) P( X n j, X k j, k 1,2,
3 Markov Chain
(状态离散时间离散的Markov过程
)
Baidu Nhomakorabea
状态分类
定义(首次到达时刻): 对任意两个状态i,j,定义Tij ( ) min{n : X 0 i, X n j} ，称Tij 为从i出发首次到达j的时刻。 (n) 定义(首次到达概率): f ij P{Tij n X 0 i}
称状态j有周期d , 记为d ( j ).若d ( j ) 1，称状态j是周期的；若 d ( j ) 1, 称j为非周期的。
n) 若{ p(jj 0}为空集，则不对j定义周期。
常返性(Recurrent) & 非常返(Transient)
• 表示从状态i开始，最终再进入状态i的概 率。 ---recurrent ---transient
非常返态只能被 访问有限次
j
单位步长回到j 的次数
推论：若j遍历的充要条件是lim p(jjn) 1
n
有限状态(finite-state) Markov Chain并不是所有 的状态都是非常返的，至少有一个状态是常返的。
• 推论：如果状态i是常返的，状态i和状态j是相通 的(communicate)，则状态j也是常返的。 • 一有限不可约Markov Chain的所有状态都是常返 的。
例: (等级转换模型) 研究社会中中高低等职业转换 的问题。假设孩子的职业只依赖于其父母的职业：
常被称为平稳概率(stationary probability)，{ {Xn}平稳分布
}是
的两点解释：
1. 在长期运行中，过程无论初始态是什么，经 过一段时间后过程处在状态j的概率为 2. 在长期运行中，过程访问状态j的次数占总时间 的比例。
• 如果状态i是常返的，则过程会不断的进入
状态i • 设j是常返态，若平均返回时间ui是有限的 ，则称j是正常返，否则是零常返。
• 正常返非周期状态为遍历状态。
定理：状态j常返的充要条件是 p(jjn )
n 0

若j非常返，则 p
n 0

(n ) jj
1 1 f jj
(n ) 若 j 非常返 ，则 lim p 推论： jj 0 n
i (k ) P { n j X 0 i0 , , X n i}, i 1, j 0 k 1 1, i 0, j 0 i (k ) P { n j X n i}, i 1, j 0 k 1 P{ X n 1 j X n i} 1, i 0, j 0
所以{ X n }是Markov链，转移概率
i (k ) P{n j}, i 1, j 0 pij k 1 1, i 0, j 0
0状态为吸引态，p00 =1.
令
表示一个个体产生后代的平均数
表示一个个体产生后代的方 差数
令 ,
第(n-1)代中第i个个体产生的后 代个数
令 n( m ) 表示第n代的第m个个体产生的个体数，是 独立同分布的随机变量。
Xn (k ) n , X n 1 k 1 0, Xn 1 Xn 0
显然{Xn}的状态空间为{0,1,2,…}
P{ X n 1 j X 0 i0 , X 1 i1, , X n 1 in 1, X n i}
分支过程(Branching Process)
考虑一个个体可以产生同类后代的族群。假设 每个个体在生命结束时会以概率Pj产生j个后代， 且各个个体之间相互独立。假设Pj<1。初始个 体的数量记为X0,称为第零代。第零代产生的 所有的后代称为第一代，个数记为X1. Xn为第n 代的个数。假定不同个体缠身的后代个数是相 互独立的，第n-1代产生了第n代后自行消亡。 {Xn, n=0,1,…}称为分支过程。
n pij P( X n j X 0 i)
, n 1 X 0 i)
, n 1 X 0 i)
fij fij( n ) P(
n 1

n 1
Xn
j, X k j , k 1, 2,
定理：i可达j的充要条件是fij>0. 定理：i和j可通的充要条件是 fij>0,fji>0.
平均返回时间与常返
定义：
(n ) (n ) 当f ij 1,{ f ij , n 1,2, }, 则ij nf ij n 1
表示从i出发经过有限步到达j的平均时间。 jj 表示从j出发 又回到j的平均时间或步长，称为状态j的平均返回时间。
定义：
n) 设集合{ p(jj 0}不空, 若此集合中正整数n的最大公约数为d ,
极限概率(limiting Probabilities)
收敛于某值
在经过足够长转移后，随机过程以一定的 极限概率进入状态j，该概率与初始态无关
定理：对于一个不可约各态历经的Markov Chain， 存在 , 且独立于i，令 则 是方程 的唯一非负解，并且
例(天气预报)：今天下雨，明天下雨的概率为 ， 今天不下雨，明天下雨概率为 状态0表示下雨， 状态1表示不下雨，则
f ij = f ij ( n ) 表示从i出发经有限步到达j的概率。
n 1
引理：fij
(n)

js j 1 s n 1

pij1 p j1 j2
p jn1 j
a 例：有限马氏链的转移矩阵 c
(1) f11 p11 (2) f11 p12 p21 (3) f11 p12 p22 p21 (n) f11 p12 p22 n 2