马尔可夫更新过程与半马尔可夫过程”的讨论

关于“马尔可夫更新过程与半马尔可夫过程”的讨论
前言
马尔可夫更新过程是马尔可夫过程和更新过程的综合与推广。

马尔可夫更新过程以及由其产生的半马尔可夫过程，与马尔可夫过程、更新过程仅有紧密的联系，又有明显的区别。

马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫过程是由其产生的一维随机过程。

半马尔可夫过程的状态逗留时间是一般分布，不具有马尔可夫性，但在各状态转移时刻具有马尔可夫性。

马尔可夫更新过程是马尔可夫过程的推广。

如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。

如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，就可得到连续时间马尔可夫链。

马尔可夫更新过程是更新过程的推广。

状态逗留时间可以看作是受到一个马尔可夫链调制。

如果忽略确切的状态或状态固定，即只有一个状态，就可得到更新过程。

本读书报告主要对马尔可夫更新过程和半马尔可夫过程的概念进行了分析，讨论了马尔可夫更新过程和半马尔可夫过程、马尔可夫过程、更新过程的区别与联系，并分析总结了马尔可夫更新过程的基本特性。

一、对相关定义的理解
1、马尔可夫更新过程
随机变量n X 取值于状态空间{} ，，，
210=S ,n T 是取值[)∞,0的随机变量，并且 ≤≤≤≤≤=-n n T T T T T 12100，则称随机过程{}0),,(≥n T X n n 是马尔可夫更新过程，如果对于0,,0≥∈≥∀t S j n 满足
[][]n n n n n n n n n X t T T j X P T X T X T X t T T j X P |,),(),,(),,(|,11110011≤-==≤-=++++ （1）
上式称作“半马尔可夫性”，其含义是：已知现在状态n X ，将来
状态1+n X 与逗留在当前状态n X 的时间n n T T -+1的联合分布与过去的历
史111100,,,,,--n n T X T X T X 独立。

马尔可夫更新过程是将连续时间马尔可夫过程的状态逗留时间分布由指数分布推广到一般分布，故马尔可夫更新过程中，序列{}0,≥n X n 只具有半马尔可夫性，即在状态转移时刻{}0,≥n T n 具有马尔可夫性。

2、与马尔可夫更新过程相联系的计数过程
由教材2.9节知道，更新过程)(t N 是一计数过程，表示到时刻t 的更新次数。

那么马尔可夫更新过程的更新次数应该如何描述呢？
用)(t N k 表示过程{}0),,(≥n T X n n 在(0,t]到达状态k X n =的次数，每访问该状态一次记为一次更新，则}0,),({≥∈t S k t N k 是马尔可夫更新过程在状态k X n =对应的更新次数。

特别地，假设初始状态是k ,则转移到状态k 构成一次更新，则意味着每次转移到状态k 的连续时间间隔是独立同分布的。

时间间隔1,1≥-=+n T T n n n θ叫作在状态k X n =的逗留时间。

定义如下函数：
0,},2,1{,,0,,1),(110≥∈=⎩⎨⎧∈≤+++==++-t S k I otherwise I n t T T T k X t n I n n k 其中，当（2）
则 0,,)
,()(0≥∈=∑∞=t S k t n I t N n k k （3）
用)(t N 表示过程{}0),,(≥n T X n n 在(0,t]内总的状态转移次数，包括从当前状态出发又回到该状态的转移，状态每转移一次记为一次更新，根据更新理论有
t T n t N n ≤⇔≥)( （4）
则可以得到
0,
)()(≥=∑∈t t N t N S k k （5）
则}0),({≥t t N 是马尔可夫更新过程{}0),,(≥n T X n n 在状态空间S 上对应的总的更新次数。

3、马尔可夫更新函数
在教材2.9节中，定义了更新过程的的更新函数为)}({)(t N E t m =。

类似的，在马尔可夫更新过程中，其更新函数为)(t M ik ：
0,,]|)([)(0≥∈==t S k i i X t N E t M k ik （6）
将(3)式代入（6）式，得到
]
|,[]|),([|),()(000
000∑∑∑∞=∞
=∞==≤====⎥⎦⎤⎢⎣⎡==n n n n k n k ik i X t T k X P i X t n V E i X t n V E t M （7）
注意，这里n T 是过程{}0),,(≥n T X n n 到达状态n X 的时刻，即第n 次状态
转移时刻。

4、半马尔可夫过程
给定马尔可夫更新过程{}0),,(≥n T X n n ，0≥∀t ，令
⎪⎩⎪⎨⎧>∞<≤=+n n n n n T t T t T X t Y sup ,,)(1 （8）
称{}0),(≥=t t Y Y 为由马尔可夫更新过程{}0),,(≥n T X n n 产生的（最小）半马尔可夫过程，其轨道如下图。

由图可见，一个半马尔可夫过程是一个随机过程，其状态变化遵循一个马尔可夫链，而状态变化的时间间隔是随机变量，其分布是一般分布。

值得注意的是：在离散时间马尔可夫过程中，可以把在每个状态的逗留时间看作一个单位时间。

在连续时间马尔可夫过程中，在每个状态的逗留时间是服从指数分布的。

半马尔可夫过程像连续时间马尔可夫过程一样进行状态转移，但是在每个状态的逗留时间是任意分布的，并且依赖于下一个到达状态，因此，在各个状态转移时刻半马尔可夫过程是马尔可夫过程。

二、几种随机过程之间的区别与联系
1、马尔可夫更新过程和半马尔可夫过程的关系
马尔可夫更新过程和半马尔可夫过程最大的不同是：马尔可夫更
新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫是一
个随着时间而变化的一维连续参数的随机过程。

半马尔可夫过程不具有马尔可夫性，将来取决于现在的状态和在该状态已停留的时间。

但是，在其更新点{}0,≥n T n 上半马尔可夫过程{}0),(≥=t t Y Y 是一个马尔可夫链，即具有马尔可夫性。

这也是{}0),(≥=t t Y Y 被命名为半马尔可夫过程的原因。

解释：
在半马尔可夫过程中，{}0,≥n T n 是其更新点，也称作再生点，即就是状态转移时刻，在已知该时刻过程所处状态的条件下，过程将来发展的概率规律和过去的历史无关。

在马尔可夫过程中，在每个状态的逗留时间服从指数分布，由于指数分布的无记忆性，故任一时刻t 都是更新点，也就是说在任一时刻都具有马尔可夫性。

但是，在半马尔可夫过程中，在每个状态的逗留时间是一般分布，因此不是所有时刻都是过程的更新点，而只有状态转移时刻是更新点，所以只有在这些更新点上才具有马尔可夫性。

2、半马尔可夫过程和连续时间马尔可夫链的关系
如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，这时就得到一个连续时间马尔可夫链。

换句话说，如果逗留时间是指数分布，并且在一个状态的逗留时间与下一个到达状态独立，我们就可以得到一个连续时间马尔可夫链。

这时可以得到
[]
[]
[]()),,0,1(,1|,|,),(),,(),,(|,1111110011s j i t n e i X j X P T T i X t T T j X P T i X T X T X t T T j X P t n n n n n n n n n n n n n ∈≥≥-===-=≤-===≤-=-++++++且服从指数分布）（注意，若λ （9）
3、马尔可夫更新过程和离散时间马尔可夫链的关系
在马尔可夫更新过程中，序列n X 是一个离散时间马尔可夫链。

换句话说，如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。

[]
[]),,1(,|,),,|,1101s j i n i X j X P t i X X X j X P n n n n ∈≥=====++且）（忽略时间 （10）
4、马尔可夫更新过程和更新过程的关系
如果序列}0,{1≥-=+n T T n n n θ独立同分布，并且它们的分布不依赖于n X ，这时马尔可夫更新过程就成为更新过程。

即就是，如果忽略
确切的状态（或状态固定，即只有一个状态），就得到了独立同分布的时间链，这时{}1,≥=n T T n 就是一个更新过程。

[][]),0,1(,),,,|1101≥≥≤-=≤-++t n t T T P T T T t T T P n n n n n （11） 反过来说，马尔可夫更新过程是更新过程的推广，其状态逗留时间}0,{1≥-=+n T T n n n θ不是独立同分布，而是受一马尔可夫链调制。

当给定马尔可夫链{}0,≥n X n 时，状态逗留时间条件独立。

三、马尔可夫更新过程的基本特性
根据以上分析，可总结出马尔可夫更新过程{}{}0),,(,≥=n T X T X n n 具有如下基本特性：
1、
{}0,≥=n X X n 是状态空间S 上转移矩阵为)),((j i Q Q =的马尔可夫链，并且和n 无关，即是齐次的。

其中),,(),,(lim ),(∞==∞
→j i Q t j i Q j i Q t ，[]),,(|,11t i i Q i X t T T j X P n n n n ==≤-=++。

2、对0,,,121≥≥∀n t t t n ，，有
[]
),,(),,(),,(,,,|,,,1221110101212101n n n n n n n t X X G t X X G t X X G X X X t T T t T T t T T P --=≤-≤-≤- （12）
其中，[]),,(,|11t i i G j X i X t T T P n n n n ===≤-++
该特性说明：给定{}0,≥n X n 时，逗留时间序列}1,{1≥-=+n T T n n n θ条件独立。

特别地，若S 只有一个状态时,则}1,{≥n n θ独立同分布，这时}1,{≥n T n 是一个更新过程。

3、对于固定状态S j ∈，令},0:min{0j X n n S n j =≥=，},:min{1j X S n n S n j n j n =≥=-，1≥n 。

这时j n S 表示第n 次到达状态j 的时刻，j n j n S S 1--是第n 次与第n-1次到达状态j 的时间间隔，则}0,{≥=n S S j n j 是
延时更新过程，即j S 0，j j S S 01-，…，j n j n S S -+1，…相互独立，且}
1{1≥-+n S S j n j n ，同分布（注意这里的n 是大于等于1的，即不包括j S 0）。

值得注意的是，更新过程和延时更新过程是有区别的。

在更新过程的研究中，时间原点的选取很重要。

如果原点选在一次更新的发生时刻，则各次更新的时间间隔独立同分布，这样的更新过程称作普通更新过程。

另一种可能的选择是过程并不是从一次更新时刻开始，亦即原点并不在更新区间的端点，而是在更新区间内部。

这时，第一个区间长度j S 0和其余的区间长度j j S S 01-，…，j n j n S S -+1，…有不同的分布。

这样的过程称作延时更新过程。

显然，当第一个区间长度和其余区间长度有相同的分布时，延时更新过程就成为普通更新过程。

4、在状态空间S 增加一新的状态∞，对状态子集S H ∈，记},0:m in{0H X n n n ∈≥=τ，},:m in{1H X n n n n n ∈≥=-ττ，1≥n 。

0τ表示第一
次访问子集H 的时刻，n τ表示第n 次访问子集H 的时刻。

令n X X n τ=~
，n T T n τ=~,则}0),~,~{()~,~(≥=n T X T X n n 是状态空间为}{+∞ H 的马尔可夫更新过程。