马尔可夫更新过程与半马尔可夫过程”的讨论

关于“马尔可夫更新过程与半马尔可夫过程”的讨论

前言

马尔可夫更新过程是马尔可夫过程和更新过程的综合与推广。马尔可夫更新过程以及由其产生的半马尔可夫过程，与马尔可夫过程、更新过程仅有紧密的联系，又有明显的区别。

马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫过程是由其产生的一维随机过程。半马尔可夫过程的状态逗留时间是一般分布，不具有马尔可夫性，但在各状态转移时刻具有马尔可夫性。

马尔可夫更新过程是马尔可夫过程的推广。如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，就可得到连续时间马尔可夫链。

马尔可夫更新过程是更新过程的推广。状态逗留时间可以看作是受到一个马尔可夫链调制。如果忽略确切的状态或状态固定，即只有一个状态，就可得到更新过程。

本读书报告主要对马尔可夫更新过程和半马尔可夫过程的概念进行了分析，讨论了马尔可夫更新过程和半马尔可夫过程、马尔可夫过程、更新过程的区别与联系，并分析总结了马尔可夫更新过程的基本特性。

一、对相关定义的理解

1、马尔可夫更新过程

随机变量n X 取值于状态空间{} ，，，

210=S ,n T 是取值[)∞,0的随机变量，并且 ≤≤≤≤≤=-n n T T T T T 12100，则称随机过程{}0),,(≥n T X n n 是马尔可夫更新过程，如果对于0,,0≥∈≥∀t S j n 满足

[][]n n n n n n n n n X t T T j X P T X T X T X t T T j X P |,),(),,(),,(|,11110011≤-==≤-=++++ （1）

上式称作“半马尔可夫性”，其含义是：已知现在状态n X ，将来

状态1+n X 与逗留在当前状态n X 的时间n n T T -+1的联合分布与过去的历

史111100,,,,,--n n T X T X T X 独立。

马尔可夫更新过程是将连续时间马尔可夫过程的状态逗留时间分布由指数分布推广到一般分布，故马尔可夫更新过程中，序列{}0,≥n X n 只具有半马尔可夫性，即在状态转移时刻{}0,≥n T n 具有马尔可夫性。

2、与马尔可夫更新过程相联系的计数过程

由教材2.9节知道，更新过程)(t N 是一计数过程，表示到时刻t 的更新次数。那么马尔可夫更新过程的更新次数应该如何描述呢？

用)(t N k 表示过程{}0),,(≥n T X n n 在(0,t]到达状态k X n =的次数，每访问该状态一次记为一次更新，则}0,),({≥∈t S k t N k 是马尔可夫更新过程在状态k X n =对应的更新次数。特别地，假设初始状态是k ,则转移到状态k 构成一次更新，则意味着每次转移到状态k 的连续时间间隔是独立同分布的。时间间隔1,1≥-=+n T T n n n θ叫作在状态k X n =的逗留时间。定义如下函数：

0,},2,1{,,0,,1),(110≥∈=⎩⎨⎧∈≤+++==++-t S k I otherwise I n t T T T k X t n I n n k 其中，当（2）

则 0,,)

,()(0≥∈=∑∞=t S k t n I t N n k k （3）

用)(t N 表示过程{}0),,(≥n T X n n 在(0,t]内总的状态转移次数，包括从当前状态出发又回到该状态的转移，状态每转移一次记为一次更新，根据更新理论有

t T n t N n ≤⇔≥)( （4）

则可以得到

0,

)()(≥=∑∈t t N t N S k k （5）

则}0),({≥t t N 是马尔可夫更新过程{}0),,(≥n T X n n 在状态空间S 上对应的总的更新次数。

3、马尔可夫更新函数

在教材2.9节中，定义了更新过程的的更新函数为)}({)(t N E t m =。类似的，在马尔可夫更新过程中，其更新函数为)(t M ik ：

0,,]|)([)(0≥∈==t S k i i X t N E t M k ik （6）

将(3)式代入（6）式，得到

]

|,[]|),([|),()(000

000∑∑∑∞=∞

=∞==≤====⎥⎦⎤⎢⎣⎡==n n n n k n k ik i X t T k X P i X t n V E i X t n V E t M （7）

注意，这里n T 是过程{}0),,(≥n T X n n 到达状态n X 的时刻，即第n 次状态

转移时刻。

4、半马尔可夫过程

给定马尔可夫更新过程{}0),,(≥n T X n n ，0≥∀t ，令

⎪⎩⎪⎨⎧>∞<≤=+n n n n n T t T t T X t Y sup ,,)(1 （8）

称{}0),(≥=t t Y Y 为由马尔可夫更新过程{}0),,(≥n T X n n 产生的（最小）半马尔可夫过程，其轨道如下图。

由图可见，一个半马尔可夫过程是一个随机过程，其状态变化遵循一个马尔可夫链，而状态变化的时间间隔是随机变量，其分布是一般分布。

值得注意的是：在离散时间马尔可夫过程中，可以把在每个状态的逗留时间看作一个单位时间。在连续时间马尔可夫过程中，在每个状态的逗留时间是服从指数分布的。半马尔可夫过程像连续时间马尔可夫过程一样进行状态转移，但是在每个状态的逗留时间是任意分布的，并且依赖于下一个到达状态，因此，在各个状态转移时刻半马尔可夫过程是马尔可夫过程。

二、几种随机过程之间的区别与联系

1、马尔可夫更新过程和半马尔可夫过程的关系

马尔可夫更新过程和半马尔可夫过程最大的不同是：马尔可夫更

新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫是一