齐次马尔可夫链

・齐次马尔可夫链
作者: 日期:
第二节齐次马尔可夫链
一、齐次马尔可夫链的概念
一个随机过程｛Xn, n = 0, 1, 2,…｝就是一族随机变量，而Xn能取的各个不同的值，则称为状态。

如果一个随机过程｛Xn, n = 0, 1, 2, 山一种状态转移到另一种状态的转移概率只与现在处于什么状态有关，而与在这时刻之前所处的状态完全无关，即如果过程｛Xn, n=0, 1, 2,…｝中，Xn+1的条件概率分布只依赖于Xn的值，而与所有更前面的值相互独立, 则该过程就是所谓马尔可夫（Markov）过程.
马尔可夫链是指时间离散，状态也离散的马尔可夫过程。

一个马尔可夫链，若从u时刻处于状态i,转移到t+u时刻处于状态j的转移概率与转移的起始时间U无关，则称之为齐次马尔可夫链，简称齐次马氏链。

如果把从状态i到状态j的一步转移概率记为Pij,则Pij=P｛X^ = j I Xn=i｝ , i, j = 0, 1, 2,…，且有转移概率矩阵P,
这样，一个齐次马氏链，可以山一个转移概率矩阵P以及在时刻零时状态x=0, 1, 2,…的概率分布列向量
Q=（q （0）, q⑴,…）
完全确定。

由齐次马氏链性质知道，第i状态的行向量Ai与第i + 1 状态的行向量Ai+i之间存在着关系式：Ai+i=AiP。

二、齐次马氏链在评估教学质量中的应用
教学过程是一个随机过程，也就是说，对于具有相同基础知识背景的学生（个体），在同时接受新知识时是随机的。

我们可以把一个班（群体）的学生划分为不同的等级（譬如：优、良、中、及格、不及格五个等级），近似地认为处于同一等级的学生具有相同的基础知识，用齐次马氏链，通过学生学习状态的转移概率矩阵，最终可以预测一个班学生学习成绩的稳定状态。

对教师而言，也就可用来评估、预测一个班的教学质量。

在教学效果指标的量化过程中，齐次马氏链评估法是将一个群体（如一个班或一个年级）的学生在某次考试中获得优（90分以上）、良（80〜89
分）、中（70〜79分）、及格（60〜69分）和不及格（59分以下）各等级学生人数占总人数之比，作为状态变量，并用向量表示之。

即
R（t） = （Xi （t）, X2（t）, X3（t）, X4（t）, Xs （t））,
5
这里，嚥示吋刻,t€N,显餓有艺瓦（t） =lo
i-1
山于齐次马氏链与t时刻前的状态无关（呈无后效性），可以研究当t 变化时，状态向量R（t）的变化规律，从而对教学效果进行评估。

设经第一次考试，一个班n个学生中，优、良、中、及格、不及格的学生数分别为ni（i = l, 2, 3, 4, 5）,则状态向量
9 9 9 9 1
n n n n n f
称作初始向量。

为考察教学效果，继续分析下一次考试时，上述学生的等级变化。

若经第二次考试后，原来获优等成绩的m名学生中，仍保持优等的是“人，转化为“良”，“中”，“及格”，“不及格”的学生分别有ni2, ms, nu, m5人，于是，第一次考试成绩优等的学生考试成绩转移情况是
同样，其余各个等级的学生的考试成绩转移情况是
向量中nij(i, j = l, 2, 3, 4, 5）表示从状态i变成状态j的人数。

符合齐次马氏链学习状态转移概率矩阵的学生学习成绩最终必然趋 于平稳状态
X=(X1, X2, X3，X4T X5),
即 X = X • P,
也即 X(E-P)=o,
解此线性方程组，可得状态R(t)时学生学习成绩的平稳分布X 。

下面，我们仍以第一节表5-1中的15名学生的成绩为例，分析这一 群体在两次考试中学生等级的变化。

按优、良、中、及格、不及格五等划 分，分别是2人、4人、4人、5人和0人，因此，
各个等级学生转移情况分别是
这一转移情况用矩阵表示为 U 1L 仇1 n 13 £1+
九 1
n 24
临辱 £
5 n 3 1
垃43
仏4 £ 坷
仇 1 n 53 n 55
P 为转移概率矩阵,
简称转概阵。

C E -P )
R 〔1)=
2_ 15 4_
个人收集整理，勿做商业用途
P 】.寺,0，*，0, 0)， 珀=卜 r I'0,0)' 珀=(o, 0,
扌,o),
R. = [o> o’ 害‘ 4
匕・=(0, 0, 0, 0? 0)。

1 £
2 2 2 3
5 5
0 0 第二次考试成绩分布状态
R ⑵*心怙,1春斗O).
按照这个变化规律，笫三次考试成绩分布状态
R ⑶=RC2)・P 召,吉,
即在第三次考试后，学生中优等、良等的人数减少了，而中等的人数 和及格的人数却在增加。

这样，就可以分析这组学生群体的变化状态。

设 该过程的平稳状态分布列为X,由于
(E-P)T X=0,
0 0
组成转槪阵
I 0 0 0 0
从而可以断定，最终只有中等和及格两等级的学生，其人数分别占总 数的56%和44%o
三. 齐次马氏链在评估解题状态中的应用
解决问题是数学教育的一项主要任务。

如果能够把一个题目，按学生 解题的认知过程的发展，分解成儿个不同层次的状态，那么就可以用齐次 马氏链去测量一个群体（如一个班或一个年级的学生）解决问题的能力与 状况。

首先，我们认为解决一个问题的过程是由分析设计S2、探究S3、 实施5和验证S5这样五个状态组成的，并且这五个状态存在如图5-2的 关系。

分成了上面五个状态，我们可以认为解决问题的后一状态只与它的 前一个状态有关，而与它的更前面的状态无关。

这就完全符合齐次马氏链 所要求的条件。

1 4 2^3
于是 1
护 =0, 3
=0, 4 2
1 3 1 =0,
解得
x=(0, 0, O) O
1 2
图5-2的关系流程图，存在一个状态转移概率矩阵
s 4 s 5
1 0 0 o 1
0 班P 艮o
P32 0 0 0
0 0 0 1
0 0 0 1 J t 111 P23 + p24=l, P3l+p32— lo
如果图5-2的关系流程图第i 阶段的行向量为
Ai= (&1 9 32， 039 0.4 9 &5),
由于
Ao= (1, 0, 0T 0, 0),
从而 Ai= (0, 1, 0, 0, 0),
A2 = AlP=(0T 0, P23T P24T 0)j
A3 = A2P=(P3ip23t P23P32, 0» 0, P24),
■^4 = A 5P=〔0, PsiP23, p/p?"
P23p32Pi4 9 P 朗)9 = A 4P = CP23P32P3P P25P32 J P31PS 5 P31P2sF2+,
P24 (P23P32+ 1) o
应用齐次马氏链的关键在于找到一个转移概率矩阵中的Pip 这就要从 两个方面去控制，一是通过具体题L1的解题过程划分儿个不同状态(这一 点相对来说是比较困难的)，二是通过解题时间来控制解题过程，以分析 整个群体a 的解题状态。

例如，要求40名学生在10分钟内完成一个题U ： 求证:Pi (2, 3), Pa(4, 6), P 3
(6,
0 0 Psi 0 0
9)三点共线。

当然，对于这个题L1,如何比较客观去分析解题状态，即究竟做到哪 一步才是从分析5到设计S2,哪一步才算是从设计S2到实施S4,这是比 较困难的。

但是，如果运用时间去控制解题状态，还是切实可行的。

设8 分钟以后，有30名学生圆满地证明了这个题口，剩下的10名学主中，经 过老师的适当提示，乂有6名学生完成了该题。

这样对照关系流
程图开2,可以得到：P 23 =
» P24=|^，P32二寻'P31二售，从而
Ao= (1, 0, 0, 0, 0),
Ai — (0, 19 0, 0, 0) 9 二9 1 3
69) 丽，丽，40，40s 80)
由Ai 可见，这40名学生全部从分析状态Si 转移到设计状态S2；由
A2
可见，经过设计状态紡之后，有扌的学生己经进入探究状态気，而另有 訥学生则进入了实施状态％由坞可见，扌的学生进入实施状态 気顺利地得到了验证禺，而处于探究状态S3的扌的学生中，召的学生 回到了分析状态络，看的学生回到了设计状态齐，在经过老师的适当 提示之后，如表明，扌学生中的
梢的学生进入了探究状态気，而又有穆的学生进入了实施状态同
OU oU
样根据比，可以测得在规定的10分钟过去之后，譽(釣86.25%)的 oU 学生顺利地解决了该题，蔬(1.5%)的学生仍然处在分析状态S 】。

A 2 = |O , 0, t
1
3 io 5 205 1
10
A 3 =
0, 0,器 9 2
805 4
齐次马氏链，针对在规定的时间里，有相当一部分的学生完成解答，即处于图5-2关系流程图中验证状态S5,是比较有效的。

但是，如果在规定的时间里，没有学生或者有很少学生顺利地完成解答，用控制时间的方法去测算解题状态是行不通的。

这时，只能通过分析题H的解题状态，具体地分清楚状态◎、S2、S3、S4和S5,才能使用上面方法，确定转概阵中的Pij,从而正确使用齐次马氏链测算解题状态。