马氏链理论

转移概率矩阵及柯尔莫哥洛夫定理
1 随机过程的概念
在许多情况下，人们不仅需要对随机现象进
行观测，Hale Waihona Puke Baidu且要进行多次，甚至接连不断观 测它的变化过程，这就要研究一族随机变量， 随机过程理论就是研究随机现象变化过程的 概率规律性。
2 马尔可夫链
现实世界中有很多这样的现象：某一系统在
已知现在情况的条件下，系统未来时刻的情 况只与现在有关，而与过去的历史无直接关 系。描述此类随机现象的数学模型称为马氏 模型。