马尔可夫过程的发展和应用

H a r b i n I n s t i t u t e o f T e c h n o l o g y

课程设计（论文）

课程名称：应用随机过程

设计题目：马尔可夫过程的发展与应用

院系：电子信息与工程学院

班级：通信一班

设计者：

学号：

指导教师：***

设计时间： 2009/12/17 马尔可夫链(过程)的发展与应用

1. 随机过程发展简述

在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。

一些特殊的随机过程早已引起注意，例如1907年前后，Α.Α.马尔可夫研究过一列有特定相依性的随机变量，后人称之为马尔可夫链（见马尔可夫过程）；又如1923年N.维纳给出了布朗运动的数学定义（后人也称数学上的布朗运动为维纳过程），这种过程至今仍是重要的研究对象。虽然如此，随机过程一般理论的研究通常认为开始于30年代。1931年，Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》；三年后，Α.Я.辛钦发表了《平稳过程的相关理论》。这两篇重要论文为马尔可夫过程与平稳过程奠定了理论基础。稍后，P.莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。1953年，J.L.杜布的名著《随机过程论》问世，它系统且严格地叙述了随机过程的基本理论。1951年伊藤清建立了关于布朗运动的随机微分方程的理论(见随机积分)，为研究马尔可夫过程开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程；而流形上的随机微分方程的理论，正方兴未艾。60年代，法国学派基于马尔可夫过程和位势理论中的一些思想与结果，在相当大的程度上发展了随机过程的一般理论，包括截口定理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、鞅论、极限定理、随机微分方程等方面也做出了较好的工作。

2. 马尔可夫过程发展

2.1 马尔可夫过程简介

马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。

2.2 马尔可夫过程的发展

20世纪50年代以前，研究马尔可夫过程的主要工具是微分方程和半群理论（即分析方法）；1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程，开辟了研究马尔可夫过程的又一重要途径。

出于扩大极限定理应用范围的目的，马尔科夫在20世纪初开始考虑相依随机变量序列的规律，并从中选出了最重要的一类加以研究。1906年他在《大数定律关于相依变量的扩展》一文中，第一次提到这种如同锁链般环环相扣的随机变量序列，其中某个变量各以多大的概率取什么值，完全由它前面的一个变量来决定，而与它更前面的那些变量无关。这就是被后人称作马尔科夫链的著名概率模型。也是在这篇论文里，马尔科夫建立了这种链的大数定律。

用一个通俗的比喻来形容，一只被切除了大脑的白鼠在若干个洞穴间的蹿动就构成一个马尔科夫链。因为这只白鼠已没有了记忆，瞬间而生的念头决定了它从一个洞穴蹿到另一个洞穴；当其所在位置确定时，它下一步蹿往何处与它以往经过的路径无关。这一模型的哲学意义是十分明显的，用前苏联数学家辛钦（1894－1959〕的话来说，就是承认客观世界中有这样一种现象，其未来由现在决定的程度，使得我们关于过去的知识丝毫不影响这种决定性。这种在已知“现在”的条件下，“未来”与“过去”彼此独立的特性就被称为马尔科夫性，具有这种性质的随机过程就叫做马尔科夫过程，其最原始的模型就是马尔科夫链。

这既是对荷兰数学家惠更斯（Ch. Huygens, 1629－1659）提出的无后效原理的概率推广，也是对法国数学家拉普拉斯（P. S. Laplace, 1749－1827）机械决定论的否定。

这里应该指出，尽管拉普拉斯对概率论的早期发展作出过重大贡献，但是他的部分哲学观点是不利于这门学科的深入发展的。十八世纪以来，随着牛顿力学的彻底胜利，一种机械唯物主义的决定论思潮开始在欧洲科学界蔓延，鼓吹最力者就是拉普拉斯。1759年他在巴黎高等师范学院发表了一篇题为《概率论的哲学探讨》的演讲，淋漓尽致地表达出了这种思想。他说：“假如有人知道了某一时刻支配自然的一切力，以及它的一切组成部分的相对位置，又假如他的智力充分发达，能把这一切数据加以充分的分析，把整个宇宙中从最巨大的天体到最微小的原子的一切运动完全包括在一个公式里面，这样对他就没有什么东西是不确定的了，未来也好，过去也好，他都能纵览无遗。”1812年，拉普拉斯又进一步提出“神圣计算者”的观念，认为这个理想的数学家只须知道世界某一时刻的初始状态，就可以从一个无所不包的微分方程中算出过去和未来的一切状态。换句话说，他认为任意系统在t > t0时的状态x可由其初始时刻t0和初始状态x0唯一决定。这可真是笔判终身、细评流年，数学家可以摆个卦摊了。马尔科夫的概率模型从根本上否定了系统中任一状态x与其初始状态x0之间的因果必然性，从而也否定了“神圣计算者”的神话。

还应该指出，马尔科夫所建立的概率模型不但具有深刻的哲学意义，而且具有真实的物质背景，在他的工作之前或同时，一些马尔科夫链或更复杂的随机过程的例子已出现在某些人的研究中，只不过这些人没有自觉地认识到这类模型的普遍意义或用精确的数学语言表述出来罢了。例如苏格兰植物学家布朗( R. Brown, 1773－1858) 于1827年发现的悬浮微粒的无规则运动、英格兰遗传学家高尔顿（F.Galton, 1822－1911) 于1889年提出的家族遗传规律、荷兰物理学家埃伦费斯特( P. Ehrenfest, 1880－1933) 于1907年关于容器中分子扩散的实验，以及传染病感染的人数，谣言的传播，原子核中自由电子的跃迁，人口增长的过程等等，都可用马尔科夫链或过程来描述。也正是在统计物理、量子力学、遗传学以及社会科学的若干新课题、新事实面前，决定论的方法显得百孔千疮、