随机过程课程设计

《随机过程》课程设计（论文）题目: 连续马尔科夫过程的转移概率及应用学院：理学院专业：数学与应用数学班级：数学09-2班学生姓名：姜德月学生学号： 2009026249指导教师：蔡吉花2011 年 12 月 20 日目录课程设计任务书 -------------------------------------------------------------------------------------------------- I 摘要 --------------------------------------------------------------------------------------------------------------- I I 第1章绪论----------------------------------------------------------------------------------------------------- - 1 - 第2章连续时间马尔可夫链基本理论 ------------------------------------------------------------------ - 2 -2.1定义............................................................ - 2 -2.2转移概率........................................................ - 2 -第3章柯尔莫哥洛夫微分方程 --------------------------------------------------------------------------- - 3 -3.1跳跃强度........................................................ - 3 -3.2 Q矩阵......................................................... - 3 -3.3柯尔莫哥洛夫向后方程............................................ - 4 -3.4柯尔莫哥洛夫向前方程............................................ - 4 -第4章马尔可夫过程研究的问题的分析--------------------------------------------------------------- - 5 -4.1连续参数随机游动问题............................................ - 5 -第5章计算结果及程序------------------------------------------------------------------------------------- - 6 - 第6章结论和展望 ----------------------------------------------------------------------------------------- - 11 - 参考文献 ------------------------------------------------------------------------------------------------------- - 11 - 评阅书 ------------------------------------------------------------------------------------------------- - 12 -随机过程课程设计任务书摘 要马尔可夫过程(MarKov Process)是一个典型的随机过程。

设()X t 是一随机过程，当过程在时刻0t 所处的状态为已知时，时刻0()t t t 所处的状态与过程在0t 时刻之前的状态无关，这个特性成为无后效性。

本文主要阐述连续马尔科夫过程的转移概率定义、性质及其应用，以及科尔莫哥洛夫向前、向后方程，Q 矩阵。

主要研究机器维修，排队，以及随机游动等实际问题，根据实际问题来求解微分方程。

并用MATLAB ，对其结果进行了合理性的分析，使得我们能更好的理解和应用连续马尔可夫过程，并能用柯尔莫哥洛夫向前向后方程，Q 矩阵，MATLAB 求解实际问题。

关键字 马尔科夫过程 转移概率 柯尔莫哥洛夫 微分方程数值求解 随机游动连续马尔科夫过程的转移概率及其应用第1章 绪论1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。

1954年前后， W.费勒将半群方法引入马尔可夫过程的研究。

流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。

类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。

人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。

这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。

荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。

青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。

如果将荷叶编号并用012,,......x x x 分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{},0n x n ≥ 就是马尔可夫过程。

液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。

还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。

关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。

1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。

1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。

50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与 位势的关系。

目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。

第2章 连续时间马尔可夫链基本理论2.1定义设随机过程(){},0X t t ≥，状态空间{}I=0,1,2,若对1t n +任意及非负整数1210t t t n -≤<<⋯<及非负整数12i ,i ,,i有()()()(){}111122|,,,n n n n p X t i X t i X t i X t i ++=====()(){}11|n n n n p X t i X t i ++==，则称(){},0X t t ≥为连续时间马尔可夫链。

2.2转移概率在s 时刻处于状态i ，经过时间t 后转移到状态j 的概率()()(){},|ij p s t p X s t j X s i =+==定义.2齐次转移概率()(),ij ij p s t p t = (与起始时刻s 无关，只与时间间隔t 有关)转移概率矩阵()(),,,0ij P t p t i j I t =∈≥命题：若τi 为过程在状态转移之前停留在状态i 的时间，则对s, t ≥0有(1) {}{}| i i i p s t s p t τττ>+>=> (2) τi 服从指数分布定理1 齐次马尔可夫过程的转移概率具有：(1) ()ij p 0t ≥;(2)()()ij p 1;t j I =∈∑(3) ()()()ijp t s (k I)ikkjt s p p +=∈∑正则性条件()lim 1,t i j == ()()lim 0,,0t i j t =≠→定义3(1)初始概率: ()(){} 0 P X 0 j , j I j j p p ===∈ (2)绝对概率: ()(){} t P X t j , j I , t 0 j p ==∈≥ (3)初始分布: {},j p p j I =∈(4)绝对分布: ()(){}0j p t p t j I t =∈≥定理2齐次马尔可夫过程的绝对概率及有 限维概率分布具有下列性质： (1) () t 0j p ≥ (2)()1j p t =∑ (3) ()() t ji ijp p p t =∑(4) ()(t )()j i ij p p t p ττ+=∑ (5)()(){}()()()112111211P t p t p n i n n n i ii i i i i n n X t i X t i p p t t t i I--===--∈∑第3章 柯尔莫哥洛夫微分方程3.1跳跃强度状态转移概率()()21X t j p X t i ⎧⎫=⎪⎪⎨⎬=⎪⎪⎩⎭它满足()()210X t j p X t i ⎧⎫=⎪⎪≥⎨⎬=⎪⎪⎩⎭ ，()()211j I X t j p X t i ∈⎧⎫=⎪⎪=⎨⎬=⎪⎪⎩⎭∑ 齐次马尔可夫过程的状态转移概率()ij p τ 满足：()()0,1ij ij j Ip p ττ∈≥=∑跳跃强度()()()000ij ij ij ij ij p t p q t t q t t σ∆=+⋅∆+∆=+⋅∆+∆()()0limij ij ij t p t p q t∆→∆-=∆其中()()(){100i j ij ij i j p σ=≠==称为参数连续状态离散齐次马尔可夫过程的跳跃强度 当i j ≠时，()0limij ij t p t q t∆→∆=∆当i=j 时, ()01limij ij t p t q t∆→∆-=∆3.2 Q 矩阵把矩阵000101011101q =n n n n nn q q q q q Q q q q ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦叫 马氏过程的速率矩阵，简称Q 矩阵。

但考虑到密度矩阵()ij Q q =，是由()()ij P t p =的导数组成 即(0)Q P '='(())ij ij t q p t ==跳跃强度的性质0ijj Iq∈=∑3.3柯尔莫哥洛夫向后方程假设ik ii k iq q ≠=∑，则对一切i, j 及t ≥0，有()()()'ij ik kj ii ij i j k ip t q p t q p t Q P ≠=-=∑3.4柯尔莫哥洛夫向前方程在适当的正则条件下有()()()'ij ik kj ij jj k jp t p t q p t q ≠=-∑★ 向后方程的矩阵形式：()()'P t QP t = ①★ 向前方程的矩阵形式：()()'P t P t Q = ② 其中Q 矩阵为000102101112202122q q q q q q Q q q q -⎡⎤⎢⎥-⎢⎥=⎢⎥-⎢⎥⎣⎦矩阵()'p t 的元素为矩阵()p t 的元素的导数，而()()()()()()()()()()000102101112202122=p t p t p t p t p t p t P t p t p t p t ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦这样，连续时间马尔科夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率有其转移速率矩阵Q 决定。