5--连续时间马尔可夫链--beamer

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
特别地, 当 ������������+1 − ������������ = ������ 时, 有
������ (������ (������) = ������, ������ (2������) = ������, · · · , ������ (������������) = ������|������ (0) = ������) = [������������������ (������)] .
(������ −������)!
当 ������
������,
⎩ 0, ������ = ������, ������ ̸= ������.
第五章: 连续时间马尔可夫链
当 ������ < ������,
其中 ������������������ 是马氏链.
������������������ (0) = ������������������
并且对于 ������ ������, 有
∞ ∞ ∑︁ ������������ (������) ∑︁ ������������ ������ −������ ������������������ = (������)������ ������������ (−1)������−������ ������! ������! ������=0 ∞ ∑︁
称矩阵 ������ = (������������������ (������))������,������ ∈������ 为马氏链的一步转移概率矩阵, 简称为转移矩阵.
韩参变量 (某某大学)
第五章: 连续时间马尔可夫链
3 / 61
连续时间马氏链的性质
1. ������������������ 是 ������ 函数, 即 ������������������ (0) = ������������������ = ⎧ ⎨ 1, ⎩ 0, ������ = ������, ������ ̸= ������.
韩参变量 (某某大学)
第五章: 连续时间马尔可夫链
4 / 61
S5.2 泊松过程是马氏链
韩参变量 (某某大学)
第五章: 连续时间马尔可夫链
5 / 61
泊松过程是马氏链
设 ������ 是泊松过程 {������ (������)} 的强度, ������0 < ������1 < · · · < ������������+1 , 由独立增量性和平稳增量 性可知 ������ (������ (������������+1 ) = ������ |������ (������������ ) = ������, ������ (������������−1 ) = ������������−1 , · · · , ������ (������0 ) = ������0 ) =������ (������ (������������+1 ) − ������ (������������ ) = ������ − ������|������ (������������ ) = ������, · · · , ������ (������0 ) = ������0 ) =������ (������ (������������+1 − ������ (������������ ) = ������ − ������). 上式只与 ������, ������, ������������+1 − ������������ 有关, 所以 {������ (������)} 是马氏链, 且有初始分布 ������ (������ (0) = 0) = 1 和转移概率 ������������������ (������) = ������ (������ (������) = ������ − ������) = ⎧ ⎨1, = ⎩0, ⎧ ⎨ (������������)������ −������ ������−������������ ,
1 ������
������ = ������, ������ = ������ + 1, 是质点在 ������ 的平均
= −������ 为质点停留在 ������ 的速
⎟ ⎟ , 常称之为泊松过程 {������ (������)} ⎠
−������ 的转移速率矩阵或转移强度矩阵, 简称 ������ 矩阵.
������=0
= = =
������=0 ∞ ∑︁
������������ ������ −������ (������)������ −������ ������������ (−������)������+������−������ ������! (������������)������ −������ (−������������)������−(������ −������) (������ − ������)![������ − (������ − ������)]!
6. 对于 Байду номын сангаас�����, ������
0, 有 ������������������ (������ + ������)
������������������ (������)������������������ (������), ������������������ (������)
������ )]������ . [������������������ ( ������
0, 有 ������������������ (������ + ������) =
∑︀
������∈������
������������������ (������)������������������ (������) 或 ������ (������ + ������) = ������ (������)������ (������).
第五章: 连续时间马尔可夫链
韩参变量
开课单位: 手机号码: 电子邮件: 某某大学数学与统计学院
+1234567654321
某某大学邮箱
韩参变量 (某某大学)
第五章: 连续时间马尔可夫链
1 / 61
S5.1 连续时间马氏链的定义
韩参变量 (某某大学)
第五章: 连续时间马尔可夫链
2 / 61
马尔可夫链
������
5. ������ (������) 的概率分布由转移矩阵 ������ (������) 和 ������ (0) 的概率分布 ������(0) = [������1 (0), ������2 (0), · · · ] 唯一确定: ������(������) = ������(0)������ (������).
利用 ������������������ (0) = ������������������ 得到 ������������ = (������������������ ), ������0 = 单位矩阵.
韩参变量 (某某大学) 第五章: 连续时间马尔可夫链
(������)
8 / 61
泊松过程是马氏链
4. 马氏链的有限维分布由转移概率 ������������������ (������) 和初始分布 ������������ = ������ (������ (0) = ������) 唯一确定. 且对于 0 < ������1 < ������2 < · · · < ������������ , 有 ������ (������ (������1 ) = ������1 , ������ (������2 ) = ������2 , · · · , ������ (������������ ) = ������������ |������ (0) = ������) =������������������1 (������1 )������������1 ������2 (������2 − ������1 ) · · · ������������������−1 ������������ (������������ − ������������−1 ).
其中对于 ������ < 0 或 ������ > ������, 规定
(������)
������ ������������
= 0. 定义 1, ������, ������ ∈ ������,
������ −������ ������������������ = (������)������ ������������ (−1)������−������ , ������
显然, 取整数值的有独立增量性的平稳增量过程
韩参变量 (某某大学)
6 / 61
泊松过程是马氏链
⎧ ⎪ −������, ⎪ ⎪ ⎨ ′ 易知 ������������������ (������) 是连续函数, 在 ������ = 0 有右导数 ������������������ (0) = ������, ⎪ ⎪ ⎪ ⎩0, 其它. 由于泊松过程在 ������ 的停留时间服从指数分布 E(������), 故其期望 停留时间. 因此称 ������ 为 ������ 的转移速率或转移强度, 称 率. ⎛ ⎜ 引入矩阵 ������ = (������������������ )������,������ ∈������ = ⎜ ⎝ −������ ������ .. . ⎞ .. . ������ ������′ ������������ (������)
Definition 1
如果对于任意正整数 ������, ������0 < ������1 < · · · < ������������+1 和 ������ 中的 ������, ������, ������0 , ������1 , ������2 , · · · , ������������−1 , 随机序 列 {������������ } 满足 ������ (������ (������������+1 ) = ������ |������ (������������ ) = ������, ������ (������������−1 ) = ������������−1 , · · · , ������ (������0 ) = ������0 ) =������ (������ (������������+1 ) = ������ |������ (������������ ) = ������), 则称 {������ (������)} 为连续时间离散状态的马尔可夫链, 简称为连续时间马氏链. 特别地, 当 ������ (������ (������ + ������) = ������ |������ (������) = ������) = ������ (������ (������) = ������ |������ (0) = ������), ������, ������ 为时齐马氏链. 称概率 ������������������ (������) ������ (������ (������ + ������) = ������ |������ (������) = ������), ������, ������ ∈ ������ 为马氏链的转移概率, 0 时, 称马氏链
2. 对于 ������ > 0, 在已知 ������ (������) = ������ 的条件下, 将来 {������ (������)|������ > ������} 与过去 {������ (������ )|0
������ < ������} 独立.
3. K–C 方程: 对任何 ������, ������
韩参变量 (某某大学)
第五章: 连续时间马尔可夫链
7 / 61
泊松过程是马氏链
⎛ ⎜ 若把 ������ 矩阵写成若当矩阵的形式 ������ = (−������) ⎜ ⎝ ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ������������ = (−������)������ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
0 ������������ 1 ������������ (−1)1 2 ������������ (−1)2
1
−1 .. .
⎞ .. 1 . −1 ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟. ⎟ ⎟ ⎟ ⎟ ⎠ ⎟ ⎟ , 则易知 ⎠
..
.
.. ..
. .
··· .. . .. . .. .
������−1 ������������ (−1)������−1
. . .
2 ������������ (−1)2 1 ������������ (−1)1 0 ������������
相关文档
最新文档