电子科大随机过程总结 第4章 马尔可夫过程
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
������������������������������������(������������, ������������) = ������������{������������(������������ + ������������) = ������������|������������(������������) = ������������} = ������������������������������������(������������) ������������������������������������(������������, 1) = ������������{������������(������������ + 1) = ������������|������������(������������) = ������������} = ������������������������������������(1) 则称为齐次马尔可夫链,简称齐次马氏链。
给定齐次马氏链{������������(������������), ������������ = 0,1,2, ⋯ },称 ������������������������ = ������������{������������(0) = ������������} ������������ ∈ ������������
独立同分布的离散随机变量序列{������������(������������), ������������ = 0,1,2, ⋯ }是齐次马氏链。
性质 1: 齐次马氏链{������������(������������), ������������ = 0,1,2, ⋯ }的转移概率������������������������������������(������������)满足 C-K 方程 ������������������������������������(������������ + ������������) = ∑∈������������ ������������������������������������(������������)������������(������������)或������������(������������ + ������������) = ������������(������������)������������(������������) 定义 5:
定义 3:
称矩阵
������������00(������������, ������������) ������������01(������������, ������������) ⋯ ������������0������������(������������, ������������)
������������(������������, ������������) = �������������������������������������(������������, ������������)� = �������������10(���⋮���������, ������������)
马氏过程{������������(������������), ������������ ∈ ������������}条件概率
定义 2
������������(������������, ������������; ������������, ������������) = ������������{������������(������������) < ������������|������������(������������) = ������������}
齐次马氏链的������������步转移矩阵记为������������(������������, ������������) = ������������(������������) = �������������������������������������(������������)� ������������, ������������ ∈ ������������
称为马氏过程的转移概率函数。
2. 齐次马尔可夫链
定义 1: 设{������������(������������), ������������ = 0,1,2, ⋯ }为随机序列,状态空间为������������ = {0,1,2, ⋯ },如果对于任意非负 整数������������及������������1 < ⋯ < ������������������������ < ������������以及������������������������1, ������������������������2, ⋯ , ������������������������������������, ������������������������, ������������������������+������������ ∈ ������������,马尔可夫性
为马氏链在时刻������������的������������步转移矩阵,一步转移矩阵������������(������������, 1)简称为转移矩阵。
定义 2: 设{������������(������������), ������������ = 0,1,2, ⋯ }为马氏链,������������ = {0,1,2, ⋯ },称条件概率
随机变量
随机过程
独立过程
马尔可夫过程
独立增量过程
平稳独立 增量过程
马尔可ຫໍສະໝຸດ Baidu过程
参数集������������
离散
连续
离散 离散参数马氏链 连续参数马氏链 状态空间������������
连续 连续参数马氏序列 连续参数马氏过程
1. 马尔可夫过程
定义 1
随机过程{������������(������������), ������������ ∈ ������������},如果对于参数中任意������������个时刻������������������������, ������������ = 1, ⋯ , ������������, ������������1 < ⋯ < ������������������������有 ������������{������������(������������������������) < ������������������������|������������(������������1) = ������������1, ⋯ , ������������(������������������������−1) = ������������������������−1} = ������������{������������(������������������������) < ������������������������|������������(������������������������−1) = ������������������������−1}
�������������������������(������������ + ������������) = ������������������������+������������|������������(������������1) = ������������1, ⋯ , ������������(������������������������) = ������������������������������������, ������������(������������) = ������������������������� = ������������{������������(������������ + ������������) = ������������������������+������������|} 成立,则称其为离散参数马尔可夫链,简称马氏链。
则称随机过程为马尔可夫过程,简称马氏过程。
������������(������������������������; ������������������������|������������1, ⋯ , ������������������������−1; ������������1, ⋯ , ������������������������−1) = ������������(������������������������; ������������������������|������������������������−1; ������������������������−1) ������������(������������������������; ������������������������|������������1, ⋯ , ������������������������−1; ������������1, ⋯ , ������������������������−1) = ������������(������������������������; ������������������������|������������������������−1; ������������������������−1)
������������11(������������, ������������) ⋮
⋯ ⋯
������������1������������
(������������, ⋮
������������)�
������������������������0(������������, ������������) ������������������������1(������������, ������������) ⋯ ������������������������������������(������������, ������������)
即������������(0)的概率密度分布为齐次马氏链的初始分布,记 �������������0 = (������������������������, ������������ ∈ ������������)
性质 3:
绝对分布由初始分布和转移概率确定,且满足
性质 2:
齐次马氏链的������������步转移矩阵等于一步转移矩阵的������������次方,即 ������������(������������) = ������������������������
������������������������������������(������������, ������������) = ������������{������������(������������ + ������������) = ������������|������������(������������) = ������������} 为马氏链在������������时刻的������������步转移概率。 即质点于时刻������������处于状态������������,再经过������������步(������������个单位时间)处于状态������������的条件概率。 特别地,������������ = 1时,称为一步转移概率,简称转移概率 定义 4: 若马氏链{������������(������������), ������������ = 0,1,2, ⋯ }的转移概率������������������������������������(������������, ������������)与������������无关,即
给定齐次马氏链{������������(������������), ������������ = 0,1,2, ⋯ },称 ������������������������ = ������������{������������(0) = ������������} ������������ ∈ ������������
独立同分布的离散随机变量序列{������������(������������), ������������ = 0,1,2, ⋯ }是齐次马氏链。
性质 1: 齐次马氏链{������������(������������), ������������ = 0,1,2, ⋯ }的转移概率������������������������������������(������������)满足 C-K 方程 ������������������������������������(������������ + ������������) = ∑∈������������ ������������������������������������(������������)������������(������������)或������������(������������ + ������������) = ������������(������������)������������(������������) 定义 5:
定义 3:
称矩阵
������������00(������������, ������������) ������������01(������������, ������������) ⋯ ������������0������������(������������, ������������)
������������(������������, ������������) = �������������������������������������(������������, ������������)� = �������������10(���⋮���������, ������������)
马氏过程{������������(������������), ������������ ∈ ������������}条件概率
定义 2
������������(������������, ������������; ������������, ������������) = ������������{������������(������������) < ������������|������������(������������) = ������������}
齐次马氏链的������������步转移矩阵记为������������(������������, ������������) = ������������(������������) = �������������������������������������(������������)� ������������, ������������ ∈ ������������
称为马氏过程的转移概率函数。
2. 齐次马尔可夫链
定义 1: 设{������������(������������), ������������ = 0,1,2, ⋯ }为随机序列,状态空间为������������ = {0,1,2, ⋯ },如果对于任意非负 整数������������及������������1 < ⋯ < ������������������������ < ������������以及������������������������1, ������������������������2, ⋯ , ������������������������������������, ������������������������, ������������������������+������������ ∈ ������������,马尔可夫性
为马氏链在时刻������������的������������步转移矩阵,一步转移矩阵������������(������������, 1)简称为转移矩阵。
定义 2: 设{������������(������������), ������������ = 0,1,2, ⋯ }为马氏链,������������ = {0,1,2, ⋯ },称条件概率
随机变量
随机过程
独立过程
马尔可夫过程
独立增量过程
平稳独立 增量过程
马尔可ຫໍສະໝຸດ Baidu过程
参数集������������
离散
连续
离散 离散参数马氏链 连续参数马氏链 状态空间������������
连续 连续参数马氏序列 连续参数马氏过程
1. 马尔可夫过程
定义 1
随机过程{������������(������������), ������������ ∈ ������������},如果对于参数中任意������������个时刻������������������������, ������������ = 1, ⋯ , ������������, ������������1 < ⋯ < ������������������������有 ������������{������������(������������������������) < ������������������������|������������(������������1) = ������������1, ⋯ , ������������(������������������������−1) = ������������������������−1} = ������������{������������(������������������������) < ������������������������|������������(������������������������−1) = ������������������������−1}
�������������������������(������������ + ������������) = ������������������������+������������|������������(������������1) = ������������1, ⋯ , ������������(������������������������) = ������������������������������������, ������������(������������) = ������������������������� = ������������{������������(������������ + ������������) = ������������������������+������������|} 成立,则称其为离散参数马尔可夫链,简称马氏链。
则称随机过程为马尔可夫过程,简称马氏过程。
������������(������������������������; ������������������������|������������1, ⋯ , ������������������������−1; ������������1, ⋯ , ������������������������−1) = ������������(������������������������; ������������������������|������������������������−1; ������������������������−1) ������������(������������������������; ������������������������|������������1, ⋯ , ������������������������−1; ������������1, ⋯ , ������������������������−1) = ������������(������������������������; ������������������������|������������������������−1; ������������������������−1)
������������11(������������, ������������) ⋮
⋯ ⋯
������������1������������
(������������, ⋮
������������)�
������������������������0(������������, ������������) ������������������������1(������������, ������������) ⋯ ������������������������������������(������������, ������������)
即������������(0)的概率密度分布为齐次马氏链的初始分布,记 �������������0 = (������������������������, ������������ ∈ ������������)
性质 3:
绝对分布由初始分布和转移概率确定,且满足
性质 2:
齐次马氏链的������������步转移矩阵等于一步转移矩阵的������������次方,即 ������������(������������) = ������������������������
������������������������������������(������������, ������������) = ������������{������������(������������ + ������������) = ������������|������������(������������) = ������������} 为马氏链在������������时刻的������������步转移概率。 即质点于时刻������������处于状态������������,再经过������������步(������������个单位时间)处于状态������������的条件概率。 特别地,������������ = 1时,称为一步转移概率,简称转移概率 定义 4: 若马氏链{������������(������������), ������������ = 0,1,2, ⋯ }的转移概率������������������������������������(������������, ������������)与������������无关,即