2贝叶斯最优估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
面的观测方程与状态询量联系起来。
Y * 一 h k ( x k , n k )
( 3 - 2 )
其中 h k : R ' x R ' -R " 是 观 测 方 程, 是 一 个 非 线 性函 数, n k E R ' 是观测噪声向 量,
r 是观测噪声的维数。已 它与 状态向 量以 及系统噪声 无关, P 是观 测向 量的 维数,
式( ( 3 - 3 ) 和式( ( 3 - 6 ) 的递归求解就是解决贝叶斯递归估计问 题的一般解法,
西安电子科技大学硕士学位论文:视频跟踪技术研究
法框图如图3 . 1 。如果要得到解析解,则必须对系统方程和观测方程作出严格的限 制。比如卡尔曼滤波,它要求系统方程和观测方程是线性的,系统噪声和观测噪
西安电子科技大学硕士学位论文:视频跟踪技术研究
3 . 2贝叶斯ቤተ መጻሕፍቲ ባይዱ优估计
贝叶斯估计就是运用贝叶斯统计方法进行的一种预测。 粗略地说, 在统计推断 中使用了先验分布的方法就是贝叶斯统计。贝叶斯统计,除了 运用模型信息和数 据信息之外,还利用未知参数的分布信息。由于这类信息是在进行试验以前就有
的,所以称作先验信息。贝叶斯统计要求这类信息能以未知参数的概率分布来表 示,这个概率分布称为先验分布。一般模式是: 先验分布+样本信息=> 后验分布
知观测噪声的后验概率密度函数。
根据贝叶斯原理,估计问题的实质就是在获得了 k时刻以及 k时亥 蛇 前的所
有观测数据的前提下,递归地去估计 k时刻的系统状态,去构造 k时刻系统的后
验 概 率 密 度 函 数 P ( x k I Y U )假 设 系 统 向 量 的 初 始 概 率 密 度函 数 P ( x o ) 己 知 , 在 每 一
声是方差已知的加性高斯噪声。这样严格的条件在很多应用中都是无法满足的, 因此我们希望弱化一些条件,寻找一些次优的算法,比如扩展卡尔曼滤波,粒子
滤波,以及网格滤波等。
3 . 3卡尔曼滤波
3 . 3 . 1卡尔曼滤波[ 1 9 1 [ 0 2 1 的 起源与发展
早 在1 7 9 5 年, 高斯( K . G a u s s ) 为了 测定 行星运动轨 道就提出 了 最小二乘估计 法。 2 0 世纪4 0 年代, 为了 解决火 力控制系统 精确跟踪问 题, 维纳 ( N . W e a n e r ) 提出 了 维
纳滤波理论。维纳根据有用信号和扰动信号的功率谱确定出线性滤波器的频率特 性,首次将数理统计理论与线性系统理论有机地联系在一起,形成了对随机信号 做平滑、估计或预测的最优估计理论。维纳滤波理论的最大缺点是适用范围有限, 它要求被处理信号必须是平稳的、一维的。 维纳滤波的缺陷促使人们寻求时域内直接设计最优滤波器的最新方法。1 9 6 0
概率密度函数
P ( Y k 卜 k ) P ( X k 夙- 1 ) P ( x k 队卜 P ( Y k I D k - 1 )
( 3 - 6 )
其 中 P ( Y k l D k I - 卜 介 ( Y k 卜 k ) P ( X k 队 - I ) d X k 是 一 个 归 一 化 因 子 , 而 条 件 概 率 密 度 函 数
个时间点 上可以 获得的 信息是 观测 序列D k - { Y , : i = 1 , . . . , k } o
我 们 的目 标 是 利 用 所 有 的 已 知 信 息P ( x k - , I D k - I ) 去 构 建 当 前 状 态 向 a l x * 的 后 验
P ( Y k I x k ) 则 是 由 观 测 方 程 以 及 观 测 噪 声 决 定 的 , 其 定 义 如 下 式
P ( Y k k k ) 一 f 6 ( Y k 一 h k ( x k , n k ) ) P ( n k ) " n k
-7 算
(3 其
图3 . 1贝叶斯递归估计算法框图
验概率密度,即用系统模型预测状态的先验概率密度,再用最新的观测数据进行
修正,得到后验概率密度。通过观测数据来计算状态变量取不同值时的置信度, 由此获得状态的最优估计。
对于 一个离散时间的 估计问 题, 假设 状态向 量为x , E R " , 它 所属的 系 统 可以
由如下方程表示
x k f 1 . 人( x k , v k ) ( 3 - 1 )
P ( x k l D k - 1 ) 一 介( X k f " k - 1 ) P ( X k - 1 I D k - 1 ) ' u , - 1 ( 3 - 3 )
其 中 P ( x k 队 习代 表 系 统 传 递 方 程 的 概 率 特 性 , 其 定 义 如 下
根 据 前 面 的 假 设 , 系 统 噪 声 ‘ _ , 与 系 统 向 量 X k - , 无 关 , 即 P ( v k - I 队 - 1 ) - P ( v k 二 ,可 )
得
P ( X k k k - 1 ) 一 介 ( X k k k - i w k - 1 ) P ( v k - I k k - ] ) " 1 ' k - I ( 3 - 4 )
其中人: R " x R ' 0 -R ' 是系统 传 递函 数, 是 一 个非 线性函 数, v , E R . 是 独 立于 系 统状态向 量的 系统噪声, n 和m分别是 状态向 量与系统噪声向 量的 维数。 假设V k 的
后验概率密度函数已知。
在每 个离 散的 时间点上, 都可以 得到 观测 数据Y k E R 0 , 这 些 观测数据 通过下
先验分布反映了在试验前我们关于未知参数的知识,有了 样本带来的信息后, 这个知识有了改变,其结果就反映在后验分布中,或者说,后验分布综合了先验 分布的信息和样本的信息。在应用中往往根据求出的后验分布作出推断。 综上所述, 贝叶斯原理的实质是希望用所有已知信息来构造系统状态变量的后
好的适应性。
P ( X k k k - 1 ) 一 f b ( X k 一 f k - 1 ( X k - I w k - J ) " P ( v k - I ) V k - I ( 3 - 5 )
当k 时刻观测向 量Y * 已 知的 时候, 可以 根 据贝 叶斯 准则用Y , 更新系统向 量的先验
其基本思想是围 绕状态估 计值对非线 性模型进行一阶 T a y l o r 展开, 然后再 应 用卡
尔曼滤波。
除了扩展卡尔曼滤波,牛津大学的科学家 J u i t e r 等人在 1 9 9 5 年还提出了一种
新的算法一 无色卡尔曼滤 波( U n s c e n t e d K a l m a n F i l t e r ) , 其核心 思想是 通过一 种非
线性变换一U n s c e n t e d 变换来进行非线性模型的状态与误差协方差的递推和更新。 扩展卡尔曼滤波和无色卡尔曼滤波都是递推滤波算法,它们的基本思想都是 通过采用参数化的解析形式对系统的非线性进行近似,而且都是基于高斯假设。 后面将介绍的粒子滤波则是以非参数化的蒙特卡罗仿真为基础的算法,它具有更
年, 卡尔曼 ( R . E . K a l m a n ) 提出了 离散系统卡尔曼 滤波, 次 年, 他又 与布西( R . S . B u c y )
合作,把这一滤波方法推广到连续时间系统当中,最终形成了 卡尔曼滤波估计理 论。这是一种新的线性最小方差估计理论,它采用状态方程描述被估计量的动态 变化规律, 算法采用递归形式,数据存储量小,可以处理多维和非平稳随机信号。 起初卡尔曼滤波只适用于线性系统,并且要求观测方程也必须是线性的。然 而在实际应用中,严格来说,所有的系统都是非线性的,因此对于非线性滤波的 研究是很有意义的。 在非线性滤波领域内比较经典的一种算法是扩展卡尔曼滤波,
概率密度函数。理论上这个后验概率密度函数可以通过预测和更新两个过程递归
第二章 滤波理论综述
地得到。
首 先 假 设 在k - 1 时 刻 状 态 向 量 的 后 验 概 率 密 度 函 数 P ( x k - 1 阵- 1 ) 已 知 , 通 过 系 统
传递方程我们就可以得到 k 时刻的系统向量的先验概率密度函数
Y * 一 h k ( x k , n k )
( 3 - 2 )
其中 h k : R ' x R ' -R " 是 观 测 方 程, 是 一 个 非 线 性函 数, n k E R ' 是观测噪声向 量,
r 是观测噪声的维数。已 它与 状态向 量以 及系统噪声 无关, P 是观 测向 量的 维数,
式( ( 3 - 3 ) 和式( ( 3 - 6 ) 的递归求解就是解决贝叶斯递归估计问 题的一般解法,
西安电子科技大学硕士学位论文:视频跟踪技术研究
法框图如图3 . 1 。如果要得到解析解,则必须对系统方程和观测方程作出严格的限 制。比如卡尔曼滤波,它要求系统方程和观测方程是线性的,系统噪声和观测噪
西安电子科技大学硕士学位论文:视频跟踪技术研究
3 . 2贝叶斯ቤተ መጻሕፍቲ ባይዱ优估计
贝叶斯估计就是运用贝叶斯统计方法进行的一种预测。 粗略地说, 在统计推断 中使用了先验分布的方法就是贝叶斯统计。贝叶斯统计,除了 运用模型信息和数 据信息之外,还利用未知参数的分布信息。由于这类信息是在进行试验以前就有
的,所以称作先验信息。贝叶斯统计要求这类信息能以未知参数的概率分布来表 示,这个概率分布称为先验分布。一般模式是: 先验分布+样本信息=> 后验分布
知观测噪声的后验概率密度函数。
根据贝叶斯原理,估计问题的实质就是在获得了 k时刻以及 k时亥 蛇 前的所
有观测数据的前提下,递归地去估计 k时刻的系统状态,去构造 k时刻系统的后
验 概 率 密 度 函 数 P ( x k I Y U )假 设 系 统 向 量 的 初 始 概 率 密 度函 数 P ( x o ) 己 知 , 在 每 一
声是方差已知的加性高斯噪声。这样严格的条件在很多应用中都是无法满足的, 因此我们希望弱化一些条件,寻找一些次优的算法,比如扩展卡尔曼滤波,粒子
滤波,以及网格滤波等。
3 . 3卡尔曼滤波
3 . 3 . 1卡尔曼滤波[ 1 9 1 [ 0 2 1 的 起源与发展
早 在1 7 9 5 年, 高斯( K . G a u s s ) 为了 测定 行星运动轨 道就提出 了 最小二乘估计 法。 2 0 世纪4 0 年代, 为了 解决火 力控制系统 精确跟踪问 题, 维纳 ( N . W e a n e r ) 提出 了 维
纳滤波理论。维纳根据有用信号和扰动信号的功率谱确定出线性滤波器的频率特 性,首次将数理统计理论与线性系统理论有机地联系在一起,形成了对随机信号 做平滑、估计或预测的最优估计理论。维纳滤波理论的最大缺点是适用范围有限, 它要求被处理信号必须是平稳的、一维的。 维纳滤波的缺陷促使人们寻求时域内直接设计最优滤波器的最新方法。1 9 6 0
概率密度函数
P ( Y k 卜 k ) P ( X k 夙- 1 ) P ( x k 队卜 P ( Y k I D k - 1 )
( 3 - 6 )
其 中 P ( Y k l D k I - 卜 介 ( Y k 卜 k ) P ( X k 队 - I ) d X k 是 一 个 归 一 化 因 子 , 而 条 件 概 率 密 度 函 数
个时间点 上可以 获得的 信息是 观测 序列D k - { Y , : i = 1 , . . . , k } o
我 们 的目 标 是 利 用 所 有 的 已 知 信 息P ( x k - , I D k - I ) 去 构 建 当 前 状 态 向 a l x * 的 后 验
P ( Y k I x k ) 则 是 由 观 测 方 程 以 及 观 测 噪 声 决 定 的 , 其 定 义 如 下 式
P ( Y k k k ) 一 f 6 ( Y k 一 h k ( x k , n k ) ) P ( n k ) " n k
-7 算
(3 其
图3 . 1贝叶斯递归估计算法框图
验概率密度,即用系统模型预测状态的先验概率密度,再用最新的观测数据进行
修正,得到后验概率密度。通过观测数据来计算状态变量取不同值时的置信度, 由此获得状态的最优估计。
对于 一个离散时间的 估计问 题, 假设 状态向 量为x , E R " , 它 所属的 系 统 可以
由如下方程表示
x k f 1 . 人( x k , v k ) ( 3 - 1 )
P ( x k l D k - 1 ) 一 介( X k f " k - 1 ) P ( X k - 1 I D k - 1 ) ' u , - 1 ( 3 - 3 )
其 中 P ( x k 队 习代 表 系 统 传 递 方 程 的 概 率 特 性 , 其 定 义 如 下
根 据 前 面 的 假 设 , 系 统 噪 声 ‘ _ , 与 系 统 向 量 X k - , 无 关 , 即 P ( v k - I 队 - 1 ) - P ( v k 二 ,可 )
得
P ( X k k k - 1 ) 一 介 ( X k k k - i w k - 1 ) P ( v k - I k k - ] ) " 1 ' k - I ( 3 - 4 )
其中人: R " x R ' 0 -R ' 是系统 传 递函 数, 是 一 个非 线性函 数, v , E R . 是 独 立于 系 统状态向 量的 系统噪声, n 和m分别是 状态向 量与系统噪声向 量的 维数。 假设V k 的
后验概率密度函数已知。
在每 个离 散的 时间点上, 都可以 得到 观测 数据Y k E R 0 , 这 些 观测数据 通过下
先验分布反映了在试验前我们关于未知参数的知识,有了 样本带来的信息后, 这个知识有了改变,其结果就反映在后验分布中,或者说,后验分布综合了先验 分布的信息和样本的信息。在应用中往往根据求出的后验分布作出推断。 综上所述, 贝叶斯原理的实质是希望用所有已知信息来构造系统状态变量的后
好的适应性。
P ( X k k k - 1 ) 一 f b ( X k 一 f k - 1 ( X k - I w k - J ) " P ( v k - I ) V k - I ( 3 - 5 )
当k 时刻观测向 量Y * 已 知的 时候, 可以 根 据贝 叶斯 准则用Y , 更新系统向 量的先验
其基本思想是围 绕状态估 计值对非线 性模型进行一阶 T a y l o r 展开, 然后再 应 用卡
尔曼滤波。
除了扩展卡尔曼滤波,牛津大学的科学家 J u i t e r 等人在 1 9 9 5 年还提出了一种
新的算法一 无色卡尔曼滤 波( U n s c e n t e d K a l m a n F i l t e r ) , 其核心 思想是 通过一 种非
线性变换一U n s c e n t e d 变换来进行非线性模型的状态与误差协方差的递推和更新。 扩展卡尔曼滤波和无色卡尔曼滤波都是递推滤波算法,它们的基本思想都是 通过采用参数化的解析形式对系统的非线性进行近似,而且都是基于高斯假设。 后面将介绍的粒子滤波则是以非参数化的蒙特卡罗仿真为基础的算法,它具有更
年, 卡尔曼 ( R . E . K a l m a n ) 提出了 离散系统卡尔曼 滤波, 次 年, 他又 与布西( R . S . B u c y )
合作,把这一滤波方法推广到连续时间系统当中,最终形成了 卡尔曼滤波估计理 论。这是一种新的线性最小方差估计理论,它采用状态方程描述被估计量的动态 变化规律, 算法采用递归形式,数据存储量小,可以处理多维和非平稳随机信号。 起初卡尔曼滤波只适用于线性系统,并且要求观测方程也必须是线性的。然 而在实际应用中,严格来说,所有的系统都是非线性的,因此对于非线性滤波的 研究是很有意义的。 在非线性滤波领域内比较经典的一种算法是扩展卡尔曼滤波,
概率密度函数。理论上这个后验概率密度函数可以通过预测和更新两个过程递归
第二章 滤波理论综述
地得到。
首 先 假 设 在k - 1 时 刻 状 态 向 量 的 后 验 概 率 密 度 函 数 P ( x k - 1 阵- 1 ) 已 知 , 通 过 系 统
传递方程我们就可以得到 k 时刻的系统向量的先验概率密度函数