非线性贝叶斯滤波算法综述_曲从善
（一）：细说贝叶斯滤波：Bayesfilters
（⼀）：细说贝叶斯滤波：Bayesfilters认知计算，还要从贝叶斯滤波的基本思想讲起，本⽂主要是对《Probabilistic Robotics》中贝叶斯滤波器部分的详细讲解。
这⼀部分，我们先回顾贝叶斯公式的数学基础，然后再来介绍贝叶斯滤波器。
(⼀). 概率基础回顾我们先来回顾⼀下概率论⾥的基本知识：1. X : 表⽰⼀个随机变量，如果它有有限个可能的取值 \{x_1, x_2, \cdots, x_n \} .2. p(X=x_i) :表⽰变量 X 的值为x_i 的概率。
3. p(\cdot) :称为概率质量函数(probability mass function).例如：⼀个家⾥有3个房间，机器⼈在各个房间的概率为p(room)=\{0.1, 0.3, 0.6\} .4. 如果 X 在连续空间取值， p(x) 称为概率密度函数(probability density function)，p (x \in (a,b)) = \int\limits_a^b {p(x)dx}图1. 概率密度函数曲线⽰例5. 联合概率： p(X=x ~~\textrm{and} ~~Y=y) = p(x,y) ，称为联合概率密度分布。
如果X和Y是相互独⽴的随机变量，p(x,y)=p(x)p(y)。
6. 条件概率： p(X=x|Y=y) 是在已知Y=y的条件下，计算X=x的概率。
p(x|y)=p(x,y)/p(y)p(x,y)=p(x|y)p(y)=p(y|x)p(x)如果x和y相互独⽴，则：p(x|y)=p(x)7. 全概率公式：离散情况下:p(x) = \sum\limits_y {p(x,y)}=\sum\limits_y {p(x|y)p(y)}连续情况下：p(x) = \int {p(x,y)\;dy} = \int {p(x|y)p(y)\;dy}(⼆). 贝叶斯公式2.1 贝叶斯公式基于条件概率公式和全概率公式，我们可以导出贝叶斯公式：\begin{array}{c} P(x,y) = P(x|y)P(y) = P(y|x)P(x)\\ \Rightarrow \\ P(x\,\left| {\,y} \right.) = \frac{{P(y|x)\,\,P(x)}}{{P(y)}} = \frac{{{\textrm{causal knowledge}} \cdot {\textrm{prior knowledge}}}}{{{\textrm{prior knowledge}}}} \end{array}这⾥⾯x⼀般是某种状态；y⼀般是代表某种观测。
余翊森_贝叶斯框架下B-Splines滤波算法的实现及其并行化
学士学位论文BACHELOR DISSERTATION论文题目贝叶斯框架下B-Splines滤波算法的实现及其并行化学生姓名余翊森学号2010021070030专业电子信息工程学院电子工程学院指导教师唐续指导单位电子科技大学2014年6月4日摘要摘要在理论上贝叶斯滤波可以解决非线性状态估计问题，但在大多数实际应用场景下，状态变量的概率密度函数无解析表达式。
这使得贝叶斯滤波中的相关积分运算难以开展。
为解决非线性状态估计的问题，学界已提出了诸如扩展卡尔曼滤波，无迹卡尔曼滤波，基于序贯蒙特卡洛(sequential Monte Carlo,SMC)的算法等多种方法，但它们仍存在种种不足。
本文研究的贝叶斯框架下的B-Splines滤波算法，该算法利用B-Splines对状态变量的概率密度函数，转移概率函数进行拟合重构，从而使相关函数以B-Splines的形式参与到贝叶斯滤波的相关运算中。
由于其函数形式是多项式，其积分操作十分方便。
同时，在对概率密度函数进行拟合时对系统不需要任何线性假设。
这使贝叶斯滤波在非线性状态估计问题中得以用非SMC的算法实现。
并且，该算法不存在基于SMC的算法中存在的粒子贫化退化的问题。
从仿真结果来看，其估计精度高于粒子滤波等SMC算法。
该算法中存在大量向量和矩阵操作，对算法进行并行化可使其运行速度大大提高。
本文中采用开源开发工具GPUmat实现了算法的并行化。
仿真结果显示，相对于非并行的实现方式，在现有的并行化方法下，单次循环的加速比可达27.8.关键词：贝叶斯滤波，非线性估计，B-Splines，GPUmat，并行化IABSTRACTABSTRACTTheoretically,Bayesianfiltering can solve nonlinear state estimate problems,how-ever in most practical cases,there is no exact analytic expression for the probability den-sities of the unknown state,which makes the integral in Baysianfiltering process hard to accomplished.To solve this problem,many methods have been brought up such as ex-tended Kalmanfilter(EKF),unscented Kalmanfilter(UKF)and various sequential Monte Carlo(SMC)filters.But there are still imperfections inherently within those algorithms.In this paper,a B-Splines basedfiltering algorithm under the Bayesian framework is ing B-Splines to reconstruct the probability densities of the unknown state and the transition probability function,the reconstructed functions can be applied to the Bayesianfiltering.As the B-Splines are polynomials offixed order,the involved integral operations can be implemented easily.Meanwhile,due to no linear assumptions are required,this algorithm can be used to address nonlinear state estimate problems and implement Bayesianfiltering without SMC methods.Furthermore,this algorithm is free from particle impoverishment and degradation which is inherently in various sequential Monte Carlofilters.Current simulation results shows,its estimate accuracy are higher than sequential Monte Carlofilters like particlefilter.In the proposed algorithm,there exist many operations involved with vectors and matrices.Therefore,the algorithm can be greatly sped up if it runs parallelized.In this paper,we use open source SDK GPUmat to implement the parallelization of the algorithm.Test results show,in the current implementation,a27.8speed-up ratio for each loop can be obtained.Keywords:Bayesianfiltering,nonlinear estimate,B-Splines,GPUmat,parallelizationIII目录第1章概述 (1)1.1贝叶斯滤波 (1)1.2B-Splines (2)1.3贝叶斯框架下B-Splines滤波算法 (2)1.4算法并行化 (3)1.5研究意义及国内外研究现状 (3)1.6本文工作及章节安排 (4)第2章贝叶斯滤波 (5)2.1离散时间随机系统的模型 (5)2.2贝叶斯滤波 (5)2.2.1状态预测 (6)2.2.2状态更新 (6)2.2.3本章小结 (6)第3章B-Splines原理 (7)3.1B-Spline基函数 (7)3.1.1节点 (7)3.1.2由节点生成B-Spline基函数 (9)3.2由B-Spline基函数构造B-Splines (10)3.3B-Splines的相关性质 (11)3.3.1B-Spline基函数的非负性 (11)3.3.2B-Splines的积分与微分 (12)3.4多维B-Splines (12)3.5利用B-Splines进行函数拟合 (12)3.5.1节点类型的选取 (13)3.5.2均匀B-Splines用于函数拟合 (13)3.5.3B-Splines用于函数拟合的局限性 (14)3.5.4本章小结 (14)第4章贝叶斯框架下的B-Splines滤波算法 (15)V4.1状态预测 (15)4.1.1节点选取 (15)4.1.2节点更新 (16)4.1.3预测概率密度函数 (17)4.2状态更新 (18)4.3本章小结 (19)第5章算法实现及其并行化 (20)5.1函数的拟合重构 (20)5.1.1坐标变换 (21)5.1.2采样点的选取 (21)5.1.3系数矩阵Θ的构造 (22)5.2状态预测 (23)5.2.1状态转移函数 (24)5.2.2拟合方法 (26)5.2.3数值方法 (29)5.3状态更新 (30)5.4GPUmat实现并行化 (31)5.5本章小结 (32)第6章仿真算例 (33)6.1函数拟合算例 (33)6.1.1算例描述 (33)6.1.2误差分析 (33)6.2目标跟踪算例 (35)6.2.1算例描述 (35)6.2.2仿真结果及误差分析 (35)6.2.3并行化加速效果 (37)6.2.4本章小结 (39)第7章总结与展望 (40)7.1总结 (40)7.2展望 (40)7.2.1算法实现方式的多样性 (40)7.2.2多维场景下的数值方法 (41)VI参考文献 (42)致谢 (43)外文资料原文 (44)外文资料译文 (47)VII第1章概述第1章概述对于含有系统噪声及观测噪声的离散时间随机系统，根据观测值来估计未知状态变量的滤波算法一直是学术界关注的热点。
非线性滤波算法
SINS/CNS组合导航技术众所周知，SINS和CNS具有很强的互补性。
将CNS与SINS组合，构成SINS／CNS自主组合导航系统，既能有效弥补SINS误差随时间积累的缺陷，又能弥补CNS平台结构设计难度大、结构复杂、成本高的缺陷。
显然，SINS/CNS 自主组合系统兼备了SINS、CNS两者的优点，相互取长补短，不但抗干扰能力强、而且自主性能好，定位精度高，非常适合飞机对导航系统性能的要求。
SINS/CNS组合导航的技术难点1. 需要设计一套具有实时性和可行性的SINS/CNS自主组合导航系统方案，具体化各子传感器技术指标，使得各子传感器指标可考核；各传感器信息既互相兼容、互补和辅助，又能有效地进行信息交换。
2. 在某些特定情况下，系统的线性化数学模型的确能够反映出实际系统或过程的实际性能和特点。
但是，任何实际系统总是存在不同程度的非线性，其中有些系统可以近似看成线性系统，而大多系统则不能仅用线性数学模型来描述，存在于这些系统中的非线性因素不能忽略。
3.SINS/CNS组合导航系统利用CNS输出的位置信息对SINS进行修正，能够克服SINS导航误差随时间积累的缺点，提高导航系统的定位精度。
然而，由于CNS导航系统星图匹配及定位时需要耗用的不等的匹配计算时间，导航数据输出存在时延现象，导致其输出的位置及航向信息具有滞后效应，这将严重影响组合导航的解算精度。
本项目为了贴近实际工程系统，建立的自主组合导航系统模型为非线性数学模型。
显然，卡尔曼滤波不能满足项目需求，必须建立与之相适应的非线性滤波系统。
扩展卡尔曼滤波(Extended KalmanFilter，EKF)在组合导航系统非线性滤波中得到了广泛应用，但它仍然具有理论局限性，具体表现在：(1)当系统非线性度较严重时，忽略Taylor展开式的高阶项将引起线性化误差增大，导致EKF的滤波误差增大甚至发散；(2)雅可比矩阵的求取复杂、计算量大，在实际应用中很难实施，有时甚至很难得到非线性函数的雅可比矩阵；(3)EKF将状态方程中的模型误差作为过程噪声来处理，且假设为高斯白噪声，这与组合导航系统的实际噪声情况并不相符；同时，EKF是以KF为基础推导得到的，其对系统初始状态的统计特性要求严格。
贝叶斯滤波
贝叶斯滤波贝叶斯滤波是在数学和信号处理的科学领域中主要用于处理非线性系统的估计，以及在信号滤波问题中，用于对不确定系统进行信号恢复和分析的方法。
贝叶斯滤波具有许多优点，例如：灵活；易于模型和架构；可以适应不同类型的非线性系统；可以有效地处理不确定性等。
此外，贝叶斯滤波也可以用于分类问题，方便快捷，更易于理解。
贝叶斯滤波的核心思想是对非确定系统的估计，是以统计的不同方法，通过计算出的后验分布来更新状态变量的条件概率估计。
其中，更新状态变量的条件概率估计是指由观测值和预测值计算得出的状态变量的联合概率分布。
通过计算后验分布，就可以求出滤波器的状态变量估计值，从而对外部信号进行恢复和分析。
最基本的贝叶斯滤波方法是卡尔曼滤波，它是由Rudolf Kalman 在1960年提出的。
卡尔曼滤波是指将时间序列模型作为非确定系统，通过计算其当前状态分布，采用贝叶斯定理更新状态变量的条件概率分布。
卡尔曼滤波，也称为统计滤波或时间序列滤波，是许多复杂非线性问题的计算和统计工具。
它具有灵活的模型和架构，可以将这些复杂的非线性问题准确地求解出来。
例如，在航空航天领域，它可以用于精确估计飞行器的状态；在机器人领域，它可以用于估计机器人的位置和姿态；在金融领域，它可以应用于股票、外汇和期货的实时估价。
另外，除了卡尔曼滤波，还有许多替代的贝叶斯滤波算法，包括拟合滤波（Particle Filter）、最大熵滤波（Maximum Entropy Filter）、有监督学习滤波（supervised learning filter）、时变马尔可夫滤波（Time Varying Markov Filter）等等。
拟合滤波是一种粒子滤波算法，主要用于跟踪非线性系统。
粒子滤波可以解决模糊分布和难以表达的非线性系统。
拟合滤波可以跟踪系统的轨迹，使用粒子集合来表示系统的后验分布，并通过每个粒子的状态来采样其参数估计。
最大熵滤波是一种在非线性系统中估计信号参数的最优滤波算法，可以跟踪高噪声信号。
UKF滤波算法
wk ~ N (0, Qk )
v k ~ N (0, Rk )
（1）初始化
ˆ x0 = E [x0 ]
ˆ ˆ P0 = E (x0 − x0 )(x0 − x0 )
[
T
]
（2）状态估计
1.计算Sigma点
ˆ χ k0−1 = xk −1 ˆ χ ki −1 = xk −1 ˆ χ ki −1 = xk −1 +
注意
随机状态变量沿非线性函数的 传播问题是非线性滤波的关 键！
新思路
“近似非线性函数的概率密度分布比 近似非线性函数更容易”
因此，使用采样方法近似非线性分布来解决非 线性滤波问题的途径目前得到了人们的广泛关 注。
粒子滤波
使用参考分布，随机产生大量粒子，近似 状态的后验概率密度，得到系统的估计。 问题：1）计算量甚大，为EKF的若干数量 阶；2）若减少粒子数，估计精度下降。
T
{
}
{
}
}
描述最优状态估值质量优劣的误差协方差 阵确定如下 ˆ = E ( x − x )( x − x )T Y k = P − K P (k )K T ˆk k ˆk Pk k k k y k
{
}
EKF的不足
必须求非线性函数的Jacobi矩阵，对于模型复 杂的系统，比较复杂且容易出错； 引入线性化误差 ，对非线性强度高的系统，容 易导致滤波效果下降。 基于上述原因，为了提高滤波精度和效率，以 满足特殊问题的需要，就必须寻找新的逼近方 法。
增广状态的方差为
⎡ Px ,k ⎢ 0 =⎢ ⎢ 0 ⎣ 0⎤ ⎥ Q 0⎥ 0 R⎥ ⎦ 0
Pa ,k
（1）初始化
非线性系统辨识模型选择方法综述
文献2：Model selection approaches for non-linear system identification: a reviewX. Hong, R.J. Mitchell, S. Chen, C.J. Harris, K. Li and G.W. Irwin. International Journal of Systems Science, 2008,39(10): 925–946非线性系统辨识模型选择方法综述摘要：近20年来基于有限观测数据集的非线性系统辨识方法的研究比较成熟。
由于可利用现有线性学习算法，同时满足收敛条件，目前深入研究和广泛使用的非线性系统辨识方法是一类具有万能逼近能力的参数线性化非线性模型辨识（linear-in-the-parameters nonlinear model identification ）。
本文综述了参数线性化的非线性模型选择方法。
非线性系统辨识最基本问题是从观测数据中识别具有最好模型泛化性能的最小模型。
综述了各种非线性系统辨识算法中实现良好模型泛化性的一些重要概念，包括贝叶斯参数正规化，基于交叉验证和实验设计的模型选择准则。
机器学习的一个显著进步，被认为是确定的结构风险最小化原则为基础的内核模式，即支持向量机的发展。
基于凸优化建模算法，包括支持向量回归算法，输入选择算法和在线系统辨识算法。
1 引言控制工程学科的系统辨识，是指从测量数据建立系统/过程动态特性的数学描述，以便准确预测输入未来行为。
系统辨识2个重要子问题：（1）确定描述系统输入和输出变量之间函数关系的模型结构；（2）估计选定或衍生模型结构范围内模型参数。
最初自然的想法是使用输入输出观测值线性差分方程。
早期研究集中在线性时不变系统，近期线性辨识研究考虑连续系统辨识、子空间辨识、变量误差法（errors-in-the-variable methods ）。
模型质量重要测度是未知过程逼近的拟合精度。
贝叶斯滤波研究及其应用
贝叶斯滤波研究及其应用摘要：滤波的目的是从序贯量测中在线、实时地估计和预测出动态系统的状态和误差的统计量。
贝叶斯滤波被成功地应用在信号处理、目标跟踪、金融等诸多领域，然而其依然面临一些问题有待解决对贝叶斯滤波过程中存在的目标跟踪问题，提出几种典型的贝叶斯滤波方法，如EKF,UKF，PF和UPF等，基于这些方法所构建的框架，对它们进行性能测试和比较。
关键字：贝叶斯滤波；目标跟踪；非线性滤波方法ABSTRACT: The purpose of filtering online from sequential measurements in real time to estimate and predict the dynamic system of state statistics and errors. Bayesian filtering has been successfully applied in signal processing, target tracking, finance and many other areas, but it still faces a number of problems to be solved target tracking Bayesian filtering process, and put forward several typical Bayesian filtering methods such as EKF, UKF, PF and UPF, etc., to build the framework of these methods based on their performance testing and comparison.KEYWORDS: Bayesian filtering;Target tracking; Nonlinear filtering method1 引言贝叶斯方法将未知参数看作是随机变量，使用先验概率和当前观测信息计算后验概率。
贝叶斯滤波原理
贝叶斯滤波原理前言贝叶斯滤波原理是一种基于贝叶斯定理的信号处理算法，广泛应用于目标跟踪、机器人导航、通信系统等领域。
它通过使用已知的先验信息和观测数据，对系统的状态进行估计和预测，实现对未知信号的推断和修正。
本文将从贝叶斯定理、贝叶斯滤波的基本概念、常用的贝叶斯滤波算法等方面，详细探讨贝叶斯滤波原理。
什么是贝叶斯定理贝叶斯定理是由英国数学家贝叶斯提出并发展起来的一种基于概率论的统计推断方法。
它用于描述在观测到一些相关证据后，更新某个假设的概率。
贝叶斯定理可以表示为：P(H|E)=P(E|H)P(H)P(E)其中，P(H|E)是已知观测E的条件下事件H发生的概率，P(E|H)是在事件H发生的条件下观测到E的概率，P(H)是事件H的先验概率，P(E)是观测到E的概率。
贝叶斯滤波的基本概念贝叶斯滤波是一种用于估计系统状态的方法，它结合了先验信息和测量数据来预测和修正系统状态。
在贝叶斯滤波中，我们通常有以下几个概念：系统状态系统状态是我们要估计的未知量，它可以是一个或多个参数或变量的集合。
在目标跟踪中，系统状态可能是目标位置和速度的组合。
系统模型系统模型是描述系统状态变化规律的数学模型，通常以状态转移方程的形式表示。
系统模型可以用来预测下一个时刻的系统状态。
测量模型测量模型是描述观测数据和系统状态之间关系的数学模型。
测量模型可以用来计算给定系统状态下观测数据的概率。
先验概率先验概率是对系统状态在没有任何观测数据的情况下的初始估计。
先验概率可以通过先验知识或历史观测数据得到。
后验概率后验概率是在观测到一些数据后，对系统状态进行更新的概率。
后验概率是贝叶斯滤波的核心结果，它融合了先验信息和观测数据。
常用的贝叶斯滤波算法根据系统模型和测量模型的不同形式，贝叶斯滤波可以有多种具体的算法实现。
下面介绍几种常用的贝叶斯滤波算法。
卡尔曼滤波卡尔曼滤波是一种线性的贝叶斯滤波算法，适用于系统模型和测量模型均为线性的情况。
非线性滤波概念和原理介绍(legend08fda整理)
非线性滤波概念和原理介绍一、背景介绍[1]“估计”就是从带有随机误差的观测数据中估计出某些参数或某些状态变量。
估计问题一般分为三类：从当前和过去的观测值来估计信号的当前值，称为滤波；从过去的观测值来估计信号的将来值，称为预测或外推；从过去的观测值来估计过去的信号值，称为平滑或内插。
滤波理论就是在对系统可观测信号进行测量的基础上，根据一定的滤波准则，对系统的状态或参数进行估计的理论和方法。
1795年，高斯（K.Gauss）提出了最小二乘估计法。
该方法不考虑观测信号的统计特性，仅仅保证测量误差的方差最小，一般情况下这种滤波方法的性能较差。
但该方法只需要建立测量模型（测量方程)，因此目前在很多领域仍有应用。
二十世纪40年代，Weiner和Kolmogorov提出了维纳滤波理论。
维纳滤波充分利用输入信号和量测信号的统计特性推的，不便于实时应用。
V.Kucera于1979年提出了现代维纳滤波方法。
该方法可以直接得到可实现的和显式的维纳滤波器，可处理多维信号和非平稳随机信号。
卡尔曼（R.E.Kalman）于1960年提出了卡尔曼滤波（Kalman Filtering）理论。
该方法是一种时域方法，对于具有高斯分布噪声的线性系统可以得到系统状态的递推最小均方差估计（Recursive Minimum Mean-Square Estimation，RMMSE）；将状态空间模型引入最优滤波理论，用状态方程描述系统动态模型（状态转移模型），用观测方程描述系统观测模型，可处理时变系统、非平稳信号和多维信号；采用递推计算，适宜于用计算机来实现。
该方法的缺点是要求知道系统的精确数学模型，并假设系统为线性、噪声信号为噪声统计特性已知的高斯噪声，计算量以被估计向量维数的三次方剧增。
为了将卡尔曼滤波器应用于非线性系统，Bucy和Sunahara等人提出了扩展卡尔曼滤波（Extended Kalman Filtering,EKF），其基本思想是将非线性系统进行线性化，再进行卡尔曼滤波，它是一种次优滤波。
一种基于非线性滤波算法的厚膜电路视觉检测系统的实现
５ 结束语
综 上 所 述 ，本 项 目构 造 了一 种 利 用 图像 处 理 的 方 法 解 决 了厚 膜 短 路 生 产 中对 基 片 电 路 的 短 路 和 断 路 检 测 的 问题 ，提 出 了基 于 二 阶微 分 原 理 的
【 】Ｍ ａｒ Ｈ ｌｒｔ ．ｈ ｏ ｙｏ ｄ ｅｄ ｔ ｔ ｎＪ ． ｍｐ ｔ ３ ｒ Ｄ， ｉ ｅｈＥ Ｔ ｅ ｒ ｆ ｇ ｅ ｃｉ ［ ｃ ｄ ｅ ｅ ｏ 】 ｏ ｕｅ ｒ
使 用 普 通 的锐 化 方 法 不 能 有 效 的 处理 相邻 线 路 间
的 “ 阴影 ”问题 ，在 滤波 过程 中虽然 会使 图像 的细 节 被 突 出 ，但 同时 由厚 膜 基 片 所 产 生 的大 量 “ 无
关 细 节 ” 造 成 大 量 噪 点 （ 图 ３所 示 ） 也 如 。所 以在
像 做 细化运 算 至单像 素 骨骼 图 ，这时对 图像 矩 阵做 简 单处 理就 可 以得到形 如 图 １ （）的 “—”矩阵 。 ｂ ０１
＝ｆ ）＝ｆ １ 厂 。 ＋ ）一． ∽
（） １
对 式 （）做 关 于 Ｘ的 微 分 可 以得 到二 阶 微 分 １
表达 式
２ ，
－ －
阵 的 灰 度 密 度 为 ａｒ ，最 大 灰 度 为 ｍａ ） ｖ ） ｘ ，最
小 灰 度 为 ｍ ｎ ，若 ．’ １＞ ｎ ｆ ２＞ ， 对 ｉ ） 厂 ）０ａ ｄ ” ）ｏ 则
片 的 图 像 的 灰 度 不 同 ，即 不能 找 到 一 个 确 定 的 阈
值 将 图 像 变 为 可 以 识 别 的 二 值 图 像 ，又 由于 线 路 密 度较 高 ，普通 锐化 图像 突 出线路 的方 法不 能满 足 要 求 ，在这 个项 目里 ，特 别设 计 了一个 基于 二阶 微
非线性贝叶斯滤波算法综述_曲从善
2
2. 1
基于函数近似的非线性滤波算法
基于泰勒级数展开的非线性滤波算法 Taylor- series Expansion( TSE) 是处理非线性 函
[ 19]
运动状态的一步滞后和滤波值后, 将状态演化非线 性方程和量测方程重新进行线性化, 进行多次迭代, 然而, EKF 的本质局限性仍无法克服。 2. 2 基于插值展开的非线性滤波算法 从上节的分析可知 , 一个好的非线性滤波算法 的关键是找到一个好的非线性函数的线性逼近 , 这就把非线性 滤波和函数逼近紧密地 联系在了一 起。函数逼近是一个比较成熟的数学分支 , 有很多
1
非线性递归 Bayesian 滤波算法概述
考虑离散时间非线性动态系统 x k + 1 = f ( xk , w k ) y k = h ( xk , v k )
n n n n [ 18]
: ( 1) ( 2)
其中, k I N 是时间指标 , xk I R 是 k 时刻的状态向 量, f : R @ R y R 是系统状态演化映射 , 而 w k 是 n 维过程演化噪声 , y k I R 是 k 时刻对系统状态的量
确定性采样近似 UKF Square- root UKF Gaussian mixture UKF
随机采样近似 PF Unscented PF, Regularized PF ( RPF) Markov Chain Mont e Carlo Method Rao- Blackwellised PF, Assistant PF
得了很多有价值的研究成果。本文从递归贝叶斯估 计的框架出发, 给出非线性滤波的统一描述, 并分门 别类地对各种非线性滤波的原理、 方法及特点做出 分析和评述, 最后介绍了非线性滤波研究的新动态 , 并对其发展作了简单展望。
《非线性滤波》PPT课件
f (xn-1)N
xn-1;
xˆ n-1
n-1
,
pXX n-1
n-1
dxn-1
PXX n n1
Q
f (xn-1) f T (xn-1)N
xn-1;
xˆ n-1
n-1,
pXX n-1
n-1
dxn-1 xˆ n|n1xˆTn|n1
设
n时刻先验概率为高斯分布：
p
xn y1:n1
N
xn
;
xˆ n
基于高斯积分无色变换的卡尔曼滤波粒子滤波器信号模型滤波方法非线性滤波通用贝叶斯非线性滤波加性高斯噪声非加性高斯噪声重采样粒子滤波器无重采样粒子滤波器sequentialimportancesamplingparticlefiltersispfbootstrapparticlefilterbpf基于高斯分布的粒子滤波器?高斯积分粒子滤波器?无色粒子滤波器?mc粒子滤波器粒子退化问题
dxn
PYY n n1
h(xn )hT (xn )N
xn
;
xˆ n
n-1,
p XX n n-1
dxn yˆ n|n1yˆTn|n1 R
PXY n n1
xnhT (xn )N
xn
;
xˆ n
n-1
,
pXX n n-1
dxn xˆ n|n1yˆTn|n1
求解：
g(x)
g(x)N(x;xˆ, Σ)dx
[2]A.J.Haug, A tutorial on bayesian estimation and tracking techniques applicable to nonlinear and non-Gaussian Processes, MTR 05W0000004,July,2005
非线性系统的几种滤波算法研究
Dissertation Submitted to Hangzhou Dianzi Universityfor the Degree of MasterResearch on Several Filtering Algorithms with Non-linear SystemCandidate: Xu DaxingSupervisor: Prof. Wen ChenglinNovember, 2013杭州电子科技大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。
除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品或成果。
对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。
申请学位论文与资料若有不实之处，本人承担一切相关责任。
论文作者签名：日期：年月日学位论文使用授权说明本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。
本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大学。
学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。
（保密论文在解密后遵守此规定）论文作者签名：日期：年月日指导教师签名：日期：年月日摘要随着现代科学技术的快速发展，尤其是通信技术、信息技术和计算机技术等在众多民用和国防领域的广泛应用，使得现代控制系统的信号常表现出非线性、噪声相关和非高斯等复杂特性，从而导致非线性系统的滤波算法设计不仅面临诸多新的问题和挑战，而且又具有重要的理论意义和应用价值。
由于系统噪声的相关性和非高斯特性，使得现有众多非线性滤波算法不能满足该类复杂系统的应用需求，因此如何有效地设计出噪声相关和非高斯情况下的非线性滤波已成为提高非线性滤波方法应用能力的有效途径之一。
《非线性滤波》课件
VS
无迹卡尔曼滤波采用无迹变换来处理 非线性函数，从而能够更准确地描述 状态变量的概率分布。与扩展卡尔曼 滤波相比，无迹卡尔曼滤波具有更高 的计算效率和更好的估计性能，因此 在许多领域得到广泛应用。
容积卡尔曼滤波
容积卡尔曼滤波是一种结合了容积方法和卡尔曼滤波的算法。
容积卡尔曼滤波利用容积方法来计算状态变量的后验概率分布，并通过卡尔曼滤波来递归更新状态变量的估计。容积卡尔曼 滤波具有较高的计算效率和较好的估计性能，在许多实际应用中表现出色。
非线性滤波
目录
• 非线性滤波简介 • 非线性滤波算法 • 非线性滤波的应用 • 非线性滤波的优缺点 • 非线性滤波的未来发展
01
非线性滤波简介
定义与概念
非线性滤波是一种信号处理方法，通过非线性数学模型对信 号进行变换，以实现信号的提取、增强或抑制。非线性滤波 器能够处理那些线性滤波器无法处理的信号，如非线性的、 非平稳的、噪声干扰严重的信号。
03
非线性滤波的应用
导航定位
定位精度提高
非线性滤波算法能够处理多传感器融 合的数据，通过复杂的算法处理，提 高定位精度。
动态环境适应性
在动态环境中，非线性滤波能够实时 调整模型参数，以适应环境变化，保 证定位的准确性。
无人驾驶
传感器数据处理
无人驾驶车辆通过各种传感器获取数 据，非线性滤波能够对这些数据进行 有效处理，提取有用的信息。
3
可能产生失真
非线性滤波算法可能会对信号造成一定程度的失 真，因为它们会改变信号的原始特性。
05
非线性滤波的未来发展
算法改进
优化算法
随着计算能力的提升，非线性滤波算法将进一步 优化，提高计算效率和精度。
免微分非线性Bayesian滤波方法评述
免微分非线性Bayesian滤波方法评述程水英;邹继伟;汤鹏【期刊名称】《宇航学报》【年(卷),期】2009(030)003【摘要】以非线性递推Bayesian滤波问题的求解及其历史渊源为起点,分两类对各种免微分非线性Bayesian滤波方法或免微分方法的原理和算法进行了评述:一类是以线性最小均方误差最优估计子为特点的免微分高斯滤波,包括无味卡尔曼滤波、均差滤波器、中心差分滤波器和Gauss-Hermite滤波器或积分卡尔曼滤波器;另一类是后验密度数值逼近免微分方法,包括栅格法(GBMs)与近似栅格法、矩近似法和以粒子滤波为代表的Monte Carlo方法.其中还包括了作者的一些最新研究成果,如迭代UKF算法、裂变自举PF算法和关于粒子滤波算法有限收敛界的概念等.之后从加权统计线性回归的角度对两类免微分方法进行了统一认识,统一为以数值方法为特点的广义PF.为了建立一个关于各种免微分算法性能的整体印象,论文还通过一个复杂的递推非线性滤波估计例子,用MonteCarlo仿真实验的方法对7种典型的免微分方法和和传统的EKF算法进行了比较研究.最后对两类免微分方法进行了简单的比较,并指出了进一步研究的方向.【总页数】16页(P843-857,876)【作者】程水英;邹继伟;汤鹏【作者单位】电子工程学院,合肥,230037;电子工程学院,合肥,230037;73677部队,南京,210016【正文语种】中文【中图分类】TN911.7【相关文献】1.机载LiDAR数据滤波方法评述 [J], 黄先锋;李卉;王潇;张帆2.小波域非Bayesian滤波方法研究 [J], 魏文畅;杨俊杰;蔡建立3.基于跟踪微分器的莫尔条纹信号滤波方法研究 [J], 鲍克勤;卢丹;马翔;张雪健;倪蓉4.基于滑动最速跟踪微分器的遥测数据滤波方法 [J], 张科;姜海旭;王靖宇5.一种基于Bayesian准则和MRF模型的SAR图像滤波方法 [J], 王青;徐新;管鲍;孙洪因版权原因，仅展示原文概要，查看原文内容请购买。
非线性滤波算法性能对比
非线性滤波算法性能对比刘德春;谭信【摘要】随着目标运动的多样性和复杂化，雷达非线性目标跟踪算法越来越受到重视。
本文对目前非线性滤波的主要算法即扩展卡尔曼滤波、不敏卡尔曼滤波、粒子滤波的滤波模型、适用条件、性能进行了分析比较，通过一个非线性非高斯模型进行了仿真，验证了这些算法的性能，仿真结果表明非线性条件下粒子滤波算法要明显优于其它两种滤波算法。
%With the goal of the diversity and complexity of motion, nonlinear target tracking of radar is paid more and more attention.This paper present the main algorithms of the nonlinear filter extended Kalman filter,Unscented Kalman filter, particle filter the filter model,applicable conditions,performance is analyzed and compared,a non-linear and non-Gaussian model was simulated to verify the performance of these algorithms, simulation results show that the particle filter under nonlinear conditions is much better than the other two filtering algorithms.【期刊名称】《电子设计工程》【年(卷),期】2011(019)013【总页数】3页(P49-51)【关键词】非线性滤波；扩展卡尔曼滤波；不敏卡尔曼滤波；粒子滤波【作者】刘德春;谭信【作者单位】阿坝师范高等专科学校电子信息工程系，四川郫县611741;电子科技大学电子工程学院,四川成都611731【正文语种】中文【中图分类】TN957现在多传感器联合目标跟踪已经十分广泛，由于被动传感器不发射信号，只是被动的接受信号，因此只能测量目标的角度信息，而不能测量距离，因此状态方程和测量方程都是非线性的，因此非线性滤波算法得到了越来越广泛的研究和应用[1]。
一种非线性系统参数辨识的耦合算法研究
一种非线性系统参数辨识的耦合算法研究付华;乔德浩;池继辉【摘要】针对工程复杂性、时变性、非线性的特点,提出了基于混沌免疫粒子群算法(CIPSO)与El-man神经网络的耦合算法(CIPSD-ENN),用于非线性动态模型参数辨识.CIPSO优化算法将人工免疫系统中的克隆选择和混沌优化机制引入粒子群算法,在粒子群种群进化过程中.该算法对粒子进行克隆选择,提高其收敛速度,对克隆后的粒子混沌变异以增强种群局部搜索能力,最后,CIPSO与动态反馈型Elman神经网络融合,对其权值、阈值寻优,建立了基于CIPSO和ENN的耦合算法系统辨识模型.实验结果表明,算法具有收敛速度快、收敛精度高、鲁棒性强的特点,与单纯Elman网络辨识相比,模型收敛速度提高了10倍,拟合精度提高了2个数量级.%Aiming at the complexity, time varying and nonlinearity of the projects, a CIPSO-ENN coupling algorithm for identifying the parameters of nonlinear dynamic models is proposed, where the clonal selection of artificial immune system and chaotic mutation mechanism are embedded into standard particle swarm optimization.In the evolution of the particle swarm optimization population, this algorithm accelerates convergence of particle clonal selection and enhances the particle swarm local search capability after cloned particle chaotic mutation.Then CIPSO algorithm is merged with dynamic feedback Elman neural network to construct system identification model based on the CIPSO-ENN.The experiment results show that the identification model convergence rate is increased by 10 times and fitting accuracy is increased by 2 orders of magnitude compared with the pure Elman network identification method.【期刊名称】《西安交通大学学报》【年(卷),期】2011(045)002【总页数】5页(P49-53)【关键词】混沌算法;克隆选择;Elman神经网络;耦合算法;非线性动态系统【作者】付华;乔德浩;池继辉【作者单位】辽宁工程技术大学电气与控制工程学院,125105,辽宁,葫芦岛;辽宁工程技术大学电气与控制工程学院,125105,辽宁,葫芦岛;辽宁工程技术大学电气与控制工程学院,125105,辽宁,葫芦岛【正文语种】中文【中图分类】TP183动态反馈型Elman神经网络(ENN)具有很强的非线性动态映射能力,是一种极具潜力的非线性系统辨识工具,能为非线性参数的辨识提供一种行之有效的方法[1].为了提高Elman网络模型的辨识性能,避免出现参数辨识过程中收敛速度慢和易收敛于局部极小点导致辨识误差过大的问题,本文将擅长全局搜索的混沌免疫粒子群算法(CIPSO)与Elman神经网络进行有机结合,提出基于CIPSO的Elman神经网络的耦合算法(简称CIPSO-ENN),采用数学方式建立CIPSO-ENN非线性参数辨识模型.通过CIPSO搜寻ENN最合适的一组权值和阈值,使辨识的目标函数值最小,实现辨识模型的输出接近输出的目标期望值,达到非线性参数辨识的目的.SPSO算法是将群体中的每个个体视为多维搜索空间中一个没有质量和体积的粒子,这些粒子在搜索空间以一定的速度飞行,并根据粒子本身的飞行经验以及同伴的飞行经验,对自己的飞行速度进行动态调整,即每个粒子通过统计迭代过程中自身的最优值和群体的最优值不断地修正自己的前进方向和速度,从而形成群体巡游的正反馈机制[2-5].设在一个D维搜索空间中,存在一个由N个粒子组成的群体,群体中第t次迭代时粒子i的位置表示为Xi=(xi1,xi2,…,xiD),相应的飞行速度表示为Vi=(vi1,vi2,…,viD),i=1,2,…,N.将 Xi带入目标函数可得到其适应值.记第i个粒子搜索到的最优位置为Pi=(pi1,pi2,…,piD),整个粒子群搜索到的最优位置为Pg=(pg1,pg2,…,pgD),粒子状态更新操作为式中:i=1,2,…,N;d=1,2,…,D;r1、r2为[0,1]之间的随机数;c1、c2为加速度因子;w为惯性因子.为加快收敛速度,同时保持粒子群的多样性,本文引入混沌算法和人工免疫系统中的克隆选择机制.将目标函数和约束条件视为抗原,粒子群视为抗体,将亲和度高的抗体按与其亲和度成正比进行克隆[6],与亲和度成反比进行混沌变异;将亲和度低的抗体按一定比例重新初始化,以保证多样性.基于混沌克隆选择的PSO算法的基本思路是:抗体在初始化后,首先利用式(1)、式(2)指导其“飞行”的方向,为加快收敛速度,选择亲和度高的抗体进行克隆操作,使抗体更多的聚集在“好”位置的附近;再对克隆后的抗体进行混沌变异,使抗体往“好”位置附近的各个方向进行搜索;最后抛弃亲和度最差的抗体,将它们重新初始化,以保证种群的多样性.本文针对克隆扩增和超突变现象设计混沌克隆算子,设当前群体按式(1)、式(2)对所有粒子(抗体)的速度和位置进行更新后得到新的种群PK={X1,X2,…,Xn}.根据抗体抗原亲和度排序,亲和度最高的M个抗体组成精英克隆种群SK,剩下的(N-M)个抗体组成种群LK,精英种群规模M是一个变量,设抗体亲和度函数为f(X),则SK表示为精英种群SK中的M 个抗体X1,X2,…,XM的亲和度为f1,f2,…,fM,根据种群规模N 和抗体亲和度,Xj克隆为qj个相同的点Xj1,Xj2,…,Xjqj由式(4)可知,抗体 Xi的亲和度越高,抗体克隆的数目越多.则由dj组成种群D′K,由子代种群D′K和初始种群SK合并,选择竞赛规模Q,通过锦标联赛的方式[8],形成新一代精英种群SK+1.混沌克隆算子通过空间的扩展与压缩,有效地提高局部寻优能力.对于种群LK,模拟生物克隆选择中B细胞自然消亡的过程,在LK中选择d个亲和度最低的抗体,运用消亡算子Γ(*)予以抛弃,将其重新初始化,得到LK+1,可保持种群的多样性式中:L、U分别表示抗体X的取值范围的下、上界.对种群进行更新、克隆、变异等操作后,得到新一代种群如此循环进行下一次种群更新操作,直到达到期望结果.为了验证CIPSO算法的寻优性能,采用多峰、非凸的peaks函数作为优化问题的测试对象,分别用CIPSO算法与SPSO算法对其求解优化peaks的minf(x,y).函数表达式为粒子群规模为20,加速因子c1=c2=2,最大迭代次数为50,惯性权值w随迭代次数从0.9到0.4线性减小,竞赛规模Q=10.经过50次迭代实验结果如图1所示由图1可以看出,本文提出的CIPSO算法比标准PSO算法的全局寻优能力以及收敛精度、收敛速度都有明显改进.静态前馈神经网络对时变、动态系统进行辨识,其实质是将动态时间建模问题变为一个静态空间建模问题,这必然存在许多问题[9].在系统辨识过程中,为提高辨识的准确性,常以网络的结构膨胀为代价,导致系统学习速度下降.具有动态特性和递归作用的Elman神经网络则具有内部反馈、存储和利用过去时刻输入、输出信息的特点,除了能解决静态系统的建模问题外,还能实现动态系统的映射并更加直接地反映系统的动态特性,比前向神经网络系统具有更强的计算能力和网络稳定性[10].如图2所示,Elman神经网络一般分为4层:输入层、隐含层、结构层和输入层.对于非线性系统,Elman神经网络的隐含层单元个数就是状态变量的个数,即系统的阶次.Elman神经网络只需一个输入单元和一个输出单元.如果有n个结构单元,则隐含层的输入有n+l个,与静态网络所要求的神经元个数相比大为减少.Elman神经网络自身具有动态环节,无需使用过多的系统状态输入,从而减少了输入层的单元个数.此外,Elman神经网络的动态特性仅由内部的连接提供,无需使用状态作为输入或训练信号,这也是Elman神经网络相对于静态前馈网络的优越之处,非常适合于动态系统辨识[11].但是,在执行过程中,Elman神经网络算法网络参数每次调整的幅度为一个与网络误差函数或其对权值的导数成正比的项乘以固定的学习率η,在误差曲面平坦处误差下降很慢,在曲面曲率大处,误差函数最小点附近会发生过调整现象,从而引起震荡.大量的数值仿真研究表明,由于Elman神经网络结构的复杂性,不同权值和阈值对同一样本的收敛速度不同[12],从而使Elman神经网络算法存在学习速度慢、精度低和鲁棒性差等缺陷,无法满足工程应用的需要.CIPSO的搜索能够遍及整个解空间,容易得到全局最优解,且不要求目标函数连续、可微,甚至不要求目标函数有显函数的形式,只要求问题可计算.因此,将擅长全局搜索的CIPSO与 Elman神经网络进行有机结合,形成CIPSO-ENN算法,能有效提高Elman神经网络辨识性能.在CIPSO训练Elman神经网络时,首先定义粒子群位置向量X是以Elman网络全体节点之间的连接权值和节点的阈值组成粒子的位置参数式中:W1为神经网络输入层与隐含层间的连接权值;W2为结构层与隐含层间的连接权值;W3为隐含层与输出层间的连接权值;θ1为隐含层阈值;θ2为输出层阈值.若Elman网络输入节点数是V1,结构层节点数是V2,隐含层节点是V3,输出节点数是V4,则CIPSO搜索空间维数为采用CIPSO搜寻Elman网络最合适的一组权值和阈值,是通过参数的调整和优化,从而使得Elman网络的输出最接近输出的目标期望值,使网络输出和理想输出的误差平方和指标(适应值)达到最小,实现非线性动态系统的辨识.定义适应度函数为式中:N为训练样本数;O为输出神经元数;ydji为输出样本值;yji为实际值.(1)确定种群规模Na,适应阈值ε,最大迭代次数 Gmax,学习因子 c1、c2.(2)随机初始化种群,确定每个粒子(抗体)的初始位置和速度.(3)根据粒子(抗体)Xi和训练样本,按式(14)计算每个粒子(抗体)的亲和度,并更新Pi 和Pg.(4)若达到结束条件,算法终止.(5)按式(1)、式(2)对所有粒子(抗体)的速度和位置进行更新,并限制其不超过边界.(6)对于当前种群Pk,根据抗体抗原亲和度排序,选出亲和度最高的M个粒子(抗体)组成精英克隆种群SK,剩下的(N-M)个粒子(抗体)组成种群LK.(7)对种群SK中的粒子(抗体)进行克隆、混沌变异和选择操作,得到新一代精英种群SK+1.(8)在种群LK中取得d个亲和度最低的粒子(抗体),运用消亡算子予以抛弃,将其重新初始化得到新种群LK+1.分别采用CIPSO-ENN耦合算法、Elman网络算法对非线性函数 f1(x)进行计算,并比较其拟合程度与收敛性能.f1(x)表达式为在数值实验中,两种算法均随机选取100个样本作为网络的训练输入,其输出作为相对应的测试输出,以此构成网络的训练样本集.网络的输入节点数V1=1,隐含层节点数V2=20,结构层节点数V3=20,输出层节点数V4=1,网络的隐含层神经元的激发函数选用sigrnofd函数,输出层神经元的激发函数采用Pureline函数.粒子群规模为20,加速因子c1=c2=2,最大迭代次数Iter max=600,惯性权值w随迭代次数从0.9到0.4线性减小,竞赛规模Q=10.由图3、图4可以看出,CIPSO-ENN耦合算法得到的拟合曲线几乎与原函数完全重合,比Elman网络算法具有更好的逼近效果.CIPSO-ENN辨识模型最大拟合误差为2.385×e-6,Elman辨识模型最大拟合误差为1.267×e-2.为了使结果更加直观,对最大拟合误差取自然对数,结果见图5.由图5可以看出,CIPSO-ENN算法收敛速度明显快于Elman算法,而且在迭代次数相同的情况下,具有相对更高的精度和收敛效果.显然,本文提出的算法具有很高的搜索效率和很强的鲁棒性,能够实现任意非线性函数的逼近以及对非线性多参数的实时辨识.本文将克隆选择和混沌算法与粒子群优化算法结合,提出了一种混沌免疫粒子群优化算法.该算法具有收敛速度快、收敛精度高、鲁棒性强的特点,将其与具有动态反馈型Elman神经网络算法相结合,对Elman网络的权值与阈值进行训练.实验表明,本文提出的CIPSO-ENN耦合算法对动态非线性模型的辨识比传统Elman算法具有明显的优越性.【相关文献】[1] GERNASKY M,BENUSKOVA L.Simple recurrent network trained by RTRL and extended Kalmann filter algorithm[J].Neural Network World,2003,13(3):223-234.[2] 陈贵敏,贾建援,韩琪.粒子群优化算法的惯性权值递减策略研究[J].西安交通大学学报,2006,40(1):53-56.CHEN Guimin,JIA Jianyuan,HAN Qi.Study on the strategy of decreasing inertial weight in particle swarm optimization algorithm[J].Journal of Xi′an JiaotongUniversity,2006,40(1):53-56.[3] 潘峰,陈杰,甘明刚,等.粒子群优化算法模型分析[J].自动化学报,2006,32(3):368-377.PAN Feng,CHEN Jie,GAN Minggang,et al.Model analysis of particle swarmoptimizer[J].Acta Automatica Sinica,2006,32(3):368-377.[4] HOLAND J.Emergence:from chaos to order[M].Redwood City,California:Addison Wesley,1998.[5] 杨维,李歧强.粒子群优化算法综述[J].中国工程科学,2004,6(5):87-94.YANG Wei,LI Qiqiang.Survey on particle swarm optimization algorithm [J].EngineeringScience,2004,6(5):87-94.[6] 陈曦,蒋加伏.免疫粒子群优化算法求解旅行商问题[J].计算机与数字工程,2006,34(6):10-29. CHEN Xi,JIANG Jiafu.Particle swarm optimization algorithms with immunity for traveling salesman problems[J].Computer and Digital Engineering,2006,34(6):10-29.[7] 尤勇,王孙安,盛万兴.新型混沌优化方法的研究及应用[J].西安交通大学学报,2003,37(1):69-72. YOU Yong,WAN G Sun′an,SHENG Wanxing.New chaos optimization algorithm with application[J].Journal of Xi′an Jiaotong University,2003,37(1):69-72.[8] SCHWEFEL H P.Evolution and optimum seeking[M].New York,USA:Wiley,1995.[9] 王峰,邢科义,徐小平.系统辨识的粒子群优化方法[J].西安交通大学学报,2009,43(2):116-119. WANG Feng,XING Keyi,XU Xiaoping.A system identification method using particle swarm optimization[J].Journal of Xi′an Jiaotong University,2009,43(2):116-119.[10]葛宏伟,梁艳春.进化Elman神经网络模型与非线性系统辨识[J].吉林大学学报:工学版,2005,35(5):511-519.GE Hongwei,LIANG Yanchun.Evolutionary Elman neural network model and identification for non-linear systems[J].Journal of Jilin University:Engineering and Technology Edition,2005,35(5):511-519.[11]李秀英,韩志刚.非线性系统辨识方法的新进展[J].自动化技术与应用,2004,23(10):5-7.LI Xiuying,HAN Zhigang.Advances in nonlinear system identification[J].Techniques of Automation&Application,2004,23(10):5-7.[12]时小虎,梁艳春,徐旭.改进的Elman模型与递归反传控制神经网络[J].软件学报,2003,14(6):1110-1119.SHI Xiaohu,LIANG Yanchun,XU Xu.An improved Elman model and recurrent back-propagation control neural networks[J].Journal of Software,2003,14(6):1110-1119.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
等等都属于这类
系统。非线性滤波问题是对非线性随机动态系统的 最优状态估计。因为大多数的非线性随机动态系统 都是非线性和P 或非高斯的, 因此找到有效的滤波方 法, 从序贯量测中在线、 实时地估计和预测出动态系
收稿日期 : 2007 - 05 -17 修回日期 : 2007 -07 - 05
递归 Bayesian 滤波的步骤如下: 1) 假 定 在 k - 1 时 刻 已 经 获 得 了 p ( x k - 1 | Yk - 1 ) , 那么状态一步预测的概率密度函数是 p ( xk | Yk- 1 ) = p( x Q
k
, 另
外, EKF 在滤波前 必须计算非线 性模型 的 Jacobian 矩阵, 对于高维的复杂模型 , 过程繁琐且容易出错。 因此 , 寻找更加有效的滤波算法和方法 , 来解决非线 性动态系统的滤波问题成为国内外很多科研人员研 究的一个热点。 近年来 , 越来越 多的学者致力 于 UKF 基于随机采样的 PF Carlo( MCMC)
x p( x Q
k ^ T
k
| Yk ) d xk
( 3)
Q
( x k - xk ) ( xk - x k ) p ( x k | Yk ) d xk ( 4)
^
式( 3) 可以推广到状态函数的估计而不是状态本身 的估计 , 因此, 后验概率密度函数 p ( xk | Yk ) 在滤波 理论中起着非常重要的作用。 p ( xk | Yk ) 封 装了状 态向量 x k 的所有信息 , 因为它同时蕴含了量测 Yk 和先验分布 x k - 1 的信息。在给定先验密度 p ( x k - 1 | Yk - 1 ) 以及最近的观测 y k 时 , 通过式 ( 5) 所示的贝叶 斯定理来计算后验概率密度
; 而对
于非线性系统来说, 要得到精确的最优滤波解是困 难甚至不可 能的 , 因为 它需 要处理 无穷 维积 分运 算 波
[ 6- 7] [ 8- 17]
, 为此人们提出了大量次优的近似非线性滤 , 这些近似非线性滤波可以归为 3 类 : 1) 解
作者简介 : 曲从善 ( 1980- ) , 男 , 河南商水人 , 博士 生 , 主 要研 究方向为 非线 性滤 波、 信 息 融合、 组合 导 航与 制 导。
析近似 ( 函数近似) 的方法; 2) 基于确定性采样的方 法 ; 3) 基于仿真的滤波方法。其中应用最为广泛的 是扩展卡尔曼滤波 ( EKF) , 它是函数近似非线性滤 波的典型代表。EKF 通过对 非线性模型进 行基于
第8期
曲从善等 :
非线性贝叶斯滤波算法综述
65 p ( Yk | xk ) p ( x k ) p ( Yk ) ( 5)
^
在递归贝叶斯估计中, 根据不同的假设条件 , 对 p ( xk | Yk ) 的计算也存在多种解决方法 , 当动态系统 满足线性高斯假设时 , 可通过 KF 求得最优解 , 当动 态系统是非线性时, 递归贝叶斯估计中的高维积分 运算通常是难解问题 , 为了缓解非线性贝叶斯估计 的计算压力 , 出现了许多次优的近似方法 , 如扩展卡 尔曼滤波( Extended Kalman Filt er, EKF) , 分开差分滤 波 ( Divided Difference Filter, DDF ) , 中 心 差 分 滤 波 ( Central Difference Filter, CDF) , 无味卡尔曼滤波 ( Un scented Kalman Filter, UKF) 以及粒子滤波 ( Part icle Fil ter, PF) 等。按照近似方法的不同, 可以把上述这些 非线性滤波分为 4 类, 如表 1 所示。
2
2. 1
基于函数近似的非线性滤波算法
基于泰勒级数展开的非线性滤波算法 Taylor- series Expansion( TSE) 是处理非线性 函
[ 19]
运动状态的一步滞后和滤波值后, 将状态演化非线 性方程和量测方程重新进行线性化, 进行多次迭代, 然而, EKF 的本质局限性仍无法克服。 2. 2 基于插值展开的非线性滤波算法 从上节的分析可知 , 一个好的非线性滤波算法 的关键是找到一个好的非线性函数的线性逼近 , 这就把非线性 滤波和函数逼近紧密地 联系在了一 起。函数逼近是一个比较成熟的数学分支 , 有很多
| xk ) p ( x k | Yk- 1 ) d xk ( 7)
滤波和 Markov Chain Monte
等非线性滤波技术的研究 , 并取
3) 在 k 时刻 , 已经获得新的量测数据 y k , 可利 用贝叶斯公式计算得到后验概率密度函数 p ( xk | Yk ) = p ( y k | xk ) p ( x k | Yk - 1 ) p ( y k | Yk - 1 ) ( 8)
m m
测向量, h k : R @ R y R 是量测映射 , 而 v k 是 m 维
n m
量测噪声。 所谓 Bayesian 滤波问题 , 就是在每个时刻 k , 利 用所获得的实时量测 Yk = y 1 , y 2 , ,, y k 求得状态
图1 递归 Bayesian 估计的预测和 更新过程
xk 的后验概率密度函数 p ( x k | Yk ) , 从而得到 k 时刻 的状态估计及其估计误差的协方差阵, 即 xk = E ( xk | Yk ) = Pk =
1பைடு நூலகம்
非线性递归 Bayesian 滤波算法概述
考虑离散时间非线性动态系统 x k + 1 = f ( xk , w k ) y k = h ( xk , v k )
n n n n [ 18]
: ( 1) ( 2)
其中, k I N 是时间指标 , xk I R 是 k 时刻的状态向 量, f : R @ R y R 是系统状态演化映射 , 而 w k 是 n 维过程演化噪声 , y k I R 是 k 时刻对系统状态的量
Taylor 级数展开 的线性化处理 , 得到一阶近似 项作 为原状态方程和量测方程的近似表达形式。 EKF 虽 然简单易于实现 , 但是在线性化过程中引入了模型 误差 , 往往使得状态的估计值产生较大的偏差 , 不能 满足 精度的要 求, 甚 至可能导 致滤波发 散
[ 6, 10]
p ( xk | Yk ) =
A survey of nonlinear Bayesian filtering algorithms
QV Cong - shan, XU Hua - long, TAN Ying
( The Second Artillery Engineering College , Xi. an 710025, China )
[ 2- 4]
0
引言
在实际应用问题中, 非线性随机动态系统是广
统一描述。递归贝叶斯估
泛遇到的一类系统, 诸如火箭的制导和控制系统, 飞 机和舰船的惯性导航系统 , 卫星轨道P 姿态的估计 , 组合导航 , 雷达或者声纳的探测
[ 1]
计的核心思想是基于所获得的量测求得非线性系统 状态向量的概率密度函数 , 即所谓的系统状态估计 完整描述的后验概率密度函数。对线性系统而言, 最优滤波的闭合解就是著名的卡尔曼滤波
得了很多有价值的研究成果。本文从递归贝叶斯估 计的框架出发, 给出非线性滤波的统一描述, 并分门 别类地对各种非线性滤波的原理、 方法及特点做出 分析和评述, 最后介绍了非线性滤波研究的新动态 , 并对其发展作了简单展望。
由上面的计算过程可以看出, 递归贝叶斯估计 有两个步骤, 即式 ( 6) ( Chapman- Kolmogoro equation, CK 方程) 所示的贝叶斯预测 步骤 ( 时间更新 ) 和式 ( 8) 所示的修正步骤 ( 量测更新 ) , 其 过程如图 1 所 [ 17] 示 。
确定性采样近似 UKF Square- root UKF Gaussian mixture UKF
随机采样近似 PF Unscented PF, Regularized PF ( RPF) Markov Chain Mont e Carlo Method Rao- Blackwellised PF, Assistant PF
[14- 15] [ 12- 13] [ 11]
| x k- 1 ) p ( x k- 1 | Yk- 1 ) dx k- 1
( 6) 2) 在已经获得 p ( xk | Yk - 1 ) 基础上, 计算得到量 测一步预测的概率密度函数是 p( y Q
滤波 ,
p ( y k | Yk- 1 ) =
k
Abstract :
The main goal of filtering is to obtain, recursively in time, optimal estimation and prediction of the
dynamical systems and error stat ist ics from the sequential observations. Various nonlinear f iltering algorithms are reviewed and interpreted in a unif ied way using the recursive Bayesian estimat ion. According to different approxi mation methods, these approximate nonlinear f ilters can be categorized into three types: analytical approximations, deterministic- sampling based approaches, and stochastic- sampling based filters. Then the principles, methods and characterist ics of above nonlinear filters are analyzed and reviewed in detail. Finally, some representative new developments of the nonlinear filtering are described, and further research prospects are introduced. Key words: filter; nonlinear filtering; recursive Bayesian estimation; differential filter; unscented Kalman particle filter 统状态和误差的统计量 , 成为科研人员面临的重要 挑战。广义上来讲, 非线性最优滤波的一般方法可 以由递归贝叶斯方法