最优估计方法综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主要内容
一、概 述 二、最小方差估计与线性最小方差估计 三、极大似然法估计与极大验后法估计 四、最小二乘法估计与加权最小二乘法估计 五、递推最小二乘法估计
概 述
在科学和技术领域中，经常遇到“估计”问 题。所谓“估计”，就是对受到随机干扰和随机 测量误差作用的物理系统，按照某种性能指标为 最优的原则，从具有随机误差的测量数据中提取， 信息估计出系统的某些参数状态变量。这就提出 了参数和状态估计问题。这些被估参数或被估状 态可统称为被估量。
ˆ E J E x x x az b
2
2
min
的条件来确定系数 a 和 b 。
极大似然法估计与极大验后法估计
（一）、极大似然法估计
极大似然法估计是以观测值出现的概率为最大作为估 计准则的，它是一种常用的参数估计方法。 设 z 是连续随机变量，其分布密度为z1 , z2 , , zk ，含有 个未知参数1 ,2 , ,n 。把 个独立观测值z1 , z2 , , zk 分别 代入p z,1 , 2 , , n 中的 ，则得
2 ˆ x x ˆ p x dx min J E x x 2
最小方差估计与线性最小方差估计
(二)、线性最小方差估计
线性最小方差估计就是估计值为观测值的线性函数， 估计误差的方差为最小。在使用这种方法时，需要知道观 测值和被估值的一、二阶矩，即数学期望E z 和 E x 、方 Cov z , x 。 差Varz和Varx及协方差 Cov x, z 和 根据估计误差的方差
J zi f ti zi f x1 , x2 ,
2 i 1 i 1 m m
, xn , ti
2
最小二乘法估计与加权最小二乘法估计
（二）、加权最小二乘法估计
最小二乘法每个误差值 e的系数都为1，即每个误差值都是 “等权”的。事实上，在 z值的不同测量范围内，测量精度 往往是不同的，因而测量误差也不相同。合理的办法是对 不同的误差项 加不同的权，即把 J写成:
p zi ,1 , 2 ,
源自文库
, n
i 1, 2,
k
将所得的 k 个函数相乘，得:
L z1 , z2 , zk 1 ,2 , ,n p zi ,1 , 2 ,
i 1 k
, n
称函数 L 为似然函数。。
极大似然法估计与极大验后法估计
（二）、极大验后估计
极大验后估计是以已知p x / z 为前提的。如果只知 道 p z / x ，可按下式计算：
px / z p z / x p x pz
式中 p(x)是x 的验前概率密度，p(z)是观测值z的概率密 度,p(x/z)可用计算方法或实验方法求得。为了计算 p(x/z) 需要知道p(x)。在x没有验前知识可供利用 时，可假定x 在很大范围内变化。 一般说来，极大似然估计比极大验后估计应用普遍， 这是由于计算似然函数比计算验后概率密度较为简单。
递推最小二乘法估计
把观测方程写成矩阵形式
z k Hk x vk
递推可以得：
ˆ k H Wk H k H Wk z k x
一般，估计问题分两大类，即参数估计和状态 估计。
概 述
（一）、参数估计
参数估计属于曲线拟合问题。例如做完某项试验之 后，得到若干个观测值 zi与相应时间 ti 的关 系 zi , ti i 1, 2, , m 。我们希望以一条曲线来表示 和 的关系，设
zi z t x1h1 t x2 h2 t
xn hn t
式中 h1 t h2 t hn t 已知的时间函数，一般是ti 的 x1 x2 xn 不 幂函数、指数函数或正余弦函数等等。 随时间变化。
概 述
（二）、状态估计
设系统的状态方程和观测方程分别为
x t A t x t B t u t F t w t z t H t x t v t
最小二乘法估计与加权最小二乘法估计
（一）、最小二乘法估计
设 n次独立试验，得到z对观测 z1 , t1 , z2 , t2 , , zm , tm 。 这里 表示时间或其他物理量。现在的任务是：根据这些 观测值，用最优的形式来表示 z与 t 之间的函数关系。 要求所选择的 f(t) 的参数，使得观测z(k)与对应的函数 f(k) 的偏差的平方和为最小。
ˆ J w e wi zi hi x
i 1 2 i i i 1 m m 2
这样可使拟合曲线接近于测量精度高的点，从而保证 拟合曲线有较高的准确度。
递推最小二乘法估计
在前面所讨论的最小二乘法和加权最小二乘法，需要 同时用到所有的测量数据，在计算时不考虑测量数据的时 间顺序。当测量数据很多时，要求计算机具有很大的存储 量。在实际处理过程中，测量数据往往是按时间顺序逐步 给出的，我们可先处理已经得到的一批数据，得到的近似 估值，来了新的数据后，再对原估值进行修正，这样可以 减少计算机的存储量。
x t 为状态变量，它是随时间而变的随机过程， u t 式中， w t 为系统噪声，v t 为测量噪声，z t 为 为控制变量， 观测值。现要根据观测值来估计状态变量x t ，这就是 状态估计问题。
最小方差估计与线性最小方差估计
一、最小方差估计
最小方差准则，要求误差的方差为最小，它是一 种最古典的估计方法，这呼估计方法需要知道被估随 机变量 的概率分布密度p x 和数学期望 E x 。这种 苛刻的先验条件，使此方法在工程上的应用受到很大 限制。 评价估计优劣的准则是 x ˆ与 x的误差的方差为最小， 即
一、概 述 二、最小方差估计与线性最小方差估计 三、极大似然法估计与极大验后法估计 四、最小二乘法估计与加权最小二乘法估计 五、递推最小二乘法估计
概 述
在科学和技术领域中，经常遇到“估计”问 题。所谓“估计”，就是对受到随机干扰和随机 测量误差作用的物理系统，按照某种性能指标为 最优的原则，从具有随机误差的测量数据中提取， 信息估计出系统的某些参数状态变量。这就提出 了参数和状态估计问题。这些被估参数或被估状 态可统称为被估量。
ˆ E J E x x x az b
2
2
min
的条件来确定系数 a 和 b 。
极大似然法估计与极大验后法估计
（一）、极大似然法估计
极大似然法估计是以观测值出现的概率为最大作为估 计准则的，它是一种常用的参数估计方法。 设 z 是连续随机变量，其分布密度为z1 , z2 , , zk ，含有 个未知参数1 ,2 , ,n 。把 个独立观测值z1 , z2 , , zk 分别 代入p z,1 , 2 , , n 中的 ，则得
2 ˆ x x ˆ p x dx min J E x x 2
最小方差估计与线性最小方差估计
(二)、线性最小方差估计
线性最小方差估计就是估计值为观测值的线性函数， 估计误差的方差为最小。在使用这种方法时，需要知道观 测值和被估值的一、二阶矩，即数学期望E z 和 E x 、方 Cov z , x 。 差Varz和Varx及协方差 Cov x, z 和 根据估计误差的方差
J zi f ti zi f x1 , x2 ,
2 i 1 i 1 m m
, xn , ti
2
最小二乘法估计与加权最小二乘法估计
（二）、加权最小二乘法估计
最小二乘法每个误差值 e的系数都为1，即每个误差值都是 “等权”的。事实上，在 z值的不同测量范围内，测量精度 往往是不同的，因而测量误差也不相同。合理的办法是对 不同的误差项 加不同的权，即把 J写成:
p zi ,1 , 2 ,
源自文库
, n
i 1, 2,
k
将所得的 k 个函数相乘，得:
L z1 , z2 , zk 1 ,2 , ,n p zi ,1 , 2 ,
i 1 k
, n
称函数 L 为似然函数。。
极大似然法估计与极大验后法估计
（二）、极大验后估计
极大验后估计是以已知p x / z 为前提的。如果只知 道 p z / x ，可按下式计算：
px / z p z / x p x pz
式中 p(x)是x 的验前概率密度，p(z)是观测值z的概率密 度,p(x/z)可用计算方法或实验方法求得。为了计算 p(x/z) 需要知道p(x)。在x没有验前知识可供利用 时，可假定x 在很大范围内变化。 一般说来，极大似然估计比极大验后估计应用普遍， 这是由于计算似然函数比计算验后概率密度较为简单。
递推最小二乘法估计
把观测方程写成矩阵形式
z k Hk x vk
递推可以得：
ˆ k H Wk H k H Wk z k x
一般，估计问题分两大类，即参数估计和状态 估计。
概 述
（一）、参数估计
参数估计属于曲线拟合问题。例如做完某项试验之 后，得到若干个观测值 zi与相应时间 ti 的关 系 zi , ti i 1, 2, , m 。我们希望以一条曲线来表示 和 的关系，设
zi z t x1h1 t x2 h2 t
xn hn t
式中 h1 t h2 t hn t 已知的时间函数，一般是ti 的 x1 x2 xn 不 幂函数、指数函数或正余弦函数等等。 随时间变化。
概 述
（二）、状态估计
设系统的状态方程和观测方程分别为
x t A t x t B t u t F t w t z t H t x t v t
最小二乘法估计与加权最小二乘法估计
（一）、最小二乘法估计
设 n次独立试验，得到z对观测 z1 , t1 , z2 , t2 , , zm , tm 。 这里 表示时间或其他物理量。现在的任务是：根据这些 观测值，用最优的形式来表示 z与 t 之间的函数关系。 要求所选择的 f(t) 的参数，使得观测z(k)与对应的函数 f(k) 的偏差的平方和为最小。
ˆ J w e wi zi hi x
i 1 2 i i i 1 m m 2
这样可使拟合曲线接近于测量精度高的点，从而保证 拟合曲线有较高的准确度。
递推最小二乘法估计
在前面所讨论的最小二乘法和加权最小二乘法，需要 同时用到所有的测量数据，在计算时不考虑测量数据的时 间顺序。当测量数据很多时，要求计算机具有很大的存储 量。在实际处理过程中，测量数据往往是按时间顺序逐步 给出的，我们可先处理已经得到的一批数据，得到的近似 估值，来了新的数据后，再对原估值进行修正，这样可以 减少计算机的存储量。
x t 为状态变量，它是随时间而变的随机过程， u t 式中， w t 为系统噪声，v t 为测量噪声，z t 为 为控制变量， 观测值。现要根据观测值来估计状态变量x t ，这就是 状态估计问题。
最小方差估计与线性最小方差估计
一、最小方差估计
最小方差准则，要求误差的方差为最小，它是一 种最古典的估计方法，这呼估计方法需要知道被估随 机变量 的概率分布密度p x 和数学期望 E x 。这种 苛刻的先验条件，使此方法在工程上的应用受到很大 限制。 评价估计优劣的准则是 x ˆ与 x的误差的方差为最小， 即