3.1-3.2.1-估计量的性质、最小方差无偏估计

第三章估计理论

什么是“估计”？

通俗解释：对事物做大致的判断

专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信

息进行加工、处理获得结果的过程。

3.1引言

3.1 引言

根据研究对象的不同估计分为二种

参量估计：被估计的对象是随机变量或非随机的未知量

波形估计：被估计的对象是随机过程或非随机的未知过程 信号参量估计理论

与信号参量估计相关的理论

最佳估计

一定准则下的“最好”估计

应用领域

通信系统、雷达系统、语音、图像处理、自动控制

3.1.2 估计量的性质质

假设得到N 个观测样本数据为：

为待估计参量，[][]0,1,,1

x n w n n N θ=+=−…式中，是观测噪声。

θ[]w n 估计的任务就是利用观测样本数据构造估计量,获得估计量后，通常需要对的质量进行评价,这就需要研[]x n θ

θ

θ究估计量的主要性质。

估计量也是一个随机变量，具有均值和方差等统计特征，可以利用其统计特征对估计量的性质进行评价。评价 θ

指标包括：无偏性、一致性、充分性和有效性。

1、无偏性

非随机参量随机参量ˆˆθθ

无偏估计

渐进无偏估计()E θθ=()()E E θ=ˆlim ()N E θθ→∞=ˆlim ()()N E E θ

θ→∞=如果上式不满足，则是一个有偏估计 θ

定义

为估计量的偏估计量的无偏性保证估计量分布在参量真值附近，是衡量()()b E θθθ=−估计量性能优劣的重要指标。然而，一个估计量是无偏的不能确保就是好的估计量，它仅能保证估值的均值近似真值。

2、一致性

可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。

简单一致性：

ˆlim (||)1N P θθδ→∞−<=均方一致性：2ˆlim [()]0N E θ

θ→∞

−= •定义估计误差，对无偏估计，误差的方差为

222−εθθ=−在同时满足无偏性、均方一致性的条件下，随着观测样本()()()()

Var E b E εεθε==数的增加，估计误差的方差将减小并趋于零。

3、充分性

设待估计参量的估计量为，为N ˆ()θx [][0][1]...[1]T x x x N =−x 维观测矢量。如果概率密度函数可以分解成如下形式

ˆ(|)(()|)()p p h θθ

θ=x x x (|)p θx 式中，且与无关。则称是一个充分统计量。

()0h ≥x θˆ()θx x 充分统计量的意义在于：它体现了包含在观测样本数据中有关参量的全部有用信息，再没有其他估计量能够提供中有关θ更多关于观测样本数据的有用信息了。

θx

4、有效性

对于无偏估计量，如果估计量的方差越小，则它偏离待估计参量就越小，即它取其均值附近数值的概率就越大，该估计量就越好。因此，希望估计量的方差尽可能地小。

克拉美罗下限为估计误差的方差确定了一个下限，不可能获得比它还小的方差。对于方差达到克拉美罗下界的无偏估计，称为有效估计。

因此，具有无偏性且方差达到克拉美‐罗下限的估计量是有效估计量。

3.2 最小方差无偏估计

在寻求最优估计量中，首先需要确定的是最优准则。一个3.2.1 均方误差最小准则和最小方差无偏准则

很自然的准则就是均方误差（mean square error, MSE ），它的定义为

遗憾的是采用该准则将产生一个不可实现的估计量。因 2ˆ()[()]

mse E θθθ=−为这个估计量不能单独表示为样本数据的函数。为说明这个问题，均方误差MSE重新写为

{} 22() (())(())mse E E E θθθθθ⎡⎤=−+−⎣⎦

2var()()2[()][()]var()()E E E E b θθθθθθθθ

θ⎡⎤=+−+−−⎣⎦

=+上式看出MSE是由方差和偏差构成。

321

3.2.1 均方误差最小准则和最小方差无偏准则 最小方差无偏估计量的存在性

θ

现在我们自然提出这样一个问题：对于所有是否存

在最小方差无偏估计。即使最小方差无偏估计（MVU）存在，我们也有可能找不到它。在后面的几章里，我们将讨论几种可能的方法，它们是：

1、确定Cramer-Rao下限(CRLB），检验估计量是否满足它。

2、基于充分统计量的MVU 。

3、限制估计量不仅是无偏的而且是线性的，找出MVU。