参数估计理论与应用(第三章)剖析

x
作为θ的估计量，对该估计量取期望值，有
E[ˆ] E[
1 N
N k 1
xk ]
1 N
N
E[ xk ] E[ x]
k 1
一个无偏估计量在多次估计中将不会产生系统偏差，但
并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏
的，即
lim
N
E[ˆN
]
2021/3/9
第三章 参数估计理论与应用
3.1 参数估计的评价准则
参数估计是通过样本去估计总体的某些数字特征或统计量。任何一 个统计量都可作为参数的估计量，但其效果的优劣有所差别。
3.1.1 无偏性、有效性与相容性
（1）无偏性 设样本的总体分布密度函数为 p(x;θ), θ 是未知参数。从总体中抽取容量为 N 的样本 x={x1, …, xN }, 用样本的估计量 ˆ 来估计θ，如果希望多次估计中，平均 的估计值没有偏差，即
第三章 参数估计理论与应用
3.1 参数估计的评价准则 3.2 基于统计分布的参数估计方法 3.3 基于模型的参数最小二乘估计
本章小结
2021/3/9
第三章 参数估计理论与应用
在许多情况下，观测数据所服从的概率模型已知的，而 模型的未知部分是以未知参数形式出现的。
参数估计的基础是优化理论，即被估计的参数应该在某 种准则下是最优的，以及任何获得最优的估计。
的。一般说来，总是认为N 越大估计的效果应该越好。如果 记依赖样本容量 N 的估计为ˆN ，当满足
2021/3/9
第三章 参数估计理论与应用
lim
N
P{|ˆN
|
}
0,
0
则称ˆN 是θ的一致性估计量，或相容估计。
例3-3 设总体 x 具有均匀分布，分布密度为
p(x) 10/2, ,
1 x 1 2
2021/3/9
第三章 参数估计理论与应用
lim
N
E[
Rˆ2
(
)]
Rx
(
)
渐进无偏估计量 Rˆ 2(τ)是半正定的，而无偏估计量 Rˆ 1(τ)却 不一定是半正定的，故 Rˆ2(τ)的使用场合较多。
（2）有效性 如果ˆ1 和ˆ 2 是两个根据N个独立观测样 本得到的无偏估计量，无疑地，对θ 的平均偏差较小是选择
ˆ2 2
3( 1 N
N
xi2 x 2 )1/ 2
i 1
2
3 ˆ N
ˆ1
x
1 2
ˆ2
x
3 ˆ N
下面说明ˆ1 和 ˆ2 分别是θ1 和θ2 的相容估计。
设 y1,…,yN 是具有同分布的独立观测样本，根据大数定
律，有 令y=x2, 就有
lim P{|
N
1 N
N i 1
yi
E[ y] | } 0,
E[ˆ] ˆ(x)p(x; ) d x
则称 ˆ 是θ的无偏估计量。
2021/3/9
第三章 参数估计理论与应用
例3-1 样本均值是总体数学期望的无偏估计。
设x1, …, xN 是随机过程 {xk} 的N个独立观测样本，如果 参数θ是总体的数学期望E[x]，即用样本的均值
ˆ
1 N
N
xk
k 1
非参数估计方法不假定观测数据服从某种特定的概率模 型。例如，频域上的谱估计与谱线拟合就是典型的非参数估 计方法。
u(t) 控制
w(t) 设备噪声
设备（模型结构已 知、参数未知）
x(t) 状态
v(t) 观量噪声
测量装置
y(t) 观测到的状态
图3-1 系统辨识中的参数估计问题
2021/3/9
第三章 参数估计理论与应用
N
N
ci xi ˆ， ' ( ci 1)
i 1
i 1
都是θ的无偏估计量。利用不等式
可得
N
N
( ci )2 N ci2
i 1
i 1
2(x)
2 ( x) N
2 ( x) N
N
(
i 1
ci )2
2(x)
N i 1
ci2
2 (ˆ')
在估计总体的数学期望时，简单的算术平均比加权平均好。 （3）一致性 估计量的精度是与样本的容量 N 有关系
Fisher 信息 Fisher 信息用J（θ）表示，定义为
J ( )
E{[
ln
p(x
| ]2}
E[
2
2
ln
p(x
| )]
（3.1.1）
2021/3/9
第三章 参数估计理论与应用
其它
其中，θ1 和θ2 是未知参数。 总体样本的均值和二阶矩分别为（严格按定义计算）
解得
E[
x]
1
2
2
m,
E[ x2 ] 12 12
2 2
3
2
1
m
2 2
,
2 2
3( 2 m2 )1/2 2
3
2021/3/9
第三章 参数估计理论与应用
按矩的估计方法，用独立样本的均值和独立样本的二阶
矩，分别作为总体均值和二阶矩的估计量，就有
Rx ( )
E[Rˆ2 ( )]
E[ 1 N
N k 1
xk xk ]
1 N
N
E[ xk xk ]
k 1
(1
N
)Rx ( )
式中，Rx(τ)=E[xk+τ xk] 是随机数据{xk}的相关函数。
以上二式表明，估计量 Rˆ 1(τ) 是无偏的，而Rˆ 2(τ)则是 有偏的。但是，Rˆ 2(τ)是渐进无偏的，即
| }
0,
0
3.1.2 Fisher信息和Cramer-Rao不等式
通常希望获得有效的参数估计量。但是，由于不存在导
致最小方差无偏估计量的最佳算法，所以通常采用参数无偏
估计的Cramer-Rao下限(或CR下界), 作为评价参数估计性能 的测度。为了简洁叙述这一的评价测度，先定义一个重要的
概念。
那么它仍然有可能是一个好的估计。
考虑实随机过程{xk}的相关函数的两种估计量：
Rˆ1( )
1
N
N
xk xk ,
k 1
Rˆ2 ( )
1 N
N k 1
xk
xk
假定数据{xk}是独立观测的，容易验证
E[
Rˆ1
(
)]
E[
N
1
N
xk xk ]
k 1
1
N
N
E[ xk xk ]
k 1
0
lim P{|
N
1 N
N
xi2 x 2 (E[ x2 ] E2[x]) | }
i 1
lim
N
P{|
ˆ
2 N
2|}Fra bibliotek0,0
2021/3/9
第三章 参数估计理论与应用
于是
lim
N
P{ | ˆ1
1
|
}
3
lim
N
P{|ˆ N
|
}
0
lim
N
P{ | ˆ2
2
|
}
2
3
lim
N
P{|ˆ N
的标准之一。例如，如果
2 (ˆ1) 2 (ˆ2 )
则ˆ 1的值比ˆ 2 的值更密集地聚集在真值θ的附近。通常将方 差（或协方差阵）在所有的无偏估计量中达到最小的 ˆ 称为 有效估计量。
例3-2 设x1,…,xN 是N个独立观测样本，若被估计参数
2021/3/9
第三章 参数估计理论与应用
θ=E[x]，则对任何满足