信号参量的统计估计理论

§5.2.2 贝叶斯估计量的构造
结合三种典型代价函数，导出三种重要的贝叶斯估计。
1．最小均方误差估计
对于误差平方代价函数，条件平均代价表示为
C(ˆ | x) ∞ ( ˆ)2 p( | x)d ∞
对 ˆ 求偏导并令结果等于零，求得最佳的估计量 ˆ ，称为最小均 方误差估计，记为 θˆmse (x，) 简记为 ˆmse ，求偏导并令结果等于零，得
§5.1.3 估计性能的评估
设观测方程为 xk nk k 1, 2, , N
假定 E(nk ) 0 ， E(n j nk ) n2 jk
估计量 ˆ( x) 构造为
N(N 1) 个样本的平均值，即
ˆ( x)
=
1 N
N
xk
k 1
均值
E[ˆ( x)]
E
1 N
N xk
k 1
E
c(
)
c(
ˆ)
1
0
≥ 2
2
——误差平均代价函数 ——误差绝对值代价函数
——均匀代价函数
§5.2.1 常用代价函数和贝叶斯估计的概念
贝叶斯估计的概念：
单随机变量
先验概率密度函数为 p ，联合概率密度函数为 p(x, )
平均代价 C 为:
C ∞ ∞ c( ,ˆ)p( x,ˆ) d x d ∞ ∞ ∞ ∞ c(- ˆ)p( x, ) d x d ∞ ∞
第5章
信号参量的统计估计理论
肖海林 hailinxiao@
本章内容
第5章 信号参量的统计估计理论
概述 随机参量的贝叶斯估计 最大似然估计 估计量的性质 矢量估计 信号波形中参量的估计
§5.1
信号参量的统计估计 理论的概述
§5.1.1 信号处理中的估计问题
定义：
如果信号中被估计的参量是随机的或非随机的未知量，则称 这种估计为信号的参量估计。
均值 E[ˆ1(xk )] E(xk ) E( xk ) 0
E[( ˆ1(xk ))2 ] E[( ( nk ))2 ]
均方误差
E[(nk )2 ]
2 n
显然， E[( ˆ( x))2 ] E[( ˆ1(xk ))2 ] ， N 1
也就是说：ˆ( x) 比 ˆ1 (xk ) 具有更高的精度和稳健性。
ˆ
∞ ( ˆ)2 p( | x) d
∞
2
∞ p( | x) d 2ˆ
∞
∞
p(
∞
| x) d ˆˆmse
0
因为
∞
p( | x)d 1
所以
∞
ˆmse =
∞
p( | x)d
∞
估计量 ˆmse能使平均代价 达到极小值.
§5.2.2 贝叶斯估计量的构造
Cmse (ˆ | x)
∞
(
∞
ˆmse )2
信号参量的估计涉及对随机数据或随机波形的处理问题， 所以要用统计的方法，即统计估计理论。
统一规定：
被估计量记为单参量 和矢量 θ = (1,2 , ,M )T
观测量记为
，或表示为观测矢量
观测的连续时间信号记为
§5.1.2 参量估计的数学模型和估计量的构造
数学模型图：
组成部分：
1．参量空间： θ 1,2 , ,M
§5.2
随机参量的贝叶斯估计
§5.2.1 常用代价函数和贝叶斯估计的概念
代价函数：
代价函数通常表示为： c( ) c( ˆ)
满足两个基本的特性：
(1)非负性 (2)误差 0 时的最小性。
三种典型：
(a) c( ) c( ˆ) ( ˆ)2
(b) c( ) c( ˆ) ˆ
(c)
p(
|
x) d
∞ E( | x)2 p( | x) d ∞
Cmse
∞
∞ Cmse
(ˆ
|
x)
p( x) d
x
ˆmse
∞ p( x| )p( ) d
∞
∞ p( x| )p( ) d
∞
p( | x) p(x |) p() / p(x)
p(x)
∞
p(x,)d
∞ p(x| )p( )d
在 p 已知，选定代价函数 c( ˆ) 条件下，使平均代价 C
最小的估计就称为贝叶斯估计（Bayes Estimation）
§5.2.1 常用代价函数和贝叶斯估计的概念
p(x, ) 也可以表示为 p(x, ) p( | x) p(x)
故平均代价的公式可改写为：
C
∞ ∞
p(
x)
∞ c( -
∞
∞
ˆmse 是后验概率密度函数 p( | x)的均值 E( | x)
§5.2.2 贝叶斯估计量的构造
2．条件中值估计
对误差绝对值代价函数，条件平均代价表示为:
C(ˆ | x) ∞ ˆ p( | x) d ∞
ˆ (ˆ )p( | x)d
∞
(
ˆ)p(
|
x)d
∞
ˆ
将 C(ˆ | x) 对ˆ 求偏导，并令结果等于零，得
1 N
N
(
k 1
nk )
误差 ( x) = ˆ( x)
均方误差
E 2 (x)
E
ˆ(x)
2
E
1 N
N
(
k 1
2
nk )
E
1 N
N
nk
k 1
2
1 N2
N
E(nk2 )
k 1
1 N
2 k
§5.1.3 估计性能的评估
用样本 xk 作为 的估计量，则记为 ˆ1(xk )，即 ˆ1(xk ) = xk
根据 N 次观测量 x = (x1, x2 , , xN )T 按照某种最佳准则，对参
量 进行估计，即构造一个观测量的函数
矢量：
M 维矢量 θ (1,2, ,M )T ，那么线性模型观测方程可表示为
xk Hkθ nk k=1, 2, , N 维矢量 的估计量是根据某种最佳准则构造的观测矢量
x = (x1, x2 , , xN )T 的函数 θˆ( x) g ( x) 。
∞
ˆ)
p(
|x)ddxp | x 是后验概率密度函数
由于上式中的 P(x) 和内积分都是非负的，所以使上式所表示的 C
最小，等效为使内积分最小，即
C（ | x）
c( ) p( | x)d
最小。式中，C(ˆ | x) 称为条件平均代价。
它对 ˆ 求最小，就能求得随机参量 的贝叶斯估计量 θˆb
2．概率映射：概率密度函数 p x |
3．观测空间：用来实现参量 的统计估计
4．估计规则：构造 x 的函数来定义估计量 θˆ( x)
θˆ( x) g( x) g x1, x2 , , xN —保证了所构造的估计量θˆ( x)是最佳的
§5.1.3 估计性能的评估
评估方法：
单参量：
观测方程为线性模型，即为 xk hk nk k 1, 2, , N