信号检测与估计理论第五章 统计估计理论 PPT课件

ˆmse
2 θ
2 θ
2 n
N
1 N
N k 1
xk
E
ˆmse
2
θ2
2 n
N
2 θLeabharlann Baidu
2 n
2 n
N
2 n
2 θ
Var(ˆmse )
5.3.2 最大似然估计量的构造
(1) 最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；
(2) 当 为未知随机参量时，计算似然函数 p(x | ) 相对容易；
估计理论与信号检测
第五章 信号的统计估计理论
内容提要
5.1 引言 5.2 随机参量的贝叶斯估计 5.3 最大似然估计 5.4 估计量的性质 5.5 矢量估计 5.7 线性最小均方误差估计 5.8 最小二乘估计
5.1 引言
信号的参量估计
若信号中被估计的量是随机参量或非随机未知参 量，则称这种估计为信号的参量估计。 在观测时间内一般不随时间变化——静态估计
)
估计量 map 是后验概率密度函数 p x 取最大值的点。
5.2.2 贝叶斯估计量的构造
例5.2.1 单随机参量的贝叶斯估计（最佳估计的不变性）
p( x
|
)
1
2
2 n
N
2
exp
N k 1
(xk
2
2 n
)2
ˆcon1 ˆmse
p( | x) p( x | ) p( ) p( x)
估计量 ˆml 。
似然函数是在给定 x x0 后 得到的，可以画出它与被估 计量 的关系曲线。
PDF作为未知参数的函数（ x 固定），称之为似然函数。
5.3.2 最大似然估计量的构造
根据最大似然估计原理，可得如下最大似然估计量
p(x | ) 0 或
ˆml
ln p(x | ) 0
ˆml
经典估计与贝叶斯估计
From Steven M. Key --page253-259 利用先验知识通常能改善估计精度；
在贝叶斯估计中，先验PDF的选择是很关键的。 错误的选择将导致差的估计量，类似与在经典估计量问题中使用 不正确的数据模型设计估计量。
围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明 先验PDF。 一般说来，除非先验概率是建立在物理约束的基础上，否则还是 使用经典估计比较合适。
贝叶斯公式
1 1
p(
x)
2
2 n
N
2 1
2
2 θ
1 2
N
exp
k 1
(xk )2
2
2 n
2
2
2 θ
ˆmse
2 θ
2 θ
2 n
N
1 N
N
xk
k 1
K1( x) exp
1 2
N k 1
xk2
2xk
2 n
2
2
2 θ
K2
(
x)
exp
1 2
N
2 θ
θ2
将后验概率转化 为先验概率表达
p( | x) p(x | ) p( ) p(x)
p(x) p(x, )d p(x | ) p( )d
)
估计量 mse 是后验概率密度函数
p x
的均值
Ex
。
5.2.2 贝叶斯估计量的构造
2、条件中值估计（条件中值，代价函数参见图(b)）
令
C ) x ) 0
代价函数的选择常常带有主观性，而后验概率密度函数 p( | x)
也不一定能满足高斯型的要求。
希望能够放宽条件，也能获得均方误差最小的估计。
5.2.3 最佳估计的不变性
两种情况下最小均方误差估计所具有最佳估计不变性。
5.2.3 最佳估计的不变性
情况Ⅰ 情况Ⅱ
5.3 最大似然估计
最大似然估计常用来估计未知的非随机参量。
5.2 随机参量的贝叶斯估计
贝叶斯准则：
二元信号检测的贝叶斯准则（P.70） M元信号检测的贝叶斯准则（P.93）
在信号参量的估计中，我们用类似的方法提出贝叶斯估计准则， 即使估计的平均代价最小。适用于随机参量情况。
代价函数的一般形式：
满足 （1）非负性；
（2）误差 % 0 时最小。
5.2 随机参量的贝叶斯估计
最大似然估计定义：使似然函数 p(x | ) 最大的 值作为估计量
的参量估计方法(Maximum Likelihood Estimation)。
5.3.1 最大似然估计原理
最大似然函数的基本原理是：对于某个选定的 ，考虑 x 落在 一个小区域内的概率 p(x | )dx，取 p(x | )dx 最大的那个 作为
例子：非随机未知单参量的估计
E(nk ) 0,
E(njnk ) n2 jk
xk nk , k 1, 2,L , N;
ˆ( x)
1 N
N
xk ;
k 1
E[ˆ(x)]
E
1 N
N k 1
xk
E
1 N
N
(
k 1
nk )
E[%2 ( x)] E[( ˆ( x))2 ]
E
p( | x)d 1
5.2.2 贝叶斯估计量的构造
1、最小均方误差估计（条件均值，代价函数参见图(a)）
二阶偏导数
)
2C
x
) 0
2
，上式求得的估计量，
可以使平均代价 C 达到最小：
最小平均代价是条件方差对所有观测量的统计平均。
5.2.2 贝叶斯估计量的构造
1、最小均方误差估计（条件均值，代价函数参见图(a)）
经典估计与贝叶斯估计
From Steven M. Key --page253-259
① 短数据记录对后验PDF的影响 ② 大数据记录对后验PDF的影响
经典估计与贝叶斯估计
From Steven M. Key --page253-259
后验概率均值：在先验知识和由数据贡献的知识 之间进行折衷。
2 θ
Var(ˆmse )
5.2.3 最佳估计的不变性
如果被估计量的后验概率密度函数 p( | x) 是高斯型的，则在三
种典型代价函数下，使平均代价最小的估计量是一样的，都等于 最小均方误差估计量，即
ˆmse ˆmed ˆmap ˆb
它们的均方误差都是最小的，这就是最佳估计的不变性。但是，
例如，当N增加时，后验PDF变得更加集中， MMSE估计量（最小均方误差）对先验知识的依 赖越来越小，对数据的依赖越来越多，数据把先 验知识“擦除”了。
参数估计的贝叶斯方法：假设要估计的参数是随机变量 的一个实现。
(1) 指定一个先验PDF p( ) ; (2) 观测到数据后，后验PDF p( x) 概括了对参数的了解。 (3) 利用先验知识通常能改善估计精度。
四个组成部分：参量空间、概率映射、观测空间和估计准则。 概率映射函数 p(x ) ，完整地描述了含有被估计矢量信息时观测 矢量的统计特性。
5.1.3 估计量性能的评估
单次观测量为标量，被估计量为标量（单参量） 单次观测量为矢量，被估计量为矢量（多参量）
xk hk nk , k 1, 2,L , N
)2 ]
E[(nk
)2
]
2 n
经典估计与贝叶斯估计
From Steven M. Key --page253-259
上述估计假定参数取值范围： (, ) 考虑到物理条件的限制：
经典估计与贝叶斯估计
From Steven M. Key --page253-259
贝叶斯最小均方误差估计：
令其为零
=1 后验概率均值
参数确定但未知-经典估计
p x;
1 2 2
N 2
exp
1 2
2
N 1 n0
2
xn A Bn
20世纪90年代
参数为随机变量-贝叶斯估计
p x, p x p()
5.1.2 数学模型和估计量构造
1
2
M
M
p(x )
x1
x
x2
M
xN
ˆ x g x g x1, x2,...xN
2 n
2 n
2
2
N k 1
xk
2 n
K2 ( x) exp
1 2
N
2 θ
2 n
θ2
2 n
2
2 θ
2 θ
2 n
N
2
1 N
N
xk
k1
K3
(
x)
exp
1
2
2 m
2 θ
2 θ
2 n
1 N N
N k 1
xk
2
E
ˆmse
2
θ2
2 n
N
2 θ
2 n
2 n
N
2 n
pm (x | )
Max{
pi
(
x
|
),
i
1, 2,L
,
j}
然后，通过 pm (x | ) 求出 的最大似然估计量 ˆml ，就是函数 g( ) 的最大似然估计量。
5.4 估计量的性质
估计量是随机变量 主要性质
➢ 无偏性 ➢ 有效性 ➢ 一致性 ➢ 充分性
三种典型的代价函数：
5.2.1 常用代价函数和贝叶斯估计概念
平均代价
贝叶斯公式
条件平均代价
上述条件平均代价函数 C ) x 对
)
求最小，
)
即可以求得随机参量 的贝叶斯估计量 b 。
5.2.2 贝叶斯估计量的构造
1、最小均方误差估计（条件均值，代价函数参见图(a)）
)
对 求偏导，并令结果为零。
信号的波形估计或状态估计
若被估计的是随机过程或非随机的未知过程。 信号的波形、参量随时间变化——动态估计
5.1 引言
研究内容：
信号的参量估计
若信号中被估计的量是随机参量或非随机未知参量，则称 这种估计为信号的参量估计。
理论基础：
随机变量与数理统计(2.2, P.8) 随机噪声理论(2.6, P.46)
5.1 引言
基本思想 信号模型的差异； 先验知识与数据之间的关系； 估计准则与估计方法； 估计的评价指标。
数 复杂性：足以描述数据的基本特征 据 模 型 简单：允许估计量是最佳的，且易于实现
5.1 引言-信号处理中的估计
在雷达、声呐、语音、图像分析、生物医学、通信、自动控 制等领域，都涉及到参数估计的问题。例如 雷达系统 被动声呐系统 语音识别系统
p( x
|
)
1
2
2 n
N
2
exp
N k 1
(xk
2
2 n
)2
ln
p(x | )
1
2 n
N
( xk
k 1
) N
2 n
1 N
N
xk
k 1
ˆml
0
ˆml
1 N
N
xk
k 1
E[(
ˆml )2 ]
E
1 N
N k 1
xk
2
1 N
2 n
2 ? n2 / N
带先验知识的贝叶斯估计：
(3) 对于绝大多数实用的最大似然估计，观测数据足够多时， N
其性能是最优的；
(4) 最然似然估计具有不变性。
带先验知识的贝叶斯估计：
ˆmse
2 θ
2 θ
2 n
N
1 N
N k 1
xk
E
ˆmse
2
θ2
2 n
N
2 θ
2 n
2 n
N
2 n
2 θ
Var(ˆmse )
N
ˆml
1 N
N
观测向量为长列向量
最佳估计准则定义：充分利用先验知识，使构造的估计量具 有最优性质的估计准则。
被估计参量（随机或非随机）的先验知识（P.264） 被估计量及其均值、方差和均方误差的表示（P.264）
ˆ E(ˆ), 2ˆ Var(ˆ) E[(ˆ ˆ )2], 2ˆ E[( ˆ)2]
5.1.3 估计量性能的评估
xk
k 1
E[(
ˆml )2 ]
1 N
2 n
5.3.3 最大似然估计的不变性
最大似然估计的不变性： 1、如果参量 的最大似然估计量为 ˆml ，那么函数 g( ) 的 最大似然估计量 ˆml ，在 是 的一对一变换时有
ˆml g(ˆml )
2、如果 不是 的一对一变换，而是一对多变换，则首先应找 出在 取值范围内所有变化参量的似然函数 pi (x | )(i 1, 2,L , j) 中具有最大值的一个，记为 pm (x | ) ，即
1 N
N
(
k 1
nk
)
2
E
1 N
N
nk
k 1
2
1 N
2 n
5.1.3 估计量性能的评估
例子：非随机未知单参量的估计
xk nk , k 1, 2,L , N; ˆ1( x) xk
E[ˆ1( x)] E(xk ) E( nk ) ;
E[(
ˆ1 (
x))2
]
E[(
xk
称为条件中值估计，或条件中位数估计
（Conditional Median Estimation），
)
估计量 med 是
) P
1 2
的点。
5.2.2 贝叶斯估计量的构造
3、最大后验估计（条件众数，最大后验，代价函数参见图(c)）
等效于使
最大
p( | x) p(x | ) p( ) p(x)
对比（5.2.19）式，
相当于最大似然估计用于估计没有任何先验知识的随机参量 ， 假定 为均匀分布，上式第二项为零，最大后验概率估计转化
为最大似然估计。
5.3.2 最大似然估计量的构造
例5.3.1 同例5.2.1，但不利用被估计量的先验分布知识，而把其
看成是未知非随机参量
观测矢量 x 的似然函数为：
由时域信号转换为线性预测编码语音模型， 模型的参数决定了谱包络。
5.1 引言-估计的数学问题
确定估计量后，建立数据的数学模型
例1：
px0;
1 2
2
exp
1 2
2
x 0
2
实际问题中，未给出PDF，要选择一个与问题的约束与先验知识 一致，且在数学上容易处理的PDF。例2-道琼斯指数：
x[n] A Bn w[n] n 0,1,...N 1