信号参数与估计

Af ( z | A) f ( A)dA f ( z | A) f ( A)dA

例2 高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立 观测zi=A+vi,i=1,2,….N，其中v~N(0, 2 )，A~ N ( A , 2 ，求 A) A的估计。
f ( A | z)
ˆ
统计平均代价：
)] E[C ( , ˆ( z ))] E[C (




ˆ( z )) f ( , z ) d dz C ( ,
ˆ( z )) f ( | z )d f ( z )dz C ( ,
则估计量 ˆ 为一致估计量。
2


若满足
N
ˆ (z ) } 0 lim E{ N
则称 ˆ 为均方一致估计量。
例1、高斯白噪声中的直流电平估计-未知参数。设有N次 独立观测zi=A+vi ，i=1,2,….N，其中vi~N(0,2)，2已知。
ˆ A map
2、克拉美－罗限(Cramer-Rao Low bound)
f (z | A) f ( A)



f (z | A) f ( A)dA
1 1 2 exp 2 ( A A|z ) 2 A|z

22 A| z
习题：7.3、7.6
1、最大似然估计 (Maximum Likelihood Estimate)
由最大后验概率估计
ln f (z | )
ln f (z | )
ˆ ml
0
ˆ ˆ ) k ( ˆ )0 ( ml ml
ˆ ml
例2、高斯白噪声中的DC电平。DC电平的最大似然估计的方
差是否达到CRLB？它的估计方差是多少？
1 ˆ Aml z N
ຫໍສະໝຸດ Baidu
z
i 1
5.4 估计量的性能 5.5 线性最小均方估计：已知估计量的一、二阶矩,使均方误差最小的
线性估计
5.6 最小二乘估计：观测与估计偏差的平方和最小 5.7 波形估计
估计问题通常是以下三种情况： 根据观测样本直接对观测样本的各类统计特性作出估计；
根据观测样本，对观测样本中的信号中的未知的待定参量
N
i
N N 1 1 ˆ ] E E[ A ml N zi N E[ zi ] A i 1 i 1
ln f (z / A) N 1 N N ˆ 2 zi A 2 ( Aml A) A N i 1
2 1 ˆ ) Var ( A ml 2 ln f ( z / A) N E 2 A
源发射的是0还是1”或者“目标的距离”、“目标
的方位”，或”目标的速度”等，由于噪声固有
的随机性，因此，有用信息的提取必须采用统计
的方法，这些统计方法的基础就是检测理论与估 计理论，就是本课程后续章节学习的内容。
5.1 估计的基本概念 5.2 贝叶斯估计：已知代价函数及先验概率，使估计付出的平均代价最小 5.3 最大似然估计：使似然函数最大
ln f ( z | ) ln f ( ) ＋ 0 ˆmap
若先验概率密度函数 f ( ) 未知，则由左边第一项求解
ˆ 表示。最大似然方程为： 参量，即最大似然估计，用 mL
ln f ( z | ) 0 ˆ mL
信号处理的根本任务是要提取有用的信息，有
用信息是通过检测、估计的方法对信号进行处
理后提取出来的，所以、检测、估计的信号处
理方法是信号处理技术的理论基础，它的应用
领域十分广泛。
声纳系统----利用声波信号确定船只的位置 图象处理----使用红外检测是否有飞机出现 图象分析 ---- 根据照相机的图象估计目标的位置 和方向，用机器人抓目标时是必须的
均匀代价：
ˆ) ( ˆ)2 平方代价： C( ,
最小均方估计(Minimal Square)
ˆ)2 f ( | z)d＝最小 C ( | z ) (


ˆ 求导数，并使其等于零： 对
dC ( | z ) ˆ 2 f ( | z )d 2 f ( | z )d ˆ d
1 ˆ Aml z N
z
i 1
N
i
例2、设有N次独立观测zi=vi ，i=1,2,….N，其中 vi~N(0,2)，求2 的最大似然估计。
1 2 f (z / ) 2 2
N /2
1 N 2 exp 2 zi 2 i 1
例1设观测为 z
0
( z A)2 1 f ( z | A) exp 2 2v 2v
f ( z | A) f ( A) f ( A | z) f ( z)
f ( z | A) f ( A) ˆ Ams Af ( A | z )dA A dA f ( z)
ˆ 得：



f ( | z )d
ˆ E[ | z] ，也称为条件均值估计。 即
ˆ) | ˆ| 绝对值代价： C ( ,
条件中位数估计(Median)
ˆ | f ( | z )d C ( | z ) |



ˆ

ˆ ˆ) f ( | z )d ( ) f ( | z )d ˆ (
生物医学----估计胎儿的心率
控制 ---- 估计汽艇的位置，以便采用正确的导航 行为，如Loran系统 地震学 ---- 检测地下是否有油田，并根据油层和 岩层的密度，根据声反射来估计油田的地下距离。
所有这些问题都有一个共同的特点，那就是从含
有噪声的数据集中去提取我们所需要的有用信息，
这些有用信息可能是“目标出现与否”、“数字
＝ C ( | z ) f ( z )dz


条件平均代价
等价于使下式最小：



ˆ( z)) f ( | z)d＝最小 C ( ,
2、典型代价函数及贝叶斯估计
ˆ) ( ˆ)2 平方代价： C( ,
ˆ) | ˆ| 绝对值代价： C ( ,
ˆ | 1, | 2 ˆ) C (， ˆ | 0, | 2
1 2 ˆ ml N
2 z i i 1
N
例3、高斯白噪声中的直流电平估计-未知参数与未知方 差。设有N次独立观测zi=A+vi ，i=1,2,….N，其中
v~N(0,2)，2、A均为未知参数，求A和2的最大似然估
计。
1 f (z / θ) 2 2
C ( | z ) 1
2 ˆ map 2 ˆ map
f ( | z )d
ˆ ，使它处在后验概率 f ( | z )的最大处。 应当选择
最大后验概率方程：
f ( | z ) 0或 ˆ map
ln f ( | z ) 0 ˆ map

ˆ 求导数，并使其等于零，得： 对

ˆ abs

f ( | z)d ˆ f ( | z)d
abs

可见，估计为条件概率密度 f ( | z ) 的中位数。
ˆ 1, | | 2 均匀代价： C (， ˆ) ˆ | 0, | 2 最大后验概率估计(maximal posterior probability)
估计准则
准则1 估计空间
图7.2 参数估计问题的统计模型
1、贝叶斯估计
在已知代价函数及先验概率基础上，使估计付出的平均 代价最小。
设观测值为z，待估参量为。
估计误差：
ˆ( z)
) 设代价函数： C (
ˆ( z ) min E[C ( )] 贝叶斯估计准则：
由关系式：
f ( z | ) f ( ) f ( | z )＝ f ( z)
两边取对数并对求导，得最大后验概率方程的另一形式：
ln f ( z | ) ln f ( ) ＋ 0 ˆmap
A v ，其中被估计量A在[-A ,A0]上均匀分布, 2 测量噪声v~N(0, v )，求A的最大后验概率估计和最小均方估计。
2、克拉美－罗限(Cramer-Rao Low bound)
无偏估计量的估计方差的最小值
非随机参量 任何无偏估计量的方差满足
克拉美-罗限
ˆ ) E{[ ˆ ]2} J 1 Var (
2 2 ln f ( z | ) ln f ( z | ) J E E 2
N /2
1 N 2 exp 2 ( zi A) 2 i 1
=[A 2]T
z ˆ Aml N ˆ θml 2 1 ( zi z )2 ˆ N i 1
1、估计量的性能标准
无偏性 如果估计量的均值等于非随机参量或等于随机参量的均 值，则称估计量具有无偏性。即满足： 对于确定量，有： 对于随机量，有：
ˆ] E[ ˆ] E[ ] E[
有效性 对于无偏估计，如果估计的方差越小，表明估计量的取
值越集中于真值附近，估计的性能越好。
ˆ ) E{[ ˆ E( ˆ )]2} Var (
对于有偏估计，尽管估计的方差很小，但估 计的误差可能仍然很大。


有效性 对于无偏估计，如果估计的方差越小，表明估计量的取
A0 z A 0
z A0 A0 z A0 z A0
1 ˆ Aml z N
z
i 1
N
i
ˆ ) A E( A map
N 1 ˆ E ( Aml ) E zi A N i 1
ˆ ) Mse( A ˆ ) Mse( A ml map
值越集中于真值附近，估计的性能越好。
ˆ ) E{[ ˆ E( ˆ )]2} Var (
用估计的方差还不能准确地描述估计的性能，所以我们可 以用均方误差作为评价估计量性能的一个指标。
ˆ ) E{[ ˆ ]2} Mse(
一致性
N
ˆ( z , z ,, z ) 0 即对于任意小数，若有： lim P 1 2 N
例1、高斯白噪声中的直流电平估计-未知参数。设有N次 独立观测zi=A+vi ，i=1,2,….N，其中vi~N(0,2)，A为未知
参数，2已知，求A的最大似然估计。
1 f (z / A) 2 2
N /2
1 N 2 exp 2 ( zi A) 2 i 1
作出估计，称为信号的参量估计问题，又分为点估计和区间 估计； 根据观测样本对随时间变化的信号作出波形估计，又称为 过程估计。
信源s() P() z
观测空间 估计 ( )
混合
估计规则
n P(n)
信号参量估计的统计推断模型
估计问题基本要素
概率传递机制
f(z;0) 参数空间 f(z;1) 观测空间Z 准则2
等号成立的条件：
ln f (z | ) ˆ )k () (
2、克拉美－罗限(Cramer-Rao bound)
如果一个无偏估计，它的方差达到CRLB，那么，这个估计必 定是最大似然估计。这时最大似然估计是最好的。但如果不
存在达到CRLB的估计，最大似然估计就不一定是最好的估计。