信号参数与估计概要

信源s() P()
混合
观测空间 z
估计规则
估计 ()
n P(n)
信号参量估计的统计推断模型
估计问题基本要素
概率传递机制
参数空间
f(z;0) f(z;1)
观测空间Z
估计准则
准则1
准则2
估计空间
图7.2 参数估计问题的统计模型
1、贝叶斯估计
在已知代价函数及先验概率基础上，使估计付出的平均 代价最小。 设观测值为z，待估参量为。
信号参数与估计概要
声纳系统----利用声波信号确定船只的位置
图象处理----使用红外检测是否有飞机出现
图象分析----根据照相机的图象估计目标的位置 和方向，用机器人抓目标时是必须的
生物医学----估计胎儿的心率
控制----估计汽艇的位置，以便采用正确的导航 行为，如Loran系统
地震学----检测地下是否有油田，并根据油层和 岩层的密度，根据声反射来估计油田的地下距离。
1 N
N
zi2
i 1
例3、高斯白噪声中的直流电平估计-未知参数与未知方 差。设有N次独立观测zi=A+vi ，i=1,2,….N，其中 v~N(0,2)，2、A均为未知参数，求A和2的最大似然估 计。
f(z/θ) 2 1 2 N/2exp 2 12iN 1(ziA )2
C (|z ) ( ˆ)2f(|z )d＝ 最 小
对 ˆ 求导数，并使其等于零：
d C d ( ˆ|z) 2 f(|z)d 2 ˆ f(|z)d 得：ˆ f(|z)d
即 ˆ E[ | z] ，也称为条件均值估计。
绝对值代价： C(,ˆ)|ˆ|
条件中位数估计(Median)
C(|z) |ˆ| f(|z)d ˆ(ˆ)f(|z)dˆ(ˆ)f(|z)d
对 ˆ 求导数，并使其等于零，得：
ˆ abs
f(
|z)d
f(
|z)d
ˆ abs
可见，估计为条件概率密度 f ( | z) 的中位数。
均匀代价：
C(，ˆ)
1,
0,
| ˆ |
2
| ˆ |
2
最大后验概率估计(maximal posterior probability)
所有这些问题都有一个共同的特点，那就是从含 有噪声的数据集中去提取我们所需要的有用信息， 这些有用信息可能是“目标出现与否”、“数字 源发射的是0还是1”或者“目标的距离”、“目 标的方位”，或”目标的速度”等，由于噪声固 有的随机性，因此，有用信息的提取必须采用统 计的方法，这些统计方法的基础就是检测理论与 估计理论，就是本课程后续章节学习的内容。
f(z/A ) 2 1 2 N/2exp 2 12iN 1(ziA )2
Aˆml
z
1 N
N i1
zi
例2、设有N次独立观测zi=vi ，i=1,2,….N，其中 vi~N(0,2)，求2 的最大似然估计。
f(z/2)2 12N/2exp 2 12iN 1zi2
ˆ
2 ml
1、最大似然估计 (Maximum Likelihood Estimate)
ቤተ መጻሕፍቲ ባይዱ
由最大后验概率估计
ln f(z|)＋lnf()ˆmap 0
若先验概率密度函数 f ( ) 未知，则由左边第一项求解 参量，即最大似然估计，用 ˆ m L 表示。最大似然方程为：
ln f (z |)
0
ˆmL
例1、高斯白噪声中的直流电平估计-未知参数。设有N次 独立观测zi=A+vi ，i=1,2,….N，其中vi~N(0,2)，A为未知 参数，2已知，求A的最大似然估计。
例2 高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立
观测zi=A+vi,i=1,2,….N，其中v~N(0, 2 )，A~ N(A, 2A )，求
A的估计。
f(z| A)f(A) f(A|z)
f(z| A)f(A)dA
1 22A|z
exp212A|z
(AA|z)2
习题：7.3、7.6
条件平均代价
等价于使下式最小：
C (,ˆ(z))f(|z)d＝ 最 小
2、典型代价函数及贝叶斯估计
平方代价： C(,ˆ)(ˆ)2
绝对值代价： C(,ˆ)|ˆ|
均匀代价：
C(，ˆ)
1,
0,
| ˆ |
2
| ˆ |
2
平方代价： C(,ˆ)(ˆ)2
最小均方估计(Minimal Square)
ln f(z|)＋lnf()ˆmap 0
例1设观测为 zAv，其中被估计量A在[-A0,A0]上均匀分布,
测量噪声v~N(0,
2 v
)，求A的最大后验概率估计和最小均方估计。
f(z|A) 21vexp (z2A v2)2
f(A| z) f(z| A)f(A) f (z)
A ˆm s A f(A |z)d A A f(z|fA () z) f(A )d A A ff((z z||A A ))ff((A A )) d d A A
估计误差： ˆ(z)
设代价函数： C ( )
贝叶斯估计准则： ˆ(z)minE[C()] ˆ
统计平均代价：
E[C ( )] E[C ( ,ˆ( z))]
C ( ,ˆ( z)) f ( , z)d dz
C ( ,ˆ( z)) f (
|
z)
d
f
(
z)
dz
＝
C ( | z) f ( z)dz
C( |z)1ˆm ˆm aapp 2 2 f( |z)d
应当选择 ˆ ，使它处在后验概率 f ( | z)的最大处。
最大后验概率方程：
f ( | z)
0或
ˆmap
ln f ( | z)
0
ˆmap
由关系式： f(| z)＝f(z|)f()
f (z)
两边取对数并对求导，得最大后验概率方程的另一形式：
5.1 估计的基本概念 5.2 贝叶斯估计：已知代价函数及先验概率，使估计付出的平均代价最小 5.3 最大似然估计：使似然函数最大
5.4 估计量的性能
5.5 线性最小均方估计：已知估计量的一、二阶矩,使均方误差最小的
线性估计
5.6 最小二乘估计：观测与估计偏差的平方和最小
5.7 波形估计
估计问题通常是以下三种情况： 根据观测样本直接对观测样本的各类统计特性作出估计； 根据观测样本，对观测样本中的信号中的未知的待定参量 作出估计，称为信号的参量估计问题，又分为点估计和区间 估计； 根据观测样本对随时间变化的信号作出波形估计，又称为 过程估计。