信号参数与估计

5.1 估计的基本概念 5.2 贝叶斯估计：已知代价函数及先验概率，使估计付出的平均代价最小 5.3 最大似然估计：使似然函数最大
5.4 估计量的性能
5.5 线性最小均方估计：已知估计量的一、二阶矩,使均方误差最小的
线性估计
5.6 最小二乘估计：观测与估计偏差的平方和最小
5.7 波形估计
估计问题通常是以下三种情况： 根据观测样本直接对观测样本的各类统计特性作出估计； 根据观测样本，对观测样本中的信号中的未知的待定参量 作出估计，称为信号的参量估计问题，又分为点估计和区间 估计； 根据观测样本对随时间变化的信号作出波形估计，又称为 过程估计。
生物医学----估计胎儿的心率
控制----估计汽艇的位置，以便采用正确的导航 行为，如Loran系统
地震学----检测地下是否有油田，并根据油层和 岩层的密度，根据声反射来估计油田的地下距离。
所有这些问题都有一个共同的特点，那就是从含 有噪声的数据集中去提取我们所需要的有用信息， 这些有用信息可能是“目标出现与否”、“数字 源发射的是0还是1”或者“目标的距离”、“目标 的方位”，或”目标的速度”等，由于噪声固有 的随机性，因此，有用信息的提取必须采用统计 的方法，这些统计方法的基础就是检测理论与估 计理论，就是本课程后续章节学习的内容。
条件平均代价
等价于使下式最小：
C( ,ˆ(z)) f ( | z)d＝最小
2、典型代价函数及贝叶斯估计 平方代价： C( ,ˆ) ( ˆ)2
绝对值代价： C( ,ˆ) | ˆ |
均匀代价：
C
(，ˆ)
1,
0,
| ˆ |
2
| ˆ |
2
平方代价： C( ,ˆ) ( ˆ)2
最小均方估计(Minimal Square)
ˆ (ˆ ) f ( | z)d ( ˆ) f ( | z)d
ˆ
对ˆ 求导数，并使其等于零，得：
ˆabs f ( | z)d f ( | z)d
ˆabs
可见，估计为条件概率密度 f ( | z) 的中位数。
均匀代价：
C
(，ˆ)
1,
0,
| ˆ |
2
| ˆ |
2
最大后验概率估计(maximal posterior probability)
信号处理的根本任务是要提取有用的信息，有 用信息是通过检测、估计的方法对信号进行处 理后提取出来的，所以、检测、估计的信号处 理方法是信号处理技术的理论基础，它的应用 领域十分广泛。
声纳系统----利用声波信号确定船只的位置
图象处理----使用红外检测是否有飞机出现
图象分析----根据照相机的图象估计目标的位置 和方向，用机器人抓目标时是必须的
Aˆms
Af ( A | z)dA
A f (z | A) f ( A)dA
f (z)
Af (z | A) f ( A)dA
f (z | A) f ( A)dA
例2 高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立
观测zi=A+vi,i=1,2,….N，其中v~N(0,
2
)，A~
f (z /
A)
1 22
N
/
2
exp
1 22
N
( zi
i 1
A)2
Aˆml
z
1 N
N
zi
i 1
例2、设有N次独立观测zi=vi ，i=1,2,….N，其中 vi~N(0,2)，求2 的最大似然估计。
f
(z
/
2
)
1 22
估计误差： % ˆ(z)
设代价函数： C (%)
贝叶斯估计准则： ˆ(z) min E[C(%)] ˆ
统计平均代价：
E[C(%)] E[C( ,ˆ(z))]
C( ,ˆ(z)) f ( , z)d dz
C( ,ˆ(z)) f (
|
z)d
f
(
z)dz
＝ C( | z) f (z)dz
C( | z) ( ˆ)2 f ( | z)d＝最小
对 ˆ求导数，并使其等于零：
dC( |
dˆ
z)
2
f
(
|
z)d
2ˆ
f
(
|
z)d
得：ˆ
f ( | z)d
即 ˆ E[ | z] ，也称为条件均值估计。
绝对值代价： C( ,ˆ) | ˆ |
条件中位数估计(Median)
C( | z) | ˆ | f ( | z)d
ln
f (z
|
)
＋
ln f
(
)
ˆmap
0
例1设观测为 z A v ，其中被估计量A在[-A0,A0]上均匀分布,
测量噪声v~N(0,
2 v
)，求A的最大后验概率估计和最小均方估计。
f (z | A)
1 2v
exp
(z A)2 2v2
f ( A | z) f (z | A) f (A) f (z)
N
(
A
,
2 A
)
，求
A的估计。
f (A | z)
f (z | A) f ( A)
f (z | A) f (A)dA
1 22A|z
1
exp
22A|z
( A A|z )2
习题：7.3、7.6
1、最大似然估计 (Maximum Likelihood Estimate)
由最大后验概率估计
ln
f (z
wk.baidu.com
|
)
＋
ln f
(
)
ˆmap
0
若先验概率密度函数 f ( ) 未知，则由左边第一项求解 参量，即最大似然估计，用 ˆmL 表示。最大似然方程为：
ln f (z | )
0
ˆmL
例1、高斯白噪声中的直流电平估计-未知参数。设有N次 独立观测zi=A+vi ，i=1,2,….N，其中vi~N(0,2)，A为未知 参数，2已知，求A的最大似然估计。
C( | z) 1
ˆmap
2
ˆmap
2
f ( | z)d
应当选择 ˆ ，使它处在后验概率 f ( | z)的最大处。
最大后验概率方程：
f ( | z)
0或
ˆmap
ln f ( | z)
0
ˆmap
由关系式： f ( | z)＝ f (z | ) f ( )
f (z)
两边取对数并对求导，得最大后验概率方程的另一形式：
信源s() P()
混合
观测空间 z
估计规则
估计 ()
n P(n)
信号参量估计的统计推断模型
估计问题基本要素
概率传递机制
参数空间
f(z;0) f(z;1)
观测空间Z
估计准则
准则1
准则2
估计空间
图7.2 参数估计问题的统计模型
1、贝叶斯估计
在已知代价函数及先验概率基础上，使估计付出的平均 代价最小。 设观测值为z，待估参量为。