随机信号分析估计理论

平均代价为
C C( ˆ(z)) f (z,)dzd
贝叶斯估计就是使上式的平均代价最小的估计。
或等价于
C C( ˆ(z)) f ( | z) f (z)dzd
C( ˆ(z)) f ( | z)d f (z)dz
C(ˆ | z) C( ˆ(z)) f ( | z)dz 使平均代价最小 不同的代价函数得到不同的估计
雷达 声纳 通信 自动控制
语音 图象分析 生物医学 地震学
这些应用都有一个共同的目标：要能够确定感
兴趣的事件在什么时候发生，以及该事件中更
多的一些信息，前者是一个检测问题，或者称
为统计判决问题，后者是参数的估计问题。
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
随机信号分析估计理论
主讲教师:罗鹏飞教授
电压值是所有试验数据的平均值
பைடு நூலகம்
ˆ 2
z
1 N
N
zi
i 1
ˆ1 ˆ 2
是对电压值的两个估计，这两个估计的性 能谁好呢？这需要用一些性能指标来评价
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
评价估计量好坏的性能指标
估计量的均值：希望估计的均值等于真值， 即具有无偏性。
E[ˆ(z)]
E[]
为确定性参量（非随机参量） 为随机参量
估计理论
数字源 0或1 调制器
信道
解调器
检测器
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
声纳系统----利用声波信号确定船只的位置
图象处理----使用红外检测是否有飞机出现
图象分析----根据照相机的图象估计目标的位置和 方向，用机器人抓目标时是必须的
生物医学----估计胎儿的心率
控制----估计汽艇的位置，以便采用正确的导航行 为，如Loran系统
估计理论
一、统计信号处理概述
统计信号处理的根本任务是要提取有用的信息， 有用信息是通过检测、估计、滤波的方法对信 号进行处理后提取出来的，所以、检测、估计、 滤波的统计信号处理方法是信号处理技术的理 论基础，它的应用领域十分广泛。
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
统计信号处理的应用领域包括
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
1 最小均方估计
采用平方代价函数的贝叶斯估计
采用平方代价函数时的平均代价为:
C ( ˆ(z))2 f (z, )dzd E{[ ˆ(z)]2}
平均代价<====>均方误差 使平均代价最小等价于使均方误差最小
----最小均方估计
随机信号分析估计理论
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
对于有偏估计，尽管估计的方差很 小，但估计的误差可能仍然很大。
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
因此，用估计的方差还不能准确地描述估计的性 能，而如果用均方误差来描述，显然，均方误差 很小，估计的误差也肯定是很小的。所以我们可 以用均方误差作为评价估计量性能的一个指标。
地震学----检测地下是否有油田，并根据油层和岩 层的密度，根据声反射来估计油田的地下距离。
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
所有这些问题都有一个共同的特点，那就是从含 有噪声的数据集中去提取我们所需要的有用信息， 这些有用信息可能是“目标出现与否”、“数字 源发射的是0还是1”或者“目标的距离”、“目标 的方位”，或”目标的速度”等，由于噪声固有 的随机性，因此，有用信息的提取必须采用统计 的方法，这些统计方法的基础就是检测理论与估 计理论，就是本课程后续章节学习的内容。
测量误差平方和最小
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
前面三种估计需要利用被估计量的先验信息，如被 估计量的概率密度，称为贝叶斯估计，线性最小均 方估计需要已知被估计量的一、二阶矩，称为线性 贝叶斯估计。后面两种估计无需被估计量的先验信 息，称为非贝叶斯估计。
从这些估计准则我们可以看出，按照一定的准则 求估计量实际上就是数学上求函数的极值问题。
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
8.2 贝叶斯准则
贝叶斯估计 的基本思想
估计是有误差的，这个误差是 要付出代价的，贝叶斯估计就 是使平均代价最小的估计。
估计的误差为
与误差有关的 代价函数为
(z) ˆ(z) c[, ˆ(z)] c[(z)]
随机信号分析估计理论
主讲教师:罗鹏飞教授
所谓参数估计就是从含有噪声的数据中去 估计信号的某些参数，用数学的观点来看 就是给定一组观测数据去求未知参量。
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
8.1 参数估计的基本概念
测量电阻两端的电压
z1= +v1
v1 ~ N (0, 2 )
ˆ1 z1
如果你有N个观测数据， zi=+vi i=1,2,...,N
均方误差
Mse(ˆ(z)) E{[ ˆ(z)]2}
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
常用的估计准则有
最大后验概率准则 使后验概率密度最大
最小均方误差准则 均方误差最小
条件中位数估计
条件概率密度的中位数
线性最小均方误差准则 线性类估计中均方误差最小
最大似然准则
似然函数最大
最小二乘准则
估计理论
典型的代价函数有：
c[(z)] [ (z)]2
1 c[(z)] 0
c[(z)] (z)
(z) / 2 其他
~
~
平方代价函 数可得到最 小均方估计
绝对值代价函 数可得到条件 中位数估计
随机信号分析估计理论
~
均匀代价函数 可得到最大后 验概率估计
主讲教师:罗鹏飞教授
估计理论
估计量的方差： Var(ˆ(z)) E{[ˆ(z) E(ˆ(z))]2}
方差越小，估计量的取值越集中，性能也越好
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
无偏估计 有偏估计
E[ˆ(z)] 真值 E[ˆ(z)] 真值
对于无偏估计，如果估计的方差越小，表明估计 量的取值越集中于真值附近，估计的性能越好
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
本章学习内容 参数估计的基本概念 最大似然估计 贝叶斯估计 估计的性能 线性最小均方估计 最小二乘估计
随机信号分析估计理论
主讲教师:罗鹏飞教授
估计理论
大家可能会问，什么叫参数估计？参数估计 理论是干什么的？它的基本任务是什么？如 何构造一个参数估计？