估计理论

( zi A) 2 i 1
1 2 ˆ N
( z A)
i 1 i
N
2
例4.5 高斯白噪声中的恒定电平估计-未知参数与未知方差。
设有N次独立观测zi=A+vi ，i=1,2,….N，其中
vi~N(0,2)，2、A均为未知参数，求A和2的最大似然
估计。(多参数同时估计)
ˆ c[X ] [ X ]2
ˆ c[X ] X
X
X
X
平方代价函 数可得到最 小均方估计
绝对值代价函 数可得到条件 中位数估计
均匀代价函数 可得到最大后 验概率估计
平均代价为
C




ˆ C ( X ) f (x, )dxd
map
ln f ( | x) | max ˆ
map
最大后验方程
df ( | x) 0 d map ˆ
d ln f ( | x) 0 d ˆ map
例4.1 高斯白噪声中的DC电平估计
xi A vi
i 1,..., N
vi 是独立同分布的高斯随机变量，均值为零，方差为 2 若已知 A ~ N ( A , )
N 1 2 2 ln f ( z; ) ln(2 ) 2 2 2
ln f (z; 2 ) N 1 2 4 2 2 2
N
z
i 1
N
2 i
N 2 1 2 zi 24 N i 1
z i 1
N 2 i
1 ˆ N

ˆ C ( | x) ˆ 2 ( X ) f ( | x) d ˆ X




ˆ ) f ( | x ) d f ( | x ) d f ( | x ) d ˆ ( X X

ˆ f ( | x)d X 0
第四章 估计理论
统计信号处理概述
统计信号处理的根本任务是要提取有用 的信息，有用信息是通过检测、估计、 滤波的方法对信号进行处理后提取出来 的，所以、检测、估计、滤波的统计信 号处理方法是信号处理技术的理论基础， 它的应用领域十分广泛。
随机信号处理的应用领域包括
雷达 语音
声纳
通信
图象分析
生物医学
自动控制
地震学
这些应用都有一个共同的目标：要能够确定感兴趣的 事件在什么时候发生，以及该事件中更多的一些信息， 前者是一个检测问题，或者称为统计判决问题，后者 是参数的估计问题。
数字源
0或1
调制器
信道
解调器
检测器
0或1
0 s0 (t ) cos 2f 0t 1 s1 (t ) cos(2f 0t ) cos 2f 0t
ˆ ˆ ˆ Amap Amed A|x Ams
4.3 最大似然估计（Maximum Likelihood Estimate)
f (x; )
ˆ ml
max
f (x; ) f (x ) f ( )
参数 的分布直接影响到观测到的随机变量的分布
ln f (x; )
所有这些问题都有一个共同的特点，那就是从含
有噪声的数据集中去提取我们所需要的有用信息，
这些有用信息可能是“目标出现与否”、“数字
源发射的是0还是1”或者“目标的距离”、“目
标的方位”，或”目标的速度”等，由于噪声固
有的随机性，因此，有用信息的提取必须采用统
计的方法，这些统计方法的基础就是检测理论与 估计理论。后者正是本章节学习的内容。
N
N1 N zi A 2 N i 1 ln f (z; θ) N 2 1 N θ 2 4 ( zi A) N i 1 2
ln f ( z; A) 1 N 1 N N 1 2 ( zi A) 2 zi NA 2 A i 1 i 1 N zi A i 1
N
令上式等于零，可解得
ˆ 1 A N
z
i 1 N
N
i
由于
2 ln f ( z; A) N 2 0 2 A
T 0 T 1 T 1 T 0
图1.3 二元相移键控信号
声纳系统----利用声波信号确定船只的位置 图象处理----使用红外检测是否有飞机出现
图象分析----根据照相机的图象估计目标的位置和方
向，用机器人抓目标时是必须的
生物医学----估计胎儿的心率
地震学----检测地下是否有油田，并根据油层和岩层 的密度，根据声反射来估计油田的地下距 离。

不同的代价函数得到不同的估计
4.2.1
最小均方估计
采用平方代价函数的贝叶斯估计
C




ˆ ˆ ( X ) 2 f ( X, )dXd E{[ X ]2 }
平均代价<====>均方误差 使平均代价最小等价于使均方误差最小 ----最小均方估计
ˆ | x ) ( ) 2 f ( | x) d ˆ C ( X
贝叶斯估计就是使上式的平均代价最小的估计。 或等价于
C





ˆ C ( X ) f ( | x) f (x)dxd

ˆ C ( X ) f ( | x ) d f ( x ) dx

ˆ ˆ C ( | x) C ( X ) f ( | x)dx 使平均代价最小
i 1
N
( zi A) 2 f ( z; A) exp 2 2 2 i 1 2 1 N 2 N /2 2 (2 ) exp 2 ( zi A) 2 i 1
N
1
1 N ln f ( z; A) ( N / 2) ln(2 2 ) 2 ( zi A) 2 2 i 1
N /2
1 exp 2 2
( zi A) i 1
N 2
N 1 2 ln f (z; θ) ln(2 ) 2 2 2
ln f (z; 2 ) N 4 2 2 2 1 N
N
( zi A) 2
i 1
N
ˆ ml
max
f ( x; )
ˆ ml
0
ln f ( x; )
ˆ ml
0
最大似然方程
例4.2
高斯白噪声中DC电平的估计
zi=A+vi i=1,2,....,N z=[z1,z2,.....,zN]T
观测是相互独立的
f ( z; A) f ( zi ; A)
2 ml
z
i 1
N
2 i
ln f (z; ) ( 2 ) 2 1 2
2 2
N

i 1
N
0
zi2
例4.4
高斯白噪声中的恒定电平估计--A已知而方差未知。
设有N次独立观测zi=A+vi ，i=1,2,….N，其中viN(0,2)， 2为未知参数，求2的最大似然估计。
1 f ( z ; θ) 2 2
本章学习内容 参数估计的基本概念 贝叶斯估计 最大似然估计 线性最小均方估计 最小二乘估计 估计性能的评估(CRLB) 波形估计
4.1
估计的基本概念
什么叫参数估计？参数估计理论是干什么的？
它的基本任务是什么？如何构造一个参数估
计？
所谓参数估计就是从含有噪声的数据中去 估计信号的某些参数，用数学的观点来看 就是给定一组观测数据去求未知参量。

ˆ X f ( | x)d E[ x]


很容易验证

ˆ 2 C ( | x) 2 f ( | x) d 2 0 ˆ 2 X
ˆ ms f ( | x)d E ( | x)

最小均方估计是被 估计量的条件均值
2 A
则根据贝叶斯 条件概率公式：
f (x | A) f ( A) f ( A | x) f ( x)

1 1 exp 2 2 N /2 (2 ) 2
1 1 2 ( xi A) 22 exp 22 A A i 1 A A f ( x)
N 2
1 K exp W ( A) 2
2 |x 2 1 A A W ( A) 2 ( A A|x ) 2 2 2 A|x A|x A
1 N 1 2 2 2 A|x A
A|x
N A 2 2 x 2 A|x A
ˆ ˆ ˆ ˆ X [1X , 2 X mX ]T
具体地说按什么准则来找到 g () 才是参数估计问题的 实质
评价估计量好坏的性能指标
无偏性
ˆ f ( )
ˆ] E [X E []
有效性（方差小）
ˆ

ˆ ) E{[ E ( )]2 } min ˆ ˆ Var (X X X
θ A
2 T
1 f ( z ; θ) 2 2
N /2
1 exp 2 2
( zi A) i 1
N 2
N 1 2 ln f (z; θ) ln(2 ) 2 2 2
( zi A) 2
i 1
4.2 贝叶斯准则
贝叶斯估计 的基本思想
估计是有误差的，这个误差是 要付出代价的，贝叶斯估计就 是使平均代价最小的估计。
估计的误差为 与误差有关的 代价函数为
ˆ X X
ˆ c[, X ] c[X ]
典型的代价函数有：
1 ] c[X 0 ˆ X / 2 其他
均方误差小
ˆ ˆ Mse(X ) E{[X )]2 } min
常用的估计准则有
最大后验概率准则 使后验概率密度最大
最小均方误差准则
条件中位数估计
均方误差最小
条件概率密度的中位数
线性最小均方误差准则
最大似然准则 最小二乘准则
线性类估计中均方误差最小
似然函数最大 测量误差平方和最小
从这些估计准则我们可以看出，按照一定的准则求估 计量实际上就是数学上求函数的极值问题。
由于
ˆ E[ms ] E{E[ | x]} E ()
所以最小均方估计具有无偏性
2. 条件中位数估计（Conditional Median Estimate)

ˆ abs

f ( | x)d ˆ

abs
f ( | x) d
3. 最大后验概率估计
f ( | x) | max ˆ
f ( A | x)
1 2
2 A|x
1 2 exp 2 ( A A|x ) 2 A|x
ˆ N x A 2 Ams 2 A|x 2 A|x A
根据前面的定义，不难证明：
A N x 2 2 A N 1 2 2 A
即如果有N个观测数据： x [ x(0), x(1),, x( N 1)]T
它们必定与未知参数 有关系，我们希望找到 （定义）一个能有效替代 的估计量：
ˆ X g ( x)
其中 g () 是某个函数。这就是参数估计问题 为不失一般性，若 [1 , 2 m ]T 则对应有：
ˆ 所以求得的 A 为极大值
即最大似然估计为：
ຫໍສະໝຸດ Baidu
ˆ 1 Aml N
z
i 1
i
例4.3 设有N次独立观测zi=vi ，i=1,2,….N，其
中vi~N(0,2)，求噪声方差2的最大似然估计。
1 2 f ( z; ) 22
N /2
1 N 2 exp 2 zi 2 i 1