随机信号分析与处理ppt 估计理论

v~N(0,2)，2、A均为未知参数，求A和2的最大似然估
计。
1 f (z | θ) 2 2
N /2
1 ex p 2 2

N
i 1
( zi A )
2
=[A 2]T
ˆ θ ml
ˆ Am l 1 2 ˆ N
( z A)2 ex p 2 2 v 2 v 1
f ( A | z)
f ( z | A) f ( A) f (z)
ˆ Am s


A f ( A | z )d A


A
f ( z | A) f ( A) f (z)
dA


ˆ
统计平均代价：
E [ C ( )] E [ C ( , ˆ ( z ))]



C ( , ˆ ( z )) f ( , z ) d d z

C ( , ˆ ( z )) f ( | z ) d f ( z ) d z C ( | z ) f ( z ) d z
均匀代价：
1, ˆ) C ( ， 0,
ˆ | | 2 ˆ | | 2
ˆm a p
ˆ
m ap
最大后验概率估计(maximal posterior probability)

C ( | z ) 1


2 2
f ( | z ) d
生物医学----估计胎儿的心率
控制----估计汽艇的位置，以便采用正确的导航 行为，如Loran系统 地震学----检测地下是否有油田，并根据油层和 岩层的密度，根据声反射来估计油田的地下距离。
所有这些问题都有一个共同的特点，那就是从含
有噪声的数据集中去提取我们所需要的有用信息，
这些有用信息可能是“目标出现与否”、“数字
7.3 最大似然估计：使似然函数最大 7.4 估计量的性能 7.5 线性最小均方估计：已知估计量的一、二阶矩,使均方误差最小的
线性估计
7.6 最小二乘估计：观测与估计偏差的平方和最小 7.7 波形估计
估计问题通常是以下三种情况： 根据观测样本直接对观测样本的各类统计特性作出估计；
根据观测样本，对观测样本中的信号中的未知的待定参量

N
i 1
ai zi b z j 0
E z j E [( ˆlm s ) z j ] 0
正交条件
正交条件是信号最佳线性滤波和估计算法的基础，在随机 信号处理中占有十分重要的地位。
性能分析：
线性最小均方估计为无偏估计，即有：
E ˆlm s E
均匀代价：
平方代价： C ( , ˆ ) ( ˆ ) 2 最小均方估计(Minimal Square)
C ( | z )


2 ( ˆ ) f ( | z ) d ＝ 最 小
对 ˆ 求导数，并使其等于零：
d C ( | z ) ˆ 2 f ( | z ) d 2 f ( | z ) d d ˆ
作出估计，称为信号的参量估计问题，又分为点估计和区间 估计； 根据观测样本对随时间变化的信号作出波形估计，又称为 过程估计。
信源s() P() z
观测空间 估计 ()
混合
估计规则
n P(n)
信号参量估计的统计推断模型
估计问题基本要素
概率传递机制
f(z;0) 参数空间 f(z;1) 观测空间Z 准则2
M之间服从：
z k h k 1 1 h k 2 2 h kM M n k
其中hk1，hk2，…，hkM为已知常系数。
k 1, 2 , , N
将观测方程用矢量及矩阵表示：
z Hθ n
最小二乘估计是使观测与估计偏差的平方和最小，即：
ˆ ˆ J θ z Hθ
性能分析：
对于线性观测模型，最小二乘估计是线性估计，对测量
噪声的统计特性无任何假设，应用十分广泛；
若噪声均值为零，最小二乘估计为无偏估计，即有：
ˆ E θ ls
ˆ E [ θ lsw ] θ
性能分析：
最小二乘估计的均方误差为：
T 2 E θ ls H H 1
ln f ( ln f ( z | ) ＋
)
0
ˆm a p
例1设观测为 z A v ，其中被估计量A在[-A0,A0]上均匀分布,
2 测量噪声v~N(0, v )，求A的最大后验概率估计和最小均方估计。
f ( z | A)
信号处理的根本任务是要提取有用的信息，有
用信息是通过检测、估计的方法对信号进行处
理后提取出来的，所以、检测、估计的信号处
理方法是信号处理技术的理论基础，它的应用
领域十分广泛。
声纳系统----利用声波信号确定船只的位置 图象处理----使用红外检测是否有飞机出现 图象分析----根据照相机的图象估计目标的位置 和方向，用机器人抓目标时是必须的
得：ˆ


f ( | z ) d
即 ˆ E [ | z ] ，也称为条件均值估计。
绝对值代价： C ( , ˆ ) | ˆ | 条件中位数估计(Median)
C ( | z )


| ˆ | f ( | z ) d


线性最小均方估计的均方误差等于误差与被估计量乘
积的统计均值，即：
2 E E
其中：
ˆlm s
例1、设观测模型为zi=s+vi ，i=1,2,..，其中随机参量s以等 概率取{-2,-1,0,1,2}诸值，噪声干扰vi以等概率取{-1,0,1}诸
f (z | ) 2 2
2
1
N /2
1 ex p 2 2

N
i 1
zi
2
ˆ ml
2
1 N

N
zi
2
i 1
例3、高斯白噪声中的直流电平估计-未知参数与未知方 差。设有N次独立观测zi=A+vi ，i=1,2,….N，其中
A f ( z | A ) f ( A )d A f ( z | A ) f ( A )d A

例2 高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立 观测zi=A+vi,i=1,2,….N，其中v~N(0, 2 )，A~ N ( A , 2 ) ，求 A A的估计。
f ( A | z) f (z | A) f ( A)
参数，2已知，求A的最大似然估计。
1 f (z | A) 2 2
N /2
1 ex p 2 2

N
i 1
( zi A)
2
ˆ Am l z
1 N

N
zi
i 1
例2、设有N次独立观测zi=vi ，i=1,2,….N，其中 vi~N(0,2)，求2 的最大似然估计。
ˆm a p
若先验概率密度函数 f ( ) 未知，则由左边第一项求解 参量，即最大似然估计，用 ˆm L 表示。最大似然方程为：
ln f ( z | )
ˆm L
0
例1、高斯白噪声中的直流电平估计-未知参数。设有N次 独立观测zi=A+vi ，i=1,2,….N，其中vi~N(0,2)，A为未知
V n E nn
T 1

T

H Vn H H H
T
T 1 T T 1 2 E θ lsw ( H W H ) H W R W H ( H W H )
对于加权最小二乘估计，如果有一些模型的知识，如 E(v)=0， E n n T R ，当 W R 1 时，估计误差的方



f (z | A) f ( A)dA
1 2 A|z
2
1 2 ex p ( A A|z ) 2 2 A|z
习题：7.3、7.6
1、最大似然估计 (Maximum Likelihood Estimate)
由最大后验概率估计
ln f ( ln f ( z | ) ＋ ) 0
选择适当的系数ai及b，使估计均方误差最小。
2 ˆ ˆ M se ( ) E [( ) ] E
wk.baidu.com
N
i 1
ai zi b
2
m in
b E
a E z
i i i 1
N
E
＝
条件平均代价
等价于使下式最小：


C ( , ˆ ( z )) f ( | z ) d ＝ 最 小
2、典型代价函数及贝叶斯估计
平方代价： C ( , ˆ ) ( ˆ ) 2
绝对值代价： C ( , ˆ ) | ˆ |
1, C ( ， ˆ ) 0, ˆ | | 2 ˆ | | 2
应当选择 ˆ ，使它处在后验概率 f ( | z ) 的最大处。 最大后验概率方程：
f ( | z )
ˆm a p
0 或
ln f ( | z )
ˆm a p
0
由关系式：
f ( | z )＝
f ( z | ) f ( ) f (z)
两边取对数并对求导，得最大后验概率方程的另一形式：
估计准则
准则1 估计空间
图7.2 参数估计问题的统计模型
1、贝叶斯估计
在已知代价函数及先验概率基础上，使估计付出的平均 代价最小。
设观测值为z，待估参量为。
估计误差：
ˆ ( z )
设代价函数： C ( )
贝叶斯估计准则： ˆ ( z ) m in E [ C ( )]

N
i 1
2 ( zi z ) z
1、线性最小均方估计(linear minimum mean square error estimation)
前提：不知道 f ( ) ，知道 的一、二阶矩特性
准则：使均方误差最小的线性估计
实现：
ˆlm s
a
i 1
N
i
zi b
E 值，且E[svi]=0， [v i v j ]= v ij ，试根据一次、二次、三
2
次观测数据求参量s的线性最小均方估计。
1、最小二乘估计（Least square estimation）
前提：适用于线性观测模型；
不规定估计的概率或统计描述； 需要关于被估计量的观测信号模型 ; 准则：使观测与估计偏差的平方和最小。 假定观测模型为线性，即观测数据zk与参量1， 2，…，
ˆ

(ˆ ) f ( | z ) d


ˆ
( ˆ ) f ( | z ) d
对ˆ 求导数，并使其等于零，得：

ˆa b s

f ( | z ) d


abs
ˆ
f ( | z ) d
可见，估计为条件概率密度 f ( | z ) 的中位数。

ˆ z H θ m in
T
ˆ ˆ T ˆ J W ( θ ) [ z H θ ] W [ z H θ ] m in
最小二乘估计为：
T ˆ θ ls H H
1
H z
T
ˆ 加权最小二乘估计为： θ lsw ( H T W H ) 1 H T W z
源发射的是0还是1”或者“目标的距离”、“目标
的方位”，或”目标的速度”等，由于噪声固有
的随机性，因此，有用信息的提取必须采用统计
的方法，这些统计方法的基础就是检测理论与估 计理论，就是本课程后续章节学习的内容。
7.1 估计的基本概念 7.2 贝叶斯估计：已知代价函数及先验概率，使估计付出的平均代价最小