信号检测与估计理论第四章
信号检测与估计理论第四章
p(x/A) 2 1n 2 exp 2 1n (2(xA)2) p ( X /A ) N n 0 12 1 n 2 e x 2 1 n 2 ( x p n A ) ( 2 ) ( 2 1 n 2 ) N /2 e x 2 1 n 2 N n p 0 1 ( x n [ A ) 2 ]
达到了CRB的估计方法称为有效估计
Va(rˆ) E{lnp (x/)2} 1
Va (rˆ) E[2ln p (2x/)] 1
满足可以达到CRLB的估计成为有效估计；
一致性：N增大趋于无穷时，估计趋向准确， 而且均方误差收敛。
什么情况下是非一致性估计?
参量估计三个主要性能指标： 无偏性 有效性 一致性
ˆp(/x)d
ˆ p(x/)p()d p(x/)p()d
最小均方误差估计MSE
C(ˆ)(ˆ)2
C(ˆ)ˆ
C (ˆ/x)ˆp(/x)d
C (ˆ /x ) ˆ (ˆ ) p (/x ) d ˆ ( ˆ ) p (/x ) d
ˆ p(/x)d p(/x)d
ˆ
条件中值估计
• 如果估计量的已知条件近一步弱化，仅知 道观测的模型，而不需要概率已知的情况 下的由样本得到估计方法。
• 最小二乘估计
N
J[ˆ] [xk sk(ˆ)]2 k1 xk Hknk
J[ˆ] ˆ
ˆ[(xHˆ)T(xHˆ)]
2HT(xHˆ)
J [ˆˆ]ˆLS2HT(xH ˆLS)0
ˆ (HTH)1HTx LS
均匀代价
C(ˆ)
1,ˆ
2
0,
C(ˆ/x)
ˆ
2
ˆ
p(/ x)d
ˆ
p(/ x)d
2
ˆ
第4章信号检测与估计
pn( y | H1)
1
2
exp(
( y b)2
2 2
)
(4.14)
pn( y | H 0)
1
2
exp(
(
y b)2
2 2
)
(4.15)
图4.1 显示了概率密度函数, 门限
MAP 0 4 1
(4.16)
似然比
L( y)
( y b)2
exp[ 2 2
( y b)2
2 2
]
2 yb
(4.23)
类似, 在假设 H1, k的概率密度函数以 a1(> a0)表征
Pp(k | H1) ea1 a1k , k 0,1, 2... (4.24) k!
似然比
L(k ) e(a0 a1 ) ( a1 )k a0
(4.25)
如果两假设的先验概率相等, 则门限为
MAP ML 1
若
令 P(H0) 0 和 P(H1) 1 先验概率
如果 p( y / H0)0 p( y / H1)1 (4.9)
则判H0为真,否则判H1为真
组合以上两个不等式
D01
p( y | H 0) 0
p( y | H1) 1
(4.10)
DD01
D0: 对应H0为真，D1: 对应H1为真
上式改写为
p( y
P00 0.985
P11 0.966
例 4.7
承接 例4.2 例 4.4
设置代价
C00 C11 , 0 C10 1, C01 2
先验概率
0
1
1 2
则Bayes 门限
B 1
2
使用对数似然比, 如果
信号的统计检测与估计理论
信号的统计检测与估计理论华侨大学信息科学与工程学院电子工程系电子程系E-mail:************.cnTel: 22692477T l22692477课程教学目的和方法目的通过本课程学习，使学生掌握信号的检测和估计的基本概念、基本理论和分析问题的基本方法，培养学生运用这些方法去解基本和分析问题的基本方法，培养学用这些方法去解决实际问题的能力。
方法本课程将通过重点讲授检测和估计的基本概念、基本原理和分析问题的基本方法入手，使同学们学会信号的检测与估计理论，析问题的基本方法入手使同学们学会信号的检测与估计理论将为进一步学习、研究随机信号统计处理打下坚实的理论基础，同时它的基本概念、理论和解决问题的方法也为解决实际应用，如信号处理系统设计等问题打下良好的基础。
2课程内容简介信号的统计检测与估计理论已成为现代信息理论的一个重要组成部分，它是现代通信、雷达、声纳以及自动控制技术的理论基础，它在许多领域或技术中有广泛的应用。
其主要内容有：信号的矢量与复数表示、噪声和干扰、假设检验、确知信号的检测、具有随机参量信号的检测、信号的参量估计、信号参量的最佳线性估计。
3教学基本内容及学时分配概论(0.5学时)第一章信号的矢量与复数表示(3.5学时)第二章噪声和干扰(2学时)第三章假设检验(4学时)第四章确知信号的检测(6学时)第五章具有随机参量信号的检测(6学时)第八章信号的参量估计(8学时)第九章信号参量的最佳线性估计(4学时)4教材教材¾《信号的统计检测与估计理论》（第二版），李道本著，科学出版社，2004年9月参考书《信号检测与估计理论》赵树杰赵建勋编著清华大¾《信号检测与估计理论》，赵树杰、赵建勋编著，清华大学出版社，2005年11月张明友吕明编著电子工业出版¾《信号检测与估计》张明友、吕明编著，电子工业出版社，2005年2月¾其他相关参考书籍5考试与要求选修课平时：60%-70%作业¾¾上课考勤期末考试40%30%期末考试：40%-30%6目录概论第一章信号的矢量与复数表示第二章噪声和干扰第三章假设检验第章第四章确知信号的检测第五章具有随机参量信号的检测第八章信号的参量估计第九章信号参量的最佳线性估计7信号的检测与估计理论的起源和发展检测与估计理论的基本概念检测与估计的分类8信号的统计检测与估计理论起源¾第二次世界大战( 20世纪40年代)¾战争对雷达和声纳技术的需求理论基础¾信息论(Information Theory)¾通信理论(Comm. Theory)数学工具¾概率论( Probability Theory)¾随机过程(Stochastic (random) Process)¾数理统计(Statistics)9信号的统计检测与估计理论发展¾现代信息理论的重要组成部分随机信号统计处论基¾随机信号统计处理的理论基础10检测与估计理论的应用现代通信雷达、声纳自动控制模式识别自动控制、模式识别射电天文学、航空航天工程遥感遥测资源探测天气预报精神物理学生物物理学精神物理学、生物物理学系统识别11无线通信系统无线通信系统原理框图12信息系统信息系统的主要工作¾信号的产生、发射、传输、接收、处理¾实现信息的传输最主要的要求¾高速率¾高准确性13信号的随机性 确知信号)(0s t t T ≤≤确信号 随机参量信号()()12(;)(0;[,,...,])T M s t t T θθθ≤≤=θθ 噪声加性噪声¾¾乘性噪声()n t 干扰¾一般干扰¾人为干扰 信号在信道传输中畸变14噪声和干扰噪声¾与有用信号无关的一些破坏性因素；如：通信中的各种工业噪声交流声脉冲噪声银河系¾如：通信中的各种工业噪声、交流声、脉冲噪声、银河系噪声、大气噪声、太阳系噪声、热噪声等；干扰与有用信号有关的些破坏性因素¾与有用信号有关的一些破坏性因素；¾如通信中的符号间干扰、共信道干扰、邻信道干扰、人为干扰等干扰等；15信号的随机性 处理的信号：()(0)v t t T ≤≤)0()()(),v t s t n t t T =+≤≤)()(;)(),0v t s t n t t T =+≤≤θ 接收信号或观测信号16信号的统计处理方法对信号的随机性进行统计描述概率密度函数、各阶矩、相关函数、协方差函数、功率谱密度等来描述随机信号的统计特性；基于随机信号统计特性所进行的各种处理和选择的相应准则均是在统计意义上进行的，并且是最佳的，如应准则均是在统计意义上进行的并且是最佳的如信号状态的统计判决、信号参量的最佳估计等；处理结果的评价即性能用相应的统计平均量来度量，如判决误差、平均代价、平均错误概率、均值、方差、均方误差等；17检测和估计理论检测估计¾参量估计¾波形估计（滤波理论）滤波理论：现代Wiener滤波理论和Kalman滤波理论18检测¾有限观测“最佳”区分一个物理系统不同状态的理论。
《信号检测与估计》总复习
《信号检测与估计》总复习2005.4第一章 绪 论本章提要本章简要介绍了信号检测与估计理论的地位作用、研究对象和发展历程，以及本课程的性能和主要内容等。
第二章 随机信号及其统计描述 本章提要本章简要阐述了随机过程的基本概念、统计描述方法，介绍了高斯噪声和白噪声及其统计特性。
本章小结（1）概率分布函数是描述随机过程统计特性的一个重要参数，既适用于离散随机过程，也适用于连续随机过程。
一维概率分布函数具有如下性质1),(0≤≤t x F X[]0)(),(=-∞<=-∞t X P t F X ；[]1)(),(=+∞<=+∞t X P t F X ；),(),())((1221t x F t x F x t X x P X X -=<≤；若21x x <，则),(),(12t x F t x F X X ≥概率密度函数可以直接给出随机变量取各个可能值的概率大小，仅适用于连续随机变量。
一维概率密度具有如下性质：0),(≥t x f X ；1),(=⎰+∞∞-dx t x f X ；x d t x f t x F x X X ''=⎰∞-),(),(；[]⎰=-=<≤21),(),(),()(1221x x X X X dxt x f t x F t x F x t X x P（2）随机过程的数字特征主要包括数学期望、方差、自相关函数、协方差函数和功率谱密度。
分别描述了随机过程样本函数围绕的中心，偏离中心的程度、样本波形两个不同时刻的相关程度、样本波形起伏量在两个不同时刻的相关程度和平均功率在不同频率上的分布情况。
定义公式分别为：[]dxt x xf t X E t m X X ⎰+∞∞-==),()()([]{}[]dx t x f t m x t m t X E t X X X X ⎰+∞∞--=-=),()()()()(222σ[]212121212121),,,()()(),(dx dx t t x x f x x t X t X E t t R X X ⎰⎰+∞∞-+∞∞-==[][]{}[][]2121212211221121),,,()()()()()()(),(dx dx t t x x f t m x t m xt m t X t m t X E t t C X X X X X X ⎰⎰∞+∞-∞+∞---=--=。
《信号检测与估计》第四章习题解答
(3sinω0T
−
2sin3ω0T
)
则判决规则变为
H1
I
> <
β
H0
两种错误判决的概率分别为
+∞
∫ P(D1 | H0 ) = β f (I | H0 )dI
《信号检测与估计》习题解答
β
∫ P(D0 | H1) = −∞ f (I | H1)dI
平均错误概率 Pe 为
∫ ∫ Pe
= P(H0 )P(D1 | H0 ) + P(H1)P(D0
T 0
[x(t
)−
B
cos(ω2t
+φ
)]2
dt
《信号检测与估计》习题解答
( ) ( ) ( ) f xH0 =
1
∫ − 1
e N0
T 0
[x
(t
)−
s
0
(t
)]2
dt
=
2π σ k
1
∫ − 1
e N0
T 0
[x
(t
)−
A
cos
ω1t
−
B
cos(ω
2
t
+φ
)]2
dt
2π σ k
根据最小差错概率准则有
0 N0
T 2 s2(τ )dτ = 2a2T
0 N0
N0
输出信号
xo (T
)
=
T
∫0
h(t )x(T
−
t )dt
=
∫Ts(T 0
− t)x(T
−
t )dt
=
T
∫0
2 N0
s(τ
)x(τ
第四章信号检测与估计理论(2)共45页文档
的 特 征 值 和 特 征 函 数 ， 而 sjk(t)是 信 号 sj(t)的 第 k 个 展 开 系 数 。
15
因 此 ， 我 们 可 以 设 想 用 rn(t-u)和 sj(t)来 表 示 gj(t) 则 用 rn(t-u)乘 4.5.15a式 子 的 两 端 (即 g1表 达 式 )， 并 在 区 间 0tT对 u积 分 ， 得
19
如 果 rn (t u )
N 0 (t u ),有 2
T 0
rn
t
u
g
1
u
du
N0 2
T 0
(t
u
)g 1
u
d
u
＝
N0 2
g1(t)
s1 (t)
同理有
T 0
rn
t
u
g
0
u
d
u
N0 2
T 0
(t
u
)g
0
u
d
u
＝
N0 2
g 0 (t)
s0 (t)
20
4.5.18式变为
这就是高斯白噪声中一般二元确知信号 波形检测的判决表示式。所以，高斯白噪声 下的结果仅仅是高斯有色噪声结果的特例。
将(4.5.39)式代入(4.5.38)式,然后完成
36
F00,1|10000
F01,1|10000
从而解得 y0t与 y1t的关系应满足
y 1 t y 0 t
4 . 5 . 4 3
进而得
y 1 t 0 T y 1 v r n t v d v
21
第四章 信号的检测和信号参数估计
第四章 信号的检测和信号参数估计
以正交表示为工具，将经典检测、估 计扩展到观测为波形的检测和估计。
1
信号的检测和信号参数估计
4.1 白噪声中检测已知信号
一、相关接收与匹配滤波： 一般二元检测
r (t ) si (t ) n(t ) : Hi ,
t (0, T ), i 0,1
取对数并消去公共项得：
2 k 1 k 2 2 l.i.m ln (rk (t )) l.i.m ( s1i s0i )ri ( s0i s1i ) k k N N0 i 1 0 i 1
T
0
r (t )s1 (t )dt [ rii (t )][ s1 j j (t )]dt ri s1 j i (t ) j (t )dt ri s1i
一旦把接收波形转换到判决空间，波形不是主要的，检测性能决定于信
号能量，只要变换到判决空间的同一点，所有情况是相同的。
请复习第一讲匹配滤波器的推导－根据最大信噪比准则设计线性时不变接收机
匹配滤波器的性质：
输出的最大信噪比与输入信号波形无关， S / N max 2E / N0
延时T 应选在全部信号结束后，信噪比在T 时刻达最大。 其冲击响应为信号波形的时间倒置（平移T ）。
充分统计量 信号能量差 H0
H1
T
0
N0 1 T 2 2 r (t ) s1 (t ) s0 (t ) dt ln s1 (t ) s0 (t ) dt ' 2 0 2
H0
H1
其中 取决于准则：贝叶斯（代价因子、先验概率），N-P（虚警概率） 从上面的推导可看出： 白噪声下已知信号的最佳检测方法是相关接收机/匹配滤波器。
第四章信号检测与估计理论.ppt
是随机变量 x 的方差。 （ k 1 ， 2 ， ） k
这样，我们得到展开系数 x 表示的信号模型 （ k 1 ， 2 ， ） k
H ： x s n ， j 0 , 1 k 1 , 2 , j k kj k
零均值、自相关函数为 r 的高斯有色噪声。 t u n
4
卡亨南——洛维展开的方法，接收信号x(t)可以表示为
展开系数xk表示为
展开系数xk与x(t)成线性关系，它们由x(t)通过与 fk(t)相匹配的滤波器获得。
5
显然，展开系数xk是随机变量，各展开系数之间的协
方差函数等于
6
现 在 的 目 标 是 寻 求 正 交 函 数 集 使 jk 时 , C o vxj , x k 0 即 展 开 式 中 的 各 系 数 xk互 不 相 关
E x | HE s n s k 0 k 0 k 0 k
2 T T Var x | H E n E n t f t d t n u f u d u k 0 k k k k 0 0
E xHE | 1 s n s k k 1 k 1 k
2 T T 9 Var x | H E n E n t f t d t n u f u d u k 1 k k k k 0 0
于是，前N项系数构成的N维随机矢量xN在 两个假设下的概率密度函数分别为
10
由前N项构成的似然比检验为
白化处理方法：将非白的接收信号x(t)先通过一个白
化滤波器，使滤波器输出端的噪声变成白噪声，然后
信号检测与估计理论-第四章-信号波形检测
利用充分统计量 x1构造似然比检验 x1 是高斯随机变量，有
返回
一般二元信号波形的检测
1. 信号模型
2. 判决表示式
用正交级数展开系数表示接收信号：
一般二元信号波形的检测
2. 判决表示式
取展开系数的前N项
一般二元信号波形的检测
2. 判决表示式
一般二元信号波形的检测
3. 检测系统的结构
图4.15 判决域划分示意图
一般二元信号波形的检测
7. 二元信号波形检测归纳
（3）分界线： 直线的斜率： 原信号差矢量的斜率：
有： 判决域分界线是垂直于信号间连线的直线！
一般二元信号波形的检测
7. 二元信号波形检测归纳
（4）若二元信号假设的先验概率相等，采用最小平均错误概率准则， 则判决域分界线满足：
输出功率信噪比
利用Schwarz不等式，满足式（4.2.12）
， 等号成立。
匹配滤波器的设计
令
由
有 当 式（4.2.16）中的等号成立。
匹配滤波器的设计
噪声为有色噪声时，广义滤波器：
当滤波器输入为白噪声时，
，
有
匹配滤波器的主要特点
1. 匹配滤波器的脉冲响应与 时刻的选择
图4.4 匹配滤波器的脉冲响应特性
简单二元信号的波形检测
4. 检测性能分析
检验统计量
在假设H0或假设H1下，都是高斯随机变量。
通过分析两种假设下的均值和方差，计算判决概率，
并据此分析检测性能。
可以得到，
，
，
简单二元信号的波形检测
偏移系数：
简单二元信号的波形检测
5. 最佳信号波形设计
在高斯白噪声条件下，简单二元确知信号波形的检测性能 由偏移系数d2决定，d2取决于信号的能量Es，与信号波形无关。
4第四章 估计与检测理论
噪声的统计特性无任何假设，应用十分广泛；
若噪声均值为零，最小二乘估计为无偏估计，即有：
ˆ E θ ls
ˆ E[θlsw ] θ
4.6 最小二乘估计
性能分析：
最小二乘估计的均方误差为：
Vn E nn T
2 H T H 1 H T V H H T H 1 E θls n
Rsz (n, i )
k n0
h(n, k ) R (k , i)
z
n
Wiener-Hopf方程
4.6 波形估计
系统为因果的线性时不变离散时间线性系统
假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，
n
ˆ s ( n)
k n0
h(n, k ) z (k )
ˆ s ( n)
2013-7-27 25
2013-7-27
26
2013-7பைடு நூலகம்27
27
4.5 最小二乘估计
前面介绍的几种估计方法中，最小均方估 计、最大后验概率估计需要知道被估计量的先 验概率密度，最大似然估计需要知道似然函数， 线性最小均方估计需要知道被估计量的一、二 阶矩，如果这些概率密度或矩未知，就不能采 用这些方法，这时可以采用最小二乘估计。最 小二乘估计对统计特性没有做任何假定，因此， 它的应用非常广泛。
zk hk 11 hk 22 hkM M nk
其中hk1，hk2，…，hkM为已知常系数。
k 1,2,, N
4.6 最小二乘估计
将观测方程用矢量及矩阵表示：
z Hθ n
最小二乘估计是使观测与估计偏差的平方和最小，即：
第四章信号检测与估计理论1
世纪演讲：
开尔文（Lord Kelvin 1824～ 1907） 19世纪英国卓越的物理学家。 原名W.汤姆孙（William Thomson。 由于装设大西洋海底电缆有功，英国 政府于1866年封他为爵士，后又于 1892年封他为男爵，称为开尔文男爵， 以后他就改名为开尔文。
7
物理大厦已经落成，所剩只是一些修饰工 作。同时，他在展望20世纪物理学前景时，却 若有所思地讲道：“动力理论肯定了热和光是 运动的两种方式，现在，它的美丽而晴朗的天 空却被两朵乌云笼罩了，”“第一朵乌云出现 在光的波动理论上，”“第二朵乌云出现在关 于能量均分的麦克斯韦-玻尔兹曼理论上。
越大，贝叶斯检测的性能就越好。
������
设计匹配滤波器构造最佳检测器的目的——改善检测系
统的功率信噪比。
设线性滤波器，在其输入信噪比一定时，若其输出信噪
比达到最大，则称该线性滤波器是与输入信号相匹配的匹配
滤波器。在电子信息系统中，信号接收机通常要按照匹配滤
波器来设计，以改善信噪比。
匹配滤波器是电子信息系统中的重要组成部分。匹配滤波
39
我们讨论白噪声条件下匹配滤波器的主要特性。 1. 匹配滤波器脉冲响应t0时刻的选择和h(t)的特点
为使输入信号 st 的全部都对输出信号 sot有所贡
献，应满足
st 0 ， t t0
这就是说，t 0 至少要选择在输入信号s(t)的末尾。
40
当k 1并且s为实信号
ht st0 t
S2d2Es
N0 2
N0
匹配滤波器的脉冲响应为
h t IF T (H ()) k s t0 t
通常我们讨论白噪声下的匹配滤波器。匹配滤波器的系
信号检测与估计课件第四章
yc t xu su du
t 0
t T
yc t T xu su du
T 0
国家重点实验室
4.2 匹配滤波器
T 0
t T 相关器的输出信号为 yc t T xu su du
匹配滤波器的冲击响应为检测理论处理的观测信号是N维矢量 第4章，波形信号检测处理的是随机过程x(t) 如何在两者之间建立联系？ 能否利用第三章的方法，解决波形信号检测的问题？ 比较上述两种不同的信号发现，如果能用一组随机变量来表示随机过程x(t)， 或者说将随机过程x(t)与一组随机变量之间建立联系，则可直接应用第三章的 结果解决波形信号检测的问题。 如何用一组随机变量来表示一个随机过程？ 确知信号有正交级数展开，可用展开系数和正交集来表示该信号。 随机过程是否也存在正交级数展开？
k 2
S e
j t0 t
d ks* (t0 t )
*
国家重点实验室
4.2 匹配滤波器
3 匹配滤波的性质 3.1 h(t)的特点及t0的选取 h(t)与s(t)对于t0/2呈对偶关系
s (t )
s (t )
s (t )
s (t0 t )
4.2 匹配滤波器
def
2.4输出信号功率信噪比
so t 的峰值功率 SNRO no t 的平均功率
1 j t 0 H S e d 2 1 2 H Pn d 2
2
so t0
2
1 2
v 0 时，H1 的频率特性与H(w)的频率特性不同。
国家重点实验室
4.2 匹配滤波器
第四章信号检测与估计理论(2)概要
2. 随机矢量情况
如果被估计矢量 是M维随机矢量，下面分析其性质。 a. 无偏性 对于随机矢量，其估计量为 满足下式，则为无偏估计量
(4.5.17)
则称 为的无偏估计量。
估计量的误差矢量为
1 1 ~ θ θ θ 2 2 M M
矩阵J通常称为费希尔信息矩阵，它表示 从观测数据中获得的信息。 对所有的x和，当且仅当下式成立时， (4.5.14)式取等号成立，
(4.5.16)
(4.5.14)
如果对于M维非随机矢量的任意无偏估计矢量 ˆ ,(4.5.14)式中的等号均成立， 中的每个参量
i
则这种估计称为联合有效估计。 ˆ的均方误差的下界，即克拉美－罗界。 是
5.7.7 (4.7.7)
联立解这两个方程,求得a1和B1
将a1和B1代入(4.7.7)式,得
4.7.3 线性最小均方误差估计量的性质
性质1 性质2
θ lmse 是 x 的线性函数(又是最佳估计)。 θ lmse 是无偏估计量，即
E θ lmse μθ E θ
写成矩阵形式的观测方程为 x Hθ n
假定n是均值矢量为0，协方差矩阵为Cn的 高斯随机矢量，其概率密度函数为
(4.6.3)
协方差矩阵为Cn E (n j nk ), 它是N N维 的对称矩阵，其元素为 cn j nk E (n j nk )
4.6.2 高斯噪声中非随机矢量的最大似然估计
若被估计矢量 θ 为非随机矢量,则其最大似然估计量
θ ml , 是使似然函数 p x | θ 为最大的 θ 作为估计量。因
第四章信号检测与估计理论(3)
d
t
xI 0T
2 T
xt
sin0
t
d
t
则整理得判决式
4.6.10a
4.6.10b
xt
1
2
exp
2
Es N0
xR cos
xIsin
d
exp
Es N0
H1
H0
进行变量代换,即令
4.6.11
l
x
2
R
x
2
I
1
2 ，l 0
arctg
xI xR
，
4.6.12a 4.6.12b
18
则有
xR lcos ，l 0 xI lsin ， l 0
；H1 ；H1
p xR
, xI
|
；H1
pl ,
|
；H1
pl
|
；H1
pl | H1
PHi | H1
Es 0 pl | H0
PHi | H0
33
根据xR和xI的定义：
xR 0T
2 T
xt
cos0t
dt
xI 0T
2 T
xt
sin0t
d
t
在假设H1下，x(t)是高斯随机变量，xR和xI都是高斯随机
p[(x(t)|Hj )
7
这样，似然比检验表示为下式，其中就不含 随机参量了。
8
对于先验概率密度函数未知的情况，或先验概率 密度函数未知的随机参量，通常采用参量的最 大似然估计方法，求得参量的最大似然估计量
ˆjml，然后用该估计量代替信号的随机参量或未知
参量，构成广义似然比检验，完成对信号的检测。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C( ˆ) ( ˆ)2
• 误差绝对代价
C( ˆ) ˆ
• 均匀代价
C(
ˆ)
1,
ˆ
2
0, others
还有其他类型代价函数,估计的代价函数满足 非负性； 在误差为零时代价最小；
C C( ˆ) p(x, )dxd
p(x, ) p( / x) p(x)
C p(x)[ C( ˆ) p( / x)d ]dx
E[
N
2 n
1 ]
2 n
N
• 最佳估计问题： 充分利用先验知识，使得构造的估计量 具有某种最佳准则。
贝叶斯估计
• 被估计量 和构造出的估计量 ˆ 都是连 续随机变量，对于每一对给定的( ,ˆ) 确定其对应的风险代价C
C( ˆ)
• 误差平方代价
2 p( / x)d
ˆ p( / x)d
2
ˆ
1
ˆ
2
p(
/ x)d
2
p( / x)
0 ˆMap
p( / x) p(x / ) p( )
p(x)
ln p(x / ) ln p( ) 0
最大后验估计方程
最大似然估计
p(x / )
0 ˆML
ln
p(x / )
ˆML
0
不知道代价函数，但知道 观测系统模型和概率特性
后验概率密度
C(ˆ / x) c( ˆ)p( / x)d
条件平均代价
C(ˆ / ˆ
x)
c(
ˆ)p( ˆ
/
x)d
0
C( ˆ) ( ˆ)2 2p( / x)d 2ˆ p( / x)d 0
ˆ p( / x)d
ˆ p(x / ) p( )d p(x / ) p( )d
最小均方误差估计MSE
A)]
N
2 n
Var(
ˆ)
2 E[
ln p(x
2
/
) 1 ]
2
ln
p( X A2
/
A)
[Nn2
(x A
A)]
N
2 n
Var(
ˆ)
E[
N
2 n
1 ]
2 n
N
多参量问题的CRLB求解问题
充分估计问题
• 估计的性能只由观测量决定的估计方法称 为充分估计
Var(
ˆ)
LS
LS
LS
• 均值的求解？ • Y(k)=x(1)+x(2)+….x(n) • Y(k+1)=?
• Y(k)=x(k+1)-x(k) • 讨论该滤波器性能
• 估计量是观测向量的线性组合；
• 观测噪声如果均值为零，则线性最小二 乘估计无偏；
• 估计的均方误差是估计误差的协方差。
Optimized method
• 如果估计量的已知条件近一步弱化，仅 知道观测的模型，而不需要概率已知的 情况下的由样本得到估计方法。
• 最小二乘估计
N
J[ˆ] [xk sk (ˆ)]2 k 1 xk H k nk
J[ˆ] ˆ
ˆ
[(x
Hˆ)T
(x
Hˆ)]
2H T (x Hˆ)
J [ˆ] ˆ
ˆLS
2H T (x Hˆ ) 0 LS
一致性：N增大趋于无穷时，估计趋向准确， 而且均方误差收敛。
什么情况下是非一致性估计?
参量估计三个主要性能指标： 无偏性 有效性 一致性
Exam
对于电平的估计
x[n] A w(n),n 0,1,...,N 1
Aˆ
1
N 1
x[n]
N n0
CRLB? 该估计是否为有效估计？
p(x / ) ?
• Bayes 估计理论
• 代价 ,估计方法
• 误差平方代价 • 误差绝对代价 • 误差均匀代价
, MSE 估计 ,条件中值估计 ,最大后验估计 MAP
• ML 估计
• 最小二乘估计 • 线性最小均方误差估计LMSE
• 高斯背景下的电平估计问题? • A+n ,它的ML估计
ˆ (H T H)1 H T x LS
梵塔问题
• 规则 由一个针挪到
另一个去，小的叠 在大的上面
• 264-1次 • 18,446,744,073,709,551,615
ˆ (H T H)1 H T x LS
θˆ (k 1) θˆ (k) (H(k 1)T H(k 1))1H(k 1)T[x(k 1) H(k 1)θˆ (k)]
exp(
1
2
2 n
( xn
A)2 )
1
(2
2 n
)
N
/
2
exp[
1
2
2 n
N 1
( xn
n0
A)2 ]
ln
p( X A
/
A)
ln{
1
(2
2 n
)
N
/
2
exp[
1
2
2 n
N 1
( xn
n0
A)2 ]}/
A
1
2 n
N 1
( xn
n0
A)
N
2 n
(x
A)
2
ln
p( X A2
/
A)
[Nn2
(x A
C( ˆ) ( ˆ)2
C( ˆ) ˆ
C(ˆ / x) ˆ p( / x)d
C(ˆ / x) ˆ (ˆ ) p( / x)d ( ˆ) p( / x)d
ˆ
ˆ
p( / x)d p( / x)d
ˆ
条件中值估计
均匀代价
C(
ˆ)
1,
ˆ
2
0,
C(ˆ / x)
ˆ
ˆˆˆ dˆ
p(X / ) ? ln p( X / ) ?
2
ln p( X
2
/
)
?
ln
p( X
/)2
?
Var(
ˆ)
2 E[
ln p(x
2
/
)
1 ] Var(
ˆ)
E{ ln
p(x
/
)
2
1
}
p(x / A)
1
2
2 n
1
exp(
2
2 n
(x
A)2 )
N1
p(X / A)
n0
1
2
2 n
参量估计理论
Lect12
估计的有效性
不同的观测有不同的观测均方误差（方差）， 估计的均方误差有下限， CRB（ Cramer-Rho Boundary),CRLB 达到了CRB的估计方法称为有效估计
Var(
ˆ)
E{
ln
p(x
/
)
2
}1
Var(
ˆ)
E[
2
ln p(x
2
/
)
1
]
满足可以达到CRLB的估计成为有效估计；