信号检测与估计理论第四章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一致性：N增大趋于无穷时，估计趋向准确， 而且均方误差收敛。
什么情况下是非一致性估计?
参量估计三个主要性能指标： 无偏性 有效性 一致性
Exam
对于电平的估计
x[n] A w(n),n 0,1,...,N 1
Aˆ
1
N 1
x[n]
N n0
CRLB? 该估计是否为有效估计？
p(x / ) ?
A)]
N
2 n
Var(
ˆ)
2 E[
ln p(x
2
/
) 1 ]
2
ln
p( X A2
/
A)
[Nn2
(x A
A)]
N
2 n
Var(
ˆ)
E[
N
2 n
1 ]
2 n
N
多参量问题的CRLB求解问题
充分估计问题
• 估计的性能只由观测量决定的估计方法称 为充分估计
Var(
ˆ)
ˆ (H T H)1 H T x LS
梵塔问题
• 规则 由一个针挪到
另一个去，小的叠 在大的上面
• 264-1次 • 18,446,744,073,709,551,615
ˆ (H T H)1 H T x LS
θˆ (k 1) θˆ (k) (H(k 1)T H(k 1))1H(k 1)T[x(k 1) H(k 1)θˆ (k)]
LS
LS
LS
• 均值的求解？ • Y(k)=x(1)+x(2)+….x(n) • Y(k+1)=?
• Y(k)=x(k+1)-x(k) • 讨论该滤波器性能
• 估计量是观测向量的线性组合；
• 观测噪声如果均值为零，则线性最小二 乘估计无偏；
• 估计的均方误差是估计误差的协方差。
Optimized method
参量估计理论
Lect12
估计的有效性
不同的观测有不同的观测均方误差（方差）， 估计的均方误差有下限， CRB（ Cramer-Rho Boundary),CRLB 达到了CRB的估计方法称为有效估计
Var(
ˆ)
E{
ln
p(x
/
)
2
}1
Var(
ˆ)
E[
2
ln p(x
2
/
)
1
]
满足可以达到CRLB的估计成为有效估计；
p(X / ) ? ln p( X / ) ?
2
ln p( X
2
/
)
?
ln
p( X
/)2
?
Var(
ˆ)
2 E[
ln p(x
2
/
)
1 ] Var(
ˆ)
E{ ln
p(x
/
)
2
1
}
p(x / A)
1
2
2 n
1
exp(
2
2 n
(x
A)2 )
N1
p(X / A)
n0
1
2
2 n
• Bayes 估计理论
• 代价 ,估计方法
• 误差平方代价 • 误差绝对代价 • 误差均匀代价
, MSE 估计 ,条件中值估计 ,最大后验估计 MAP
• ML 估计
• 最小二乘估计 • 线性最小均方误差估计LMSE
• 高斯背景下的电平估计问题? • A+n ,它的ML估计
后验概率密度
C(ˆ / x) c( ˆ)p( / x)d
条件平均代价
C(ˆ / ˆ
x)
c(
ˆ)p( ˆ
/
x)d
0
C( ˆ) ( ˆ)2 2p( / x)d 2ˆ p( / x)d 0
ˆ p( / x)d
ˆ p(x / ) p( )d p(x / ) p( )d
最小均方误差估计MSE
C( ˆ) ( ˆ)2
• 误差绝对代价
C( ˆ) ˆ
• 均匀代价
C(
ˆ)
1,
ຫໍສະໝຸດ Baidu
ˆ
2
0, others
还有其他类型代价函数,估计的代价函数满足 非负性； 在误差为零时代价最小；
C C( ˆ) p(x, )dxd
p(x, ) p( / x) p(x)
C p(x)[ C( ˆ) p( / x)d ]dx
exp(
1
2
2 n
( xn
A)2 )
1
(2
2 n
)
N
/
2
exp[
1
2
2 n
N 1
( xn
n0
A)2 ]
ln
p( X A
/
A)
ln{
1
(2
2 n
)
N
/
2
exp[
1
2
2 n
N 1
( xn
n0
A)2 ]}/
A
1
2 n
N 1
( xn
n0
A)
N
2 n
(x
A)
2
ln
p( X A2
/
A)
[Nn2
(x A
2 p( / x)d
ˆ p( / x)d
2
ˆ
1
ˆ
2
p(
/ x)d
2
p( / x)
0 ˆMap
p( / x) p(x / ) p( )
p(x)
ln p(x / ) ln p( ) 0
最大后验估计方程
最大似然估计
p(x / )
0 ˆML
ln
p(x / )
ˆML
0
不知道代价函数，但知道 观测系统模型和概率特性
E[
N
2 n
1 ]
2 n
N
• 最佳估计问题： 充分利用先验知识，使得构造的估计量 具有某种最佳性能的估计准则。
➢估计量的构造方法； ➢估计量性质； ➢准则。
贝叶斯估计
• 被估计量 和构造出的估计量 ˆ 都是连 续随机变量，对于每一对给定的( ,ˆ) 确定其对应的风险代价C
C( ˆ)
• 误差平方代价
• 如果估计量的已知条件近一步弱化，仅 知道观测的模型，而不需要概率已知的 情况下的由样本得到估计方法。
• 最小二乘估计
N
J[ˆ] [xk sk (ˆ)]2 k 1 xk H k nk
J[ˆ] ˆ
ˆ
[(x
Hˆ)T
(x
Hˆ)]
2H T (x Hˆ)
J [ˆ] ˆ
ˆLS
2H T (x Hˆ ) 0 LS
C( ˆ) ( ˆ)2
C( ˆ) ˆ
C(ˆ / x) ˆ p( / x)d
C(ˆ / x) ˆ (ˆ ) p( / x)d ( ˆ) p( / x)d
ˆ
ˆ
p( / x)d p( / x)d
ˆ
条件中值估计
均匀代价
C(
ˆ)
1,
ˆ
2
0,
C(ˆ / x)
ˆ
ˆˆˆ dˆ
什么情况下是非一致性估计?
参量估计三个主要性能指标： 无偏性 有效性 一致性
Exam
对于电平的估计
x[n] A w(n),n 0,1,...,N 1
Aˆ
1
N 1
x[n]
N n0
CRLB? 该估计是否为有效估计？
p(x / ) ?
A)]
N
2 n
Var(
ˆ)
2 E[
ln p(x
2
/
) 1 ]
2
ln
p( X A2
/
A)
[Nn2
(x A
A)]
N
2 n
Var(
ˆ)
E[
N
2 n
1 ]
2 n
N
多参量问题的CRLB求解问题
充分估计问题
• 估计的性能只由观测量决定的估计方法称 为充分估计
Var(
ˆ)
ˆ (H T H)1 H T x LS
梵塔问题
• 规则 由一个针挪到
另一个去，小的叠 在大的上面
• 264-1次 • 18,446,744,073,709,551,615
ˆ (H T H)1 H T x LS
θˆ (k 1) θˆ (k) (H(k 1)T H(k 1))1H(k 1)T[x(k 1) H(k 1)θˆ (k)]
LS
LS
LS
• 均值的求解？ • Y(k)=x(1)+x(2)+….x(n) • Y(k+1)=?
• Y(k)=x(k+1)-x(k) • 讨论该滤波器性能
• 估计量是观测向量的线性组合；
• 观测噪声如果均值为零，则线性最小二 乘估计无偏；
• 估计的均方误差是估计误差的协方差。
Optimized method
参量估计理论
Lect12
估计的有效性
不同的观测有不同的观测均方误差（方差）， 估计的均方误差有下限， CRB（ Cramer-Rho Boundary),CRLB 达到了CRB的估计方法称为有效估计
Var(
ˆ)
E{
ln
p(x
/
)
2
}1
Var(
ˆ)
E[
2
ln p(x
2
/
)
1
]
满足可以达到CRLB的估计成为有效估计；
p(X / ) ? ln p( X / ) ?
2
ln p( X
2
/
)
?
ln
p( X
/)2
?
Var(
ˆ)
2 E[
ln p(x
2
/
)
1 ] Var(
ˆ)
E{ ln
p(x
/
)
2
1
}
p(x / A)
1
2
2 n
1
exp(
2
2 n
(x
A)2 )
N1
p(X / A)
n0
1
2
2 n
• Bayes 估计理论
• 代价 ,估计方法
• 误差平方代价 • 误差绝对代价 • 误差均匀代价
, MSE 估计 ,条件中值估计 ,最大后验估计 MAP
• ML 估计
• 最小二乘估计 • 线性最小均方误差估计LMSE
• 高斯背景下的电平估计问题? • A+n ,它的ML估计
后验概率密度
C(ˆ / x) c( ˆ)p( / x)d
条件平均代价
C(ˆ / ˆ
x)
c(
ˆ)p( ˆ
/
x)d
0
C( ˆ) ( ˆ)2 2p( / x)d 2ˆ p( / x)d 0
ˆ p( / x)d
ˆ p(x / ) p( )d p(x / ) p( )d
最小均方误差估计MSE
C( ˆ) ( ˆ)2
• 误差绝对代价
C( ˆ) ˆ
• 均匀代价
C(
ˆ)
1,
ຫໍສະໝຸດ Baidu
ˆ
2
0, others
还有其他类型代价函数,估计的代价函数满足 非负性； 在误差为零时代价最小；
C C( ˆ) p(x, )dxd
p(x, ) p( / x) p(x)
C p(x)[ C( ˆ) p( / x)d ]dx
exp(
1
2
2 n
( xn
A)2 )
1
(2
2 n
)
N
/
2
exp[
1
2
2 n
N 1
( xn
n0
A)2 ]
ln
p( X A
/
A)
ln{
1
(2
2 n
)
N
/
2
exp[
1
2
2 n
N 1
( xn
n0
A)2 ]}/
A
1
2 n
N 1
( xn
n0
A)
N
2 n
(x
A)
2
ln
p( X A2
/
A)
[Nn2
(x A
2 p( / x)d
ˆ p( / x)d
2
ˆ
1
ˆ
2
p(
/ x)d
2
p( / x)
0 ˆMap
p( / x) p(x / ) p( )
p(x)
ln p(x / ) ln p( ) 0
最大后验估计方程
最大似然估计
p(x / )
0 ˆML
ln
p(x / )
ˆML
0
不知道代价函数，但知道 观测系统模型和概率特性
E[
N
2 n
1 ]
2 n
N
• 最佳估计问题： 充分利用先验知识，使得构造的估计量 具有某种最佳性能的估计准则。
➢估计量的构造方法； ➢估计量性质； ➢准则。
贝叶斯估计
• 被估计量 和构造出的估计量 ˆ 都是连 续随机变量，对于每一对给定的( ,ˆ) 确定其对应的风险代价C
C( ˆ)
• 误差平方代价
• 如果估计量的已知条件近一步弱化，仅 知道观测的模型，而不需要概率已知的 情况下的由样本得到估计方法。
• 最小二乘估计
N
J[ˆ] [xk sk (ˆ)]2 k 1 xk H k nk
J[ˆ] ˆ
ˆ
[(x
Hˆ)T
(x
Hˆ)]
2H T (x Hˆ)
J [ˆ] ˆ
ˆLS
2H T (x Hˆ ) 0 LS
C( ˆ) ( ˆ)2
C( ˆ) ˆ
C(ˆ / x) ˆ p( / x)d
C(ˆ / x) ˆ (ˆ ) p( / x)d ( ˆ) p( / x)d
ˆ
ˆ
p( / x)d p( / x)d
ˆ
条件中值估计
均匀代价
C(
ˆ)
1,
ˆ
2
0,
C(ˆ / x)
ˆ
ˆˆˆ dˆ