现代信号分析与处理技术_第1讲_参数估计方法

⎡ ∂2 L ∂2 L ∂2 L ⎤ ⎢ E[ ∂θ 2 ] E[ ∂θ ∂θ ] E[ ∂θ ∂θ ] ⎥ 1 1 2 1 p ⎥ ⎢ 2 2 2 ∂ L ⎥ ⎢ E[ ∂ L ] E[ ∂ L ] E[ ] 2 J = − ⎢ ∂θ 2 ∂θ1 ∂θ 2 ∂θ 2 ∂θ p ⎥ ⎢ ⎥ ⎢ ⎥ ∂2 L ∂2 L ∂2 L ⎥ ⎢ E[ E[ 2 ] ] E[ ] ⎢ ∂θ p ∂θ1 ∂θ p ∂θ 2 ∂θ p ⎥ ⎣ ⎦ 求 J 的逆矩阵 Q, 并设 Q 的第 i 个对角元素为 qii。对第 i 个参数θi ˆ ˆ 的任何无偏估计θ i ，将有： Var[θ i ] ≥ qii , i = 1, 2,..., p 这就称为 Cramer-Rao 不等式，它给定了估计的方差的下界。为求 出该下界，关键是要知道似然函数 f(x;θ)。很多情况下，有： x=g(θ)+w, 则有 fx(x;θ)= fw(x−g(θ))。w 经常被假定是高斯分布。
一、估计子的偏差和无偏估计
ˆ ˆ 1、θ 是θ 的无偏估计子：θ 满足
ˆ E (θ ) = θ ˆ ˆ ˆ 否则θ 是有偏估计子,估计的偏差为： b(θ ) = E (θ ) − θ
ˆ ˆ 2、θ 是θ 的渐近无偏估计子:若对所有θ , N → ∞ 时, b(θ ) → 0 .
1 N −1 ˆ 例 1、样本均值估计的无偏性： m x = ∑ xn N n =0 1 N −1 1 N −1 ˆ E [ m x ] == ∑ E[ xn ] = ∑ m x = m x 无偏估计 N n =0 N n =0
p列
⎡ r (0) r (1) ˆ = ⎢ r (1) r (0) Rx ⎢ ⎢ r (2) ( p) r (2) ( p − 1) x ⎣x
r ( p) ⎤ r ( p − 1) ⎥ = 1 XX T ⎥ N ⎥ (2) rx (0) ⎦
对r(1)(l)构造的自相关阵,没有上式的分解,所以不能保证半正定性.
2
一般将式子右边的分母记着 I (θ ) ，称为 Fisher 信息量：
⎡ ∂ ⎤ I (θ ) = E ⎢ ln f ( x;θ ) ⎥ ⎣ ∂θ ⎦
2
Cramer-Rao不等式(对矢量参数的情况):(介绍)
若估计的参数是矢量 θ , 并将似然函数的对数表示为 L=lnf(x;θ), 则构造Fisher信息矩阵(p×p):
参考书和参考文献
• S.M.Kay, Fundamentals of Statistical Signal Processing: I: Estimation Theory; II: Detection Theory, Prentice Hall, 1993. • S.Haykin, Adaptive Filter Theory, Prentice Hall, 1996. (2001) • Sanjit K. Mitra, Digital Signal Processing: A Computer-Based Approach, McGraw-Hill Companies, Inc., 2001. • 杨绿溪，现代数字信号处理，科学出版社，2007年11月。 • 张贤达，保铮，通信信号处理,国防工业出版社,2000年12月。 • 龚耀寰，自适应滤波: 时域自适应滤波和智能天线，电子工业 出版社，2003年7月。 • IEEE等国内外文献。 • 各次课的参考文献都有所不同，将分别给出。
⎧1 2 ˆ E {σ x } = E ⎨ ⎩N 1 = N 1 = N
⎫ ∑ ( xi − x ) ⎬ i =1 ⎭
N 2
2 N ⎧ N ⎡ N −1 ⎫ ⎤ ⎪ 1 ⎪ ( xi − mx ) − E ⎨∑ ⎢ ∑≠i ) ( x j − mx ) ⎥ ⎬ N j =1( j ⎦ ⎪ ⎪ i=1 ⎣ N ⎩ ⎭ 2 ⎡ ( N − 1) 2 ( N − 1) 2 ⎤ ⎢ N2 σx + N2 σx ⎥ N ⎣ ⎦ 2
二、估计子的方差、均方误差和有效性 估计子的方差 2 2 2 var(θ ) = σ θˆ E{| θ − E (θ ) | } = E (θ − θ ) 估计子的均方误差
ˆ MSE(θ ) = E{| θ − θ |2 }
估计子的有效性
ˆ ˆ 假定 θ1 和 θ 2 都是 θ 的无偏估计子,一般应选择具有较小方 差的，因为它位于小区间(θ − ε ,θ + ε )的概率比较高。
斯白噪声,方差σ2。要估计 f, 试求其估计的 CRLB 下界.
1 ⎛ 1 ⎞ p ( x(n); f ) = exp ⎜ − 2 [ x(n) − s (n)]2 ⎟ 2πσ ⎝ 2σ ⎠
例 : 设 有 观 测 信 号 x( n) = s (n) + w( n) = A cos(2π fn + φ ) + w(n) , 1 < f < 0.5 , 0 ≤ n ≤ N − 1 , 源信号的 A 和φ都是已知的, w(n)是高
定义：满足后面Cramer-Rao不等式中等号的无 偏估计子称为优效(efficient)估计子。 优效估计是所能构造的最有效的无偏估计，通 常称为最小方差无偏估计(MVUE)。
但若 θˆ1 和 θˆ2 都是渐近无偏的(有不同的偏差), 或者一个是无偏 的, 而另一个是渐近无偏的。这时方差就不再是有效性的唯一 合适测度。更合理的方法是同时考虑偏差和方差。
( N − 1) 2 N −N 2 σx = σx = 2 N N
因此，它是有偏的，但渐进无偏。
例：宽平稳过程的自相关函数 rx (l ) = E { x(n) x(n + l )} 的估计：
1 N −1 r (l ) = ∑ x(n) x(n + l ) -----无偏估计子，但并不重要 N − | l | n =0 1 N −1 rx(2) (l ) = ∑ x(n) x(n + l ) ---有偏,但渐近无偏,且保持半正定 N n =0 ML估计一般都是有偏但渐进无偏
现代信号分析与处理技术
Advanced Signal Analysis and Processing
信息科学与工程学院 杨绿溪
课程内容
• • • • • • • • • 参数估计方法 最优线性滤波 自适应滤波 通信中的信号处理 阵列信号处理 多速率信号处理与滤波器组 信号的时频分析 盲信号处理与盲源分离 信道盲辨识与盲均衡
§4 线性最小均方误差估计(LMMSE) §5 最大似然估计(ML)
数值求解：Newton-Raphson迭代 EM算法
§6 Bayes估计(MMSE、MAP)，其它准则等
参数估计的应用例子 I
• 通信: 信道参数估计，均衡器参数估 计，接收机参数估计，干扰抑制滤 波，频偏估计，时间同步参数，发射 或接收波束形成矢量，智能天线设 计，预编码消除多用户干扰，等； • 语音信号处理：回波抵消，语音滤波 增强，干扰或混合语音的分离等。
N −1
n
2、自相关序列的样本估计：
1 ˆ rx (k ) = N
∑x x
n =0
N −1
n n+ k
§ 1 参数估计的基本性能
要估计的参数θ: 可能是模型参数, 统计参数, 信号值. 定义: 令x(t)是与未知参数θ 有关的随机信号,x1,…,xN是 可以利用的随机样本。如果样本的某函数g(x1,…xN) 可以用来确定θ 的可能取值,则称g(x1 ，…，xN)是θ ˆ 的一个估计子, 记作 θ =g(x1,…,xN)。
三、Cramer-Rao不等式
------------可能得到的估计的最小方差
定理 3.1： x=(x1,…,xN)为一样本向量, f ( x;θ ) 是 x 的条件密度。 令
ˆ 若θ 是θ 的一个无偏估计子,且 ∂f ( x;θ ) / ∂θ 存在，则
ˆ) = E[θ − E (θ )]2 = E (θ − θ ) 2 ≥ 1 E ⎡ ∂ ln f ( x;θ ) ⎤ ˆ ˆ ˆ var(θ ⎢ ∂θ ⎥ ⎣ ⎦ ∂ ˆ ln f ( x;θ ) = K (θ )(θ − θ ) 式中等式成立时，当且仅当 ∂θ 其中 K (θ ) 是θ 的某个包含 x 的正函数。
N →∞
ˆ lim E[θ − θ ]2 = 0
现代信号分析与处理技术
第一讲 参数估计方法
信息科学与工程学院 杨绿溪
§1 参数估计的基本性能
无偏性; Cramer-Rao下界 有效性; 一致性; 等
§2 随机信号统计量的样本估计 §3 最小二乘法(LS)
基本LS估计和加权LS(WLS)估计 约束LS估计(LCMV:线性约束最小方差) QRD-LS估计等
参数估计的应用例子 II
• 图象、视频信号处理：图象复原、 滤波消除噪声和模糊，超分辨率重 建，视频编码中的参数估计，如运 动矢量估计，光流估计等； • 雷达、声纳：干扰抑制，DOA估 计，时延估计，功率谱估计，频率 估计，等。
已了解的简单估计：
1 ˆ 1、均值的样本估计： mx = N
∑x
n =0
(1) x
⎡ ⎢ x(0) x(1) ⎢ 0 x(0) X =⎢ ⎢ 0 0 ⎢ ⎣
(2) x (2) x
N列
x( p) x( p − 1) x(0)
(2) x (2) x
0 0 x( N − 1) x( N − 2) x( N − 1) 0 x( N − p + 1)
(2) x (2) x
⎤ 0 0 ⎥ 0 0 ⎥ ⎥ x( N − 2) x( N − 1) ⎥ ⎥ ⎦
例 2、样本方差估计的无偏性：
1 N −1 2 ˆ x = ∑ ( xn − m x ) 2 1) 均值 m x 已知时： σ N n=0 1 N −1 1 N −1 2 2 2 2 ˆ E [σ x ] = ∑ E [( xn − m x ) ] = ∑ σ x = σ x 无偏 N n=0 N n=0 1 N −1 2 2 ˆ ˆ ˆ 2) 均值取估计 m x 时： σ x = ∑ ( xn − m x ) N n =0 ˆ 记 m x = x 。由于各样本 xi 是独立同分布的,故有：
解：因给定 f 条件下 x(n)的 pdf(似然函数)就是 w(n)的 pdf，故：
又 N 个样本是独立同分布的, 因此： p( x; f ) =
N −1
N −1 n =0
p ( x(n); f )
−1 对数似然： L = log p( x; f ) = ∑ log p ( x(n); f ) = 2 ∑ [ x(n) −Fra Baidu biblioteks(n)]2 + cst 2σ n=0 n =0
N −1
求偏导：
∂L 1 N −1 ∂s (n, f ) = 2∑ [ x( n) − s(n, f )] ∂f σ n=0 ∂f
上式平方的期望值是 Fisher 信息量：
2 ⎧ ⎡ 1 N −1 ∂s (n, f ) ⎫ 1 N −1 ⎛ ∂s (n, f ) ⎞ 2 2 ⎤ ⎪ ⎪ [ x(n) − s (n, f )]⎥ ⎬ = 4 ∑ ⎜ I ( f ) = E ⎨⎢ 2 ∑ ⎟ σ ⎦ ⎪ σ n=0 ⎝ ∂f ⎠ ⎪ ⎣ σ n=0 ∂f ⎩ ⎭ 2 N −1 A = 2 ∑ [2π n sin(2π fn + φ )]2
σ n =0 ˆ 故无论用什么估计方法求得 f, 都有: var( f ) ≥ 1/ I ( f ) 。与 f 有关.
四、估计的一致性
ˆ 定义 1：弱一致估计(以概率收敛)。θ 是θ 的弱一致性估计,若 ˆ 当样本量 N 趋于无穷大时,θ 以概率收敛于真值θ ,即
或等价于
ˆ lim P ⎡ θ − θ < ε ⎤ = 1 ⎣ ⎦ N →∞ ˆ lim P ⎡ θ − θ ≥ ε ⎤ = 0 ⎣ ⎦ N →∞
(对所有 ε >0) （对所有 ε >0）
下面的定理给出了一致估计的一个充分条件。 ˆ 定理 2：若θ 满足如下条件，则它是θ 的均方一致估计： ˆ ˆ ˆ (1) . lim E (θ ) = θ ； (2) . lim E[θ − E (θ )]2 = 0
N →∞ N →∞
以后就称它们是一 N →∞ 致估计的两个条件. ˆ ˆ ˆ 定义 3: 若θ 以概率 1 收敛于θ : P (lim θ = θ ) = 1，则称 θ 是