第二章参数估计理论_3

i =1 N
ˆ 估计准则为使均方误差E{(θ − θ ) 2 }最小。即 ˆ arg min E{(θ − θ ) } = E{(∑ wi xi − θ ) 2 }＝E{e 2 }
2 wi i =1 N
求偏导数
∂E{e 2 } ∂e 2 ∂e = E{ } = 2 E{e } = 2 E{exi } = 0 ∂wi ∂wi ∂wi i = 1,..., N
物理含义：在上述观测模型中，误差向量e各分量间不相关 并且具有相同的方差时，最小二乘估计才是无偏的和具有最 小方差的估计。
且系数矩阵列满秩时
最小二乘（LS）估计
加权最小二乘估计（为了克服误差分量具有相关性或方差不同问题）
ˆ 目标:使损失函数Q(θ )=e H We最小 ˆ ˆ θˆ = arg min e H We = e H e = ( Aθ − b) H W (Aθ − b)
最小二乘（LS）估计 如何求加权矩阵W?
假设误差向量的自协方差 cov(e ) = σ 2V ,V 是一个已知正定矩阵。 由于V 正定 ⇒ V = PP H , 其中P非奇异。 用P -1左乘观测模型b = Aθ + e得
P -1b = P -1 Aθ + P -1e
⇒ x = Bθ + ε 其中x = P -1b, B = P -1 A, ε = P -1e 而 cov(ε ) = cov( P -1e ) = σ 2 I 即新的误差向量ε = P -1e各分量间不相关，且具有相同方差。 ˆ ∴ θ = ( B H B )-1 B H x
第二章 参数估计理论 (3) 线性均方估计（LMMSE） 最小二乘估计（LS）
2.5 线性均方估计
贝叶斯估计需要知道待估计量的PDF或者后验分布函数f(θ|x) 最大似然估计会导致非线性问题的求解。
பைடு நூலகம்
线性均方（LMMSE）估计
待定的估计子被表示成观测数据的线性加权和 ˆ θ LMS = ∑ wi xi
WLS
θˆ
ˆ ˆ ˆ ˆ ˆ ˆ J = e H We = ( Aθ − b) H W (Aθ − b) = θ H AH WAθ + b H Wb − θ H AH Wb − b H WAθ ∂J ⇒ =0 ˆ ∂θ ∂J ˆ ⇒ = 2 A H WAθ − 2 A H Wb = 0 ˆ ∂θ ˆ ⇒ A H WAθ = A H Wb ˆ = ( AH WA )-1 AH Wb ⇒ θWLS
-1
x
∇ x ( x H Ax ) = ( A + AH ) x
最小二乘（LS）估计 最小二乘的解释与最小二乘滤波器 最小二乘估计 信号s由某个含未知参数θ的模型产生，即信号通过某个模型 A与未知参数θ联系，而信号在观测时将受到噪声的影响，或者模 型不精确造成观测值x和实际信号中间存在误差，即我们观测到了 一个受到扰动的s，并把它表示成观测数据x，因此
复习
Bayes估计将待估计量看成是一随机变量，是使风险 函数最小的估计。 用均方（二次型）损失函数得到的Bayes估计是MMSE 估计。 用均匀损失函数得到的Bayes估计是最大后验概(MAP) 估计。 Bayes估计需要待估计量的先验知识，即：需要待估 计量的PDF或者后验分布函数f(θ|x) 。而MLE仅需要 由观测决定的似然函数f(x|θ) 。 最大似然估计的估计参数既可以是确定量又可以是随 机量。 服从均匀分布的随机参数的最大似然估计等价与最大 后验概率Bayes估计。
线性均方（LMMSE）估计
求系数wi E{exi } = E{(∑ wi xi − θ ) xi } = 0
i =1 N
⇒ ∑ Rik wk = gi
k =1
N
i = 1,..., N
其中gi＝E{θ xi }，Rij = E{xi x j }
记 R = [R ] ⇒ w＝R－1 g 相关矩阵R可逆的条件：样本x1 ,..., xN 不相关。
谱估计、系统辨识等信号处理问题中多遇到的是超定情 况。需要求最小二乘（LS）解。
最小二乘（LS）估计
ˆ 目标:使误差向量e = Aθ − b各元素的平方和最小 ˆ ˆ θˆLS = arg min ∑ ei = e H e = ( Aθ − b) H (Aθ − b)
θˆ
i =1 N
ˆ ˆ ˆ ˆ ˆ ˆ J = e H e = ( Aθ − b) H (Aθ − b) = θ H AH Aθ + b H b − θ H A H b − b H Aθ ∂J ⇒ =0 ˆ ∂θ ∇ x ( y H x) = ∇ x ( x H y) = y ∂J ˆ ⇒ = 2 AH Aθ − 2 A H b = 0 ˆ ∂θ ∇ x ( x H Ay ) = ∇ x ( y H AH x ) = Ay ˆ ⇒ A H Aθ = A H b ———正则方程 ∇ ( x H x) = 2 x ˆ ⇒ θ LS = ( A H A ) A H b
最小二乘（LS）估计 求LS解的方法——SVD法（SVD-LS算法） 提高LS性能的方法——总体最小二乘法（TLS） 其它LS方法：按阶递推LS,序贯LS,约束LS,非线性LS……
T
−1
]
T
,
A = [ x ( i1 ), x ( i1 + 1), ..., x ( i 2 ) ]
T
w LS = arg min e H e = ( Aw − d ) H (Aw − d )
w
w LS = ( A A ) A H d
H -1
最小二乘（LS）估计 Gauss-Markov定理
定理：线性方程组b＝Aθ＋e, 其中A为N × p矩阵，θ为p × 1向量， b为p × 1随机向量；e为p × 1随机误差向量，其均值与协方差矩阵分别为 E{e} = 0 cov(e )=E{ee H } = σ 2 I ˆ 则当且仅当 rank(A)＝p时，θ 存在最优（方差最小意义下）无偏解 θ，且 ˆ = ( AH A )-1 AH b θ ˆ 其方差var(θ ) ≤ var(θ ),其中θ为b＝Aθ＋e的任何其它解。
N ,N ij i , j =1
; w = [ w1 ,.., wN ] ; g = [ g1 ,.., g N ]
T
T
则有 Rw＝g
线性均方（LMMSE）估计
几点说明: （1）LMMSE除需观测向量x外, 还需要x的自相关矩阵
是 Rx ,以及x和θ的互相关矢量g , 这时估计需要的先验知识.
而不需要一般Bayes估计的x和θ的联合概率密度函数.也就是 所需先验知识较少. （2）将一个随机变量参数的估计推广到一个随机向量,或平稳信号 波形的估计时， LMMSE就是Wiener滤波器。 当估计参数服从高斯分布的情况下，LMMSE Bayes估计和一般 （3） Bayes估计是等价的，性能一样。但是，对于非高斯分布的参数， LMMSE Bayes估计一般并不是真正的最优估计。而均方意义下的真 ˆ 正最优估计应是 θ = θ p (θ x )dθ = E{θ x} 但其一般是非线性的， ，
LS
= ( A V A ) AHV −1b
H
−1
-1
∴
W = V −1
最小二乘（LS）估计 投影算子和正交投影算子
ˆ d = Aw+e，d = Aw ⇒ wLS = ( A A) AH d
H -1
ˆ = A( AH A)-1 AH d ⇒d
H -1
令P = A( A A) AH ,定义为对A 的列向量张成空间的投影算子。任意矢量x在该空间的投影为 ˆ x＝Px = A( A A) AH x
H -1
即P作用于x得到矢量x在A 的列向量张成空间的投影。正交投影算子定义为 P = I - P = I − A( A A) AH
⊥ H -1
它作用于x得到矢量x与x在A 的列向量张成空间的投影的矢量的差，即 ˆ e＝x − x = P⊥ x
最小二乘（LS）估计
ˆ = ( A H A )-1 A H b θ LS
x = s + e = Aθ + e
参数θ的LS估计量选择为使信号s和观测数据x最接近的值。
最小二乘（LS）估计 最小二乘的解释与最小二乘滤波器
最小二乘滤波：现有接收（观测或输入）信号x，期望响应（输出） 信号d，希望设计一滤波器系数矢量w，使 ˆ ˆ d − d = e 平 方 和 最 小 而 d = A w + e， d = A w
其 中 e＝ [ e ( i1 ), e ( i1 + 1), ..., e ( i 2 ) ] , d [ d ( i1 ), d ( i1 + 1), ..., d ( i 2 ) ] ,
T T
x ( i ) = [ x ( i ), x ( i − 1), ..., x ( i − M + 1) ] , w = [ w 0 , w 1 , ..., w M
∫
获取比较困难。
最小二乘（LS）估计
未知参数向量θ＝[θ1 ,.., θ P ] 满足下面模型（矩阵方程）
T
Aθ = b 其中A和b分别是与观测相关的系数矩阵(N × P )和向量( N × 1)， 是已知的，求随机向量θ ˆ 1 （） 当N = P, 且A非奇异 ⇒ 适定方程，θ = A−1b 正常解 , ˆ （2） 当N > P, ⇒ 超定方程（A为高矩阵） θ = ( AH A) −1 A H b LS解 , ˆ （3） 当N < P, ⇒ 欠定方程（A为矮矩阵） θ = A H ( AAH ) −1 b 最小范数解
两种情况
ˆ = ( AH A )-1 A H b (1) A列满秩, ⇒ A A非奇异 ⇒ θLS
H
(2) A非列满秩,⇒ LS 解不唯一 ⇒ 参数不可辨识, ˆ ˆ 有很多参数θ可以满足A H Aθ = A H b, ˆ ˆ 但其中可以有数值稳定性最好的θ , 满足A H Aθ = A H b (SVD-LS解)
⇒ E{exi } = 0
正交性原理： 均方误差最小 ⇔ 估计误差正交于每一个给定的观测数据xi
线性均方（LMMSE）估计 正交性原理是线性估计误差最小化的一种几何解释，即由信 号矢量x的各元素作为一个分量构成一个线性空间，在这个空 间中估计参数θ，线性最小均方误差估计的误差应该垂直于 线性空间，或者说误差向该空间的投影最小。 正交性原理的一个推论是线性估计误差最小化时，参数θ的 估计值 θˆ 与线性最小均方误差估计的误差正交。