最小二乘估计
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
θ ls
−1 ∧
1 = [1 1] 1 = 5V 2
−1
4 1 1] [ 0
2
0 1 1 1 1] [ 22 1 1
−1
采用加权估计，加权矩阵取最佳加权矩阵，即：
Wopt = Cn
∧
−1
当 W =C n −1 时，W才能使均方误差阵取最小值，证明推 导过程如下（其中A和B分别为任意两个矩阵）：
例：用电表对电压进行两次测量，测量结果分别为 216V和220V。观测方程为： 216 = θ + n1
220 = θ + n2 其中，观测噪声矢量的均值矢量和协方差矩阵分别为：
n1 0 E(n) = E = n2 0 n1 n1 T 42 E(nnT )=E = n2 n2 0 0 = Cn 2 2
xk −1 = H k −1θ + nk −1 , k = 1, 2,..., L(5.8.20)
为了强调进行了k-1次观测，采用如下记号：
x1 H1 n1 W1 x H n W x(k − 1) = 2 , H ( k − 1) = 2 , n(k − 1) = 2 ,W ( k − 1) = 2 M M M M xk −1 H k −1 nk −1 Wk −1
求出上述 M k 、K k 和 θ k 后，得到第一个递推公式，再利 用第一次的观察矢量 x1 ,由：
∧
∧
求出 M 1 和 θ 1 。同样，从第二次观测开始进 行递推估计。也可以令
θ 0 = 0, M 0 = cI
其中c》1.这样从第一次观测就开始进行递推估计。虽 然开始误差较大，但是如果 K k 较大，则增益矩阵M k 较 大，于是经过若干次递推估计后，初始值不准确的影响 会逐渐消失，从而获得满意的递推估计结果。
∧
因为，如果E（n）=0， 则：
∧
所以，是
θ ls 无偏估计量。
c. 如果观测噪声矢量n的均值矢量为零，协方差矩阵 为 Cn ，则线性最小二乘估计矢量的均方误差阵为：
M
θ ls
∧
= E[(θ − θ ls )(θ − θ ls )T ] = ( H T H ) −1 H T Cn H ( H T H ) −1 (5.8.10)
4 = 0
−1
2
0 2 2
−1
θ lsw = ( H T Cn −1 H ) −1 H T Cn −1 x
4 = [1 1] 0 = 219.2V
−2
0 1 2−2 1
4−2 [1 1] 0
0 216 2−2 220
2、线性最小二乘估计
（1）估计量的构造规则 若被估计矢量θ是M维的，线性观测方程为：
x k = H k θ + n k , k = 1, 2, ..., L 其中，第k次观测矢量与 xk 同次的观测噪声矢量 nk
个 xk 的维数不一定是相同的，其维数分别记为 N k 矩阵 H k 为 N k × M 。
这样，线性观测方程（5.8.3）写成：
使（5.8.5）式中 J（θ） 达到最小，这就是线性最小 二乘估计量的构造规则。 （2）估计量的构造公式
∧
θ 为了使（5.8.5）式中 J（ ）达到最小，根据构造规 则，有：
∧
即所求的的最小二乘估计误差为 J min θ ls）。 （ （3）估计量的性质 a. 估计矢量是观测矢量的线性函数 b. 如果观测噪声矢量N的均值为零，则线性最小二乘 估矢量是无偏的。
T
−1 1 2 3 6 = 11 = 4 3 6 3
3、线性最小二乘加权估计
假定观测噪声矢量n的均值矢量和协方差矩阵为： E(n)=0,E(nn T )=Cn 线性最小而成加权估计的性能指标是使
JW (θ ) = ( x − H θ ) W ( x − H θ )(5.8.11)
（5.8.3）
同维，但是每 ；第k次的观测
如果把全部L次观测矢量 xk (k = 1, 2,..., L) 合成一个维 数为N = ∑ N k 的矢量：
k =1 L
x1 x 2 x= M xL
相应的定义N×M观测矩阵H和N维观测噪声矢量n 如下：
H1 n1 H n 2 ,n = 2 H= M M HL nL
求电压θ的最小二乘估计量和最小二乘加权估计量。
解：
n1 216 1 x= , H = 1 , n = n 220 2
非加权估计时，电压的最小二乘估计量和估计量的均 方误差分别为：
θ ls = ( H T H ) −1 H T x
1 216 = [1 1] [1 1] = 218V 1 220 ε ∧ 2 = ( H T H ) −1 H T Cn H ( H T H ) −1
∧
5、单参量的线性最小二乘估计
如果被估计量是单参量θ，线性观测方程为：
xk = hkθ + nk , k = 1, 2,..., N
如果观测噪声nk (k = 1, 2,..., N ) 满足条件
E(n k )=0,E(n j n k )=σ n 2δ jk , E (θ nk ) = 0
则有以下的简明最小二乘估计量构造公式：
ε
2
θ lsw
∧
= ( H T Cn −1 H ) −1 0 1 2 = 3.2V 2−2 1
−1
4−2 = [1 1] 0
可见，线性最小二乘加权估计量的均方误差小于非加权 估计量的均方误差。
4、线性最小二乘递推估计
使用前面两种估计，主要存在两个问题。一是没进行 一次观测，需要利用过去的全部观测数据重新进行计算， 比较麻烦；而是估计量的计算中需要完成矩阵求逆，这 样如果碰到高阶矩阵的话求逆比较有难度，因此我们寻 求到了一种递推算法，即利用前一次的估计结果和本次 的观测量，通过适当计算，就能获得当前的估计量，这 种方法就是线性最小二乘递推估计。具体推算如下： 设第k-1次的线性观测方程为：
Leabharlann Baidu
θ ls =
∧
1
∑h
k =1
N
2 k =1
∑h x
k
N
k
k
而估计量的均方误差为
当 hk = 1 时，θ的最小二乘估计退化为平均值估计， 估计量和均方误差分别为：
而上述两式就是平均值估计。
Thank you!
∧
∧
例：根据以下对二维矢量θ的两次观测：
2 1 1 x1 = = θ + n1 1 0 1 x2 = 4 = [1 2]θ + n2
求出θ的线性最小二乘估计矢量。 解：由两次观测方程，可得矩阵形式观测方程为：
2 1 1 x1 H1 , n = n1 x = = 1 , H = = 0 1 n x2 H2 2 4 1 2
最小二乘估计方法
设被估计量θ信号模型为 sk (θ )(k = 1, 2,3...) ，因为存 在观测噪声或者信号模型不精确性，设受到扰动的 sk (θ ) 记为 xk (k = 1, 2,...) 如果进行N次观测，θ的估计 ∧ 值设为 θ 2 N ∧ ∧ 求 J (θ ) = ∑ xk − sk (θ ) （5.8.1） 5.8.1 k =1 达到最小。 我们把这种估计称为最小二乘估计。
最小二乘估计
Least Squares Estimate
胡玮 2010年 2010年5月
最小二乘估计
• • • • •
1、概述 2、线性最小二乘估计 3、线性最小二乘加权估计 4、线性最小二乘递推估计 5、单参量的线性最小二乘估 计
1、概述
• 最小二乘估计起源于1795年， 当时高斯运用这种估计方法研 究行星运动。 • 最小二乘估计不需要任何先验 知识，只需估计量的观测信号 模型。 • 平均估值方法是最小二乘估计 的一个特例。
利用线性最小二乘矢量的构造公式，得：
θ ls = ( H T H ) −1 H T x
1 1 1 1 = 0 1 0 1 1 2 1 2
T −1
∧
1 1 2 0 1 1 1 2 4
T ∧ ∧ ∧
其中W为加权矩阵。将（5.8.11）式求偏导，令结果等 于零，得到线性最小二乘加权估计矢量和估计误差为：
线性最小二乘加权估计矢量的主要性质： a. 估计矢量是观测矢量的线性函数； b. 如果观测噪声矢量n的均值矢量E(n)=0，则估计矢 量是无偏估计量； c. 如果观测噪声矢量n的均值矢量E(n)=0,协方差矩阵 E(nn T )=Cn 则估计误差矢量的均方误差阵为:
−1 ∧
1 = [1 1] 1 = 5V 2
−1
4 1 1] [ 0
2
0 1 1 1 1] [ 22 1 1
−1
采用加权估计，加权矩阵取最佳加权矩阵，即：
Wopt = Cn
∧
−1
当 W =C n −1 时，W才能使均方误差阵取最小值，证明推 导过程如下（其中A和B分别为任意两个矩阵）：
例：用电表对电压进行两次测量，测量结果分别为 216V和220V。观测方程为： 216 = θ + n1
220 = θ + n2 其中，观测噪声矢量的均值矢量和协方差矩阵分别为：
n1 0 E(n) = E = n2 0 n1 n1 T 42 E(nnT )=E = n2 n2 0 0 = Cn 2 2
xk −1 = H k −1θ + nk −1 , k = 1, 2,..., L(5.8.20)
为了强调进行了k-1次观测，采用如下记号：
x1 H1 n1 W1 x H n W x(k − 1) = 2 , H ( k − 1) = 2 , n(k − 1) = 2 ,W ( k − 1) = 2 M M M M xk −1 H k −1 nk −1 Wk −1
求出上述 M k 、K k 和 θ k 后，得到第一个递推公式，再利 用第一次的观察矢量 x1 ,由：
∧
∧
求出 M 1 和 θ 1 。同样，从第二次观测开始进 行递推估计。也可以令
θ 0 = 0, M 0 = cI
其中c》1.这样从第一次观测就开始进行递推估计。虽 然开始误差较大，但是如果 K k 较大，则增益矩阵M k 较 大，于是经过若干次递推估计后，初始值不准确的影响 会逐渐消失，从而获得满意的递推估计结果。
∧
因为，如果E（n）=0， 则：
∧
所以，是
θ ls 无偏估计量。
c. 如果观测噪声矢量n的均值矢量为零，协方差矩阵 为 Cn ，则线性最小二乘估计矢量的均方误差阵为：
M
θ ls
∧
= E[(θ − θ ls )(θ − θ ls )T ] = ( H T H ) −1 H T Cn H ( H T H ) −1 (5.8.10)
4 = 0
−1
2
0 2 2
−1
θ lsw = ( H T Cn −1 H ) −1 H T Cn −1 x
4 = [1 1] 0 = 219.2V
−2
0 1 2−2 1
4−2 [1 1] 0
0 216 2−2 220
2、线性最小二乘估计
（1）估计量的构造规则 若被估计矢量θ是M维的，线性观测方程为：
x k = H k θ + n k , k = 1, 2, ..., L 其中，第k次观测矢量与 xk 同次的观测噪声矢量 nk
个 xk 的维数不一定是相同的，其维数分别记为 N k 矩阵 H k 为 N k × M 。
这样，线性观测方程（5.8.3）写成：
使（5.8.5）式中 J（θ） 达到最小，这就是线性最小 二乘估计量的构造规则。 （2）估计量的构造公式
∧
θ 为了使（5.8.5）式中 J（ ）达到最小，根据构造规 则，有：
∧
即所求的的最小二乘估计误差为 J min θ ls）。 （ （3）估计量的性质 a. 估计矢量是观测矢量的线性函数 b. 如果观测噪声矢量N的均值为零，则线性最小二乘 估矢量是无偏的。
T
−1 1 2 3 6 = 11 = 4 3 6 3
3、线性最小二乘加权估计
假定观测噪声矢量n的均值矢量和协方差矩阵为： E(n)=0,E(nn T )=Cn 线性最小而成加权估计的性能指标是使
JW (θ ) = ( x − H θ ) W ( x − H θ )(5.8.11)
（5.8.3）
同维，但是每 ；第k次的观测
如果把全部L次观测矢量 xk (k = 1, 2,..., L) 合成一个维 数为N = ∑ N k 的矢量：
k =1 L
x1 x 2 x= M xL
相应的定义N×M观测矩阵H和N维观测噪声矢量n 如下：
H1 n1 H n 2 ,n = 2 H= M M HL nL
求电压θ的最小二乘估计量和最小二乘加权估计量。
解：
n1 216 1 x= , H = 1 , n = n 220 2
非加权估计时，电压的最小二乘估计量和估计量的均 方误差分别为：
θ ls = ( H T H ) −1 H T x
1 216 = [1 1] [1 1] = 218V 1 220 ε ∧ 2 = ( H T H ) −1 H T Cn H ( H T H ) −1
∧
5、单参量的线性最小二乘估计
如果被估计量是单参量θ，线性观测方程为：
xk = hkθ + nk , k = 1, 2,..., N
如果观测噪声nk (k = 1, 2,..., N ) 满足条件
E(n k )=0,E(n j n k )=σ n 2δ jk , E (θ nk ) = 0
则有以下的简明最小二乘估计量构造公式：
ε
2
θ lsw
∧
= ( H T Cn −1 H ) −1 0 1 2 = 3.2V 2−2 1
−1
4−2 = [1 1] 0
可见，线性最小二乘加权估计量的均方误差小于非加权 估计量的均方误差。
4、线性最小二乘递推估计
使用前面两种估计，主要存在两个问题。一是没进行 一次观测，需要利用过去的全部观测数据重新进行计算， 比较麻烦；而是估计量的计算中需要完成矩阵求逆，这 样如果碰到高阶矩阵的话求逆比较有难度，因此我们寻 求到了一种递推算法，即利用前一次的估计结果和本次 的观测量，通过适当计算，就能获得当前的估计量，这 种方法就是线性最小二乘递推估计。具体推算如下： 设第k-1次的线性观测方程为：
Leabharlann Baidu
θ ls =
∧
1
∑h
k =1
N
2 k =1
∑h x
k
N
k
k
而估计量的均方误差为
当 hk = 1 时，θ的最小二乘估计退化为平均值估计， 估计量和均方误差分别为：
而上述两式就是平均值估计。
Thank you!
∧
∧
例：根据以下对二维矢量θ的两次观测：
2 1 1 x1 = = θ + n1 1 0 1 x2 = 4 = [1 2]θ + n2
求出θ的线性最小二乘估计矢量。 解：由两次观测方程，可得矩阵形式观测方程为：
2 1 1 x1 H1 , n = n1 x = = 1 , H = = 0 1 n x2 H2 2 4 1 2
最小二乘估计方法
设被估计量θ信号模型为 sk (θ )(k = 1, 2,3...) ，因为存 在观测噪声或者信号模型不精确性，设受到扰动的 sk (θ ) 记为 xk (k = 1, 2,...) 如果进行N次观测，θ的估计 ∧ 值设为 θ 2 N ∧ ∧ 求 J (θ ) = ∑ xk − sk (θ ) （5.8.1） 5.8.1 k =1 达到最小。 我们把这种估计称为最小二乘估计。
最小二乘估计
Least Squares Estimate
胡玮 2010年 2010年5月
最小二乘估计
• • • • •
1、概述 2、线性最小二乘估计 3、线性最小二乘加权估计 4、线性最小二乘递推估计 5、单参量的线性最小二乘估 计
1、概述
• 最小二乘估计起源于1795年， 当时高斯运用这种估计方法研 究行星运动。 • 最小二乘估计不需要任何先验 知识，只需估计量的观测信号 模型。 • 平均估值方法是最小二乘估计 的一个特例。
利用线性最小二乘矢量的构造公式，得：
θ ls = ( H T H ) −1 H T x
1 1 1 1 = 0 1 0 1 1 2 1 2
T −1
∧
1 1 2 0 1 1 1 2 4
T ∧ ∧ ∧
其中W为加权矩阵。将（5.8.11）式求偏导，令结果等 于零，得到线性最小二乘加权估计矢量和估计误差为：
线性最小二乘加权估计矢量的主要性质： a. 估计矢量是观测矢量的线性函数； b. 如果观测噪声矢量n的均值矢量E(n)=0，则估计矢 量是无偏估计量； c. 如果观测噪声矢量n的均值矢量E(n)=0,协方差矩阵 E(nn T )=Cn 则估计误差矢量的均方误差阵为: