3.4.1-3.4.2最小二乘估计

3.4最小二乘估计34-
34
3.4-最小二乘估计
引言：
在前面几节里，是通过考虑无偏估计的类型和确定最小方差来寻找最优和接近最优估计。

现在我们抛开这些限制，研究另一类估计，这类估计一般不与最优性质相关，但对于很多估计问题却很有意义，这就是最小二乘估计。

最小二乘估计是一种相当古老的估计方法，早在1795年高斯就使用这种方法来研究行星的运行轨迹。

3.4-最小二乘估计
34
举例：
1.曲线拟合
AX b
2.不相容方程组=
3.4-最小二乘估计
34
引言：
最小二乘估计将估计问题归结为直接利用观测数据进行最优化处理，其优化准则是使观测数据与假设信号模型之间误差的平方和最小。

这种方法的突出特点是对观测数据不做任何概率或统计的描述，而仅仅假设一个信号模型，实现容易。

所以，应用非常广泛。

其不足在于它不是最佳的。

而且如果没有对数据的概率结构做某些特定的假设，那么统计性能是无法评价的。

34
3.4-最小二乘估计
前面我们确定一个好的估计的焦点就是寻找的估计是无偏的且具有最小方差。

在选择方差作为“好”的度量中，无疑地是试图使参量的估计值和真值之间的误差（平均）最小。

在最小二乘（Least Square，LS）方法中，是使观测数据和假设信号之间的平方误差最小。

34
3.4-最小二乘估计
MMSE: mininum mean square error最小均方误差MVU：mininum variance unbiased最小方差无偏
BLUE ：Best Linear Unbiased Estimator最佳线性无偏估计CRLB：Cramer‐Rao Lower Bound克拉美‐罗下界
MLE：Maximum Likelihood Estimation最大似然估计
M i Lik lih d E ti ti
LSE：Least Square Estimator最小二乘估计
34
-最小二乘估计3.4最小二乘估计
假设取决于未知参量的模型产生信号，这个θ][n s 信号是完全确定的信号，由于观测噪声或模型不准确，观测到的信号是受干扰的信号，用观测数据表示，][n x ][n s 的最小二乘估计（LSE）就是选择使最靠近观测数据的值。

][n x ][n s θθ
343.4
-最小二乘估计靠近程度用LS误差指标来度量
12
[][]0,1,,1
N J x n s n n N θ−=− =− 式中()()0n =∑•是的函数，是通过反映出来的。

使最小的就是LSE。

注意，这里没有做出关于观测数据的概J θ][n s J θ][n x 率假设。

这种方法无论对高斯还是非高斯噪声同样有效。

当然，LSE的性能无疑取决于干扰噪声以及模型的性质。

•LSE通常在以下几种情况中使用：数据的准确统计特性未知，或不能找出最优估计，或最优估计在实际应用时太复杂的场合。

3.4-最小二乘估计
例1：直流电平信号
n w A n x +=w n 根据前面的讨论，如果，是零均值的WGN，那么，LSE 也就是MVU 估计，否则，LSE 不是MVU 估计。

为了理解这][][[]'一点，考虑噪声不是零均值情况，假设噪声为式中是零均值噪声，这时观测数据则为
()[][][]w n E w n w n =+'[]w n '
显然，样本均值估计实际上是的估计，这时的LSE是()][][][n w n w E A n x ++=()][n w E A +有偏估计，不是MVU估计。

也就是说，必须假设观测数据是由确定信号和零均值噪声组成，在信号参量的正确选择下，误差在平均意义下趋于零，则LS是合理的。

（BLUE ）][][][n s n x n e −==如果假设的直流量信号模型不正确，例如则这个模型误差也将引起LSE是有偏的。

][][n w Bn A n x ++
例2：正弦信号的频率估计
[cos 2s n n π=考虑信号模型：
式中是待估计参量, 的
LSE 通过使下式最小找到0]f 0f 0f −1N 前例中DC电平信号的误差是二次型函数，因此容易()()
∑=−=
2
002cos ][n n f n x f J π最小化。

本例中的LS误差是的高度非线性函数，不能找到使LS误差最0f 小值的参量估计的闭合形式。

对于信号模型是待估计参量的线性函数的最小二乘情况我们称为线性最小二乘问题，否则称为非线性最小二乘问题。

应该注意的是线性最小二乘问题是指信号是待估计参量的线性函数，信号本身不必是线性的。

例3：正弦信号的幅度估计
[A cos 2s n n π=考虑信号模型：
式中是待估计参量, 的
LSE 通过使下式最小找到0]f A A 1
N −因为()()
2
00A []Acos 2n J x n f n π==−∑A J 是A的二次型函数，通过求导可以容易求出最小
值。

这里信号是待估计参量的线性函数，而信号本身不是线性的。

实际中，线性最小二乘问题是我们希望的。

()如果A 和均为待估计参量，即信号对某些参数是线性0f 的，而对另外一些参数是非线性的，这称为可分离的最小二乘问题。

1
2
A 2N −()()
00
A []Acos2n J f x n f n π==−∑0，
343.4
-最小二乘估计标量参量的最小二乘估计定义：
表示待估计的参量，现得到其个观测量为
θN 式中，是待估计参量的信号模型，是观测噪声。

θ[][;][]
0,1,,1
x n s n w n n N θ=+=−…[;]s n θ[]w n 考察以下的性能指标：
1
N −()()
2
[][;]n J x n s n θθ==−∑使最小的称作最小二乘估计量（Least Square，LS），
记为。

称作最小二乘估计误差的最小值。

J θˆθmin ˆls J J θ=ls
()
343.4
-最小二乘估计•标量参量的线性最小二乘估计
在最小二乘估计问题中，如果信号模型是待估计参量的
线性函数，则称其为线性最小二乘估计问题；否则，称为非线性最小二乘估计问题。

对于线性最小二乘方法，假设信号模型是待估计参量θ
的线性函数,即
式中[;][]s n h n θθ
=[]h n 是已知序列，那么LS误差准则为
1
2
[][]N J x n h n θθ−=−()()
n =∑
343.4
-最小二乘估计例3.4.1假设观测为
[][;][],0,1,...,1
x n s n A w n n N =+=−2式中，为零均值、方差为的高斯噪声，信号模型为
[]w n σ01[;]A n M s n A ≤≤−⎧=⎨
−≤≤−求的最小二乘估计、最小二乘估计误差的最小值、最小二1
A
M n N ⎩A 乘估计的均值和方差。

解：由题可知
[;][]s n A h n A
=101[]1
1
n M h n M n N ≤≤−⎧=⎨
−≤≤−⎩
343.4
-最小二乘估计2.矢量参量的线性最小二乘估计
上述标量LSE的结果可直接扩展到矢量参量LSE，且有很
大的实际应用价值。

假设矢量参量是维的，信号1×p θT N s s s 110−= s 是待估计参量的线性函数，假设
[]][][][H θ
s =式中是一个满秩的（）矩阵，
称为观测矩阵。

这是一个线性模型，没有通常的噪声PDF假设。

的LSE H p N ×p N >H θ可使下式最小来找到，即
()()()
()
1
2[][]]N T
J x n s n −=−=−−∑θx s x s ()
()0
2n T
T
T
T
T
==−−=−+x H θx H θx
x x H θθH H θ
343.4
-最小二乘估计上式推导中，利用了
()1
T
T
−−I H H H H 是幂等矩阵的性质，即满足。

2
A A =另外一种表示形式为
min J ()
()1min
ˆˆT
T T ls T J J −⎡⎤==−⎢⎥⎣⎦
θx I H H H H x
()ls
=−x x H θ
343.4
-最小二乘估计例3.4.3假设某目标作匀速直线运动，得到其3次观测数据为
0[][],0,1,2
x n R Vn w n n =++=为零均值、方差为的高斯噪声。

求和的最小二
乘估计。

[]w n 2σ0R V 解：待估计的矢量参量为0
[]T
R V =θ0⎡⎤
令
，，
[[0][1][2]]T
x x x =x 11112⎢⎥=⎢⎥⎢⎥H [[0][1][2]]T
w w w =w 则有
⎣⎦
=+x H θw。