基于最小二乘法的数据处理问题研究综述

基于最小二乘法的数据处理问题研究综述
摘要：对基于最小二乘法的数据处理方法进行了介绍。

首先对传统最小二乘法基本原理进行了介绍，然后根据例子来说明怎样运用传统最小二乘法来解决实际辨识问题。

而且本文针对传统最小二乘存在的缺陷进一步阐述了一些改进型最小二乘法，综述了最小二乘法的研究现状，最后对最小二乘的发展趋势做了预测。

关键字：最小二乘法数据处理改进型最小二乘法发展趋势
1引言
在科学实验中经常要把离散的测量数据转化为直观的便于研究的曲线方程，即曲线拟合[1]。

由于在实验室或实际应用中，误差是不可避免的，所以为了不把原有离散数据中的误差引入，人们经常用拟合来确定模拟函数。

拟合方法不要求模拟函数通过已知离散的点，而追求的是所有点到模拟函数达到某种误差指标的最小化，是一种整体上的逼近性质。

最小二乘法是解决这类曲线拟合中一种较为常用的方法，根据最小二乘法的定义[2]：“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。

”最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，因此最小二乘在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。

本文在阐述最小二乘法理论的基础上对于其在实际问题中的辨识应用做了简单介绍，并指出实际应用中存在的不足，列举了几种改
进型的最小二乘算法来进行优化比较，最后给出了最小二乘法的发展趋势。

2 最小二乘法的理论基础及应用 2.1最小二乘法的理论基础
最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。

然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。

事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用[3]。

特别是针对动态系统辨识的方法有很多[4]，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法的应用在就要对其基本原理有较为深刻的理解。

下面是一般的最小二乘法问题：求实系数线性方程组
11112211211222221122
.........00 0
n n n n m m mn n m b b b a x a x a x a x a x a x a x a x a x ++-++-++-⎧+=⎪
+=⎪⎨
⎪⎪+=⎩ （1）
方程组可能无解。

即很可能不存在一组实数x 1,x 2,……,x n 使
2
112120()i i in n i m
i a x a x a x b =++⋯+-=∑ （2） 恒成立。

因此我们转而求其次，设法找到实数组 x 1，x 2，…，x n 使误差的平方和最小，这样的 x 1，x 2，…，x n 称为方程组的最小二乘解，这样问题就叫最小二乘法问题[5]。

2.2 最小二乘法的应用举例
理论只有被利用才能体现其价值意义，下面我就以系统辨识中的最小二乘法的例子为大家讲讲怎样在实际中应用最小二乘法解决辨识问题。

考虑如下图1中的线性系统：
()()()()()() 11
11
a b
n a n b
z k a z k a z k n bu k b u k n e k +-++-=-++-+（3）
其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。

其系统模型如图1所示：
图1 SISO的系统模型结构图
其中G(z-1)是系统函数模型，N(z-1)为有色噪声系统模型，e(k)为白噪声v(k)经过系统函数为N(z-1)的系统后的输出[6]。

通常
()()
()()
()
()
11
11
11
,
B z D z
G z N z
A z C z
--
--
--
==（4）
式中：
()
()
112
12
112
12
1a
a
b
b
n
n
n
n
A z a z a z a z
B z b z b z b z
-
---
-
---
⎧=++++
⎪
⎨
=+++
⎪⎩
（5）
()
()
112
12
112
12
1c
c
d
d
n
n
n
n
C z c z c z c z
D z d z d z b z
-
---
-
---
⎧=++++
⎪
⎨
=+++
⎪⎩
（6）
则系统可表示为：()()()
()()
()
()111
1
B z D z z k u k v k A z
C z
----=+
（7）
设样本和参数集为：
1212()[-(-1) , -(-2), ...... -(-), (-1),(-2), ......, (-)][,,......,,,,......,]T
T
n n h k z k z k z k n u k u k u k n a a a b b b θ⎧=⎨=⎩
（8） h(k)为可观测的量，差分方程可写为最小二乘形式
()()()T z k h k e k θ=+ （9）
那么如何在系统噪声e(k)存在的情况下从该方程中正确的解出
θ，即是系统辨识的任务。

为了求出θ，我们面临三大问题：一是输入信号的选择，二是判决准则的选取，三是辨识算法的选择，下面一一探讨。

一．选择输入
为了准确辨识系统参数，我们对输入信号有两大要求，一是信号
要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。

除此之外还要求信号有可重复性，不能是不可重复的随机噪声，因此我们通常选择M 序列或逆M 序列作为输入。

二．准则函数
因为本文主要探讨最小二乘方法，在此选取准则函数
()()()()2
2
1
1
T
k k J e k z k h k θθ∞
∞
==⎡⎤==-⎡⎤⎣⎦⎣⎦∑∑ （10）
使准则函数()min J θ=的θ估计值记做LS θ，称作参数θ的最小二乘估计值。

在式(7)中，令k=1,2,3,……L ，可构成线性方程组：
()()()T
L L L z k H k e k θ=+ （11）
式中
()()()()()()()
()()()()()()()()()()()1122, 010*******L L a b a b L a b z e z e z e z L e L z z n u u n z z n u u n H z L z L n u L u L n ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
----⎡⎤⎢⎥----⎢⎥=⎢⎥⎢⎥------⎢⎥⎣⎦
准则函数相应变为：
()()()()()
()2
2
1
1
L
L
T
T
L L L L k k J e k z k h k z H z H θθθθ==⎡⎤==-=--⎡⎤⎣⎦⎣⎦∑∑ （12）
极小化()J θ,求得参数θ的估计值，将使模型更好的预报系统的输出。

三．最小二乘算法实现辨识 设LS θ使得()min J θ=，则有
()
()()0LS
T
L L L L J z H z H θθθθθ
θ
∂∂=
--=∂∂ （13） 展开上式，并根据以下两个向量微分公式：
()()2 T
T T
T a x a x
x Ax x A A x
∂=∂∂=∂为对称阵 （14）
得正则方程： ()T T
L L LS L L H H H z θ= （15） 当T L L H H 为正则阵时，有()1
T T
LS L L L L H H H z θ-= （16）
且有
()22
20LS
T
L L J H H θθθ∂=>∂，所以满足式（16）的LS θ唯一使得
()min J θ=，这种通过极小化式（12）计算LS θ的方法称作最小二乘法。

而且可以证明，当噪声e(k)是均值为0的高斯白噪声时，可实现无偏估计。

3 最小二乘法改进型
3.1传统最小二乘存在的问题
最小二乘法存在一些缺陷制约着最小二乘法的应用，在处理日益复杂的参数估计、系统辨识等问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。

如传统的最小二乘法不适合在动态辨识系统中使用，而且其参数估计存在偏差，耗时较长等问题，因此，随着科学技术的发展，涌现出了很多改进型的最小二乘法。

3.2递推最小二乘算法
为了减少计算量，减少数据在计算机中占用的内存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式[7]。

下面我们来推导递推最小二乘算法的原理。

首先，将式(12)的最小二乘一次完成算法写为
()()()()()()1
1
11T T T WLS L L L L L L
L L T
i i H H H z P L H z h i h i h i z i θ--====⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
∑∑ （17）
定义
()()()()()()11
1
11111k
T T
k k i k T T k k i P k H H h i h i P k H H h i h i -=----=⎧==⎪⎪⎨⎪-==⎪⎩
∑∑ （18） 式中
()()()()()()11122 1T T T T k k T T h h h h H H h k h k -⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎢⎥⎣⎦⎣⎦
（19） 式中，h(i)是一个列向量，也就是H L 的第i 行的倒置，P(k)是一个方阵，它的维数取决于未知参数的个数，假设未知参数的个数是n ，则P(k)的维数是n ×n 。

由式18可得P(k)的递推关系为：
()()()()()
()()()
1
1
1
11k T T i T P
k h i h i h k h k P k h k h k --=-=+=-+∑ （20）
设
()()()()()()11,2,,11,2,,T k T
k z z z z k z z z z k -⎧=-⎡⎤⎪⎣⎦
⎨=⎡
⎤⎪⎣⎦⎩ （21） 则
()()()()()1
1111
1111T T k k k k k i k H H H z P k h i z i θ------=-=⎡⎤=-⎢⎥
⎣⎦
∑ （22）
由此可得：()()()()1
1
1
11k i P k k h i z i θ--=--=∑ （23）
由式20和21可得
()()
()()()()()()()()()()()()()()(){}
()()()()()()1
11
111111k T T
k
k k k
i T T k H H H z P k h i z i P k P k k h k z k P k P k h k h k k h k z k k P k h k z k h k k θθθθθ-=--⎡⎤
==⎢⎥
⎣⎦
⎡⎤=--+⎣⎦
⎡⎤=--+⎣⎦⎡⎤=-+--⎣⎦
∑ （24）
引进增益矩阵K(k)，定义()()()K k P k h k = （25）
式24可以进一步写为()()()()()()11T
k k K k z k h k k θθθ⎡⎤=-+--⎣⎦
（26） 接下来可以进一步把式21写为
()()()()1
11T
P k P k h k h k --⎡⎤=-+⎣⎦ （27）
利用矩阵反演公式()
()1
1
1
1
1
1T
T
T A CC
A A C I C A C C A ------+=-+
将式（27）演变成
()()()()()()()()()()()()()()()()1
111111111T T
T T P k P k P k h k h k P k h k P k h k P k h k h k I P k h k P k h k -⎡⎤=-----+⎣⎦
⎡⎤
-=--⎢⎥-+⎣⎦
（28）
将上式代入式25，整理后可得
()()()()()()1
111T
K k P k h k h k P k h k -⎡⎤=--+⎣⎦ (29)
综合式26、28和29可得最小二乘递推参数估计算法RLS
()()()()()()()()()()()()()()()()1111111T T
T k k K k z k h k k K k P k h k h k P k h k P k I K k h k P k θθθ-⎧⎡⎤
=-+--⎣⎦⎪
⎪⎡⎤=--+⎨⎣⎦⎪
⎡⎤=--⎪⎣⎦⎩
3.3广义最小二乘法
广义最小二乘法的处理过程如下[8]，设SISO 系统采用如下模型：
()()()()()
()1111
A z z k
B z u k v k
C z ---=+
（30）
其中A(z -1)，B(z -1)和C(z -1)的定义见式5和6。

假定模型阶次n a ，n b 和n c 已知，用广义最小二乘法可以得到无偏一致估计。

令
()()()()()()
11
f f z k C z z k u k C z u k --⎧=⎪
⎨=⎪⎩ （31） 及
()()()()()1212[,,,,,,,]1,,,1,
,a b T n n T
f f f a f f b a a a b b b h k z k z k n u k u k n θ⎧=⎪⎨
⎡⎤=------⎪⎣⎦
⎩ （32）
将模型化为最小二乘格式：()()()T f f z k h k v k θ=+ （33）
由于v(k)是白噪声，所以用最小二乘可以获得参数θ的无偏估计，由于噪声模型C(z -1)未知，还需要用迭代的方法来求得C(z -1)。

令
()()
()1
1
e k v k C z -=
（34） 置
()()()()12[,,,]1,,c T
e n T
e c k c c c h k e k e k n θ⎧=⎪
⎨=----⎡
⎤⎪⎣⎦⎩ （35） 这样就把噪声模型也转变为最小二乘格式：
()()()T
e e e k h k v k θ=+ （36）
由于上式中的噪声已为白噪声，所以用最小二乘也可获得参数θ
e
的无偏估计，但是数据向量中依然含有不可测的噪声量
()()1,
,c e k e k n ----⎡⎤⎣⎦，可用相应的估计值来代替，置
()()()1,
,T
e c h k e k e k n =----⎡⎤⎣⎦，其中
k <0时，e(k)=0；k >0时，按
照
()()()T e k z k h k θ=- （37）
计算，式中
()()()()()1,
,,1,
,T
a b h k z k z k n u k u k n =------⎡⎤⎣⎦ （38）
综上所述，广义最小二乘法可归纳为
()()()()()()()()()()()()()()()()
()()()()()()()()()()()()()()()()1
1111111111111T f f f T f
f f f f T f f f f
T
e e e e e T e e e e e e T e e e e k k K k z k h k k K k P k h k h k P k h k P k I K k h k P k k k K k e k h k k K k P k h k h k P k h k P k I K k h k P k θθθθθθ--⎧⎡⎤=-+--⎣⎦⎪
⎪⎡⎤=--+⎣⎦⎪⎪⎡⎤=--⎪⎣⎦⎨⎡⎤=-+--⎪⎣⎦⎪⎪⎡⎤
=--+⎣⎦⎪
⎪⎡⎤=--⎣⎦⎩
4 最小二乘法的发展及对策
最小二乘法(LS)是一种最经典、最基本的，也是应用最广泛的方法。

但是最小二乘估计是非一致的，是有偏差的，所以为了克服他的缺陷，而形成了一些以最小二乘法为基础的改进最小二乘法：广义最小二乘法、增量最小二乘法、渐消记忆的最小二乘法以及将一般的最小二乘法与其他方法相结合的方法，有最小二乘两步法(COR- LS)和随机逼近算法等。

广义最小二乘法的基本思想是引入一个白化滤波器，把相关噪声转换为白噪声，基于对观测数据先进行一次滤波处理，然后利用普通最小二乘法对滤波后的数据进行辨识。

递推算法的基本思想是用新估计值对老的估计值进行修正，应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值
进行不断修正，以取得更为准确的参数估计值，而且此方法占据计算机存储量小，因此在辨识系统中得到了广泛的应用。

渐消记忆的最小二乘法在对系统模型参数进行辨识时强调新数据的作用，贬低老数据的作用，将遗忘因子λ引入系统中，在实际应用中遗传因子λ的大小对参数估计的精度以及参数估计值跟踪真值的变化的能力都有很大的影响，所以选取合适的遗传因子会显著提高系统的辨识能力。

5 结论
针对经典的最小二乘法存在的一些不足，广义最小二乘法、递推式最小二乘法以及渐消记忆的最小二乘法等的出现解决了其中的一些缺陷，这些改进方法不仅在今天，而且在未来都会有非常广泛的应用前景，此外新的改进型最小二乘法也会在其他学科的发展下涌现，使基于最小二乘法的能适应更多的应用场合，得到更加广泛的应用。

参考文献
[1] 宁纪献,覃发岗. 最小二乘法的论述与证明[J]. 教育论坛, 2015,4
[2]邹乐强. 最小二乘的基本原理[J]. 职校论坛, 2010,2：23
[3] 宗殿瑞. 最小二乘法应用探讨[J]. 青岛化工学报, 1998,9.
[4] 丁峰. 系统辨识(1):辨识导引[J]. 南京信息工程大学学报, 2011,3(1)1-22.
[5]丁克良,沈云中,欧吉坤.整体最小二乘法直线拟合[J].辽宁工程技术大学学报,2010,2
[6]胡双红.最小二乘类辨识方法的比较[J].长沙理工大学学报,2012,9
[7] 胡沙. 最小二乘参数估计的递推算法及其C语言实现[J].焦作大学学报，2009,4
[8]仇振安,何汉辉.基于广义最小二乘法的系统模型辨识及应用[J].计算机仿真学报,2007,10。