整体最小二乘估计的深入研究

整体最小二乘估计的深入研究

摘要:整体最小二乘法是一种较为先进的最小二乘法结构，整体最小二乘法认为回归矩阵存在干扰，在计算最小二乘解时考虑了这个因素，而在一般最小二乘法时没有考虑该因素的影响。整体最小二乘法应用广泛，得到效果也比较好。本文主要讨论了整体最小二乘法的基本原理，给出了整体最小二乘的单位权中误差计算公式以及待估参数的近似精度评定公式。

一、整体最小二乘的基本原理

最小二乘法经历了百余年的发展考验，已经成为许多领域数据处理广泛应用的方法。测量数据的处理方法，通常是指按最小二乘法进行测量平差，它是测量数据处理中最基本、最广泛的应用方法，尤其是近几十年来得到了充分的发展和应用。最小二乘平差的基本思想是在最小二乘准则下进行测量数据的调整。测量平差模型均可归结线性方程组AX = L + ∆的求解问题。最小二乘准则要求残差的范数平方和极小，它主要是针对观测值中的偶然误差的。然而，实际问题中参数估计中的观测值和系数阵都可能存在误差，针对这种更复杂的情况，20 世纪80提出了整体最小二乘法。

先介绍整体最小二乘的基本思想：对于线性方程组Ax = L，普通最小二乘的基本思想是在残差平方和极小的准则约束下求解最佳参数。这里有一个前提，系数矩阵A 是没有误差的精确值，但是多数情况系数阵A和观测向量L 同时存在误差，若同时考虑二者的误差，此时，线性方程组可表示为

( A +EA) x= L+EL

其中

A∈R ，L∈R m，x∈R n，rank (A ) = n , rank (A ) = n < m；；m 为观测值个数，n 为待估参数个数，EA为系数阵的噪声，EL为观测噪声，误差

矩阵[EA EL]属于相互独立的白噪声误差。这一模型称为EIV （Errors-in-Variables）模型。解决这类问题的适宜方法是整体最小二乘法（Total Least Squares, TLS）。对于线性方程组Ax = L，整体最小二乘问题就是在以下准则约束下

minA;L∈Rm×(n-1)||A L-A L||F

L∈R(Aˆ )

寻求A、L，任何满足

Ax=L

的x均称为线性方程A x = L的整体最小二乘解。

E A-EL= A L-[A L] 为相应整体最小二乘改正数。式中，||MF||为Frobenius 范数，简称为

F 范数。

整体最小二乘的求解是通过奇异值分解来实现的。将线性Ax = L改写为

A LxT-1T=0

记增广矩阵C = [A L] ，对增广矩阵C 进行奇异值分解

C=UVT

其中

∑ = diag(σ1,σ2,…σn,σn+1)

σ1≥σ2≥…≥σn≥σn+1≥0

则整体最小二乘解可由增广矩阵右奇异向量的最后一列Vn+1得到，即整体最小二乘解为

x=-1Vn+1,n+1V1,n+1…Vn,n+1

当A 为列满秩时，整体最小二乘还有另一种解的形式

Xtls= ATA-σn+12In-1ATL

整体最小二乘的基本思想是同时考虑设计矩阵和观测向量的误差，而在许多情况下，设计矩阵的某一列或某几列是常数，如在直线拟合、曲面拟合、GPS 非差定位等模型中都存在这种情况。因此，在这种情况下对A 的不同列就应区别对待，与此相应的参数可分别采用最小二乘法和整体最小二乘法求解，简称为混合最小二乘

将线性方程Ax = L表示为

A1 A2x1x2=L

其中

m 为观测值个数，n 为待估参数个数，n1 、n2 分别为A1 、A2 对应的参数个数，A1 的元素为常数。和整体最小二乘相比混合最小二乘问题就是minA2;L∈Rm×(n2+1)||A2 L-A2 L||F

准则下，寻求A2 L,任何满足

Ax =A1 x1 +A2 x2= L

的x=x1T x2TT均称为混合最小二乘解。E A2 EL= A2 L-[A2 L]为相应的混合最小二乘改正量。

混合最小二乘解的求解基本思路是首先采用QR 分解法，或者约化的方法将系数矩阵分为常数部分和非常数部分，后者采用整体最小二乘法求解，后者采用普通最小二乘法求解。

二、整体最小二乘求解附有限制条件的间接平差模型

依据整体最小二乘原理的附有限制条件的间接平差的误差方程为

l+ V = ( B + VB) x

Cx －W = 0

式中，l 为n × 1 的观测值向量; V 为n × 1 的观测误差向量; B 为n ×

m 的系数矩阵; VB 为n × m 的系数误差矩阵; x^ 为m × 1 的待估参数向量; C 为c × m 的限制系数矩阵; W 为c × 1 的向量，满足m ＞c。该问题依然可以用拉格朗日原理进行求解，根据整体最小二乘原理，建立拉格朗日目标函数如下

Φ = VbT V b + VTV + 2λT( l －Bx + V －V B x) －2μT ( W －Cx)

根据拉格朗日函数的必要条件，分别对V、Vb、λ、μ、x^ 求导，经过转换可得

V+λ=0

V B－λxT = 0

l －Bx + V －V B x= 0

－W + Cx = 0

BTλ + VBTλ －CTμ= 0

再由上式可得

l －Bx= －V + V B x = λ(1 + xTx)

同时也可以得到误差改正数的计算公式为

V = －λ = －( l －Bx) (1 + xTx)-1

V B= λxT= ( l －Bx) (1 + xTx)-1 xT

根据上式，可得下列关系

k = ( l －Bx) T( l －Bx) /(1 +xTx) = VbT V b + VTV

令N = B T B，M = BTl，先将上式左右两边都乘以－BT 然后再加上CTμ(1 + xTx)，联立式之前的公式有

Nx －M + CTμ(1 + xTx) = －(BTλ －CTμ) (1 +xTx) =

VBTλ(1 + xTx) = x^λT( l －Bx^) =

x［( l －Bx)T ( l －Bx) /(1 + xTx) ］= xk

最后可推出

Nx －M + CTμ1 +xTx=x k