超定方程组最小二乘解

超定方程组最小二乘解课程设计

最小二乘法广泛地应用于工程计算中，用最小二乘法消除（平滑）误差，用最小二乘法从有噪声的数据中提取信号，从海量数据中找出数据变化的趋势，……。甚至利用简单函数计算复杂函数的近似值，我们并不期望它的近似值多么精确（事实上很多时候也不用很精确），尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。如果从线性代数角度来理解最小二乘法，实际上是将一个高维空间的向量投影到低维子空间所涉及的工作。

一、超定方程组的最小二乘解

当方程组GX=b 的方程数多于未知数个数时，对应的系数矩阵G 的行数大于列数，此时方程组被称为是超定方程组。设G=(g iu )m ×n ，当m>n 时即所谓的高矩阵，绝大多数情况下，超定方程组没有古典意义下的解。超定方程组的最小二乘解是一种广义解，是指使残差r = b – GX 的2-范数达取极小值的解，即

22*||||min ||||GX b GX b m

R

X -=-∈ 该问题是一个优化问题。

命题1：如果X *是正规方程组G T GX=G T

b 的解，则X *是超定方程组GX=b 的最小二乘解

证 由题设可得，G T

(b – GX *)=0。对任意n 维向量Y ，显然有

(X * – Y )T G T (b – GX *)=0

考虑残差2-范数平方，由

2

2**22||)()(||||||Y X G GX b GY b -+-=-

上式右端利用内积，得

2

2*22*22*22||||||)(||||||||||GX b Y X G GX b GY b -≥-+-=-

从而有

|| b – GY ||2 ≥ || b – GX *||2

等式仅当Y =X *时成立。所以X *是超定方程组GX=b 的最小二乘解。

命题2：如果X *是超定方程组GX=b 的最小二乘解，则X *满足正规方程组G T GX=G T

b

证 由题设，22*

||||min ||||GX b GX b m

R

X -=-∈，利用2-范数与内积关系，知X *是下面二次函数的极小值点

ϕ(X ) = (GX ，GX ) – 2(GX ，b ) + (b ，b )

取任意n 维向量v ，对任意实数t ，构造一元函数

g (t ) = ϕ(X * + t v )

显然， g (t ) 是关于变量t 的二次函数

g (t ) = (G (X * + t v )，G (X * + t v )) – 2(G (X * + t v )，b ) + (b ，b )

= g (0) + 2t [(GX *，Gv ) – (Gv ，b )]+ t 2 (Gv ，Gv )

由题设t =0是g (t )的极小值点。由极值必要条件，得0)0(='g 。即

(GX *，Gv ) – (Gv ，b )=0

将左端整理化简，便得

(Gv ，GX * – b ) =0

利用内积性质，得

( v ，G T (GX * – b ) )=0

由v 的任意性，得G T

(GX * – b ) =0

二、最小二乘解的几何意义 首先考虑一个简单的超定方程组

⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-6311215342y x

该方程组的右端向量是三维向量，系数矩阵的每一列也是三维向量，但待求的未知向量却是二维向量。将系数矩阵按列分块，G =[α1，α2]，记右端向量为β。则方程组求解问题可表

示为求组合系数x 和y 使

x α1 + y α2 = β

的向量的线性组合问题。由于两个向量α1，α2不构成三维空间的一组基，所以一般情况下这一问题无解。而由向量α1，α2张成的子空间span{α1，α2}是一张平面，记为π。则超定方程组的最小二乘解实际上是求X *，使GX * 恰好等于β 在平面π上的投影。而最小二乘解所对应的残差向量则垂直于向量GX *。事实上，由正规方程组

G T GX=G T b

得

G T

(b –GX *

) = 0

上式的几何意义可解释为：最小二乘解的残差向量与超定方程组的系数矩阵G 的所有列向量正交。从而

(X *)T G T (b –GX * ) = 0

所以

(GX *，b –GX * ) = 0

三、最小二乘解的两种方法

超定方程组的最小二乘解是指正规方程组

G T GX=G T b

的解。如果系数矩阵(G T

G )可逆，则正规方程组有唯一解。此时，最小二乘解可以形式地写为如下形式

X=(G T G )-1G T b

两种常用的方法如下

1．用对称矩阵的三角分解法解正规方程组G T

GX = G T

b ；记A=G T

G ，则A 是对称矩阵，

由三角分解A = L D L T

，其中L 是下三角矩阵，D 是对角矩阵。将这一算法写过三个过程：

①解下三角方程组：LY 1 = G T

b ； ②解对角方程组：DY 2 = Y 1 ；

③解上三角方程组：L T

Y 3 = Y 2

2．用矩阵的QR 分解直接求解超定方程组

由QR 分解（正交三角分解）G=QR ，其中Q 是正交矩阵，R 是上三角矩阵。将QR 分解代入最小二乘解表达式中，得

X=( R T Q T QR )-1(QR )T b = R -1Q T b