数值线性代数课程设计—超定方程组的求解

《数值线性代数课程设计》

专业：信息与计算科学

班级： 13405011

学号： **********

姓名：***

实验日期： 2016.05.09

报告日期： 2015.05.13

实验地点：数理学院五楼机房

超定方程组的求解

邢耀光

（班级：13405011 学号1340501123）

摘要：在实验数据处理和曲线拟合问题中，求解超定方程组非常普遍。比较常用的方法是最小二乘法。

形象的说，就是在无法完全满足给定条件的情况下，求一个最接近的解。最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

关键字：最小二乘问题，残量，超定方程组，正则化方程组，Cholesky 分解定理。

正文：

最小二乘法的背景：

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函

数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法经常运用在交通运输学中。

交通发生预测的目的是建立分区产生的交通量与分区土地利用、社会经济特征等变量之间的定量关系，推算规划年各分区所产生的交通量。因为一次出行有两个端点，所以我们要分别分析一个区生成的交通和吸引的交通。

最小二乘问题：

最小二乘问题多产生于数据拟合问题。例如，假定给出m 个点1,...,m t t 和这m 个点上的实验或观测数据1,...,m

y y ，

并假定给出在i t 上取值的n 个已知函数1(),...,()n t t ψψ。考虑i ψ 的线性组合

1122(;)()()...()n n f x t x t x t x t ψψψ=+++ ， （1）

我们希望在1,...,m t t 点上(;)f x t 能最佳的逼近1,...,m y y 这些数据。为此，若定义残量

1

()()n

i i j j i j r x y x t ψ==-∑ ， 1,...,i m = ， （2）

则问题成为：估计参数1,...,n x x ，使残量1,...,m r r 尽可能地小。（2）式可用矩阵-向量形式表示为

()r x b Ax =- ， （3） 其中

1111()(),()()n m n m t t A t t ψψψψ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 1,m y b y ⎛⎫

⎪= ⎪ ⎪⎝⎭

1(,...,),T n x x x = 1()((),...,()).T m r x r x r x = 当m n =时，我们可以要求()0r x =，则估计x 的问题就可以用第一章中讨论的方法解决。当m n >时，一般不可能使所有残量为零，但我们可要求残向量()r x 在某种范数意义下最小。最小二乘问题就是求x 使残向量()r x 在2范数意义下最小。

定义1：给定矩阵m n A R ⨯∈及向量m b R ∈，确定n x R ∈，使得

2

222()min ()min .n

n

y R y R b Ax

r x r y Ay b ∈∈-===- （4）

这就是所谓的最小二乘问题，简称为LS 问题，其中的()r x 常常被称为残向量。 在所讨论的最小二乘问题中，若r 线性依赖于x ，则称其为线性最小二乘问题：若r 非线性依赖于x ，则称其为非线性最小二乘问题。

最小二乘问题的解x 又可称做线性方程组

,Ax b = m n A R ⨯∈ （5） 的最小二乘解，即x 在残向量()r x b Ax =-的2范数最小的意义下满足方程组（5）。当m n >时称（5）式为超定方程组。

定理1:（Cholesky 分解定理） 若n n A R ⨯∈对称正定，则存在一个对角元均为正数的下三角阵

n n L R ⨯∈，使得

.T

A LL = （6） （6）式称为Cholesky 分解，其中的L 称作A 的Cholesky 因子。

因此，若线性方程组Ax b =的系数矩阵是对称正定的，则我们自然可按如下的步骤求其解： （1）计算A 的Cholesky 分解：T A LL = ； （2）求解Ly b =得y ；

（3）求解T

L x y =得x ； 简单而实用的方法是直接比较T A LL =两边的对应元素来计算L 。设

112122

12

.n n nn l l l L l l l ⎛⎫

⎪

⎪= ⎪

⎪⎝⎭

比较T

A LL =两边对应的元素，得关系式

1

j

ij ip jp

p a l

l ==∑ ，1j i n ≤≤≤ （7）

首先，由2

1111a l =，得

11l = 再由1111i i a l l =，得

1111i i l a l =，1,...,.i n =

这样便得到了矩阵L 的第一列元素。假定已经算出L 的前1k -列元素，由 21

,k

kk kp

p a l

==∑

得

11

2

21.k kk kk kp p l a l -=⎛⎫=- ⎪⎝⎭

∑ （8）

再由

1

1

k ik ip kp ik kk p a l l l l -==+∑ ， 1,...,,i k n =+

得

11k ik ik ip kp kk p l a l l l -=⎛⎫

=- ⎪⎝⎭

∑ ，1,...,.i k n =+ （9）

这样便求出了L 的第k 列元素。这种方法称为平方根法。