第四章参数的最小二乘法估计

---------------------------------------------------------------最新资料推荐------------------------------------------------------ 第四章参数的最小二乘法估计

第四章参数的最小二乘法估计第四章最小二乘法与组合测量 1 概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。

对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。

例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。

另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。

最小二乘法的发展已经经历了 200 多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。

本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。

2 最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。

对某量 x 测量一组数据 x1, x2, , xn，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏

1 / 22

差依次为：

1, 2, n 记最可信赖值为，相应的残差 vi xi 。

测值落入(xi, xi dx) 的概率。

vi21Pi exp( 2) dx 2 i i2 根据概率乘法定理，测量

x1, x2, , xn 同时出现的概率为 P Pi vi211n exp[ () ](dx) n2ii i() 显然，最可信赖值应使出现的概率 P 为最大，即

使上式中页指数中的因子达最小，即ivi22 i Min 2 o1 权因子：

wi 2 即权因子 wi2，则i i 2[wvv] wvii Min 再

用微分法，得最可信赖值wxi 1 nii 即加权算术平均值

w i 1i 这里为了与概率符号区别，以i 表示权因子。

特别是等权测量条件下，有：

[vv] vi2 Min 以上最可信赖值是在残差平方和或

加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。

它是以最小二乘方而得名。

为从一组测量数据中求得最佳结果，还可使用其它原理。

例如（1）最小绝对残差和法：

vi Min （2）最小最大残差法：

maxvi Min （3）最小广义权差法：

maxvi minvi Min 以上方法随着电子计算机的应用才逐渐

引起注意，但最小二乘法便于解析，至今仍用得最广泛。

3. 线性参数最小二乘法先举一个实际遇到的测量问题，

---------------------------------------------------------------最新资料推荐------------------------------------------------------ 为精密测定三个电容值: x1, x2, x3 采用的测量方案是，分别等权、独立测得 x1, x2, x1 x3, x2 x3, 列出待解的数学模型。

x1 =0. 3 x2 =-0. 4 x1 +x3=0. 5 x2+x3=-0. 3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为 v1, v2, v3, v4，按最小二乘法原理v 组。

2i Min 分别对 x1, x2, x3 求偏导数，令它们等于零，得如下的确定性方程 (x1-0. 3) +(x1+x3-0. 5) =0 (x2+0. 4) +(x2+x3+0. 3) =0 (x1+x3-0. 5) +(x2+x3+0. 3) =0 可求出唯一解 x1=0. 325, x2=-0. 425, x3=0. 150 这组解称之为原超定方程组的最小二乘解。

以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。

一、正规方程组设线性测量方程组的一般形式为：

yi ai1x1 ai2x2 aitxt (i 1, 2, , n)即 y1 a11x1 a12x2 a1txty2 a21x1 a22x2 a2txt yn an1x1 an2x2 antxt 式中，有 n 个直接测得值 y1, y2, , yn， t 个待求量 x1, x2, , xt。

nt, 各 yi 等权，无系统误差和粗大误差。

固 yi 含有测量误差，每个测量方程都不严格成立，故有相应的测量残差方程组 vi yi aijxj (i 1, 2, , n) j

3 / 22

1t yi 实测值 xj 待估计量，最佳估计值，最可信赖值axij j 1tj 最可信赖的y 值。

按最小二乘法原理，待求的 xj 应满足 [vv] v [yi aijxj]2 Min 2 i i 1i 1j 1nnt 上式分别对 xj 求偏导数，且令其等于零，经推导得 [a1a1]x1 [a1a2] x2 [a1at]xt [a1] [a2a1] x1 [a2a2]x2 [a2at]xt [a2] 正规方程组 [ata1]x1 [ata2] x2 [atat] xt [at] 式中， aj， y 分别为如下列向量a1j aj aj 2 anj y1 y y 2 yn [alak]和[ajy]分别

为如下两列向量的内积：

[alak]=a1la1k a2la2k anlank [ajy]=a1jy1 a2jy2 anjyn 正规方程组有如下特点：

（1）主对角线系数是测量方程组各列系数的平方和，全为

正数。

（2）其它系数关于主对角线对称（3）方程个数等于待

求量个数，有唯一解。

由此可见，线性测量方程组的最小二乘解归结为对线性正规

方程组的求解。

为了便于进一步讨论问题，下面借助矩阵工具给出正规方程

组的矩阵形式。

记列向量y1 x1 y x 2Y X 2 V y xt n 和 n t 阶矩阵v1 l1 v l 2