线性参数的最小二乘法处理

2
W1、 +1″, +10″, +1″, +12″,
W2、 +6″, +4″,
W3、
W4„
Wn
+2″ , -3″ , +4″ +12″, +4″ +3″, +4″
+12″, +12″, +12″
W12
2
12

W22
2 2

W32
32
最小值
3
即 ∑（PW2）=（P1W21）+（P2W22）+（P3W32）
的测量结果 yi 最接近真值，最为可靠，即： yi=∠i+Wi 由于改正数 Wi 的二次方之和为最小，因此称为最小二乘法。 二 最小二乘法理 现在我们来证明一下，最小二乘法和概率论中最大似然方法（算术平均值方法） 是一致的。 （一）等精度测量时 （1）最大似然方法 设 x1,x2„xn 为某量 x 的等精度测量列，且服从正态分布，现以最大似然法和最小 二乘法分别求其最或是值（未知量的最佳估计量） 在概率论的大数定律与中心极限定理那一章我们讲过，随着测量次数的增加，测 量值的算术平均值也稳定于一个常数，即
2 i 1
n
曾给出： vi2
i 1
n
n n 1 n 2 ，由此可知 x vi2 / i2 为最小，这就是最小二乘法的基本 i n i 1 i 1
含义。引入权的符号 P ，最小二乘法可以写成下列形式：
Pv
i 1
n
2 i i
最小
在等精度测量中， 1 2 ... ， P1 P2 ... Pn 即： 最小二乘法可以写成下列形式：
l1 y 0 1 t1 得方程组 与 0 。
事实上，由于测量结果 l1 与 l 2 含有测量误差，所得的 y 0 与 0 的值也含有误差，显 而易见，为了减小所得 y 0 与 0 的误差，应增加 y t 的测量次数，以便利用随机误差 的抵偿性减小测量误差的影响。 设在 t 1 ， t 2 ，„ t n 温度条件下分别测得金属尺的长度 l1 , l 2 „ l n 共 n 个结果，可列出 方程组：
6
设有一金属尺，在温度 t ℃条件下的长度可表示为： yt y 0 1 t 式中： y 0 —温度为 0 ℃时金属尺的长度；
—金属材料的线胀系；
t —测量尺长时的温度；
现在求出 y 0 与 的数值， 为此， 在 t 1 、t 2 两个温度条件下分别测得尺的长度 l1 与 l 2 ，
1 x1 2 ... xn 2 d x1 d x2 ...d xn exp 2 1 2 ... n( 2 ) 2 1
2


所谓误差最小就是概率 p 最大，即： xi / i 为最小，推导 Bessel 公式时
（5-1）
上面 n 个方程中共有（n+1）个未知数， （在大多数情况下，为了获得更可靠的结 果，测量次数 n 总要多于未知参数的数目 t）是不定方程组，为了解此种方程组必须 提出一个最佳条件，这就是∑W2=（x-x1）2+(x-x2)2+„+(x-xn)2=最小值 现求满足上式的 x 值，令
( W 2 ) =0（函数的一阶导数等于零的点为最值点，二阶 x
1 x 2 2 exp 2 2 2 1 d x 2
1
„„„„„„„„„„„„„
1 x n 2 exp 2 2 2 1 d x n
Pn=
1
由于各次测量是独立事件,所以误差 x2 ，„ xn 同时出现的概率是各个概率的乘 积,即: P=P1P2P3„Pn=
l1 y 0 1 t1 l y 1 t 2 0 2 l n y 0 1 t n
由于方程组的数目多于未知数的数目，属超定方程，无法用
代数法求解上述方程组。显然，当充分利用这 n 个测量结果所提供的信息，必 须给出一个适当的处理方法，克服上面所遇到的问题，而最小二乘法就是解决此类 问题的基本方法。
（8-1）
这些方程式称为观测方程式。设 Yi 的测定值和权分别为 l i 和 Pi ，而 x1，x2，x3，„„ 的最或是值（最佳估计量）分别为 x10,x20,x30,„„。设直接测量量中不含系统误差和 粗大误差，由于存在随机误差，则可得残差方程：
v1 l1 (a11 x10 a1 2 x2 0 a13 x3 0 a1t xt 0 ) v2 l 2 (a 21 x10 a 2 2 x2 0 a 2 3 x3 0 a 2t xt 0 ) vn l n (a n1 x1 a n x2 cn x3 a nt xt 0 ) 0 0 2 3 0
倒数等于零的点为最小值点） 。 2（x-x1）+2(x-x2)+„2(x-xn)=0 ∴nx= xi
i 1 n
∵x= 1 n

i 1
n
x1
可见，所求结果与最大似然方法完全一致。将 x x 带入（ 5-1 ）式中，求得：
Wi =x= x -xi=-(xi- x )=-Vi（残差）
因此最小二乘原理又可写成残差的平方和为最小，即：
2
式中 σ i2——方差，σ i2= 1 （xi- x ）2 n 1 i 1 u= x (真值), xi——测量值
n
∠（xi,σ 12）——概率值， （各测量数据同时出现在相应区域 d x1 „d x n ，的概率） 为满足上式必须使 (
i 1 n
xi u

i
) 2 即： (
既然算术平均值是真值的最可信赖值，那么用 x 代替 A 所产生的误差就一定为最 小。对于正态分布，误差 x1 在区间 d x1 中出现的概率： P1=
1 x1 2 exp 2 2 2 1 d x1
1
1
同理，误差 x2 ，„ xn 在区间 d x2 ,„, d xn 中出现的概率分别为: P2=
n
P1, P2， ，„„，Pn 各测量结果出现在相应区间
xi , xi dx 的概率
P1= 1 e 2

12
2 2 1
·d x
5
┆ Pn=
1

n 2
e
2 n 2 2 n
·d x
测得值 x1,x2„„,xn 同时出现的概率为：
n v i2 n 1 1 ( P=P1P2P3„Pn=∠（xi,σ i ）=( ) exp[（ ） 2 ) ]=最大 2 i 2 i 1 i

i 1
n
vi2 最小
最小二乘法这个词可理解为， 用 x 代替真值 A 后得到的误差为 “最小” ,“二乘” 的含义指误差平方。
2
§1.1 一
最小二乘法的基本概念
改正数和平差值 我们来看在大地测量中的一个简单的例子。设观测了某三角形的三个内角，得观
测值如下： ∠1=58º30′40″，∠2=61º20′10″，∠3=60º08′58″ 由于存在观测误差，三角形的三个观测值之和与其真值之间有一差值（不符值） ， 通常称此差值为三角形的闭合差△闭，即 △闭=（∠1+∠2+∠3）-180º=-12″ 为了消除这个-12″的三角形的闭合差△闭，就需要在各观测值上分别加一个改正 数 Wi（i=1～3） ，使得改正之后，消除了闭合差，故 （∠1+W1）+（∠2+W2）+（∠3+W3）-180º=0 然而为满足上式要求，从表 5-1 所列的各组 Wi 中，任意一组都能达到目的，问题 就在于选择哪一组 Wi 最为合理，测量结果的精度最高。本节将证明应按下列两种情况 选择： 编号 1 2 3 和 观测值 58º30′40″ 61º20′10″ 60º08′58″ 179º59′48″ 表 5-1 1）若各观测值为 Li 为等精度的，则应选取其中一组能使改正数的平方和为最小。 即：∑W2=W12+W22+W32=最小值„„„„„最小二乘法; 2）若各观测值 Li 为不等精度的，则应选取其中一组能使 ∑（ W ）=
i 1
n
i2 ) =最小 i2
由于权 Pi 与方差 σ
n
2 i
成反比，故得 P= 12 （求权的方法之一）
i
Pi
i 1
i2 =最小
上式表明,测量结果的最可信赖值应在残余误差平方和(在不等精度测量的情形中 应为加权残余误差平方和)为最小的条件下求出,这就是最小二乘原理。 实质上,按最小二乘条件给出最终结果能充分利用随机误差的抵偿作用 ,可以有效 地减小随机误差的影响,因而所得结果具有可信赖性。 一般情况下，最小二乘法可以用于线性参数的处理，也可用于非线性参数的处理。 由于测量的实际问题中大量的是属于线性的，而非线性参数借助于级数展开的方法可 以在某一区域近似地化成线性的形式。因此，线性参数的最小二乘法处理是最小二乘 法理论研究的基本内容。 §5-2 线性参数的最小二乘估计 为了解决如下问题： 先考察下面的例子。
P
1
i2
(权)
这种既能消除不符值（闭合差） ，又能满足上述要求（改正数的平方和为最小）的 一组改正数，称为最或然改正数，简称改正数。观测值∠i 加上这种改正数 Wi，就称为 被观测量的平差值=∠i+Wi 平差计算——为了平差而进行的相应计算称为平差计算。 平 差——上述消除三角形闭合差的过程，在大地测量学中称为平差。平差后
Y1 a11 x1 a1 2 x 2 a13 x3 a1t xt Y2 a 21 x1 a 2 2 x 2 a 2 3 x3 a 2 t xt Y3 a31 x1 a3 2 x 2 a3 3 x3 a3t xt Yn a n 1 x1 a n 2 x 2 a n 3 x3 a nt xt