第5章最小二乘法

三、线性参数最小二乘法的正规方程
为了获得更可取的结果，测量次数n总要多于未 知参数的数目t，即所得误差方程式的数目总是要 多于未知数的数目。因而直接用一般解代数方程 的方法是无法求解这些未知参数的。
最小二乘法则可以将误差方程转化为有确定解 的代数方程组(其方程式数目正好等于未知数的个 数)，从而可求解出这些未知参数。这个有确定解 的代数方程组称为最小二乘法估计的正规方程(或 称为法方程)。
• 最小二乘法的产生是为了解决从一组测量 值中寻求最可信赖值的问题。
一、问题背景
• 在测量的实验数据处理中，经常需要根据两个 量的一批观测数据(xi，yi)，i=1，2，…，n求出这 两个变量Y与X之间所满足的一个函数关系式Y＝ f(X)。
• 若变量间的函数形式根据理论分析或以往的经 验已经确定好了，而其中有一些参数是未知的， 则可通过观测的数据来确定这些参数；
(5-36)
可得最小二乘法处理的结果
(5-37) 这正是不等精度测量时加权算术平均值原理所给出的结果。
对于等精度测量有
则由最小二乘法所确定的估计量为
此式与等精度测量时算术平均值原理给出的结果相同。 由此可见，最小二乘法原理与算术平均值原理
是一致的，算术平均值原理可以看做是最小二乘 法原理的特例。
第三节 精度估计
最小二乘法的几何意义
从几何图形上可看出,最小二乘法就是要在穿过各 观测点(xi，yi)之间找出这样一条估计曲线，使各观测 点到该曲线的距离的平方和为最小。
Y
X
三、最小二乘法与最大似然法的关系
如果假定各观测值是相互独立且服从正态分布， 期望值是μ(xi；a1，a2，…，ak)，方差是σi2, 则观测值的似然函数为
对测量数据最小二乘法处理的最终结果， 不仅要给出待求量的最可信赖的估计量，而 且还要确定其可信赖程度，即应给出所得估 计量的精度。
一、测量数据的精度估计
为了确定最小二乘估计量X1，X2，…，Xt的 精度，首先需要给出直接测量所得测量数据的 精度。测量数据的精度也以标准差σ来表示。因 为无法求得σ的真值，因而只能依ˆ 据有限ˆ次的测 量结果给出σ的估计值 ，所谓给出精度估计， 实际上是求出估计值 。
• 若变量间的具体函数形式尚未确定，则需要通 过观测数据来确定函数形式及其中的参数。
一、问题背景
• 在多数估计和曲线拟合的问题中，不论是参 数估计还是曲线拟合，都要求确定某些(或一个) 未知量，使得所确定的未知量能最好地适应所 测得的一组观测值，即对观测值提供一个好的 拟合。
• 解决这类问题最常用的方法就是最小二乘法。 • 在一些情况下，即使函数值不是随机变量，
最小二乘法所确定的估计量X1，X2，…，Xt的 精度取决于测量数据的精度和线性方程组所给出 的函数关系。对给定的线性方程组，若已知测量 数据l1，l2，…，ln的精度，就可求得最小二乘估 计量的精度。
下面首先讨论等精度测量时最小二乘估计量的精度估计。 设有正规方程
现要给出由此方程所确定的估计量xl，x2，…，xt 的精度。为此，利用不定乘数法求出xl，x2，…，xt 的表达式，然后再找出估计量xl，x2，…，xt的精度 与测量数据l1，l2，…，ln精度的关系，即可得到估计 量精度估计的表达式。
最小二乘法也可使用。
设X和Y两个物理量之间的函数关系为
假定此函数关系f已知，但其中a1，a2，…，ak等 参数还未求出，现对于X和Y有一批观测数据：
{xi，yi} ，i＝1，2，…,n，要利用这批数据 在一定法则之下作出这些参数a1，a2，…，ak的估 计。
一般根据测量的实际情况，可假设变量X的测量没有误 差(或与Y的误差相比很小，可略去)，而变量Y的测量有 误差，故关于Y的观测值yi可以写成
n
前面已证明

2 i
/
2
是自由度为（n－t）的χ2变量。
i 1
根据χ2变量的性质，有
（5-39） 取
（5-40） 可以证明它是σ2的无偏估计量
因为
习惯上，式5-40的这个估计量也写成σ2，即 （5-41）
因而测量数据的标准差的估计量为 （5-43）
例5．3
• 试求例5．1中铜棒长度的测量精度。 已知残余误差方程为
将ti，li，值代人上式，可得残余误差为
（二）不等精度测量数据的精度估计
不等精度测量数据的精度估计与等精度测量数据的精 度估计相似，只是公式中的残余误差平方和变为加权的 残余误差平方和，测量数据的单位权方差的无偏估计为
（5-44） 通常习惯写成
测量数据的单位权标准差为
（5-45）
（5-46）
二、最小二乘估计量的精度估计
选取的参数估值应使诸观测值yi与其估计值 yˆi 之差的加 权平方和为最小。用式子表示就是要使
=最小 其中，wi为各观测值yi的权。wi＝σ2／σi2，，i＝1， 2，…，n。这里σ2为任选的正常数，它表示单位权 方差。
不等精度情况下的最小二乘法正规方程
同样地，根据数学分析中求函数极值的条件：
共得k个方程，称正规方程，求此联立方程的解可得 出诸参数估计值 aˆ j (j＝1，2，…，k)。
(2)解是观测值的线性组合，且有最小方差。这称为高 斯—马尔可夫定理; (3) 加权的残差平方和的期望值是
当σ2＝1，即取wi＝1/σi2，这时称
为χ2 量。期望值为n－k。
第二节 线性参数的最小二乘法
一般情况下，最小二乘法可以用于线性参数 的处理，也可用于非线性参数的处理。由于测 量的实际问题中大量的是属于线性的，而非线 性参数借助于级数展开的方法可以在某一区域 近似地化成线性的形式。
（一）等精度测量数据的精度估计
设对包含t个未知量的n个线性参数方程组 （5－7）进行n次独立的等精度测量，获得了 n个测量数据l1，l2，…，ln。其相应的测量误 差分别为δ1，δ2，…，δn，它们是互不相关的 随机误差。因为一般情况下真误差δ1，δ2，…， δn是未知的，只能由残余误差νl，ν2，…，νn 给出σ的估计量。
假若观测值不服从正态分布，则最小二乘估计 并不是最大似然估计。但应该指出，在有些问题 中观测值虽然不服从正态分布，但当样本容量很 大时，似然函数也趋近于正态分布，因此，这时 使用最小二乘法和最大似然法实质也是一致的。
不服从正态分布时最小二乘法的统计学性质
若观测值是服从正态分布的，这时最小二乘法和最大似 然法实际上是一回事。但观测值不服从正态分布或其分布 未知时，这时用最小二乘法显得缺乏理论的验证。但应该 指出，作为一种公理来使用，最小二乘法仍然是可以接受 的，而且可以证明，所得到的估计仍然具有一些很好的统 计性质，这些性质是： (1)解是无偏的，即
二、最小二乘法准则与正规方程
在参数估计问题中，最小二乘法的法则是： 所选取的参数估计值aˆ1 ，aˆ2 ，…，aˆk 应使变量Y的诸观测 值yi与其真值的估计值(又叫拟合值)，即f(xi；a1,a2，…ak) 之差的平方和为最小。 用式子表示时，记残差νi为
最小二乘法就是要求
=最小 在这个条件下，利用数学中求极值的方法可以求出 参数 aˆ1 ，aˆ2 ，…，aˆk 。这样求出的参数叫参数的最小 二乘估计。
（3）给出正规方程 （4）求解正规方程组
解得最小二乘法处理结果为
四、最小二乘原理与算术平均值原理 的关系
为了确定一个量X的估计量x，对它进 行n次直接测量，得到n个数据
l1，l2，…，ln，相应的权分别为p1， p2，…，pn，则测量的误差方程为
(5-35)
其最小二乘法处理的正规方程为 由误差方程知a＝l，因而有
用矩阵表示的正规方程与等精度测量情况类似，可表示为
Fra Baidu bibliotek
即
（5-27）
上述正规方程又可写成 （5-28）
该方程的解，即参数的最小二乘法处理为 （5-29）
令
则有
（5-30）
例5—2
• 某测量过程有误差方程式及相应的标准差如下：
试求x1，x2的最小二乘法处理正规方程的解。 解： （1）首先确定各式的权
（2）用表格计算给出正规方程常数项和系数
这里y0i表示xi对于的Y的变量真值，△i表示相应的测量 误差。
假设诸观测值相互独立且服从正态分布。在等精度观测的 情况下，即认为各误差服从相同的正态分布N(0， σy)。
现在的问题是一个参数估计问题：需要给出a1，a2，…， ak的估计值 ， aˆ1 aˆ2 ，…，aˆk 。
解决这类问题最常用的方法就是最小二乘法。在一些情况 下，即使函数值不是随机变量，最小二乘法也可使用。
因此，线性参数的最小二乘法处理是最小 二乘法理论所研究的基本内容。
一、线性参数的测量方程一般形式
线性参数的测量方程一般形式为
（5-7）
相应的估计量为
（5-8）
其误差方程为
误差方程
（5-9）
二、线性参数的误差方程式的矩阵形式
设有列向量
和n×t阶矩阵(n＞t) 则线性参数的误差方程式(5—9)可表示为
正规方程
=最小 • 根据数学分析中求函数极值的条件：
共得k个方程，称正规方程，求此联立方程的解可得 出诸参数估计值 aˆ j (j＝1，2，…，k)。
不等精度情况下的最小二乘法
以上是等精度观测的情况，若诸观测值yi是不等精度的 观测，即它们服从不同的方差σi2的正态分布N(0，1)，那么 也不难证明，在这种情况下，最小二乘法可改为：
最大似然法要求上式取极大值，这就相当于要求指 数项中的
=最小 这就说明了在观测值服从正态分布的条件下，最 小二乘估计与最大似然估计是一致的。
观测值不服从正态分布时的最小二乘估计
实质上，按最小二乘条件给出最终结果能充分 地利用误差的抵偿作用，可以有效地减小随机误 差的影响，因而所得结果具有最可信赖性。
第5章 线性参数的最小二乘法处理
最小二乘法是用于数据处理和误差估 计中的一个很得力的数学工具。对于从 事精密科学实验的人们说来，应用最小 二乘法来解决一些实际问题，仍是目前
必不可少的手段。
第一节 最小二乘法原理
• 最小二乘法的发展已经历了200多年的历史， 它最早起源于天文和大地测量的需要，其后 在许多科学领域里获得了广泛应用。特别是 近代矩阵理论与电子计算机相结合。使最小 二乘法不断地发展而久盛不衰。
表示成矩阵形式为
线性参数正规方程的矩阵形式
又因
（5-21）
有 即 若令 则正规方程又可写成 若矩阵C是满秩的，则有
（5-22）
（5-22） （5-23）
Xˆ 的数学期望
因 可见 Xˆ 是X的无偏估计。
式中Y、X为列向量(n ×1阶矩阵和t×l阶矩阵)
其中矩阵元素Y1，Y2，…，Yn为直接量的真值，而 Xl，X2，…，Xn为待求量的真值。
建立正规方程是待求参数最小二乘法处 理的基本环节。
2．等精度测量的线性参数最小二乘法处理
的正规方程
线性参数的误差方程式为 最小二乘法处理的正规方程为
这是一个t元线性方 程组．当其系数行 列式不为零时，有 唯一确定的解，由 此可解得欲求的估
计量
（5-19）
线性参数正规方程的矩阵形式
正规方程(5—19)组，还可表示成如下形式
例5—1
在不同温度下，测定铜棒的长度如下表，试估计0℃时 的铜棒长度y0和铜的线膨胀系数α。
解： （1）列出误差方程
式中, li——在温度ti下铜棒长度的测得值； α——铜的线膨胀系数。
令y0＝a，αy0=b为两个待估计参量，则误差方程可写为
(2) 列出正规方程
为计算方便，将数据列表如下：
将表中计算出的相应系数值代人上面的正规方程得
1．线性参数的最小二乘法处理的基 本程序
线性参数的最小二乘法处理程序可归结为： （1）根据具体问题列出误差方程式； （2）按最小二乘法原理，利用求极值的方法将误差方程 转化为正规方程； （3）求解正规方程，得到待求的估计量； （4）给出精度估计。 对于非线性参数，可先将其线性化，然后按上述线性参 数的最小二乘法处理程序去处理。
即
（5-10）
等精度测量最小二乘原理的矩阵形式
残余误差平方和最小这一条件的矩阵形式为
即
（5-11）
或
（5-12）
不等精度测量最小二乘原理的矩阵形式
最小二乘原理的矩阵形式为
或 式中的P为n×n阶权矩阵。
（5-13） （5-14）
线性参数的不等精度测量还可以转化为等精度的形 式，从而可以利用等精度测量时测量数据的最小二 乘法处理的全部结果。
（3）求出待求估计量 求解正规方程解得待求估计量
即
由正规方程，有
按矩阵形式解算
则
所以
（4）给出实验结果 铜棒长度yt随温度t的线性变化规律为
3．不等精度测量的线性参数最小二乘法处理的 正规方程
• 不等精度测量时线性参数的误差方程仍如上述式 (5—9)一样，但在进行最小二乘法处理时，要取加权残 余误差平方和为最小，即