第五章 线性参数最小二乘法处理(1)
合集下载
2011第5章线性参数的最小二乘法处理
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
xt
V L AXˆ
则等精度测量时线性参数的残余误差方程为
v1
v1
v2
...
vn
v... 2
最小
vn
一、最小二乘法原理
V TV 最小 ( L AXˆ )T ( L AXˆ ) 最小
线性参数的不等精度测量还可以转化为等 精度的形式，从而可以利用等精度测量时测量 数据的最小二乘法处理的全部结果。
yn fn ( x1 , x2 , ..., xt )
一、最小二乘法原理
v1 l1 y1 v2 l2 y2
vn ln yn v1 l1 f1( x1 , x2 , ..., xt ) v2 l2 f2 ( x1 , x2 , ..., xt )
vn ln fn ( x1 , x2 , ..., xt )
ln
x1
Xˆ
...x2
xt
和
n×t
阶矩阵
A
a11
a21
a12 a22
... a1t
...
a2t
an1
an2
...
ant
第5章线性参数的最小二乘法处理
最小 1
p1 : p 2 : : p n
有
2 2
x1
2
2
:
n
1
x2
2
::
xn 2
( 55)
p1v1 p 2 v 2 p n v n
pi vi2
i 1
最小
对于等精度测量，有 1 1 n 即
p1 p 2 p n
2 2 n 12 2 2 2 2 最小 1 2 n
当然，由前述给出的结果只是估计量，它们以 最大的可能性接近真值而并非真值，因此上述条件 应以残差的形式表示，即用残差代替绝对误差：
2 v1 2
1 2 n 引入权的符号p，由下面的关系
2 2
2 v2
1
2 vn
2 i
0
2 2 2
0
为测量数据li的权； 为单位权方差；
0 0 2 2 n
i2为测量数据li的方差。
线性参数的不等精度测量可以转化为等精度的 形式（单位权化），从而可以利用等精度测量时 测量数据的最小二乘法处理的全部结果。为此， 应将误差方程化为等权的形式。若不等精度测量 数据li 的权为pi ，将不等精度测量的误差方程式 （5-9）两端同乘以相应权的平方根得：
ˆ V L AX
（ -10 5 ）
等精度测量时：残差平方和最小这一条件的矩 阵形式为 v1 v v1v2 vn 2 最小 vn 即 T
V V 最小 （5 -11 ）
ˆ L AX 最小
T
或
ˆ L AX
（5 - 1 ２）
2011第5章线性参数的最小二乘法处理
V T PV 最小 （L AXˆ）T P（L AXˆ） 最小
一、最小二乘法原理
思路二：不等精度 pi 等精度
v1 p1 l1 p1 a11 p1 x1 a12 p1 x2 a1t p1 xt
v2
p2 l2
p2 a21
p2 x1 a22
p2 x2 a2t
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
ln
n
ai 2ain a12a1t a22a2t
i 1
an2ant
n
ai 2li a12l1 a22l2
i 1
an2 ln
a11 a12 ... a1t
A
a21
a22
...
a2t
i 1
n
x2 ai 2ai 2 ... xt
i 1
n
ai 2ait
i 1
)
n
ai 2ai1 a12a11 a22a21
i 1
n
ai 2ai 2 a12a12 a22a22
i 1
an2an1 an2an2
l1
L
l...
2
an1ant an1ln
a11 a12 ... a1t
线性参数的最小二乘法处理
x 及 其 标 准 偏1 差 。
1
0 .3
x 2 0 .4
x1 x 3 0 .5
列出非线性测量方程 x32 x 3 0 . 3
组
x1x 2 0 .1 4
x1 x2
x1 , x2 , x3
x1x2 /x1x2
【1解(】x) x1
2(x) x2
32(x)x1x2
4(x)x2x3
5
a51 18.0625 a52 10.5625 a 53 0
1
0 0
0.025v1
0
1
0
1 0 1
110写出21线3
性化残差
0.025v2 方程0组.025v3
0.025v
18.0625 10.5625 0 整理得正规方1程.组24125v5
解出
328.254 190.785 11 22.4201
v4 L4 x1 x22.016(1.0280.983)0.005 v5 L5 x2 x31.981(0.9831.013)0.015 v6 L6 x1x2 x33.032(1.0280.9831.013)0.008
0 2 估v 1 计2 的v 标2 2 准v 差3 2 v 4 2 v 5 2 v 6 2 0 .0 0 0 5 3 6
x2
x3
待求量
y1 y3 y2
y4
x 0 . 3 ( y ) 为 了 获 得 更 可 靠 的 结 果 ， 测 量 次 数 总 要 多 于 未 知 参 数 的 数 目
1
1
x 0 . 4 ( y ) 组 合 测 量 ， 指 直 接2测 量 一 组 被 测 量 的 不 同2组 合 值 ， 从 它 们 相 互 所 依 赖 的 若 干
1
0 .3
x 2 0 .4
x1 x 3 0 .5
列出非线性测量方程 x32 x 3 0 . 3
组
x1x 2 0 .1 4
x1 x2
x1 , x2 , x3
x1x2 /x1x2
【1解(】x) x1
2(x) x2
32(x)x1x2
4(x)x2x3
5
a51 18.0625 a52 10.5625 a 53 0
1
0 0
0.025v1
0
1
0
1 0 1
110写出21线3
性化残差
0.025v2 方程0组.025v3
0.025v
18.0625 10.5625 0 整理得正规方1程.组24125v5
解出
328.254 190.785 11 22.4201
v4 L4 x1 x22.016(1.0280.983)0.005 v5 L5 x2 x31.981(0.9831.013)0.015 v6 L6 x1x2 x33.032(1.0280.9831.013)0.008
0 2 估v 1 计2 的v 标2 2 准v 差3 2 v 4 2 v 5 2 v 6 2 0 .0 0 0 5 3 6
x2
x3
待求量
y1 y3 y2
y4
x 0 . 3 ( y ) 为 了 获 得 更 可 靠 的 结 果 ， 测 量 次 数 总 要 多 于 未 知 参 数 的 数 目
1
1
x 0 . 4 ( y ) 组 合 测 量 ， 指 直 接2测 量 一 组 被 测 量 的 不 同2组 合 值 ， 从 它 们 相 互 所 依 赖 的 若 干
第5章-1 曲线拟合(线性最小二乘法)讲解
a ∑xi2 +b ∑xi= ∑xi yi a ∑xi+bn=∑ yi
求所需系数，得到方程： 29.139a+17.9b=29.7076 17.9a+11b=18.25
通过全选主元高斯消去求得：
a=0.912605
b=0.174034
所以线性拟合曲线函数为： y=0.912605x+0.174034
练习2
根据下列数据求拟合曲线函数： y=ax2+b
x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8
∑xi4 a + ∑xi2 b = ∑xi 2yi
∑xi2 a + n b = ∑yi
7277699a+5327b=369321.5 5327a+5b=271.4
曲线拟合的最小二乘法
1.曲线拟合的意思
Y
.
.
.
.
y=ax+b y=ax2+bx+c
X
y=ax+b y=ax2+bx+c 就是未知函数的拟合曲线。
2最小二乘法原理
观测值与拟合曲线值误差的平方和为最小。
yi y0 y1 y2 y3 y4…… 观测值 y^i y^0 y^1 y^2 y^3 y^4…… 拟合曲线值
拟合曲线为： y=(-11x2-117x+56)/84
x
yHale Waihona Puke 1.61 1.641.63 1.66
1.6 1.63
1.67 1.7
1.64 1.67
1.63 1.66
1.61 1.64
1.66 1.69
1.59 1.62
求所需系数，得到方程： 29.139a+17.9b=29.7076 17.9a+11b=18.25
通过全选主元高斯消去求得：
a=0.912605
b=0.174034
所以线性拟合曲线函数为： y=0.912605x+0.174034
练习2
根据下列数据求拟合曲线函数： y=ax2+b
x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8
∑xi4 a + ∑xi2 b = ∑xi 2yi
∑xi2 a + n b = ∑yi
7277699a+5327b=369321.5 5327a+5b=271.4
曲线拟合的最小二乘法
1.曲线拟合的意思
Y
.
.
.
.
y=ax+b y=ax2+bx+c
X
y=ax+b y=ax2+bx+c 就是未知函数的拟合曲线。
2最小二乘法原理
观测值与拟合曲线值误差的平方和为最小。
yi y0 y1 y2 y3 y4…… 观测值 y^i y^0 y^1 y^2 y^3 y^4…… 拟合曲线值
拟合曲线为： y=(-11x2-117x+56)/84
x
yHale Waihona Puke 1.61 1.641.63 1.66
1.6 1.63
1.67 1.7
1.64 1.67
1.63 1.66
1.61 1.64
1.66 1.69
1.59 1.62
误差分析与数据处理：第5章 线性参数的最小二乘处理
二、不等精度测量线性参数最小二乘处理的正规 方程
n
pi
vi
2 ＝最小
i 1
(
n
pivi2 )
i1
0
x1
n
(
pivi2 )
i 1
xt
0
由此可得不等精度测量线性参数最小二乘处理的 正规方程：
n
piai1li
n
piai1ai1x1
n
piai1ai2 x2
n
piai1ait xt
i 1
i 1
i 1
i 1
n
i 1
pi ai 2li
n i 1
piai2ai1x1
n i 1
piai2ai2 x2
n i 1
pi
ai
2 ai t
xt
n
n
n
n
piaitli piaitai1x1 piaitai2 x2 piaitait xt
i 1
i 1
i 1
i 1
整理得： p1a11v1 p2a21v2 pnan1vn 0
v1 l1 x
v2
l2
x
vn ln x
按照最小二乘原理可求得
n
pili
x
i 1 n
pi
i 1
结论：最小二乘原理与算术平均值原理是一致的，
算术平均值原理是最小二乘原理的特例。
第三节 精度估计
目的：给出估计量 x1, x2 ,, xt的精度
Xˆ C 1 AT L C AT A
一、测量数据精度估计
二、最小二乘估计量的精度估计
一、测量数据精度估计
A）等精度测量数据的精度估计 对 l1, l2 ,, ln进行n次等精度测量，给出 2 的估计量。
第五章 线性参数的最小二乘处理
要满足最小二乘法公式，只有使：
∂v 2 ∂v 2 ∂v 2 = 0,......, =0 = 0, ∂x1 ∂x2 ∂xm
从而得到m个新的方程式，叫作“正规方程组”或“法方程组”。解 正规方程组，得出唯一的一组解，即为符合最小二乘原理的最 解。
定义：正规方程——误差方程按最小二乘法原理转化 得到的有确定解的代数方程组。
⎛ n 2⎞ ∂⎜ ∑ v i ⎟ n n n ⎫ ⎧n i ⎠ = −2 ⎝ ai1li − ∑ ai1ai1 x1 + ∑ ai1ai 2 x2 + L + ∑ ai1ait xt ⎬ = 0 ⎨∑ ∂ x1 i =1 i =1 i =1 ⎭ ⎩ i =1
15
中国地质大学（武汉）Fra bibliotek误差理论与数据处理
p1v1 + p2 v2 + L + pn vn = ∑ pi vi = 最小
2 2 2 2 i =1
n
最小二乘原理（其他分布也适用）
测量结果的最可信赖值应使残余误差平方和 （或加权残余误差平方和）最小。
8
中国地质大学（武汉）
误差理论与数据处理
第一节 最小二乘原理
三、等精度测量的线性参数最小二乘原理
中国地质大学（武汉）
残差方程
5
误差理论与数据处理
第一节 最小二乘原理
若 l1 , l2 ,L , ln 不存在系统误差，相互独立并服从正 分布，标准差分别为 σ 1 , σ 2 ,L , σ n ，则 l1 , l2 ,L , ln 出现在 相应真值附近 dδ1 , dδ 2 ,L , dδ n 区域内的概率为 1 −δ i 2 ( 2σ i 2 ) Pi = e dδ i (i = 1,2,L , n) σ i 2π 由概率论可知，各测量数据同时出现在相应区域的概 n 为 P = P P2 ......Pn = ∏ Pi 1
∂v 2 ∂v 2 ∂v 2 = 0,......, =0 = 0, ∂x1 ∂x2 ∂xm
从而得到m个新的方程式，叫作“正规方程组”或“法方程组”。解 正规方程组，得出唯一的一组解，即为符合最小二乘原理的最 解。
定义：正规方程——误差方程按最小二乘法原理转化 得到的有确定解的代数方程组。
⎛ n 2⎞ ∂⎜ ∑ v i ⎟ n n n ⎫ ⎧n i ⎠ = −2 ⎝ ai1li − ∑ ai1ai1 x1 + ∑ ai1ai 2 x2 + L + ∑ ai1ait xt ⎬ = 0 ⎨∑ ∂ x1 i =1 i =1 i =1 ⎭ ⎩ i =1
15
中国地质大学（武汉）Fra bibliotek误差理论与数据处理
p1v1 + p2 v2 + L + pn vn = ∑ pi vi = 最小
2 2 2 2 i =1
n
最小二乘原理（其他分布也适用）
测量结果的最可信赖值应使残余误差平方和 （或加权残余误差平方和）最小。
8
中国地质大学（武汉）
误差理论与数据处理
第一节 最小二乘原理
三、等精度测量的线性参数最小二乘原理
中国地质大学（武汉）
残差方程
5
误差理论与数据处理
第一节 最小二乘原理
若 l1 , l2 ,L , ln 不存在系统误差，相互独立并服从正 分布，标准差分别为 σ 1 , σ 2 ,L , σ n ，则 l1 , l2 ,L , ln 出现在 相应真值附近 dδ1 , dδ 2 ,L , dδ n 区域内的概率为 1 −δ i 2 ( 2σ i 2 ) Pi = e dδ i (i = 1,2,L , n) σ i 2π 由概率论可知，各测量数据同时出现在相应区域的概 n 为 P = P P2 ......Pn = ∏ Pi 1
第五章线性参数的最小二乘处理
2x+y=5.1
x-y=1.1
4x-y=7.4
x+4y=5.9
5-6测得一直线上四段长度AB、BC、CD、DE分别为24.1，35.8，30.3和33.8厘米，但已知AD准确长90厘米和BE准确长100厘米。试求AB，BC，CD，DE的最大或然值。
5-7由方程组
3x+y=2.9
x-2y=0.9
2x-3y=1.9
典型题解
5-1由测量方程
试求 、 的最小二乘法处理及其相应精度。
解：方法一：列出误差方程组：
分别对 求偏导，并令它们的结果为0，
试求x，y的最大或然值及其标准误差。
5-8由下面的不等精度的测定方程组，求x1，x2的最可信赖值及其标准误差。
x1=0权：P1=8
x2=0P2=10
x1+2x2=0.25P3=1
x1-3x2=0.92P4=5
5-9由下面的不等精度的测定方程组，试用矩阵最小二乘法求x，y的最大或然值及其标准误差。
x-3y=-5.6权：P1=1
（ii）第一个量规（Y1）与标准量规比较二次，第二个量规（Y2）与第一个量规比较二次，第三个量规（Y3）与第二量规比较二次；
（iii）每一个量规各与标准量比较一次，然后它们相互按不同的组合比较一次；
上述三种测量方案得到的条件方程式如下表所示：
（1）
（2）
（3）
Y1—N=X1
Y1—N=X1
Y1—N=X1
X+Y=37.0权：P1=5
2X+Y=61.9 P2=4
3X+Y=86.7 P3=4
X+2Y=49.2 P4=4
X+3Y=60.6 P5=3
x-y=1.1
4x-y=7.4
x+4y=5.9
5-6测得一直线上四段长度AB、BC、CD、DE分别为24.1，35.8，30.3和33.8厘米，但已知AD准确长90厘米和BE准确长100厘米。试求AB，BC，CD，DE的最大或然值。
5-7由方程组
3x+y=2.9
x-2y=0.9
2x-3y=1.9
典型题解
5-1由测量方程
试求 、 的最小二乘法处理及其相应精度。
解：方法一：列出误差方程组：
分别对 求偏导，并令它们的结果为0，
试求x，y的最大或然值及其标准误差。
5-8由下面的不等精度的测定方程组，求x1，x2的最可信赖值及其标准误差。
x1=0权：P1=8
x2=0P2=10
x1+2x2=0.25P3=1
x1-3x2=0.92P4=5
5-9由下面的不等精度的测定方程组，试用矩阵最小二乘法求x，y的最大或然值及其标准误差。
x-3y=-5.6权：P1=1
（ii）第一个量规（Y1）与标准量规比较二次，第二个量规（Y2）与第一个量规比较二次，第三个量规（Y3）与第二量规比较二次；
（iii）每一个量规各与标准量比较一次，然后它们相互按不同的组合比较一次；
上述三种测量方案得到的条件方程式如下表所示：
（1）
（2）
（3）
Y1—N=X1
Y1—N=X1
Y1—N=X1
X+Y=37.0权：P1=5
2X+Y=61.9 P2=4
3X+Y=86.7 P3=4
X+2Y=49.2 P4=4
X+3Y=60.6 P5=3
第5章最小二乘法
表示成矩阵形式为
24
线性参数正规方程的矩阵形式
又因
（5-21）
有 即 若令 则正规方程又可写成 若矩阵C是满秩的，则有
（5-22）
（5-22） （5-23）
Xˆ 的数学期望
因 可见 Xˆ 是X的无偏估计。
式中Y、X为列向量(n ×1阶矩阵和t×l阶矩阵)
其中矩阵元素Y1，Y2，…，Yn为直接量的真值，而 Xl，X2，…，Xn为待求量的真值。
41
n
前面已证明
2 i
/
2
是自由度为（n－t）的χ2变量。
i 1
根据χ2变量的性质，有
（5-39） 取
（5-40） 可以证明它是σ2的无偏估计量
因为
42
习惯上，式5-40的这个估计量也写成σ2，即 （5-41）
因而测量数据的标准差的估计量为 （5-43）
43
例5．3
• 试求例5．1中铜棒长度的测量精度。 已知残余误差方程为 将ti，li，值代人上式，可得残余误差为
34
（2）用表格计算给出正规方程常数项和系数
（3）给出正规方程 （4）求解正规方程组
解得最小二乘法处理结果为
35
四、最小二乘原理与算术平均值原理 的关系
为了确定一个量X的估计量x，对它进 行n次直接测量，得到n个数据
l1，l2，…，ln，相应的权分别为p1， p2，…，pn，则测量的误差方程为
(5-35)
共得k个方程，称正规方程，求此联立方程的解可得 出诸参数估计值 aˆ j (j＝1，2，…，k)。
10
最小二乘法的几何意义
从几何图形上可看出,最小二乘法就是要在穿过各 观测点(xi，yi)之间找出这样一条估计曲线，使各观测 点到该曲线的距离的平方和为最小。
24
线性参数正规方程的矩阵形式
又因
（5-21）
有 即 若令 则正规方程又可写成 若矩阵C是满秩的，则有
（5-22）
（5-22） （5-23）
Xˆ 的数学期望
因 可见 Xˆ 是X的无偏估计。
式中Y、X为列向量(n ×1阶矩阵和t×l阶矩阵)
其中矩阵元素Y1，Y2，…，Yn为直接量的真值，而 Xl，X2，…，Xn为待求量的真值。
41
n
前面已证明
2 i
/
2
是自由度为（n－t）的χ2变量。
i 1
根据χ2变量的性质，有
（5-39） 取
（5-40） 可以证明它是σ2的无偏估计量
因为
42
习惯上，式5-40的这个估计量也写成σ2，即 （5-41）
因而测量数据的标准差的估计量为 （5-43）
43
例5．3
• 试求例5．1中铜棒长度的测量精度。 已知残余误差方程为 将ti，li，值代人上式，可得残余误差为
34
（2）用表格计算给出正规方程常数项和系数
（3）给出正规方程 （4）求解正规方程组
解得最小二乘法处理结果为
35
四、最小二乘原理与算术平均值原理 的关系
为了确定一个量X的估计量x，对它进 行n次直接测量，得到n个数据
l1，l2，…，ln，相应的权分别为p1， p2，…，pn，则测量的误差方程为
(5-35)
共得k个方程，称正规方程，求此联立方程的解可得 出诸参数估计值 aˆ j (j＝1，2，…，k)。
10
最小二乘法的几何意义
从几何图形上可看出,最小二乘法就是要在穿过各 观测点(xi，yi)之间找出这样一条估计曲线，使各观测 点到该曲线的距离的平方和为最小。
第五章线性参数最小二乘法
v 1
v2
v
n
v2
最小
v
n
V T V 最小
或：
(L A X ˆ)T(L A X ˆ) 最小
第五章线性参数最小二乘法
§5-2 正 规 方 程
线性参数的最小二乘法处理程序：
1. 根据具体问题列出误差方程式； 2. 按最小二乘法原理，利用极值的方法
将误差方 程转换为正规方程； 3. 求解正规方程，得到待求的估计量； 4. 精度估计
可知，要使P最大，应满足：
12 1222 22n2 n2最小
第五章线性参数最小二乘法
引入权的符号 p，即：
p 1 v 1 2p 2 v22 p n vn2 最小
等精度测量中：ຫໍສະໝຸດ v12v22 vn2最小二、以矩阵方式表示：
l1
L
l
2
l
n
x1
Xˆ
x
2
V
v1
v
2
x
t
v
n
测量结果 估计值 第五章线性参数最小二乘法
1 45
估计值： Xˆ
a
b
X ˆ a b 第五 章线性参数(最小A 二乘法 TA)1ATL
X ˆ
a b
1 0.9 09 3.9 65 74
y0a19.9m 9 7 m
b0.036504.0000/℃18
a 199.997
第五章线性参数最小二乘法
例：为研究 20mm轴的几何形状误差，
则等精度测量的线性参数最小二乘法 处理的正规方程为：
a1a1x1a1a2x2a1atxt a1l
a2a1x1a2a2x2
a2at xt
a2l
ata1x1ata2x2atatxt atl
(完整版)5线性参数的最小二乘法处理(精)
一、等精度测量线性参数的LSM处理的正规方 程。
❖ 线性参数的误差方程式为：
l1 a11x1 a12 x2 ... a1t xt v1
l2 a21x1 a22 x2 ... a2t xt v2
……
ln an1x1 an2 x2 ... ant xt vn
v2
第三节 精度估计
❖ 一、测量数据的精度估计
❖ （一）等精度测量数据的精度估计
❖ 对包含t个未知数的线性参数方程，进行n次独立的 等精度测量。
❖ 可以证明
❖
[V V ] ~ 2 n t
2
E[V V
2
]
n
t
❖取
s 2 v v
nt
s
v
2 i
nt
❖ V1=3-(1.28×1+0.418×2)=0.884 ❖ V2=5-(1.28×1+0.418×10)=-0.46 ❖ V3=8-(1.28×1+0.418×20)=-1.64 ❖ V4=15-(1.28×1+0.418×30)=1.18 ❖ V5=18-(1.28×1+0.418×40)=0
L
8
15
18
AT A 1052 3100024 AT L 134698
( AT
A)1
1 4616
3004 102
1502
X
( AT A)1 AT L
1 4616
3004 102
1502134698 01..42188
❖ 正规方程为： ❖ 5x+102y=49 ❖ 102x+3004y=1386 ❖ 解该方程得到 ❖ x=1.28 ❖ y=0.418
i
[误差理论与数据处理][第05章][最小二乘法]
![[误差理论与数据处理][第05章][最小二乘法]](https://img.taocdn.com/s3/m/e4286ff0b9f3f90f76c61b48.png)
最可信赖值满足
i
2 w 1 权因子 i i
2 w 1 i 0
v i2 M in 2 i 2 w M i n iv i
2 2 v ( xx ) M i n i i
虽然是在正态分布下导出最小二乘法，实际上， 按误差或残差平方和为最小进行统计推断已形成 一种准则。
v1 L1 x1 v2 L2 x2 v3 L3 x3 v 4 L 4 x1 x 2 v5 L5 x2
x3
v 6 L 6 x1 x 2 x 3
1 0 0 A 1 0 1
0 1 0 1 1 1
s
残差
i
v i2
nt
s
i
w i v i2
nt
（加权）
未知量个数 方程个数
2、待求量的标准差估计
xj d jj
误差传播系数
T 1
A wA 对角元素
直接测量量的标准差
3、待求量的相关系数
ij
d ij
A wA 元素
T 1
d ii d jj
ቤተ መጻሕፍቲ ባይዱ
5-19
误差理论与数据处理
nt
s
i
w i v i2
nt
（加权）
未知量个数 方程个数
2、待求量的标准差估计
xj d jj
误差传播系数
A A
T T
1
对角元素
3、待求量与的相关系数
ij
d ij d ii d jj
直接测量量的标准差
A A
1
元素
5-10
第五章线性参数的最小二乘处理.
第五章线性参数的最小二乘处理习题5-1研究铂-铱米尺基准器的膨胀系数时得出，在不同温度下该米尺基准器的长度的修正值可用下述公式表示：x+ty+t2z=L式中x表示在0℃时米尺基标准器的修正值（微米）；y和z为温度系数；t为温度（℃）；L 为t℃基准器的长度的修正值（微米）。
经研究得在不同温度下米尺基准器长度的修正值如下表：求未知参量x，y，z的最可依赖值。
5-2对未知量x，y，z，组合测量的结果如下：x=0y=0z=0x-y=0.92,-y+x=1.35-x+z=1.00试求x，y，z的最可依赖值及其标准误差。
5-3由等精度测定方程为：x+37y+1369z=36.3x+32y+1024z=41.4x+27y+729z=47.5x+2y+484z=54.7x+17y+289z=63.2x+12y+144z=72.9x+7y+49z=83.7试用矩阵最小二乘法求x ，y ，z 的最可依赖值及其精度。
5-4交流电路的电抗x =ωL Cω1-， 在角频率ω1=3时，测得x 为x 1=0.8ω2=2时，测得x 为x 2=0.2 ω3=1时，测得x 为x 3=-0.3试求：(i) L ，C 及其方差；(ii) ω=3时（ωσ=0.1）电抗值及其方差。
5-5试求下列方程给出的x ，y 的最大或然值及其标准误差。
2x +y =5.1 x -y =1.1 4x -y =7.4 x +4y =5.95-6测得一直线上四段长度AB 、BC 、CD 、DE 分别为24.1，35.8，30.3和33.8厘米，但已知AD 准确长90厘米和BE 准确长100厘米。
试求AB ，BC ，CD ，DE 的最大或然值。
5-7由方程组3x +y =2.9 x -2y =0.9 2x -3y =1.9试求x ，y 的最大或然值及其标准误差。
5-8由下面的不等精度的测定方程组，求x 1，x 2的最可信赖值及其标准误差。
x 1=0 权： P 1=8 x 2=0P 2=10 x 1+2x 2=0.25 P 3=1 x 1-3x 2=0.92P 4=55-9由下面的不等精度的测定方程组，试用矩阵最小二乘法求x ，y 的最大或然值及其标准误差。
(完整版)5线性参数的最小二乘法处理(精)
一、等精度测量线性参数的LSM处理的正规方 程。
❖ 线性参数的误差方程式为：
l1 a11x1 a12 x2 ... a1t xt v1
l2 a21x1 a22 x2 ... a2t xt v2
……
ln an1x1 an2 x2 ... ant xt vn
v2
AT L A X 0
( AT A) X AT L
❖ 解上面方程组得
X AT A 1 AT L Nhomakorabea❖ 可以证明最小二乘估计值是无偏估计。
❖ 测量方程为：
❖
x+2y=3
❖
x+10y=5
❖
x+20y=8
❖
x+30y=15
❖
x+40y=18
1 2
1 10
A 1
20
1 30
1
40
3 5
ank [ln (an1 x1 an2 x2 ... ant xt )] 0 k 1,2, ,t
记
[ai ai ] a1i a1i a2i a2i ... ani ani i 1,2 ,t [ai a j ] a1i a1 j a2i a2 j ani anj (i, j 1,2, ,t) [ai L] a1il1 a2il2 ... aniln i 1,2 ,t
' i
.........
i
L* A* X V *
最小 ❖
V *V
(L*
A*
^
X )T(L*
A*
^
X)
第二节 正规方程
❖ 为了得到可靠的测量结果，测量次数n总是要 多于未知数的数目t。因而直接用一般解代数 方程的方法求解这些未知数是不可能的。最 小二乘法可以将误差方程转化为有确定解的 代数方程，而且方程个数正好等于未知数的 个数，从而可求解这些未知数。
线性参数最小二乘处理
误差理论与数据处理
第二节 正规方程
例5.2 某测量过程有误差方程式及对应的原则差：
v1 6.44 (x1 x2 ) v2 8.60 (x1 2x2 ) v3 10.81 (x1 3x2 ) v4 13.22 (x1 4x2 ) v5 15.27 (x1 5x2 )
试求 x1, x的2 最可信赖值。
误差理论与数据处理
第二节 正规方程
fi (x1, x2 ,, xt )
fi
( x10
,
x20
,,
xt 0
)
(
fi x1
)01
(
fi x2
)0
2
(
fi xi
)
0
t
误差理论与数据处理
第二节 正规方程
将上述展开式代入误差方程，令
li ' li fi (x10 , x20 ,, xt0 )
ai1
(
fi x1
)0
,
ai
2
(
fi x2
)0
直接求得 x1, x2 ,, xt 。
有助于减小随机误差，方程组 有冗余，采用最小二乘原理求 x1, x2 ,。, xt
最小二乘原理： 最可信赖值应使残存误差平方和最小。
误差理论与数据处理
第一节 最小二乘原理
二、最小二乘原理
设直接测量量 Y1,Y2 ,的,预Yn计值为
则有
y1 f1(x1, x2 ,, xt )
误差理论与数据处理
第一节 最小二乘原理
四、不等精度测量的线性参数最小二乘原理
思路一：
Pnn
p1 0 0 0 p2 0
0
0
pn
0 0
第五章线性参数的最小二乘法处理
X 的最佳估计值
Xˆ ( AT PA)1 AT PL C 1 AT PL
例题 5-2
5-22
四、最小二乘法与算术平均值的关系
为确定一个量X的估计值x，对它进行n次直接测量，得 到n个数据 l1, l2 , , ln ,相应的权分别为 P1, P2 , , Pn 。
最佳估计值
n
Pili
x i1 n Pi i 1
V TV 最小
V L A Xˆ
l1
1
L Ml2 P 2 L
ln
v1
1
V
Mv2
P
2V
vn
a11 a12 L A a21 a22 L
M an1 an2 L
a1t
a2t
P
1 2
A
ant
5-14
线性参数的最小二乘法处理程序
误差 方程
最小二乘法
V TV 最小
求极值 的方法
x1 d11 x2 d 22
xt dtt 不定系数 C 1 ( AT PA)1对角元素
单位权的标准差
5-30
第四节 组合测量（combined measurement）
的最小二乘法处理
5-31
组合测量基本概念
组合测量是通过直接测量待测参数的各种组合量（一 般是等精度测量），然后对这些测量数据进行处理， 从而求得待测参数的估计值，并给出其精度估计。
5-28
二、最小二乘估计量
x1, x2 , , xn 的精度估计
1、等精度测量时估计量的精度估计
x1 d11 x2 d 22
xt dtt 不定系数
AT A 1 对角元素
直接测量量的标准差
5-29
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 线性参数的最小二乘法处理
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
4
主要内容
历 史
LS简介
(Least Squares) 最 小 二 乘 法
残差方程式
11
第一节 最小二乘原理
若 l 1 , l 2 , , l n不存在系统误差，相互独立并服从正态 分布，标准差分别为 1 , 2 , , n ，则 l 1 , l 2 , , l n 出现在 相应真值附近 d 1 , d 2 , , d n 区域内的概率为
Pi
U 0i
10
第一节 最小二乘原理
u0 = c + dν
设直接测量量
Y1 , Y 2 ,
y1 f1 ( x1 , x2 ,
由此得测量数据 l 1 , l 2 ,
, xt ) y2 f 2 ( x1 , x2 , , xt ) yn f n ( x1 , x2 , , xt )
, Y n 的估计值为 y 1 , y 2 ,
, y n ，则有
1 l1 f1 ( x1 , x2 , , xt ) 2 l2 f 2 ( x1 , x2 , , xt ) n ln f n ( x1 , x2 , , xt )
, l n 的残余误差
原理(线性参数) 等精度测量LS的正规方程 不等精度测量LS的正规方程 非线性参数LS的正规方程 LS与算术平均值原理的关系 测量数据的精度估计 LS估计量的精度估计
正规方程
精度估计
组合测量LS处理
5
第一节 最小二乘原理
一、最小二乘概述(历史)
最小二乘法[Least Squares(LS), 又称最小平方法]是一 种数学优化技术。它通过最小化误差的平方和寻找数据的最 佳函数匹配。 LS最初于1794年被高斯(Carl Friedrich Gauss) 所描述(非出版物)，但是他直到1809 年才将LS发表于《天体运动论》一书中。
1801年，意大利天文学家皮亚齐(Giuseppe Piazzi)发现了第一颗小行 星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得 皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有 结果。时年24岁的高斯也计算了谷神星的轨道。德国天文学家冯· 扎克( F ranz Xaver von Zach)和奥伯斯(Heinrich Wilhelm Matthä us Olbers)根据 6 高斯计算出来的轨道重新发现了谷神星。
X
b2 + 1 (2)d' = [ yi - (a + bxi )]2
9
第一节 最小二乘原理
h A U0 ν e e
h 设 d e
A c e
h A e e
为确定t个未知量 X1, X 2 ,, X t 的估计量 x1, x2 ,, xt 分别直接测量 n个直接量 Y1 , Y2 ,, Yn，得测量数据 l1 , l2 ,, ln n t 。
不等精度测量的LS原理：
( p1 : p2 : ... : pn =
p11 p 2 2
2
p n n pi i
2 i 1
最小
最小二乘原理：
测量结果的最可信赖值应使残余误差平方 和（或加权残余误差平方和）最小。
14
第一节 最小二乘原理
三、等精度测量的线性参数LS原理
线性参数的测量方程和相应的估计量为：
Y1 a11 X 1 a12 X 2 a1t X t Y2 a21 X 1 a22 X 2 a2 t X t Yn a n1 X 1 a n 2 X 2 a nt X t y1 a11 x1 a12 x2 a1t xt y 2 a21 x1 a22 x2 a2 t xt y n an1 x1 an 2 x2 a nt xt
第一节 最小二乘原理
“数据结合”(data combination)的问题
正态分布(高斯分布) 最小二乘法
7
第一节 最小二乘原理
勒让德(Adrien-Marie Legendre )于 1805年首次公开发表了LS。
8
第一节 最小二乘原理
二、最小二乘原理
Y
(1)d =
bxi - yi + a
o
1 2 2 2 1 2
2 2
n 2 最小 n
2
13
第一节 最小二乘原理
等精度测量的LS原理：
( 1 = 2 = ... = n )
1 2
2 2
n i
2 2 i 1
2 2 n
n
最小
1 1 1 : : ... : ) σ12 σ 2 2 σn2
测量值 l 1 , l 2 , , l n 已经出现，有理由认为这n个测量值 出现于相应区间的概率P应为最大。——待求量最可信赖 体温咽喉头疼咳嗽 胸痛咯血 CT 要使P最大，应有
12 2 2 2 2 1 2
n2 2 最小 n
由于结果只是接近真值的估计值，因此上述条件应表 示为
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
4
主要内容
历 史
LS简介
(Least Squares) 最 小 二 乘 法
残差方程式
11
第一节 最小二乘原理
若 l 1 , l 2 , , l n不存在系统误差，相互独立并服从正态 分布，标准差分别为 1 , 2 , , n ，则 l 1 , l 2 , , l n 出现在 相应真值附近 d 1 , d 2 , , d n 区域内的概率为
Pi
U 0i
10
第一节 最小二乘原理
u0 = c + dν
设直接测量量
Y1 , Y 2 ,
y1 f1 ( x1 , x2 ,
由此得测量数据 l 1 , l 2 ,
, xt ) y2 f 2 ( x1 , x2 , , xt ) yn f n ( x1 , x2 , , xt )
, Y n 的估计值为 y 1 , y 2 ,
, y n ，则有
1 l1 f1 ( x1 , x2 , , xt ) 2 l2 f 2 ( x1 , x2 , , xt ) n ln f n ( x1 , x2 , , xt )
, l n 的残余误差
原理(线性参数) 等精度测量LS的正规方程 不等精度测量LS的正规方程 非线性参数LS的正规方程 LS与算术平均值原理的关系 测量数据的精度估计 LS估计量的精度估计
正规方程
精度估计
组合测量LS处理
5
第一节 最小二乘原理
一、最小二乘概述(历史)
最小二乘法[Least Squares(LS), 又称最小平方法]是一 种数学优化技术。它通过最小化误差的平方和寻找数据的最 佳函数匹配。 LS最初于1794年被高斯(Carl Friedrich Gauss) 所描述(非出版物)，但是他直到1809 年才将LS发表于《天体运动论》一书中。
1801年，意大利天文学家皮亚齐(Giuseppe Piazzi)发现了第一颗小行 星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得 皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有 结果。时年24岁的高斯也计算了谷神星的轨道。德国天文学家冯· 扎克( F ranz Xaver von Zach)和奥伯斯(Heinrich Wilhelm Matthä us Olbers)根据 6 高斯计算出来的轨道重新发现了谷神星。
X
b2 + 1 (2)d' = [ yi - (a + bxi )]2
9
第一节 最小二乘原理
h A U0 ν e e
h 设 d e
A c e
h A e e
为确定t个未知量 X1, X 2 ,, X t 的估计量 x1, x2 ,, xt 分别直接测量 n个直接量 Y1 , Y2 ,, Yn，得测量数据 l1 , l2 ,, ln n t 。
不等精度测量的LS原理：
( p1 : p2 : ... : pn =
p11 p 2 2
2
p n n pi i
2 i 1
最小
最小二乘原理：
测量结果的最可信赖值应使残余误差平方 和（或加权残余误差平方和）最小。
14
第一节 最小二乘原理
三、等精度测量的线性参数LS原理
线性参数的测量方程和相应的估计量为：
Y1 a11 X 1 a12 X 2 a1t X t Y2 a21 X 1 a22 X 2 a2 t X t Yn a n1 X 1 a n 2 X 2 a nt X t y1 a11 x1 a12 x2 a1t xt y 2 a21 x1 a22 x2 a2 t xt y n an1 x1 an 2 x2 a nt xt
第一节 最小二乘原理
“数据结合”(data combination)的问题
正态分布(高斯分布) 最小二乘法
7
第一节 最小二乘原理
勒让德(Adrien-Marie Legendre )于 1805年首次公开发表了LS。
8
第一节 最小二乘原理
二、最小二乘原理
Y
(1)d =
bxi - yi + a
o
1 2 2 2 1 2
2 2
n 2 最小 n
2
13
第一节 最小二乘原理
等精度测量的LS原理：
( 1 = 2 = ... = n )
1 2
2 2
n i
2 2 i 1
2 2 n
n
最小
1 1 1 : : ... : ) σ12 σ 2 2 σn2
测量值 l 1 , l 2 , , l n 已经出现，有理由认为这n个测量值 出现于相应区间的概率P应为最大。——待求量最可信赖 体温咽喉头疼咳嗽 胸痛咯血 CT 要使P最大，应有
12 2 2 2 2 1 2
n2 2 最小 n
由于结果只是接近真值的估计值，因此上述条件应表 示为