第五章线性参数的最小二乘法处理
合集下载
2011第5章线性参数的最小二乘法处理
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
xt
V L AXˆ
则等精度测量时线性参数的残余误差方程为
v1
v1
v2
...
vn
v... 2
最小
vn
一、最小二乘法原理
V TV 最小 ( L AXˆ )T ( L AXˆ ) 最小
线性参数的不等精度测量还可以转化为等 精度的形式，从而可以利用等精度测量时测量 数据的最小二乘法处理的全部结果。
yn fn ( x1 , x2 , ..., xt )
一、最小二乘法原理
v1 l1 y1 v2 l2 y2
vn ln yn v1 l1 f1( x1 , x2 , ..., xt ) v2 l2 f2 ( x1 , x2 , ..., xt )
vn ln fn ( x1 , x2 , ..., xt )
ln
x1
Xˆ
...x2
xt
和
n×t
阶矩阵
A
a11
a21
a12 a22
... a1t
...
a2t
an1
an2
...
ant
第五章 最小二乘法
T T ˆ ）P L AX） min ˆ （L AX （
第二节 正规方程
第五章 线性参数的最小二乘法
正规方程：将误差方程按最小二乘法原理转化得到的
有确定解的代数方程组。
一、等精度测量线性参数最小二乘处理的正规方程
v1 l1 (a11 x1 a12 x2 a1 t xt ) v 2 l 2 (a21 x1 a22 x2 a2 t xt ) v l (a x a x a x ) n n1 1 n2 2 nt t n
2
ln (an1 x1 an 2 x2 ant xt )
vi x1
2
2
2a11 l1 (a11 x1 a12 x2 a1t xt ) 2a21 l2 (a21 x1 a22 x2 a2 t xt ) 2an1 ln (an1 x1 an 2 x2 ant xt ) 0
a
i1 i
a
i1
ai 2 x2
a
it
a it x t 0
2 2 vi 2 a i1a i1 0 2 x1
说明存在极小值
正规方程 （t个）
n n n n ai 1 l i ai 1ai 1 x1 ai 1ai 2 x2 ai 1ait x t i 1 i 1 i 1 i 1 n n n n ai 2 l i ai 2 ai 1 x1 ai 2 ai 2 x2 ai 2 ait x t i 1 i 1 i 1 i 1 n n n n ait l i ait ai 1 x1 ait ai 2 x2 ait ait x t i 1 i 1 i 1 i 1
第二节 正规方程
第五章 线性参数的最小二乘法
正规方程：将误差方程按最小二乘法原理转化得到的
有确定解的代数方程组。
一、等精度测量线性参数最小二乘处理的正规方程
v1 l1 (a11 x1 a12 x2 a1 t xt ) v 2 l 2 (a21 x1 a22 x2 a2 t xt ) v l (a x a x a x ) n n1 1 n2 2 nt t n
2
ln (an1 x1 an 2 x2 ant xt )
vi x1
2
2
2a11 l1 (a11 x1 a12 x2 a1t xt ) 2a21 l2 (a21 x1 a22 x2 a2 t xt ) 2an1 ln (an1 x1 an 2 x2 ant xt ) 0
a
i1 i
a
i1
ai 2 x2
a
it
a it x t 0
2 2 vi 2 a i1a i1 0 2 x1
说明存在极小值
正规方程 （t个）
n n n n ai 1 l i ai 1ai 1 x1 ai 1ai 2 x2 ai 1ait x t i 1 i 1 i 1 i 1 n n n n ai 2 l i ai 2 ai 1 x1 ai 2 ai 2 x2 ai 2 ait x t i 1 i 1 i 1 i 1 n n n n ait l i ait ai 1 x1 ait ai 2 x2 ait ait x t i 1 i 1 i 1 i 1
05第五章--线性参数最小二乘处理x
v1 l1 f1(x1, x2 ,, xt )
v2
l2
f2 (x1,
x2 ,,
xt
)
vn ln fn (x1, x2 ,, xt )
y1，, y2 ,, yn 残差方程式
第一节 最小二乘原理
若 l1,l2不,存,l在n 系统误差，相互独立并服从正态分布
，原则差分别为
1,， 2则,, n 出目前l1,l相2 ,应,真ln 值附近
aitli ait ai1x1 ait ai2 x2 ait ait xt
i 1
i 1
i 1
i 1
特点：
➢ 主对角线分布着平方项系数，正数 ➢ 相对于主对角线对称分布旳各系数两两相等
第二节 正规方程
看正规方程组中第r个方程：
n
n
n
n
airli [ air ai1x1 air ai2 x2 air ait xt ] 0
)0
则误差方程转化为线性方程组
v1 l1'(a111 a12 2 a1tt )
v2
l2 '(a211
a22 2
a2t
t
)
vn ln '(an11 an2 2 antt )
近似值
于是可解得 r (r 1,2,,t) ，进而可得xr (r 1,2,,t)。
第二节 正规方程
针对非线性函数 yi fi (x1, x2 ,, xt ) (i 1,2,, n) 其测量误差方程为
v1 l1 f1(x1, x2 ,, xt )
v2
l2
f2 (x1, x2 ,,
xt
)
vn ln fn (x1, x2 ,, xt )
第5章线性参数的最小二乘法处理
最小 1
p1 : p 2 : : p n
有
2 2
x1
2
2
:
n
1
x2
2
::
xn 2
( 55)
p1v1 p 2 v 2 p n v n
pi vi2
i 1
最小
对于等精度测量，有 1 1 n 即
p1 p 2 p n
2 2 n 12 2 2 2 2 最小 1 2 n
当然，由前述给出的结果只是估计量，它们以 最大的可能性接近真值而并非真值，因此上述条件 应以残差的形式表示，即用残差代替绝对误差：
2 v1 2
1 2 n 引入权的符号p，由下面的关系
2 2
2 v2
1
2 vn
2 i
0
2 2 2
0
为测量数据li的权； 为单位权方差；
0 0 2 2 n
i2为测量数据li的方差。
线性参数的不等精度测量可以转化为等精度的 形式（单位权化），从而可以利用等精度测量时 测量数据的最小二乘法处理的全部结果。为此， 应将误差方程化为等权的形式。若不等精度测量 数据li 的权为pi ，将不等精度测量的误差方程式 （5-9）两端同乘以相应权的平方根得：
ˆ V L AX
（ -10 5 ）
等精度测量时：残差平方和最小这一条件的矩 阵形式为 v1 v v1v2 vn 2 最小 vn 即 T
V V 最小 （5 -11 ）
ˆ L AX 最小
T
或
ˆ L AX
（5 - 1 ２）
第五章 线性参数最小二乘法处理(1)
第五章 线性参数的最小二乘法处理
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
2011第5章线性参数的最小二乘法处理
V T PV 最小 （L AXˆ）T P（L AXˆ） 最小
一、最小二乘法原理
思路二：不等精度 pi 等精度
v1 p1 l1 p1 a11 p1 x1 a12 p1 x2 a1t p1 xt
v2
p2 l2
p2 a21
p2 x1 a22
p2 x2 a2t
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
ln
n
ai 2ain a12a1t a22a2t
i 1
an2ant
n
ai 2li a12l1 a22l2
i 1
an2 ln
a11 a12 ... a1t
A
a21
a22
...
a2t
i 1
n
x2 ai 2ai 2 ... xt
i 1
n
ai 2ait
i 1
)
n
ai 2ai1 a12a11 a22a21
i 1
n
ai 2ai 2 a12a12 a22a22
i 1
an2an1 an2an2
l1
L
l...
2
an1ant an1ln
a11 a12 ... a1t
线性参数的最小二乘法处理
2
W1、 +1″, +10″, +1″, +12″,
W2、 +6″, +4″,
W3、
W4„
Wn
+2″ , -3″ , +4″ +12″, +4″ +3″, +4″
+12″, +12″, +12″
W12
2
12
W22
2 2
W32
32
最小值
3
即 ∑（PW2）=（P1W21）+（P2W22）+（P3W32）
的测量结果 yi 最接近真值，最为可靠，即： yi=∠i+Wi 由于改正数 Wi 的二次方之和为最小，因此称为最小二乘法。 二 最小二乘法理 现在我们来证明一下，最小二乘法和概率论中最大似然方法（算术平均值方法） 是一致的。 （一）等精度测量时 （1）最大似然方法 设 x1,x2„xn 为某量 x 的等精度测量列，且服从正态分布，现以最大似然法和最小 二乘法分别求其最或是值（未知量的最佳估计量） 在概率论的大数定律与中心极限定理那一章我们讲过，随着测量次数的增加，测 量值的算术平均值也稳定于一个常数，即
2 i 1
n
曾给出： vi2
i 1
n
n n 1 n 2 ，由此可知 x vi2 / i2 为最小，这就是最小二乘法的基本 i n i 1 i 1
含义。引入权的符号 P ，最小二乘法可以写成下列形式：
Pv
i 1
n
2 i i
最小
在等精度测量中， 1 2 ... ， P1 P2 ... Pn 即： 最小二乘法可以写成下列形式：
W1、 +1″, +10″, +1″, +12″,
W2、 +6″, +4″,
W3、
W4„
Wn
+2″ , -3″ , +4″ +12″, +4″ +3″, +4″
+12″, +12″, +12″
W12
2
12
W22
2 2
W32
32
最小值
3
即 ∑（PW2）=（P1W21）+（P2W22）+（P3W32）
的测量结果 yi 最接近真值，最为可靠，即： yi=∠i+Wi 由于改正数 Wi 的二次方之和为最小，因此称为最小二乘法。 二 最小二乘法理 现在我们来证明一下，最小二乘法和概率论中最大似然方法（算术平均值方法） 是一致的。 （一）等精度测量时 （1）最大似然方法 设 x1,x2„xn 为某量 x 的等精度测量列，且服从正态分布，现以最大似然法和最小 二乘法分别求其最或是值（未知量的最佳估计量） 在概率论的大数定律与中心极限定理那一章我们讲过，随着测量次数的增加，测 量值的算术平均值也稳定于一个常数，即
2 i 1
n
曾给出： vi2
i 1
n
n n 1 n 2 ，由此可知 x vi2 / i2 为最小，这就是最小二乘法的基本 i n i 1 i 1
含义。引入权的符号 P ，最小二乘法可以写成下列形式：
Pv
i 1
n
2 i i
最小
在等精度测量中， 1 2 ... ， P1 P2 ... Pn 即： 最小二乘法可以写成下列形式：
线性参数的最小二乘法处理
x 及 其 标 准 偏1 差 。
1
0 .3
x 2 0 .4
x1 x 3 0 .5
列出非线性测量方程 x32 x 3 0 . 3
组
x1x 2 0 .1 4
x1 x2
x1 , x2 , x3
x1x2 /x1x2
【1解(】x) x1
2(x) x2
32(x)x1x2
4(x)x2x3
5
a51 18.0625 a52 10.5625 a 53 0
1
0 0
0.025v1
0
1
0
1 0 1
110写出21线3
性化残差
0.025v2 方程0组.025v3
0.025v
18.0625 10.5625 0 整理得正规方1程.组24125v5
解出
328.254 190.785 11 22.4201
v4 L4 x1 x22.016(1.0280.983)0.005 v5 L5 x2 x31.981(0.9831.013)0.015 v6 L6 x1x2 x33.032(1.0280.9831.013)0.008
0 2 估v 1 计2 的v 标2 2 准v 差3 2 v 4 2 v 5 2 v 6 2 0 .0 0 0 5 3 6
x2
x3
待求量
y1 y3 y2
y4
x 0 . 3 ( y ) 为 了 获 得 更 可 靠 的 结 果 ， 测 量 次 数 总 要 多 于 未 知 参 数 的 数 目
1
1
x 0 . 4 ( y ) 组 合 测 量 ， 指 直 接2测 量 一 组 被 测 量 的 不 同2组 合 值 ， 从 它 们 相 互 所 依 赖 的 若 干
1
0 .3
x 2 0 .4
x1 x 3 0 .5
列出非线性测量方程 x32 x 3 0 . 3
组
x1x 2 0 .1 4
x1 x2
x1 , x2 , x3
x1x2 /x1x2
【1解(】x) x1
2(x) x2
32(x)x1x2
4(x)x2x3
5
a51 18.0625 a52 10.5625 a 53 0
1
0 0
0.025v1
0
1
0
1 0 1
110写出21线3
性化残差
0.025v2 方程0组.025v3
0.025v
18.0625 10.5625 0 整理得正规方1程.组24125v5
解出
328.254 190.785 11 22.4201
v4 L4 x1 x22.016(1.0280.983)0.005 v5 L5 x2 x31.981(0.9831.013)0.015 v6 L6 x1x2 x33.032(1.0280.9831.013)0.008
0 2 估v 1 计2 的v 标2 2 准v 差3 2 v 4 2 v 5 2 v 6 2 0 .0 0 0 5 3 6
x2
x3
待求量
y1 y3 y2
y4
x 0 . 3 ( y ) 为 了 获 得 更 可 靠 的 结 果 ， 测 量 次 数 总 要 多 于 未 知 参 数 的 数 目
1
1
x 0 . 4 ( y ) 组 合 测 量 ， 指 直 接2测 量 一 组 被 测 量 的 不 同2组 合 值 ， 从 它 们 相 互 所 依 赖 的 若 干
第五章线性参数的最小二乘法处理01
第五章线性函数的最小二乘处理最小二乘原理应用时的条件是：函数关系确定已知、等精度、误差独立、无偏估计得到满足，在众多的N个测量方程中利用最小二乘原理求得t个（t＜／N）参数的最佳估计值。
如前所叙，在随机因素作用下，测量次数较多时，计算的结果就会更精密，测量次数往往大于待求未知量的个数，因而出现N＞t的现象就成为自然而然的事情了。
众所周知，当N＝t时可由线性代数知识求得一组唯一正确解。
当N＞t时，代数解法则无能为力了。
也许读者会提出另外一个问题：既然N＞t，可由N中取出t个方程来求解，而把（N-t）个方程弃掉，问题不就解决了吗？答案是不行的。
这样求解后的结果不是最佳值，有时会与最佳值离歧很大。
最小二乘法是一种数学原理，高斯于1809年在他的名著《天体沿圆锥截面绕太阳运动的理论》一书中，发表了他发现的最小二乘原理并应用于测量之后，在许多科学领域及技术领域中得到越来越多地应用。
5.1 函数为直接测量值得线性组合5.1.1 测量方程式函数中可能存在着多个待定参数，根据该函数关系可列出多个测量后的方程式，该方程式称作测量方程式。
设含有t个待求参数Xj(j=1,2,…,t)的函数关系已知，表现为线性组合，即Xj是待定系数的真值，aj是在某具体测量条件下获得的直接测量值，经N次测量（N>t）后，理应得到N个函数真关系式。
为了表达更简洁，可将各方程中系数用aij(i=1,2, …,N;j=1,2, …,t)表示，上述方程可简写成量值Y经N次测量后的测量值用Mi表示，则上述方程变为测量方程式，又称测量条件方程，式中，aij及Mi是在某具体测量条件下的直接测量值，Mi含有误差，即Mi≠Yi。
5.1.2 剩余误差方程式若用同直接测量时一样，可将称作剩余误差。
由此便可得到N个剩余误差方程式可以看出，剩余误差是各最可信赖值的函数，即5.1.3 正规方程组现在以三个待求量x1,x2,x3为例，说明建立正规方程组的过程，该计算方法和过程及结论，可推广到t个待求量中去。
第5章最小二乘法
表示成矩阵形式为
24
线性参数正规方程的矩阵形式
又因
（5-21）
有 即 若令 则正规方程又可写成 若矩阵C是满秩的，则有
（5-22）
（5-22） （5-23）
Xˆ 的数学期望
因 可见 Xˆ 是X的无偏估计。
式中Y、X为列向量(n ×1阶矩阵和t×l阶矩阵)
其中矩阵元素Y1，Y2，…，Yn为直接量的真值，而 Xl，X2，…，Xn为待求量的真值。
41
n
前面已证明
2 i
/
2
是自由度为（n－t）的χ2变量。
i 1
根据χ2变量的性质，有
（5-39） 取
（5-40） 可以证明它是σ2的无偏估计量
因为
42
习惯上，式5-40的这个估计量也写成σ2，即 （5-41）
因而测量数据的标准差的估计量为 （5-43）
43
例5．3
• 试求例5．1中铜棒长度的测量精度。 已知残余误差方程为 将ti，li，值代人上式，可得残余误差为
34
（2）用表格计算给出正规方程常数项和系数
（3）给出正规方程 （4）求解正规方程组
解得最小二乘法处理结果为
35
四、最小二乘原理与算术平均值原理 的关系
为了确定一个量X的估计量x，对它进 行n次直接测量，得到n个数据
l1，l2，…，ln，相应的权分别为p1， p2，…，pn，则测量的误差方程为
(5-35)
共得k个方程，称正规方程，求此联立方程的解可得 出诸参数估计值 aˆ j (j＝1，2，…，k)。
10
最小二乘法的几何意义
从几何图形上可看出,最小二乘法就是要在穿过各 观测点(xi，yi)之间找出这样一条估计曲线，使各观测 点到该曲线的距离的平方和为最小。
24
线性参数正规方程的矩阵形式
又因
（5-21）
有 即 若令 则正规方程又可写成 若矩阵C是满秩的，则有
（5-22）
（5-22） （5-23）
Xˆ 的数学期望
因 可见 Xˆ 是X的无偏估计。
式中Y、X为列向量(n ×1阶矩阵和t×l阶矩阵)
其中矩阵元素Y1，Y2，…，Yn为直接量的真值，而 Xl，X2，…，Xn为待求量的真值。
41
n
前面已证明
2 i
/
2
是自由度为（n－t）的χ2变量。
i 1
根据χ2变量的性质，有
（5-39） 取
（5-40） 可以证明它是σ2的无偏估计量
因为
42
习惯上，式5-40的这个估计量也写成σ2，即 （5-41）
因而测量数据的标准差的估计量为 （5-43）
43
例5．3
• 试求例5．1中铜棒长度的测量精度。 已知残余误差方程为 将ti，li，值代人上式，可得残余误差为
34
（2）用表格计算给出正规方程常数项和系数
（3）给出正规方程 （4）求解正规方程组
解得最小二乘法处理结果为
35
四、最小二乘原理与算术平均值原理 的关系
为了确定一个量X的估计量x，对它进 行n次直接测量，得到n个数据
l1，l2，…，ln，相应的权分别为p1， p2，…，pn，则测量的误差方程为
(5-35)
共得k个方程，称正规方程，求此联立方程的解可得 出诸参数估计值 aˆ j (j＝1，2，…，k)。
10
最小二乘法的几何意义
从几何图形上可看出,最小二乘法就是要在穿过各 观测点(xi，yi)之间找出这样一条估计曲线，使各观测 点到该曲线的距离的平方和为最小。
第五章线性参数最小二乘法
v 1
v2
v
n
v2
最小
v
n
V T V 最小
或：
(L A X ˆ)T(L A X ˆ) 最小
第五章线性参数最小二乘法
§5-2 正 规 方 程
线性参数的最小二乘法处理程序：
1. 根据具体问题列出误差方程式； 2. 按最小二乘法原理，利用极值的方法
将误差方 程转换为正规方程； 3. 求解正规方程，得到待求的估计量； 4. 精度估计
可知，要使P最大，应满足：
12 1222 22n2 n2最小
第五章线性参数最小二乘法
引入权的符号 p，即：
p 1 v 1 2p 2 v22 p n vn2 最小
等精度测量中：ຫໍສະໝຸດ v12v22 vn2最小二、以矩阵方式表示：
l1
L
l
2
l
n
x1
Xˆ
x
2
V
v1
v
2
x
t
v
n
测量结果 估计值 第五章线性参数最小二乘法
1 45
估计值： Xˆ
a
b
X ˆ a b 第五 章线性参数(最小A 二乘法 TA)1ATL
X ˆ
a b
1 0.9 09 3.9 65 74
y0a19.9m 9 7 m
b0.036504.0000/℃18
a 199.997
第五章线性参数最小二乘法
例：为研究 20mm轴的几何形状误差，
则等精度测量的线性参数最小二乘法 处理的正规方程为：
a1a1x1a1a2x2a1atxt a1l
a2a1x1a2a2x2
a2at xt
a2l
ata1x1ata2x2atatxt atl
(完整版)5线性参数的最小二乘法处理(精)
一、等精度测量线性参数的LSM处理的正规方 程。
❖ 线性参数的误差方程式为：
l1 a11x1 a12 x2 ... a1t xt v1
l2 a21x1 a22 x2 ... a2t xt v2
……
ln an1x1 an2 x2 ... ant xt vn
v2
第三节 精度估计
❖ 一、测量数据的精度估计
❖ （一）等精度测量数据的精度估计
❖ 对包含t个未知数的线性参数方程，进行n次独立的 等精度测量。
❖ 可以证明
❖
[V V ] ~ 2 n t
2
E[V V
2
]
n
t
❖取
s 2 v v
nt
s
v
2 i
nt
❖ V1=3-(1.28×1+0.418×2)=0.884 ❖ V2=5-(1.28×1+0.418×10)=-0.46 ❖ V3=8-(1.28×1+0.418×20)=-1.64 ❖ V4=15-(1.28×1+0.418×30)=1.18 ❖ V5=18-(1.28×1+0.418×40)=0
L
8
15
18
AT A 1052 3100024 AT L 134698
( AT
A)1
1 4616
3004 102
1502
X
( AT A)1 AT L
1 4616
3004 102
1502134698 01..42188
❖ 正规方程为： ❖ 5x+102y=49 ❖ 102x+3004y=1386 ❖ 解该方程得到 ❖ x=1.28 ❖ y=0.418
i
第五章线性参数的最小二乘处理.
第五章线性参数的最小二乘处理习题5-1研究铂-铱米尺基准器的膨胀系数时得出，在不同温度下该米尺基准器的长度的修正值可用下述公式表示：x+ty+t2z=L式中x表示在0℃时米尺基标准器的修正值（微米）；y和z为温度系数；t为温度（℃）；L 为t℃基准器的长度的修正值（微米）。
经研究得在不同温度下米尺基准器长度的修正值如下表：求未知参量x，y，z的最可依赖值。
5-2对未知量x，y，z，组合测量的结果如下：x=0y=0z=0x-y=0.92,-y+x=1.35-x+z=1.00试求x，y，z的最可依赖值及其标准误差。
5-3由等精度测定方程为：x+37y+1369z=36.3x+32y+1024z=41.4x+27y+729z=47.5x+2y+484z=54.7x+17y+289z=63.2x+12y+144z=72.9x+7y+49z=83.7试用矩阵最小二乘法求x ，y ，z 的最可依赖值及其精度。
5-4交流电路的电抗x =ωL Cω1-， 在角频率ω1=3时，测得x 为x 1=0.8ω2=2时，测得x 为x 2=0.2 ω3=1时，测得x 为x 3=-0.3试求：(i) L ，C 及其方差；(ii) ω=3时（ωσ=0.1）电抗值及其方差。
5-5试求下列方程给出的x ，y 的最大或然值及其标准误差。
2x +y =5.1 x -y =1.1 4x -y =7.4 x +4y =5.95-6测得一直线上四段长度AB 、BC 、CD 、DE 分别为24.1，35.8，30.3和33.8厘米，但已知AD 准确长90厘米和BE 准确长100厘米。
试求AB ，BC ，CD ，DE 的最大或然值。
5-7由方程组3x +y =2.9 x -2y =0.9 2x -3y =1.9试求x ，y 的最大或然值及其标准误差。
5-8由下面的不等精度的测定方程组，求x 1，x 2的最可信赖值及其标准误差。
x 1=0 权： P 1=8 x 2=0P 2=10 x 1+2x 2=0.25 P 3=1 x 1-3x 2=0.92P 4=55-9由下面的不等精度的测定方程组，试用矩阵最小二乘法求x ，y 的最大或然值及其标准误差。
第五章线性参数的最小二乘法处理
第5章 线性参数的最小二乘法
5-1
最小二乘法（least square method）
1805年，勒让德（Legendre）应用“最小二乘法”， 确定了慧星的轨道和地球子午线段。 1809年，高斯（Gauss）论证其解的最佳性。
经典最小二乘法（即代数最小二乘法）
现代最小二乘法（即矩阵最小二乘法）
(n=t)
正规方程：误差方程按最小二乘法原理转化得到的 有确定解的代数方程组。
5-18
第二节、正规方程
一、等精度测量线性参数最小二乘法的正规方程 二、不等精度测量线性参数最小二乘法的正规方程 三、非线性参数最小二乘法处理的正规方程（略） 四二节
正规方程
一、等精度测量线性参数最小二乘处理的正规方程
误差方程
a11 , a12 , , a1t a , a ,, a 2t A 21 22 a n1 , a n 2 , , a nt
系数矩阵
误差方程
v1 l1 (a11 x1 a12 x 2 a1t xt ) v 2 l 2 (a 21 x1 a 22 x 2 a 2t xt ) v n l n (a n1 x1 a n 2 x 2 a nt xt )
相应的估计值
y1 a11 x1 a12 x 2 a1t xt y 2 a 21 x1 a 22 x 2 a 2t xt y n a n1 x1 a n 2 x 2 a nt xt
其误差方程：
v1 l1 (a11 x1 a12 x 2 a1t xt ) v 2 l 2 (a 21 x1 a 22 x 2 a 2t xt ) v n l n (a n1 x1 a n 2 x 2 a nt xt )
5-1
最小二乘法（least square method）
1805年，勒让德（Legendre）应用“最小二乘法”， 确定了慧星的轨道和地球子午线段。 1809年，高斯（Gauss）论证其解的最佳性。
经典最小二乘法（即代数最小二乘法）
现代最小二乘法（即矩阵最小二乘法）
(n=t)
正规方程：误差方程按最小二乘法原理转化得到的 有确定解的代数方程组。
5-18
第二节、正规方程
一、等精度测量线性参数最小二乘法的正规方程 二、不等精度测量线性参数最小二乘法的正规方程 三、非线性参数最小二乘法处理的正规方程（略） 四二节
正规方程
一、等精度测量线性参数最小二乘处理的正规方程
误差方程
a11 , a12 , , a1t a , a ,, a 2t A 21 22 a n1 , a n 2 , , a nt
系数矩阵
误差方程
v1 l1 (a11 x1 a12 x 2 a1t xt ) v 2 l 2 (a 21 x1 a 22 x 2 a 2t xt ) v n l n (a n1 x1 a n 2 x 2 a nt xt )
相应的估计值
y1 a11 x1 a12 x 2 a1t xt y 2 a 21 x1 a 22 x 2 a 2t xt y n a n1 x1 a n 2 x 2 a nt xt
其误差方程：
v1 l1 (a11 x1 a12 x 2 a1t xt ) v 2 l 2 (a 21 x1 a 22 x 2 a 2t xt ) v n l n (a n1 x1 a n 2 x 2 a nt xt )
(完整版)5线性参数的最小二乘法处理(精)
一、等精度测量线性参数的LSM处理的正规方 程。
❖ 线性参数的误差方程式为：
l1 a11x1 a12 x2 ... a1t xt v1
l2 a21x1 a22 x2 ... a2t xt v2
……
ln an1x1 an2 x2 ... ant xt vn
v2
AT L A X 0
( AT A) X AT L
❖ 解上面方程组得
X AT A 1 AT L Nhomakorabea❖ 可以证明最小二乘估计值是无偏估计。
❖ 测量方程为：
❖
x+2y=3
❖
x+10y=5
❖
x+20y=8
❖
x+30y=15
❖
x+40y=18
1 2
1 10
A 1
20
1 30
1
40
3 5
ank [ln (an1 x1 an2 x2 ... ant xt )] 0 k 1,2, ,t
记
[ai ai ] a1i a1i a2i a2i ... ani ani i 1,2 ,t [ai a j ] a1i a1 j a2i a2 j ani anj (i, j 1,2, ,t) [ai L] a1il1 a2il2 ... aniln i 1,2 ,t
' i
.........
i
L* A* X V *
最小 ❖
V *V
(L*
A*
^
X )T(L*
A*
^
X)
第二节 正规方程
❖ 为了得到可靠的测量结果，测量次数n总是要 多于未知数的数目t。因而直接用一般解代数 方程的方法求解这些未知数是不可能的。最 小二乘法可以将误差方程转化为有确定解的 代数方程，而且方程个数正好等于未知数的 个数，从而可求解这些未知数。
第五章参数的最小二乘法估计
a 式中， j ， y 分别为如下列向量
第二节 线性参数的最小二乘法
a1 j a2 j aj a nj
y1 y2 y y n
第二节 线性参数的最小二乘法
[al ak ] 和 [a j y ]分别为如下两列向量的内积：
如为精密测定1号、2号和3号电容器的电容量
x1 x2 x3
待求量 测得值
为了获得更可靠 的结果，测量次 数总要多于未知 参数的数目
y1
y3 y2
0.3 ( y1 )
y4
待解的数学模型
x1 x2 x1
0.4 ( y2 )
x3 0.5 ( y3 ) x2 x3 0.3 ( y4 )
• （1）最小绝对残差和法： • （2）最小最大残差法： • （3）最小广义极差法：
v
i
Min
max vi Min
maxvi minvi Min
主要内容
• 最小二乘法原理 • 线性测量方程组中参数的最小 二乘法 • 非线性测量方程组中参数的最 小二乘法 • 组合测量
第二节 线性参数的最小二乘法
v1 v2 V vn
l1 l2 L= ln
和n×t阶矩阵
第二节 线性参数的最小二乘法
a11a12 a1t A a21a22 a2t a a a nt n1 n 2
第二节 线性参数的最小二乘法
测量方程组系数与正规方程组系数
y1 a11 x1 a12 x2 a1t xt y2 a21 x1 a22 x2 a2t xt yn an1 x1 an 2 x2 ant xt
第二节 线性参数的最小二乘法
a1 j a2 j aj a nj
y1 y2 y y n
第二节 线性参数的最小二乘法
[al ak ] 和 [a j y ]分别为如下两列向量的内积：
如为精密测定1号、2号和3号电容器的电容量
x1 x2 x3
待求量 测得值
为了获得更可靠 的结果，测量次 数总要多于未知 参数的数目
y1
y3 y2
0.3 ( y1 )
y4
待解的数学模型
x1 x2 x1
0.4 ( y2 )
x3 0.5 ( y3 ) x2 x3 0.3 ( y4 )
• （1）最小绝对残差和法： • （2）最小最大残差法： • （3）最小广义极差法：
v
i
Min
max vi Min
maxvi minvi Min
主要内容
• 最小二乘法原理 • 线性测量方程组中参数的最小 二乘法 • 非线性测量方程组中参数的最 小二乘法 • 组合测量
第二节 线性参数的最小二乘法
v1 v2 V vn
l1 l2 L= ln
和n×t阶矩阵
第二节 线性参数的最小二乘法
a11a12 a1t A a21a22 a2t a a a nt n1 n 2
第二节 线性参数的最小二乘法
测量方程组系数与正规方程组系数
y1 a11 x1 a12 x2 a1t xt y2 a21 x1 a22 x2 a2t xt yn an1 x1 an 2 x2 ant xt
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
l1= y0（1+t1）
（1） 当n<2，方程有无 穷多个解。
l2= y0（1+t2） …… vv…12==…ll12--yy12 ，
（2） yn为最小二乘一估解计量。
当n=2，方程只有唯
ln= y…0（. …1+..tn）
（3） 当 n>2， 方 程组 无 解 。
vn= ln-yn
？
y0与最可 信赖 值
线性参数的最小二乘原理的矩阵形式
实测值矩阵 估计值矩阵 残差矩阵 误差方程l1 L来自l2 ln
误差方程
x1
X
x2
xt
v1
V
v2
vn
系数矩阵
a11, a12 ,, a1t
A
a 21 ,
a22 ,,
a2t
an1
,
an
2
,
,
ant
v1 l1 (a11x1 a12 x2 a1t xt )
即
vn ln f n (x1, x2 ,, xt )
（5-4）
5-9
一、最小二乘法原理
若测量数据 l1,l2 ,,ln ,不存在系统误差和粗大误 差，相互独立，且服从正态分布,其标准差为 1,2, , n
则各测量结果l1 , l2 ,, ln 出现于相应真值附近 d1, d 2 , d d 3........ n 区 域内的概率分别为：
5-2
线性参数的最小二乘法
第一节 最小二乘法原理 第二节 正规方程 第三节 精度估计 第四节 组合测量的最小二乘
法处理
5-3
大纲要求
❖ 掌握最小二乘原理。
❖ 掌握正规方程: 等精度测量线性参数的最小二乘处理 不等精度测量线性参数的最小二乘处理
❖ 掌握最小二乘精度估计方法。
5-4
第一节 最小二乘法原理 一、最小二乘法原理
第一节 最小二乘法原理
二、线性参数的最小二乘法处理
线性参数的测量方程
Y1 a11 X 1 a12 X 2 a1t X t Y2 a21 X 1 a22 X 2 a2t X t
Yn an1 X 1 an2 X 2 ant X t
相应的估计值
y1 a11 x1 a12 x2 a1t xt y2 a21 x1 a22 x2 a2t xt
2 1
2 1
2 2 2 2
2 n 2 n
最小
由于结果只是接近真值的估计值，因此上述条件应为
引入权
v12 v22 vn2 最小
2 1
2 2
2 n
p1v12 p2v22 pnvn2 最小
(5 5)
等精度测量 ：v12 v22 vn2 最小 (5 6)
最小二 乘原理 的代5数-11
一、最小二乘法原理
最小二乘原理:测量结果的最可信赖值应使残余 误差平方和（或加权残余误差平方和）最小。
▪必须指出:上述最小二乘原理是在测量误差无偏、正 态分布和相互独立的条件下推导出的，但在不严格服 从正态分布的情形下也常被使用。实际上，按误差或 残差平方和为最小进行统计推断已形成一种准则。
5-12
第5章 线性参数的最小二乘法
5-1
最小二乘法（least square method）
➢1805年，勒让德（Legendre）应用“最小二乘法”， 确定了慧星的轨道和地球子午线段。 ➢1809年，高斯（Gauss）论证其解的最佳性。
➢经典最小二乘法（即代数最小二乘法）
➢现代最小二乘法（即矩阵最小二乘法）
Pn
fn ( n )d n
n
1
2
e
2 n
2
2 n
dn
各误差相互独立，由概率乘法定理，各测量数据同时分别出现 在相应区域的概率应为：
p
p1,
p2 ,,
pn
1
1 2 n (
(
12
2
2 1
2 2
2
2 2
2 n
2
2 n
)
2 ) e d d d n
12
n
5-10
一、最小二乘法原理
测量值 l1,l2,,ln 已经出现，有理由认为这n个测量值 出现于相应区间的概率P为最大。要使P最大，应有
yn an1 x1 an2 x2 ant xt
其误差方程：
v1 l1 (a11x1 a12 x2 a1t xt ) v2 l2 (a21x1 a22 x2 a2t xt )
vn ln (an1x1 an2 x2 ant xt )
5-13
二、线性参数的最小二乘法处理
讨论：
nt: nt:
直接求得 x1, x2,, xt 。
有利于减小随机误差，方程组 有冗余，采用最小二乘原理求 x1, x2,。, xt
最小二乘原理：
最可信赖值应使残余误差平方和最小。
5-8
一、最小二乘法原理
设直接测量量 Y1,Y2 Yn 的估计量分别为 y1, y2 yn
y1 f1 (x1, x2 ,, xt ) y2 f 2 (x1, x2 ,, xt )
最小二乘法 v12 v22 vn2 最5小-6
一、最小二乘法原理
为确定t个不可直接测量的末知量 X1, X 2 ,, X t 的估计 量 x1, x2 ,, xt ，可对与该t个末知量有函数关系的直接测量量Y进
行n次测量，得测量数据 l1,l2 ,,ln （n>t）并设有如下函数关系：
待测量（难以直接测量）：X1, X 2,, Xt
直接测量量： Y1,Y2,,Yn
l1 Y1 f1( X1, X 2 ,, X t )
l2
Y2
f2
(
X
1,
X
2
,,
X
t
)
ln Yn fn ( X1, X 2 ,, X t )
测量方程
问题：如何根据 l1, 量的估计值
lx21,,x2,,ln和,测xt？量方程解得待测
5-7
一、最小二乘法原理
（5-2）
yn f n (x1, x2 ,, xt )
由此得测量数据l1 , l2 ,, ln 的残差为：
残差方程式 （误差方程式）
v1= l1-y1 v2= l2-y2 …. ….. （5-3）
vn= ln-yn
v1 l1 f1 (x1, x2 ,, xt )
v2 l2 f 2 (x1, x2 ,, xt )
引题:求标准米尺线膨胀系数
设有一金属尺，在温度t时长度可表示为 yt=y0（1+t），其中，y0为温度零度时的精确长度。 为金属材料的线膨胀系数，求y0与的数值
l1= y0（1+t1） l2= y0（1+t2）
y0与
5-5
一、最小二乘法原理
求标准米尺线膨胀系数
设在t1，t2，t3……….tn温度条件下分别测得金属尺的长 度l1，l2，l3 ………. ln共n个结果，可列出方程组