第五章 线性参数的最小二乘T part1

2
1
第一节 最小二乘原理
一、引入 待测量（难以直接测量）：X 1 , X 2 , , X t 直接测量量： Y1 , Y2 ,, Yn
l1 Y1 f1 ( X 1 , X 2 ,, X t ) l2 Y2 f 2 ( X 1 , X 2 ,, X t ) ln Yn f n ( X 1 , X 2 ,, X t )
第5章 线性参数的最小二乘处理
参数的最可信赖估计、组合测量的数据处理、用 实验方法来拟定经验公式以及回归分析
第一节 最小二乘原理 • 最小二乘原理 • 等精度测量线性参数的最小二乘原理 • 不等精度测量线性参数的最小二乘原理 第二节 正规方程 • 线性参数的最小二乘处理的正规方程 • 非线性参数的最小二乘处理的正规方程 • 最小二乘原理和算术平均值原理的关系 第三节 精度估计 • 测量数据的精度估计 • 最小二乘估计量的精度估计 第四节 组合测量的最小二乘法处理
Pi
2 1 e i i 2
( 2 i 2 )
d i
(i 1,2,, n)
由概率乘法定理可知，各测量数据同时出现在相应 区域的概率为
i 1 P Pi e i1 1 2 n 2 i 1 n
n 2
( 2 i 2 )
d 1 d 2 d n
误差方程为
v1 l1 (a11x1 a12 x2 a1t xt ) v2 l2 (a21 x1 a22 x2 a2t xt ) vn ln (an1 x1 an 2 x2 ant xt )
9
误差方程
n vi 2 n n n n i 1 2 a l x i1 i 1 ai1ai1 x2 ai1ai 2 xt ai1ait 0 x1 i 1 i 1 i 1 i 1 n vi 2 n n n n i 1 2 a l x it i 1 ait ai1 x2 ait ai 2 xt ait ait 0 xt i 1 i 1 i 1 i 1
18
9
最小值条件：二阶偏导数为正
n vi 2 n n n n i 1 2 a l x i1 i 1 ai1ai1 x2 ai1ai 2 xt ai1ait 0 x1 i 1 i 1 i 1 i 1
权矩阵
不等精度测量最小二乘原理的矩阵形式：
V T PV 最小 T ˆ） ˆ） （L AX P（L AX 最小
12
6
思路一：
V T PV 最小 T ˆ） ˆ） （L AX P（L AX 最小
pi
思路二：不等精度
等精度
p2 xt pn xt
v1 p1 l1 p1 a11 p1 x1 a12 p1 x2 a1t p1 xt v2 p2 l2 p2 a21 p2 x1 a22 p2 x2 a2t vn pn ln pn an1 pn x1 an 2 pn x2 ant
则有：
vi '
li '
ai1 '
ai 2 '

ait '
V 'T V ' 最小 T ˆ） ˆ） （L' A' X （ L' A' X 最小
ቤተ መጻሕፍቲ ባይዱ
13
第二节 正规方程
为使测量结果可靠，测量次数n大于未知参数个数t 即：误差方程个数大于未知参数个数 最小二乘法则 无法直接求解 有确定解的代数方程组 正规方程 正规方程：误差方程按最小二乘法原理转化得到的 有确定解的代数方程组
y1 f1 ( x1 , x2 , , xt ) y2 f 2 ( x1 , x2 , , xt ) yn f n ( x1 , x2 , , xt ) 由此得测量数据 l1 , l2 , , ln 的残余误差
v1 l1 f1 ( x1 , x2 ,, xt ) v2 l2 f 2 ( x1 , x2 , , xt ) vn ln f n ( x1 , x2 , , xt )
1
最小二乘法原理是一种在多学科领域中获得广泛应用 的数据处理方法。这种方法可以妥善解决参数的最可信赖 估计、组合测量的数据处理、用实验方法来拟定经验公式 以及回归分析等一系列数据处理问题。 在物理实验中，经常遇到已知变量间有密切的关系，但其 具体的函数形式及公式中所用参数的具体数值，则要通过实际 测量来确定的情况。 如已知某种电阻其阻值与温度有关，则需要测出一系列不同温 度下的阻值，然后对这一组数据用最小二乘法进行相应的处理， 得出函数关系中参数的最佳估计值。
14
7
线性参数最小二乘法处理程序：
1）列出误差方程； 2）将误差方程按最小二乘法原理转化为正规方程 3）求解正规方程 4）给出精度估计
非线性参数最小二乘法处理程序：
1）将非线性参数转化为线性参数； 2）按照线性参数最小二乘法处理程序处理
15
一、等精度测量线性参数最小二乘处理的正规方程
线性参数的误差方程为：
残差方程式
5
vi li fi ( x1 , x2 , , xt )
若 l1 , l2 , , ln 不存在系统误差，相互独立并服从正态 分布，标准差分别为 1 , 2 ,, n ，则 l1 , l2 , , ln 分别出 现在相应真值附近 d1 , d 2 , , d n区域内的概率为
问题：如何根据测量数据 l1 , l2 , , ln和测量方程解 得待测量X的估计值 x1 , x2 , , xt ？
3
讨论：
l1 Y1 f1 ( X 1 , X 2 ,, X t ) l2 Y2 f 2 ( X 1 , X 2 , , X t ) ln Yn f n ( X 1 , X 2 , , X t )
令
l1 l L 2 ln
则残差方程的矩阵表达式为
ˆ V L AX
10
5
残差方程的矩阵表达式为
ˆ V L AX
等精度测量最小二乘原理的矩阵形式：
v1 v2 vn vi 最小
2 2 2 2 i 1
n
V TV 最 小
Y1 a11 X 1 a12 X 2 a1t X t y1 a11x1 a12 x2 a1t xt Y2 a21 X 1 a22 X 2 a2t X t y2 a21x1 a22 x2 a2t xt yn an1 x1 an 2 x2 ant xt Yn an1 X 1 an 2 X 2 ant X t
17
合并简写： n
( vi 2 )
i 1
x1
2 a11 l1 ( a11 x1 a12 x2 a1t xt ) 2 a21 l2 ( a21 x1 a22 x2 a2 t xt ) -... 2 an1 ln ( an1 x1 an 2 x2 ant xt ) 0
或
ˆ） ˆ） 最小 （ L AX （ L AX
T
11
等精度测量最小二乘原理的矩阵形式： V T V 最小
四、不等精度测量的线性参数最小二乘原理
思路一：
Pnn
2 2 p1 0 0 1 0 0 0 p 0 2 2 0 0 2 2 2 2 0 0 p n 0 0 n
v1 l1 (a11 x1 a12 x2 a1t xt ) n v2 l2 (a21 x1 a22 x2 a2t xt ) 求极值 ( vi 2 ) 条件： i 1 0 x 1 vn ln (an1 x1 an 2 x2 ant xt ) 最小二乘法条件： n n ( vi 2 ) 2 2 2 2 vi v1 v 2 vn 最 小 i 1 0 i 1 x t
p1v1 p2 v2 pn vn pi vi 最小
2 2 2 2 i 1
n
最小二乘原理（其他分布也适用）：
测量结果的最可信赖值应使残余误差平方和 （或加权残余误差平方和）最小。
8
4
三、等精度测量的线性参数最小二乘原理
线性参数的测量方程和相应的估计量为： 测量方程为 估计量为
由于结果只是接近真值的估计值，因此上述条件应表 示为
v1
2
12

v2
2
22

vn
2
n2
最小
7
v1
2
12
2 2

v2
2
22

vn
2
n2
n
最小
等精度测量的最小二乘原理：
v1 v2 vn vi 最小
2 2 i 1
不等精度测量的最小二乘原理：
v1 l1 (a11x1 a12 x2 a1t xt ) v2 l2 (a21 x1 a22 x2 a2t xt ) vn ln (an1 x1 an 2 x2 ant xt )
x1 x ˆ X 2 xt v1 v V 2 vn a11 a12 a1t a a a 2t A 21 22 an1 an 2 ant