第七章最小二乘法

L a1t L a2t L L ant
线性参数的残差方程式（ 13）可表示为
即
Harbin Institute of Technology
ˆ V = L − AX
（ 14）
误差理论
与数据处理
等精度测量时，最小二乘条件的矩阵形式为 （ 15） V T V = 最小 ˆ )T (L − AX ) = 最小 ˆ 或 (L − AX （ 16） 不等精度测量时，最小二乘条件的矩阵形式为 V T PV = 最小 （ 17） ˆ )T P (L − A X ) = 最小 ˆ （ 18） (L − AX 或 σ 式中 0 L 0 σ
( ( (
)
) )
′ ,′ 令： v1 =v1 p1,v′ =v2 p2 ,L vn =vn pn ; 2
′ ′ ′ l1 = l1 p1 ,l2 = l2 p2 ,L,ln = ln pn ;
′ ′ ′ a11 = a11 p1 , a12 = a12 p1 ,L, a′1 = an1 pn ,L, ant = ant pn . n
误差理论
与数据处理
只须将残差方程式化为等权的形式即可转 化为等精度形式。由残差方程式（ 13）可得
v1 p1 = l1 p1 − a11 p1 x1 + a12 p1 x2 + L + a1t p1 xt v2 p2 = l2 p2 − a21 p2 x1 + a22 p2 x2 + L + a2t p2 xt LL vn pn = ln pn − an1 pn x1 + an 2 pn x2 + L + ant pn xt
误差理论
第七章 最小二乘法
最小二乘法给出了数据处理的一条准则，即在 最小二乘意义下获得的最佳结果（或最可信赖 值）应使残差平方和最小。 本章仅涉及独立测量数据的最小二乘法处理。 以等精度线性参数的最小二乘法为中心，叙述 最小二乘法原理、正规方程和正规方程的解， 以及最小二乘法的精度估计。
与数据处理
Harbin Institute of Technology
2 2 δn δ12 δ2 2 + 2 + L + 2 = 最小 σ1 σ 2 σn
（ 7）
Harbin Institute of Technology
误差理论
与数据处理
因结果是估计量，上述条件应为残差形式 2 2 v12 v2 vn （ 8） + 2 + L + 2 = 最小 2
σ1 σ2 σn
误差理论
与数据处理
设
v1 l1 x1 a11 a12 v2 ˆ V = L = l 2 X = x 2 A = a21 a22 M L M M v l x n n t an1 an2
误差理论
与数据处理
一、线性参数等精度测量数据最小二 乘法处理的正规方程
对残差方程平方和 [v 2 ]求偏导数，并令其 为0，可获得一组有确定解的方程，其解即为 满足 [v 2 ] = 最小 的最小二乘估计量。 [v 2 ]分别对 x1, x2 ,L, xt 求偏导数，可得 ∂ [v ] = − 2 {[a l ] − ([a a ]x + [a a ]x + L + [a a ]x )}
与数据处理
Harbin Institute of Technology
误差理论
与数据处理
最小二乘法指出，在测量数据是无偏、正 态和独立的条件下，y0 与 α 的最可信赖的结 果应在测量的残差 v 1 = l1 − y 1 v 2 = l2 − y 2 LL v n = ln − y n 的平方和[v 2 ] 为最小的条件下求得。 式中， 1 , y 2 , L , yn 为最小二乘估计量。 y 测量数据越多，求得的 y0 与 α 值就越可 靠。
2
∂ x1
1
1
1
1
1
2
2
1
t
x1 + [a 2 a 2 ]x 2 + L + [a 2 a t ]x t )} ∂x2 ∂ v2 = − 2 {[a t l ] − ([a t a 1 ]x1 + [a t a 2 ]x 2 + L + [a t a t ]x t )} ∂xt
v2 = l2 − (a21 x1 + a22 x2 + L + a2t xt ) LL vn = ln − (an1 x1 + an 2 x2 + L + ant xt )
（ 13）
估计量应在 pv2 = 最小的条件下求出。
Harbin Institute of Technology
[ ]
Harbin Institute of Technology
误差理论
与数据处理
线性参数测量方程的一般形式 ：
Y1 = a11 X 1 + a12 X 2 + L + a1t X t Y2 = a21 X 1 + a22 X 2 + L + a2t X t LL Yn = an1 X 1 + an 2 X 2 + L + ant X t
Harbin Institute of Technology
误差理论
与数据处理
测量数据 l1 , l 2 , L , l n 的残差应为
v1 = l1 − y1 v2 = l2 − y 2 LL vn = ln − y n
（ 3）
即
v1 = l1 − f1(x1, x2 ,L, xt ) v2 = l2 − f2 (x1, x2 ,L, xt ) LL vn = ln − fn (x1, x2 ,L, xt )
误差理论
与数据处理
§7.1 最小二乘法原理 §7.2 正规方程 §7.3 正规方程的解算 §7.4 精度估计 §7.5 最小二乘法应用举例
Harbin Institute of Technology
误差理论
7.1最小二乘法原理
设有一金属尺，在温度 t (°C ) 条件下的长度 可表示为 y t = y 0 (1 + α t ) 要求给出 y0 与α 的数值。 设在 t1 , t 2 ,⋅ ⋅ ⋅, t n温度条件下，分别测得金属 尺的长度 l 1 , l 2 , ⋅ ⋅ ⋅ , l n共n个结果，可列出方程组 l 1 = y 0 (1 + α t 1 ) l 2 = y 0 (1 + α t 2 ) LL l n = y 0 (1 + α t n ) 方程式的数目n多于待求量的数目，无法直 接求解方程组。
残差方程化为 ′ v 1′ = l 1′ − (a 11 x 1 + ′ ′ v ′ = l 2 − (a 21 x 1 + 2
（ 19）
方程（ 19）中各式具有相同的权，可按 等精度测量时的最小二乘法处理。 则不等精度测量的残差方程又可表示为 ˆ （ 20） V ′ = L ′ − A ′X 最小二乘条件可表示为 V ′T V ′ = 最小 （ 21） ˆ T L′ − A′X = 最小 ˆ 或 （ 22） L′ − A′X
( )
n
e
δ2 1 δ 2 δ 2 − 12 + 2 +L+ n 2 2 2 σ1 σ 2 σn
dδ1dδ 2 Ldδ（ n
6）
又根据最大似然定理，测量值 l1 , l 2 , L , l n事 实上已经出现，故P应为最大。即待求量的最 可信赖值的确定应满足概率P最大。 由式（ 6）知，应满足
Harbin Institute of Technology
误差理论
与数据处理
′ a 12 x 2 + L + a 1′ t x t ) ′ a ′ x 2 + L + a 2 t x t ) 22 LL ′ ′ ′ ′ v n = l n − (a ′ 1 x 1 + a n 2 x 2 + L + a nt x t ) n
P1 = f1 (δ 1 )d δ 1 = P2 = f 2 (δ 2 )d δ 2 = Pn = f n (δ n )d δ n = 1 e dδ 1 2π 2 δ − 22 1 e 2σ 2 d δ 2 2π δ2 − n2 1 2σ n e dδ n 2π
（ 11） （ 12）
相应的估计量为：y1 = a11x1 + a12 x2 + L + a1t xt
y2 = a21x1 + a22 x2 + L + a2t xt LL yn = an1 x1 + an 2 x2 + L + ant xt
残差方程为：v1 = l1 − (a11 x1 + a12 x2 + L + a1t xt )
−
δ 12 2 σ 12
σ1 σ2
LL
σn
δ 式中， 1 , δ 2 , L , δ n 分别为测量结果的测量误差。
Harbin Institute of Technology
误差理论
与数据处理
根据概率乘法定理，给测量数据同时出现 的概率应为
P = P P2 LPn = 1 1
σ1σ 2 Lσ n 2π
（ 4）
式( 3)或式( 4)成为残差方程。
Harbin Institute of Technology
误差理论
与数据处理
若测量误差是无偏的（ (δ i ) = 0，即排除系统误差），服从正 E 态分布，且相互独立，并设其标准差分别为σ 1 , σ 2 ,L, σ n ，则测 量结果出现在 l1 , l 2 , L , l n附近dδ1 , dδ 2 ,L, dδ n区域内的概率为
由式 得
p1 : p2 : L: pn =
1
σ1 σ 2
: 2
1
: L: 2
1
2 σn
2 2 p1v12 + p2v2 + L+ pnvn = pv2 = 最小 （ 9）
[ ]
式（ 9）是最小二乘条件的一般形式， 即测量结果的最可信赖值应在加权残差平方和 为最小的条件下求得。 在等精度测量条件下有 2 2 v12 + v2 +L+ vn = [v2 ] = 最小 （ 10）
Harbin Institute of Technology
误差理论
与数据处理
为确定t个未知量X1, X 2 ,L, Xt的估计量x1, x2 ,L, xt 分别直接测量n个直接量 Y1 , Y2 , L , Yn ，得测量数 据 l1 , l2 ,L, ln (n > t ) 。 设有函数关系： Y1 = f1 ( X 1 , X 2 , L , X t ) Y2 = f 2 ( X 1 , X 2 , L , X t ) （ 1） LL Yn = f n ( X 1 , X 2 , L , X t ) 若直接量Y1 , Y2 , L , Yn 的估计量分别为 y1, y2 ,L, yn 则可得关系： y 1 = f 1 (x1 , x 2 , L , x t ) y 2 = f 2 ( x1 , x 2 , L , x t ) （ 2） LL y n = f n ( x1 , x 2 , L , x t )
(
)(
)
Harbin Institute of Technology
误差理论
7.2 正规方程
按最小二乘条件，将残差方程转化为有确 定解的代数方程组（称为最小二乘法的正规方 程，或法方程），其方程式数目正好等于未知 数的数目，从而可求解出这些未知参数。
与数据处理
Harbin Institute of Technology
v1 l1 a11 v 2 l 2 a 21 M = M − L v l a n n n1 a12 a 22 an 2 L L L L a1t x1 a 2t x2 M a nt x t
p1 0 P = L 0 0 p2 0 L L L L 0 0 0 = pn L 0
2 0 2 1
σ σ
2 0 2 2
L L
0
L
0 σ 02 σ n2
Harbin Institute of Technology