最小二乘法拟合原理

最新资料推荐
最小二乘法拟合原理
最小二乘法拟合原理最小二乘拟合在物理实验中经常要
观测两个有函数关系的物理量。

根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。

这类问题通常有两种情况：
一种是两个观测量x与y之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x与y之间的函数形式还不知道，需要找出它们之间的经验公式。

后一种情况常假设x与y之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的
处理方法。

一、最小二乘法原理在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x，而把所有的误差只认为是y的误差。

设x和y的函数关系由理论公式y = f (x; cl , c2 , cm) (0-0-1 ) 给出，其中cl , c2 , cm是m个要通过实验确定的参数。

对于每组观测数据(xi , yi ) i = 1, 2 , , N。

都对应于xy平面上一个点。

若不存在测量误差，则这些数据点都准确落在理论曲线上。

只要选取m组测量值代入式（0-0-1 ）,便得到方程组yi
1 / 12
=f （x; cl , c2 , cm）（0-0-2 ）式中i = 1,2 , , m.求
m个方程的联立解即得m个参数的数值。

显然Nm时，参数不能确定。

在Nm的情况下，式（0-0-2）成为矛盾方程组，不能直接用解方程的方法求得m个参数值，只能用曲线拟合的方法来处理。

设测量中不存在着糸统误差，或者说已经修正，则y 的观测
值yi围绕着期望值f （x ；cl ,c2 , cm）摆动，
其
分
-布为
正
态分布，则yi的概率密度为p yi 1 yi f xi;
c1, c2, ............................... , cm exp 2 2 i2 i
2 ，式中i是分布的标准误差
为简便起见，下面用C代表（cl，c2，cm）。

考虑各次测量是相互独立的，故观测值（y1，y2，cN）的似
然函数L 1 1exp 2 N 2 N N 1 2... i 1 yi N 2 f x;
C 2 i . 取似然函数L 最大来估计参数C,应使y i 1 2 i 1 i f xi; C
min 2 （0-0-3 ）取最小值：
对于 y的分布不限于正态分布来说，式（0-0-3 ）称为最小二乘法准则。

若为正态分布的情况，则最大似然法与最小二乘法是一致的
最新资料推荐
1
3 / 12
为最小
解方程组（0-0-4），即得m 个参数的估计值c1, 从而得到拟合的曲线方程。

2
然而，对拟合的结果还应给予合理的评价。

若yi 服从正态分布， 可引入拟合的x 量， N x 2 i 1 N 1 2i yi f xi; C
2
（ 0-0-
5）
把参数估计c c1, c2, . . . , cm 代入上式并比较式（0-0-3），
便得到最小的x2值x 2 min 2 2
y
i 1 2i 1 i
f xi; c 2
（ 0-0-6） 2 可
以证明，xmin 服从自由度v = N-m 的x2分布，由此可对拟合结 果作x2检验。

因权重因子 1/ ，故式 （0-0-3）表明,
用最小二乘法来估计参数,
要求各测量值 yi 的偏差的加权平方和 2i 2i
根据式（0-0-3） 的要求, 应有
xi; C
从而得到方程组
ck 2c
X ； C
Ck c c 1, c2, . . . , cm
x; c yi
xi; C
k 1, 2,..
(0-0-4)
c2, . . . , cm
由x分布得知，随机变量xmin的期望值为N-m。

如果由式（0-0-6 ）计算出xmin 接近N-m 2 （例如xmin
N m）,则认为拟合结果是可接受的；如果拟合结果与观测值有
最新资料推荐
1
5 / 12
显著的矛盾。

2 xmin 2 N m2, 则认为 二、直线的最
小二乘拟合
曲线拟合中最基本和最常用的是直线拟合。

设x 和y 之间的函数关系由直线方程 y = aO+a1x （0-0-7）
给出。

式中有两个待定参数，a0代表截距，al 代表斜率。

对于等精度测量所得到的N 组数据（xi , yi ） , i = 1, 2 ,
N, xi 值被认为是准确的，
所有的误差只联系着yi 。

下面利用 最小二乘法把观测数据拟合为直线。

1
.直线参数的估计
前面指出，用最小二乘法估计参数
时，要求观测值yi 的偏差的加权平方和为最小。

对于等精度观测值的直线拟合来说，
由式（0-0-3 ）可使N
（0-0-8 ） 最小即对参数a （代表a0 , al ）最佳估计， 要求
观测值yi 的偏差的平方和为最小。

根据式 (0-0-8 )
的要求， 应有
i 1 yi a0 alxi
2 a a
a0
a1
y i
1Ni 1 N i
a0 alxi
a1xi
2a a 0
a1xi 0, 2 yi
a i 1 N
yi
a0 2a
a 0
a1xi 0.
2
yi a i 1 N 整理后得到正规方程组 0N
a1
xi yi,
a
xi
a1 xi2
xiyi. a
1 。

即解正规方程组便可求得直线参数 a0和al 的最佳估计值
a0 和a 0a x y x xy N
最新资料推荐
7 / 12
x x (0-0-10 ) N xy
(0-0-11 ) 2i i i i i 2i 2i i
误差的观测数据点计算出来的， 它们不可避免由于直线参数的估计
值a0和a 地存在着偏差。

同时，各个观测数据点不是都准确地落地拟合线上面的， 观测
值yi 与对应
于拟合直线上的yi 这之间也就有偏差
首先讨论测量值yi 的标准差S 。

考虑式（0-0-6），因等精度测量值yi 所有的i 都相同，可
的，只不过这里计算S 时受到两参数1估计式的约束， 故自由度 变为N-2罢了。

a 和
式（0-0-13）所表示的S 值又称为拟合直线的标准
偏差，它是检验拟合结果是否有效的
重要标志。

应表示为 x 2min 1S 2 0
yi a i
1 N 1x . a
22
(0-0-12)
已知测量值服从正
态分布时，
xmin 服从自由度v =N-2 的x 分布，其期望值 x
2 min 2
1S 2 0
yi
a i 1 N
1xi a 2 N 2. 2 i
由此可得yi 的标准偏 差S
1N
y
2 i
1
N 0
a1xi
.
;
用yi 的标准偏差S 来估计，故该式在等精度测量值的直线拟合中 (0-0-13) 0a
这个表示式不难理解, 它与贝塞尔公式是一致
i i i 1 2i 2i 2 拟合结果的偏差1是根据有
如果xy平面上作两条与拟合直线平行的直线
所示，则全部观测数据点（xi , yi ）的分布，约有68. 3%
的点落在这两条直0 a 1x S, y a 0 a1x S, y a线之
间的范围内。

图0-0-1拟合直线两侧数据点的分布下面讨论拟合参数
偏差，由式（0-0-10）和（0-0-11）可见，直线拟合的两个参数估计1是y的函数。

因为假定x是精确的，所有测量误差只有y有关，故两个估计参数值a0和aili 的标准偏差可利用不确定度传递公式求得，
即N 0 a a ;Sa 1S .Sa0 S
1
i 1 yii 1 yi 把式（0-0-10）与（0-0-11）分别代入上两式，便可计算得N 2 2 Sa0 S x N
2i 2i 2 x x i ;
（0-0-
14）
2
Sa1 S N N x x 2i i . （0-0-15）三、相关系数及其显著性检验当我们把观测数据
点（xi，yi）
作直线拟合
时，
还不大了解x 与y之间线性关系
的密切程度。

为此要用相关系数
（x
y）来判断。

其定义已由式（0-0-12）给出，现改写为另一种形式，并改用r表示相关系数，得x r i i yi 1/2 22 x x i i i i
如图0-0-1
（0-0-16）式中和分别为x和y的算术平均值
最新资料推荐
9 / 12
r 值范围介于-1与+1之间，即-1r1。

当r0时直线的斜率为正，称正相关；当r0时直线的斜率为 负，称负相关。

当| r| = 1时全部 数据点（xi , yi ）都落在拟合直线上。

若r = 0则x 与y 之间完全不相关。

r
值愈接近1则它们之间的线性关系愈密切。

7OI$z6Nk!y
5MiZw3K
hY v2JgXu1lfVs+GdUr-FcTq)
EbSo*C9QnB8 Pm%A70k!y5Mj #x4LiZw3KhXu 1lfWtOHeVs+G dUq) EbSp(DaRo*C9Q n%A7OI$6Nk!y5Mj#w3 KhY v2JgXu1lf Wt+GdUr-FcTq) EbSp*C9Q nB
8Pm%A7OI$y5Mj#x4LiZw3Kh Y
v1lfWtOHeVs+
DaRo*C9QB8Pm%6Nlk!y5 Mj#x4LiZw3JgXu1lfWtOHeVs +GcTq)EbSp(D aRo*C8Pm%A7OI$z6Nk!y5LiZ w3KhYv 2JgXu1 IeVs+GdUr-FcTq) EbRo*C9Qn B8Pm%A70k!y 5Mj#x4LiZw3KhXu1lfWtOHeV s+GdTq )
GdUr-EbSp(DaRo*C9Q nB70l 4KhY v2JgXu1lfWtOGdUr-FcT B8Pm%A7OI$z6Mj#x4LiZw3Kh +GdUr-FcSp(DaRo*C9Q nB80 x4Lh Yv2JgXu1lfWtOHeUr-Fc B8Pm%A7OI$z6Nk#x4LiZw3K
s+GdUr-FcTp(DaRo*C9Q nB8 #x4LiZv2JgXu1lfWtOHeVs-F
o*B8Pm %A7OI$z6Nk!x4LiZw
$z6Nk!y5Mj#x
q) EbSp (D9Qn Yv2JfW tOHeVs I$z6Nk !y5Mj# Tq) EbSp(DaRn
hY v2Jg
Xt0HeV
Pm$z6Nk!y5Mj
cTq)
E
bSp(DaR
3KhY
v2JgXuOH eVs+GdUr-FcTq)
EbSp( DaRo*C9Qm%A7OI$z6Nk!y5ZW3KhYV2JgXu 1IfWs+GdUr-F cTq) EbSp*C9QiB8Pm%A7Oy5Mj#x4LiZw3 K hYu1lfWtOHe Vs+GdUr) EbSp (DaRo*C9QnA 7Ol$z6Nk!y5M j#x3KhY v2JgX u1lfWtOGdUr-FcTq)
EbSp(C9 Qn B8P m%A7Ol $z5Mj#x4LiZw3Kh Yv2lfWtOH eVs+Gd Ur-FbS p(DaRo*C9QnB8OI$z6Nk!y5 Mj#x4Kh Yv2Jg Xu1IfWt0HdUr-FcTq) EbSp(D aQnB8Pm%A7OI$z6Nj#x4LZ w3KhYv2JgWt OHeVs+Gd Ur-F cTp(DaRo*C9Qi B8Pl$z6Nk! y5Mj#x4 LiYv2 JgXu1IfWt0He V r-FcTq) EbSp (DaRoB8Pm%AOI$z6Nk!x4L iZ w3KhYv2JgX tOHeVs+G dUr- FcTq(DaRo*C9QnB8Pm%z6N*5Mj#x4 LiZw 2JgXu1IfWtOH eVs+FcTq) EbS p(DaRo*C 8Pm%A7OI$z6Nk!y4 L iZw3KhYv2Jg Xu1HeVs+GdUr -FcTq) EaRo*C9QnB8Pm%A7IN5Mj#x4LiZ w3KgXu1IfWtO HeVs+GdTq) Eb Sp(DaRo *C9Pm %A7OI$z6Nk!y 5MiZw3KhYv2J gXulIfV s+GdU r-FcTq) EbSo* C 9Qn B8Pm%A7OI!y5Mj#x4Li Zw3KhXu1IfWt
OHeVs+GdUq)E bSp(DaRo*C9Q n %A7OI$z6Nk!y5Mj#w3Kh Yv2JgXu1lf Wt+Gd Ur-FcTq) EbSp ( C9Q n B8Pm%A7OI$y5M j#x4 LiZw3Kh Yvllf WtOHeVs+GdUrEbSp(Da Ro*C9Q nB7OI$z6Nk!y5Mj#x4Kh Y v2JgXu1lf WtO GdUr-FcTq) Eb Sp(D9Q nB8Pm %A7OI$z6Mj#x 4LiZw3Kh Yv2J fW tOHeVs+GdU r-FcSp(Da Ro* C9Q nB8PI$z6 Nk!y5Mj#x4Lh
Yv2JgXu1IfWt OHeUr-FcTq) EbSp( DaRnB8
Pm%A7OI$z6Nk#x4LiZw3Kh Yv 2JgXtOHeVs+G dUr-FcTq(DaRo*C9Q nB8Pm$ z6Nk!y 5Mj#x4
>連海道蛊讷
....................................
匚
Zv2JgXu1 一
fwsHevs —FCTq ) Ebsp(
DaRO*B
8Pm%A7O 一
Sz6Nk 一
y4
匚
Zw3KhY v2JgxuoHevs+ Gdur —FCTq) DaRO*c9QnB8pm %A6Nk 一
y5Mttx
4
匚
Zw3JgXx4
匚
Zw3KhYv2JgX UOHevs+GduTFCTq)
DaRO*c9QnB8pm%A6Nk
一
y5Mttx4
匚
Zw
3JgXu1
_fwoHevs+FCTq) EbS p(DaR O*c8pm%
A7O
一
Sz6Nk 一
y5 匚 Zw3KhYv2Jg
Xul
_evs+Gdu
「—FCTq)
EbRO* C
9QnB8pm%A7®y5Mttx4
匚 Z w3KgXu1
_fwoHevs+GdTq) Eb spoaR
*
3
%A70
一Sz6Nk 一 y5MNw3KhYV2J gxu1_f
Ws+Gdu
r —FCTq)
*
C9QnB8Pm%A7
O 一一
y5Mttx4
匚
Zw3KhY ul _fwfoHevs+Gdu
「
)
Ebsp(DaR0*c9 QnA70一
Sz6Nk
一
y5Mttx3KhYV 2Jgxu1_fwf+G dur —FCTq)
EbS
p
虽
一
匚
「
—Fbsp(DaRO*c9QnB7o 一
Sz6hk
一
y5Mttx4KhY v2JgXu1
_f
w 5
Hdur —F CTq)
匚
r —FCSP(
DaRO*c9QnB8
卫
Sz6Nk
一
y5Mttx4 匚
Yv2JgXu1
_fwf
OHevr —FCTq)
Ebsp(DaROB8pm%A7o_sz6Nk-
x4
匚 zw3KhYV2JgxoHevs+Gd
U 「
—FCT
q(DaRO
一
Ebsp(DaRO*B8pm%A7l$z6Nk 一
y4
匚
Zw3KhYv2JgXu1
Hevs+Giur —FCTq) EaRO*c9QnB8pm%A7Nk_y5Mttx4uzw3Kgxu1_fwoHevs+GCTq
)
Ebsp(DaRO*c9pm%A7o 一SzlSk 一 y5MiZw3KhY v2JgXu1 _fvs
+Gdu
「
—FCTq)
E
bso*c9QnB8pm
%A70k 一
y5Mttx4
匚
Zw3KhXu1
_fwoHevs+Gd
uq)
一
「
EbVs+GdUq) Eb Sp(DaRo*C9Qn %A7OI$z6Nk!y 5MjZw3KhYv2J g
Xu1lfWs+GdU r-FcTq) EbSp* C9Q nB8Pm%A7 OI$y5Mj#x4Li Zw3Kh YvIlfWt OHeVs+GdUr-E bSp(DaRo*C9Q n A7OI$z6Nk!
y5Mj#x3Kh Yv2 J gXullfWtOGd Ur-FcTq)EbSp (D9Q
nB8Pm%A
7OI$z6Mj#x4L iZw3Kh Yv 2lfW tOHeVs+GdUr- F bSp(DaRo*C9
Qn B8OI$z6Nk !y5Mj#x4Lh Yv 2JgXu1lfWtOH eUr-FcT q) EbS
p(DaRnB8Pm%A 7Ol$z 6Nj#x4LiZw3Kh Yv2J gWtOHeVs+GdUr-
FcTp(DaRo*C9QnB8Pn$z6Nk!y5Mj#x4Li Zv 2JgXu1IfWt OHeVr-FcTq)
E bSp(DaRoB8Pn%A7OI$z6NkX4LiZw3Kh Yv2 JgXuOHeVs+GUr -FcTq) DaRo* C9QnB8 Pm%A6Nk!y5Mj#x4LiZw2JgXu 1IfWt0HeVs+
F cTq)
EbSp(DaRo*C8Pm%A7OI$ z6Nk!y 8Pm%z6 Nk! y5Mj#x4LiZw2JgXu1lfWt 0HeVs+ FcTq) E bSp(DaRo*C8Pm%A7OI$z6Nk!y5LiZ w3Kh Yv2
JgXu1HeVs+G d Ur-FcTq) EaRo *C9Qn B8Pm%A 7Nk!
y5Mj#x4LiZw3KgXu1lfW
EbSp(DaRo*C9Qm%A7OI$z6Nk !y5MiZ w3Kh Yv 2JgXu1IfVs+GdUr-FcTq) EbS o*C9Q nB8Pm%A7OI! y5Mj#x4LiZw3KhYullf WtOHeVs+GdUQ
EbSp(DaRo*C9Q n%A7OI$z6N k!y5M j#w3Kh Y v2JgXu1IfWt+GdUr-FcTq) Eb Sp(C9Q nB8Pm %A7OI$z5Mj#x4LiZw3Kh Yvll fWtOH eVs+GdU
r-EbSp(DaRo * C9Q nB7OI$z6 Nk!y5Mj#x4Kh Yv2JgX u1IfWt0HdUr-FcTq)
EbSp(D9Q nB8 Pm%A7OI$z6Mj#x4LiZw6Nk!y
5Mj#x4 KhY v2J gXullfWtOGdUr-FcTq) EbSp( D9Q nB8Pm%A7
OI$z6Mj#x4Li Zw3Kh Yv2JfWt OHeVs+GdUr-F
tOHeVs+GdTq)
>連海道蛊讷
....................................
csp(DaRO*c9QnB8o
一
Sz6Nk
一
y5Mttx4LhYV2 JgXul
_fwoHeu 「
—FCTq)
EbSp (DaRnB
8pm%A70_sz6Nk#x4L iZw3KhYv2JgXoHevs+ Gdur —
FCTP(DaRO*c9QnB8pmsz6Nly5Mttx4
匚 Zv
2JgXu1
_fwoHevs —FCTq) EbS
poaRO* B8Pm 蚩
70一
sz6Nkx4 L
iZw3KhYv2Jg
XUOHevs+Gdur
—
FCTq) DaRO*c9QnB8pm%A6N k
一 y5Mttx4 匚 Z w3Jgxu1_fwoHevs+GCTq)
Eb
sp(DaRO*c8pm%A7o 一
Sz6Nk
一
y5 匚 zw3KhYV2&xu1 _evs+GdG —FCTq)
EbRO*CCTq)
Ebspoa
RO*c8pm%A7o
一
Sz6Nk
一 y5
匚Zw 3KhYv2JgXu1 _evs+Gd U
「—FC
Tq)
EbR0*c9Qn
B8Pm%A7Nk
一 y5Mttx4L iZw3K
gXul
_fwfoHev s+GdTq) Ebsp( DaRO*c9Qm%A7o
一
Sz6Nk
一
y5Mj Zw3KhYv2JgXu
1_fvs+Gdu
「
—F CTq) Ebso*c9Q n
B8Pm%A7O
一一
y5Mttx4
匚
Zw3 KhYU1_fwfoHe < S+Gdu 「
) EbSp (DaRO*c 9QnA
70
一
Sz6Nk
一
y5M
ttw3KhYV2Jgxu1_fwf+ Gdur —F CTq)
Ebsp(c9QnB8pm%A7QFr5Mttx4
匚
Zw
3KhYv2
一
f
w
o
H
evs+Gdu 「
—F bs
poaRO*
C9Qn
B70一
Sz6Nk
一
y5
M
m%A70一
Sz5Mj 芟
4
匚
Zw3KhYv
1 _fwoHevs+G
d
u 「
—Ebsp(DaR
0*c9QnB
70_s
z6Nk
一
y5Mttx4 Kh
Yv2JgXu1 _f
woHdur
—F CTq
)
一
t
x
4
匚
B8P
一
Sz6Nk
一 y5Mttx4 匚 Yv2JgXu1
_fw5Heu 「—FC Tq) EbspoaRn
B 8Pm%A7O
一
Sz
6Nk#x4Liz w3K hYV2JgxsHev
s+Gdu
「
—FCTq( DaRO*c9QnB8
Pm%z6Nk
一
y5Mj 芟
4
匚
Zv2JgXu 1
一
fwoHevs —F CTq) Ebsp(DaR 0* B8pm%A70_sz6Nk 一 y4LiZw3
KhYv2JgXu1He vs+Gdu 「—F CTq
) Davs —F CTq) E。