最小二乘法

n
1 n
i＝ 1 n
x i＝ y－ b x
n
n
b＝
i＝ 1
x i y i－
n 2
( x i )( y i )
i＝ 1 i＝1 2
i＝ 1
xi －
1 n
( xi )
i＝ 1
n

i＝ 1
(x i x )( y i－ y ) (x i x )
n 2
n
i＝ 1
其中： x＝ y＝ 1 n 1 n xi yi
＝ X 1i Y i
1 n

＝l1Y
l1221 21 l =l
B 1 X 1i X
2i
l22
2 2i
X 1 i X 2 i B 2 X n 1 1 n

1 n

X 1i
2

＝ X 2iYi

X
2i
Q
2i
整理后得： B 0 Y B1 X 1 B 2 X
2
l11
2 1 2 B 1 X 1i X 1i B 2 X 1i X n 2i
l1212 21 l =l
X 1 i X 2 i n 1 X 1 i Y i
Y i
＝l2Y
于是可以列出二元线性 l 11 B 1 l 12 B 2 l 1 Y
模型正规方程组
:
l 12 B 1 l 22 B 2 l 2 Y ( 1 96 ) 解得： B1 B2 l 1Y l 22 － l 2Y l 12 l 11 l 22 － l 12 l 11 l 22 － l 12
i＝ 1 n n
＝ 2 y i－ a － bx i） x i＝ 0 （
i＝ 1
由
Q a 1 n
＝ 2 y i－ a － bx i） 0 可得： （ ＝
i＝ 1
n
a＝ 结合
i＝ 1
y i－ b
n
1 n
n
i＝ 1
x i＝ y－ b x
n
Q b
n
＝ 2 y i－ a － bx i） x i＝ 0 可得： （
r R2 S
A）相关系数(r)
r＝ l xy l xx l yy ＝ (x i－ x )(y i－ y ) (x i－ x ) ( y i－ y )
2
r的意义： • 表示x与y之间线性相关的程度 • 不能直接说明非线性模型拟合的优劣
B）相关指数(R2)

R
2
1
( y i－ y i ) ( y i－ y )
最小二乘法
• 根据来源 半经验（半机理）模型 经验模型 • 根据形式 线性最小二乘法 非线性最小二乘法
线性最小二乘法
1.2.2 二参数最小二乘法
（1）最小二乘原理
以线性模型 y ＝ a bx

拟合实验数据（
x i , y i），（ i ＝1，， ， n ） 2

令 i＝ y i－ y i ＝ y i－（ a bx i） 称为第 i 点的残差。
2
＝ Q ( B 0 , B1 , B 2 ) 同理，可用极值条件确 定是残差平方和最小时 三个参数值。
即： ＝ 2 Y i－ B 0 B 1 X 1 i B 2 X 2 i） 0 （ B 0 Q B1 Q B 2 ＝ 2 Y i－ B 0 B 1 X 1 i B 2 X 2 i） 1 i 0 （ X ＝ 2 Y i－ B 0 B 1 X 1 i B 2 X 2 i） （ X 0
第一步：建立数学模型
5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0 0 10 20 30 时间t 40 50 60
浓度y
结论： 选用负指数模型
B
y＝ A e
t
第二步：线性化
B
y＝ A e 两边取对数：
t
lny ＝ ln A
B t
Y＝ a bX 式中： Y lny ， a ＝ lnA ， b ＝ B ， X ＝ 1 t
i＝ 1
b＝
i＝ 1
x i y i－
n 2
Fra Baidu bibliotek
1 n
( x i )( y i )
i＝ 1 i＝1 2
n
n
i＝ 1
xi －
1 n
( xi )
i＝ 1
n

i＝ 1
(x i x )( y i－ y ) (x i x )
n 2
n
i＝ 1
a＝
1 n
n
i＝ 1
y i－ b 1 n
（3）小结
拟合问题求解步骤：
• • • • 建立数学模型 线性化 参数计算 拟合效果评价
例1-12（P33）某化学反应其反应产物 的浓度随时间变化的数据如下： 时 间 5 10 15 20 25 30 35 40 45 50 55 t 浓 1. 2. 2. 3. 3. 4. 4. 4. 4. 4. 4. 度 27 16 86 44 87 15 37 51 58 62 64 y 用最小二乘法关联y＝f(t)
1.2 最小二乘法
目 的
• 熟练掌握二参数线性最小二乘法原理， 拟合效果评价。（R2） • 掌握三参数最小二乘法原理 • 了解多参数最小二乘拟合
Ln（x）与 Nn（x）
• 简单实用 • 适用于列表函数中数据比较准确的场合。
若观测数据存在较大的误差， 怎么办？？
1.2.1 最小二乘原理
采用“近似函数在各实验点的计算 结果与实验结果的偏差平方和最小” 的原则建立近似函数，这个原则称为最 小二乘原理。 采用最小二乘原理建立原函数近似 表达式的方法称为最小二乘法，或最小 二乘曲线拟合法。
第三步：计算参数
ti yi Xi Yi Xi－X Yi－Y (Xi－X)(Yi－Y) (Xi－X)2 ……
计算 X 及 Y
第四步：拟合效果评价
• 相关指数R2

R
2
1
( y i－ y i ) ( y i－ y )
2
2
ti yi

y
i 2
( y i－ y i )
( y i－ y i )
2
1.2.3 三参数最小二乘法
含有三个参数的二元线 数据点为（ X 1i , X
2i
性模型为： y ＝ B 0 B 1 X 1 B 2 X , Y i），其中， i ＝1，， ， n 2


2
残差平方和为： i ＝ y i y i ） （
2
＝ Y i－ B 0 B 1 X 1 i B 2 X 2 i） （
n n
i＝ 1
计算出a，b 即可得到模型方程
y ＝ a bx
i＝ 1
若以 代替 ，令 x i－ x 称为 x i 的离差， x i 离差平方和记为
i＝ 1 2
n
l xx ，即：
l xx ＝ x i－ x）＝ x i － （
2
2
1 n
( x i）
2
2
1
( y i） l xy ，即： 1 n ( x i y i）
2
l 2Y l 11－ l 1Y l 21
2
B 0 Y B1 X 1 B 2 X 即可求得模型表达式：
2
y ＝ B 0 B1 X 1 B 2 X

2
推广：多元线性回归
检验拟合效果： • 复相关系数Ra • 偏相关系数
2
2
R的意义： R2≤1， • 越接近1，拟合效果越好 • 当达到极限情况R2＝1，说明实测点完 全落在拟合曲线上
C）剩余标准差(S)
S 1 n－2

( y i－ y i ) ＝
2
( 1 r )l yy
2
n－ 2
S的意义： • 判断线性回归的精度
D)显著性水平α 置信度1- α
• P33-表1-7 相关系数与显著性水平的关系
最小二乘法的思想
• 使得各实验点的残差平方和最小，即
Q i min
2 i＝1 n
即： Q y i－ a - bx i） min （
2 i＝1
n
a=？？
b=？？
数学分析中求极值法确定a,b
• 由数学分析中多元函数极值点条件 可知，a，b在Q的极小点应满足
Q a Q b ＝ 2 y i－ a － bx i） 0 （ ＝
2
同理： l yy ＝ y i－ y）＝ y i － （ 将 x i 的离差与 y i 的离差乘积记为
1 n
l xy ＝ x i－ x )(y i－ y）＝ x i y i－ （ 则有： a ＝ y－ b x b＝ l xy l xx
2
线性最小二乘法计算公式
（2）拟合效果评价
• 相关系数 • 相关指数 • 剩余标准差