最小二乘法

f (ti )
偏差
偏差的平方和 M 0.108165 ， 它的平方根 M 0.329 ． 我们把 M 称为均方误差，它的大小在一定 程度上反映了用经验公式来近似表达原来函数关 系的近似程度的好坏．
例2 在研究单分子化学反应速度时，得到下列数据：
i
1 3
2 6
3 9
4 12
5 15
6 18
7 21 8.9
O
练
习
题
某种合金的含铅量百分 比(%)为 p，其溶解温度0 C 为 ，由实验测得 p 与 的数据如下表 :
p%
36.9
181
46.7 197
63.7 235
77.8 270
84.0 283
87.5 292
0C
试用最小二乘法建立 与 p 之间的经验公式 ap b．
练习题答案
2.234 p 95.33.
将括号内各项进行整理合并，并把未知数 a 和 b 分离出来，便得
a t 2 b t y t , i i i i i 0 i 0 i 0 7 7 a t i 8b y i . i 0 i 0
7 7 7
(1)
计算得
t
i 0 7 i 0
m 0.1036 , k 78.78.
因此所求经验公式为 y 78.78e 0.1036 .
三、小结
给定平面上一组点( xi , yi ) ( i 1,2,3,, n)， 作曲线拟合有多种方法 ，其中最小二乘法是常 用的一种．
最小二乘法的原理：
求 f ( t )，使 M yi (ati b) 达到最小．
变数变换（非线性问题的线性化处理）
处理数据时，两个变量之间本来并不是线性 关系，但是经过变数变换，由原来的变量形 成两个新的变量，而在两个新的变量之间， 则是线性的关系，此情况下求出两个变量的 线性关系中的参量的最佳估计值，然后再变 换回去，求出原来关系式中参量的估计值。 （根据专业知识，理论推导，经验公式也可 以根据试验数据从坐标上分布形式特点拟合）
试根据上面的试验数据建立y 和 t 之间的经验公 式 y f (t ).
解 首先确定 f ( t ) 的类型. y 如图，在坐标纸上画出 这些点，观察可以认为
27
y f (t ) 是 线 性 函 数 ,
并设 f ( t ) at b, 其中 a 和b 是待定常数.
26 25
24
o
1 2 3 4 5 6 7 8
对的不同的具体值，Y与X之间的相关关系分析如下： ① 当r=1时，称为完全线性正相关；当r=-1时，称为完全线性 负相关。 ② 当0<│r│<1时，Y与X存在一定的线性相关。当r>0时称Y与 X正相关。当r<0时称Y与X是负相关。一般地说,r2≥0.9时， 估计模型为＂优＂；0.8≤r2<0.9时，估计模型为＂良＂； 0.6≤r2<0.8时，估计模型为＂一般＂。R2≤0.5时估计模型 为＂差＂。
记 回归平方和 残差平方和 有
y i y
i
i
y y y y y y y y y
i y yi y
2 i 2 i 2 i i 2 i i

2
2
i y yi y i 2 y 0
a
+
b x i + ei
2
i 1,2,, n
i y
a +b xi
n 2
yi a bxi Q yi y
i 1 i 1
n
Q 2 y i a bx i 0 a Q 2 y i a bx i x i 0 b


2
1 x n
x
i
2


1 xi x yi y xi yi n 2 2 1 2 yi y yi yi n


x y
i i



b S XY
S XX
a y bx
总平方和
SST
y
i
y
i
y y
• 实验目的
– 了解回归分析的基本概念; – 初步掌握应用excel进行回归分析方法.
• 实验内容
– 根据下面给定的实验数据应用excel进行回归 分析
• 实验数据
– 退火温度对黄铜延性的影响试验数据如下表
退火温度 x(℃) 黄铜延性 y×100 300 40 400 50 500 55 600 60 700 67 800 70 900 73
时间 x(min) 腐蚀深度 y(μm) 3 40 5 60 10 80 20 130 30 40 50 190 60 250 65 250 90 290 120 460
160 170
1.2.4曲线回归
• 基本概念 • 应用excel进行曲线回归的方法 • 举例
上机实验3
常用数学分析方法应用实践（2）
1.半对数关系式变换
y=a+blogu (y、u为变量，a和 b为参量， 极化值与极化电流密压I之间
2.双对数关系式变换


3.抛物线关系式的变换
k1 k2 k1 k2
2
4.指数函数关系式的变换
Ae
Bu
例题：对于Fe在700度的空气中的氧化 试验，测得表中实验数据，检验这些 数据是否适合动力学公式 k k 和
1.2.3 一元直线回归分析
• 基本方法 • 利用excel进行线性回归分析的方法
– – – – 输入原始实测量值x（自变量）y（因变量） 选择数据区域 选择图表类型——xy散点图 添加趋势线
• 方差分析 • 相关性检验—求相关系数R
例
• 研究腐蚀时间与腐 蚀深度两个量的关 系 • 实验数据如下：
上机实验3
常用数学分析方法应用实践（2）（续）
• 实验报告要求:
– 写出步骤 – 写出回归方程和相关系数 – 根据回归方程回答如下问题
（1）退火温度550时，黄铜的延性是多少； （2）黄铜的延性在50%~60%，退火温度应控制在什 么范围。
一、经验公式
在工程问题中，常常需要根据两个变量的 几组实验数值——实验数据，来找出这两个变 量的函数关系的近似表达式．通常把这样得到 的函数的近似表达式叫做经验公式. 问题：如何得到经验公式，常用的方法是什么？
t
因为这些点本来不在一条直线上，我们只 能要求选取这样的 a , b ，使得 f ( t ) at b 在 t0 , t1 ,, t7 处的函数值与实验数据 y0 , y1 , y7 相 差都很小．
就是要使偏差
yi f ( t i )
7
(i 0,1,2,,7) 都很小.
2
因此可以考虑选取常数 a , b ，使得
二、最小二乘法
例1 为了测定刀具的磨损速度，我们做这样的 实验：经过一定时间(如每隔一小时)，测量一 次刀具的厚度,得到一组试验数据如下：
0 1 2 3 4 5 6 7 顺序编号i 0 1 2 3 4 5 6 7 时间t i (小时) 刀具厚度 y i (毫米) 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.3
讨论： 由于 lg y a b,
所以仿照例1中的讨论,通过求方程组 8 8 8 2 a i b i i lg yi , i 1 i 1 i 1 8 8 a 8b lg y i i i 1 i 1 的解,把 a , b 确定出来. 通过计算得
7 M 2 yi (ati b )t i 0, a i 0 令 7 M 2 yi (ati b ) 0; b i 0
即
7 y (at b )t 0, i i i i 0 7 yi (at i b ) 0. i 0


2
2
y y SSE= y y
SSR=
i i
i i
2
2
SST = SSR + SSE
估计平均误差(标准偏差)的计算
Se 1 n 2
yi
i 1
n
i y
2
相关系数R的计算
r 2 = SSR／SST=1 - SSE／SST
r S XY
S XX SYY
8 24 6.5
i
yi
57.6 41.9 31.0 22.7 16.6 12.2
y 表示时刻 其中 表示从实验开始算起的时间， 反应物的量．试定出经验公式 y f ( ).
解 由化学反应速度的理论知道， y f ( ) 应是 指数函数： y ke m , 其中 k 和 m是待定常数.
2 i 1
n
注意：计算机与数据拟合．
（参看高等数学实验课讲义 郭锡伯 徐安农编）
设经实际测量已得 到n组数据（xi , yi），i=1,…, n。将数据 画在平面直角坐标系中，见 图。如果建模者判断 这n个点很 象是分布在某条直线附近，令 该直线方程 为y=ax+b，进而 利用数据来求参 数a和b。由于该直线只是数据近似满足的 关系式，故 yi-(axi+b)=0一般不成立，但我们希望
M yi (ati b)
i 0
最小来保证每个偏差的绝对值都很小． 定义 这种根据偏差的平方和为最小的条件来选 择常数 a , b 的方法叫做最小二乘法． 这种确定常数的方法是通常所采用的.
把 M 看成自变量 a 和 b 的一个二元函数， 那么问题就可归结为求函数 M M (a , b) 在那 些点处取得最小值.
y f ( t ) 0.3036 t 27.125.
( 2)
由（2）式算出的函数值 f ( t i ) 与实测 yi 的有 一定的偏差.现列表比较如下：
ti
实测
0 27.0
1 26.8
2 26.5
3 26.3
4 26.1
5 25.7
6 25.3
7 24.3
yi
算得
27.125 26.821 26.518 26.214 25.911 25.607 25.303 25.000 -0.125 -0.021 -0.018 -0.086 0.189 0.093 -0.003 -0.200
最小二乘法
1.2 回归分析
• 1.2.1概述
– 研究变量与变量之间关系的数学方法 – 变量之间关系种类
• 确定性关系即函数关系 • 相关关系
– 主要解决的问题
• 确定相关关系,找出数学表达式 • 根据变量的值,预测/控制另一变量的取值,给出精度 • 进行因数分析
1.2.2 最小二乘法原理
yi
= =
y na b x x y a x b x
i i i i i
2 i
b
x
i
yi
1 n
2 i
x y
n
i
a
x b n
x y 1 x n
i i 2 i i
X
x n ,
i
Βιβλιοθήκη BaiduY
2 i
y n
i
S XX xi x S XY SYY
7
i
28, 208.5,
t
i 0 7 i 0
7
2 i
140, 717.0
y
i
yt
i i
代入方程组（1）得
140a 28b 717 , 28a 8b 208.5.
解此方程组，得到 a 0.3036, b 27.125. 这样便得到所求经验公式为
[ y
y
n
y=ax+b
i 1
i
(axi b)]
2
最小
此式对a和b的偏导数均 为0， 解相应方程组，求得：
n ( x x )( y y ) i i i 1 a n 2 ( x x ) i i 1 b y ax
(xi ,yi) x
( 3)
108, lg y 10.3,
i 1 8 i i 1 8 i 1 i i 1
8
8
2
i
1836, lg yi 122.
i
将他们代入方程组（3）得
1836a 108b 122, 108a 8b 10.3. a 0.4343 m 0.045, 解这方程组，得 b lg k 1.8964.