第六章 回归分析

x
t 1 N t 1
N
t
y
t N
1 N l xx ( xt x) xt ( xt ) 2 N t 1 t 1 t 1
2 2 N 1 N l xy ( xt x)( yt y ) xt yt ( xt )( yt ) N t 1 t 1 t 1 t 1 N N
N N N 2 t

l xy l xx
b0
合肥工业大学
( x )( yt ) ( xt )( xt yt )
t 1
N
N xt2 ( xt ) 2
t 1 t 1
t 1 N
t 1 N
t 1
y bx
误差理论与数据处理
第二节
其中
1 x N 1 y N
N
一元线性回归
合肥工业大学
1 1 X 1
x1 x2 xN
v1 ˆ b0 V v2 b b v N
误差理论与数据处理
第二节
一元线性回归
ˆ Y Xb V
则误差方程的矩阵形式为
例：确定某段导线的电阻与温度之间的关系：
x /o C y/
19.1 25.0 30.1 36.0 40.0 46.5 50.0
76.30
77.80
84 82 80 78 76
79.75
80.80
82.35
83.90
85.10
散点图：
2025 30 35 40 45 50 合肥工业大学 误差理论与数据处理
2）方差分析
合肥工业大学
误差理论与数据处理
第二节
来源 回归 失拟 平方和
U mblxy QL mlyy U
N m t 1 i 1
一元线性回归
方差
U / U QL / L
自由度
F
U / U QE / E Q / F1 L L QE / E F
显著性
F ( U , E ) F ( L , E )
第三节
两个变量都具有误差时线性回 归方程的确定
式中，0 ' b0， ' b b b
根据戴明推广的最小二乘原理，点( xt , yt ') 到回归直线的
垂直距离 d t ' 的平方和
b0、b 是最佳估计值。
回归直线的距离 d t ' 为
d '为最小条件下所求得的回归系数 y'
t 1 t
合肥工业大学
误差理论与数据处理
第一节
回归分析的基本概念
二、回归分析思路
1、由数据确定变量之间的数学表达式－回归方程或经 验公式； 2、 对回归方程的可信度进行统计检验； 3、 因素分析。
合肥工业大学
误差理论与数据处理
第二节
一元线性回归
一元线性回归：确定两个变量之间的线性关系，即 直线拟合问题。
一、回归方来自百度文库的确定
合肥工业大学 误差理论与数据处理
第二节
设得到的回归方程
一元线性回归
ˆ y b0 bx
残差方程为
ˆ vi yt y yt b0 bxt , t 1,2,, N
根据最小二乘原理可求得回归系数b0和b。 对照第五章最小二乘法的矩阵形式，令
y1 y2 Y y N
ˆ 对照 V L AX ，设测得值 yt 的精度相等，则有
ˆ b ( X T X ) 1 X T Y
将测得值分别代入上式，可计算得
b N xt yt ( xt )( yt )
t 1 t 1 t 1 N N N N N
N xt ( xt ) 2
2 t 1 t 1
总的离差平方和（即N个观测值之间的变差）
S ( yt y ) 2 l yy
t 1 N
S N 1
可以证明：
合肥工业大学 误差理论与数据处理
第二节
其中
一元线性回归
S=U+Q
U ( yt y ) 2 bl xy
ˆ Q ( yt yt ) 2 l yy bl xy
N
( xt , yt ') dt ' ˆ ˆ y b0 bx
由解析几何可知，点 ( xt , yt ') 到
dt '
式中，
yt ' b0 ' b ' xt 1 b '2


1 b 2
dt
dt yt b0 bxt
合肥工业大学 误差理论与数据处理
x
第三节
两个变量都具有误差时线性回 归方程的确定
合肥工业大学 误差理论与数据处理
第二节
一元线性回归
为检验一个回归方程拟合的好坏，可通过重 复试验，获得误差平方和 QE 和失拟平方和 QL ，然 后用 QE 对 QL 进行F检验。 2、重复试验回归直线的求法 1）设N个试验点，每个试验点重复m次试验，则将 这m次试验取平均值，然后再按照前面的方法进 行拟合，见表6－5和表6－6。
2 误差 QE ( yti yt )
U 1 L N 2 E N (m 1)
S Nm 1
QE / E
总计
S U QE QL
－
－
－
3）方差检验
F
F1 F2
U / U QE / E
QL / L QE / E
:判断一元回归方程拟合效果 :判断失拟平方和对试验误差的影响
所求回归方程为
ˆ ˆ y b0 bx
式中，ˆ、y、b0、b 分别为 x、y、0、 的估计值。 x ˆ x、y 的误差在求回归方程式具有等价性，令 x2 / y 2 为使 y ' y，则回归方程可写成
ˆ ˆ y ' b0 ' b ' x '
合肥工业大学 误差理论与数据处理
yk 1 b0 bxk 1 y b bx 0 N N
将两组观测方程分别相加，得
k k yt kb0 b xt t 1 t 1 N N y ( N k )b0 b xt t 1 t t k 1 k
Q l yy bl xy S l yy
方差
－
F
F U /1 Q /( N 2)
显著性
F (1, N 2)

－
总计
N-1
－
－
三、重复试验情况
1、重复试验的意义 “回归方程显著”：只表明因素x的一次项对y的影响 显著；难以确定影响y的是否还有其它不可忽略的 因素？x和y是否线性? 不表明该方程拟合得很好。
1、确定函数类型并检验。
2、求解未知参数。可化曲线回归为直线回归， 用最小二乘法求解；可化曲线回归为多项式 回归。
二、回归曲线函数类型的选取和检验
1、直接判断法 2、作图观察法，与典型曲线比较，确定其属于何 种类型，然后检验。
合肥工业大学 误差理论与数据处理
第四节
一元非线性回归
3、直线检验法（适用于待求参数不多的情况）
U / U F Q / Q 对一元线性回归，应为 U /1 F Q /( N 2) 查F分布表，根据给定的显著性水平 和已知的 自由度1和N-2进行检验：
合肥工业大学 误差理论与数据处理
计算统计量F
第二节
若
F F0.01 (1, N 2),
一元线性回归
回归在0.01的水平上高度显著。
U / U (QE QL ) /( E L )
合肥工业大学
:综合判断一元回归方程拟合效果
误差理论与数据处理
第二节
1）分组法－平均值法
一元线性回归
四、回归直线的简便求法
将自变量按由小到大次序排列，分成个数相等或近于相 等的两个组（分组数等于未知数个数），则可建立相应的两 组观测方程：
y1 b0 bx1 y b bx k k 0
重点与难点

回归分析的基本概念和主要内容 一元线性回归方程的求法
回归方程的方差分析和显著性检验
一元非线性回归方法 多元线性回归
合肥工业大学 误差理论与数据处理
第一节
一、函数与相关
回归分析的基本概念
函数关系：可以用明确的函数关系式精确地表示 出来 相关关系：这些变量之间既存在着密切的关系， 又不能由一个（或几个）自变量的数 值精确地求出另一个因变量的数值， 而是要通过试验和调查研究，才能确 定它们之间的关系。
F0.05 (1, N 2) F F0.01 (1, N 2), 回归在0.05的水平上显著。
F0.10 (1, N 2) F F0.05 (1, N 2),回归在0.1的水平上显著。
F F0.10 (1, N 2), 回归不显著。
合肥工业大学
误差理论与数据处理

对N个观测值与其算术平均值之差的平方 和进行分解； 从量值上区别对Ｎ个观测值的影响因素； 用F检验法对所求回归方程进行显著性检 验。
合肥工业大学 误差理论与数据处理

第二节
一元线性回归
（一）回归方程的方差分析 1、引起变差的原因： A、自变量x取值的不同； B、其它因素（包括试验误差）的影响。 2、方差分析
第六章 回归分析
合肥工业大学
误差理论与数据处理
教学目标
本章主要阐述回归分析的基本概念，并 重点介绍一元线性回归和非线性回归的基本 方法，给出回归方程的方差分析和显著性检 验。从而使学生掌握回归分析方法的基本原 理，学会从实际测量中寻求两个变量和多个 变量之间的内在关系。
合肥工业大学
误差理论与数据处理
t 1
N
t 1 N
U 1
Q N 2
U—回归平方和，反映总变差中由于x和y的线性关 系而引起 y变化的部分。
Q—残余平方和，反映所有观测点到回归直线的残 余误差，即其它因素对y变差的影响。
合肥工业大学 误差理论与数据处理
第二节
一元线性回归
（二）回归方程显著性检验— F检验法 基本思路：方程是否显著取决于U和Q的大小， U越大，Q越小，说明y与x的线性关 系愈密切。
合肥工业大学 误差理论与数据处理
第三节
两个变量都具有误差时线性回 归方程的确定
变量 x、y 的方差可用下式估计：
x
2
1 N 2 1 b 2
y2
x2
dt t 1
N 2
合肥工业大学
误差理论与数据处理
第四节
一、求解思路
一元非线性回归
第二节
一元线性回归
（三）残余方差与残余标准差 残余方差：排除了x 对y的线性影响后，衡量y 随机波动的特征量。
2
残余标准差：

Q N 2
Q N 2
含义： 越小，回归直线的精度越高。
合肥工业大学
误差理论与数据处理
第二节
（四）方差分析表
来源
回归 残余
一元线性回归
自由度
1 N-2
平方和
U bl xy
d '为最小，即求解
t 1 t N
根据最小二乘原理，为使
N
得
( dt ') t 1 0 b0 N ( dt ') t 1 0 b l yy lxx (l yy lxx ) 2 4l yy 2 b 2l yy b0 y bx
b和b0
2）图解法－紧绳法
合肥工业大学 误差理论与数据处理
第三节
两个变量都具有误差时线性回 归方程的确定
回归方程的求法－戴明（Deming）解法 t 若 xt ， yt 分别具有误差 t ~ N (0, x )，t ~ N (0, y ) ， 1, 2,, N 假定 x、y之间为线性关系，其数学模型为 yt 0 ( xt t ) t
1 N l yy ( yt y ) yt ( yt ) 2 N t 1 t 1 t 1
2 2
N
N
合肥工业大学
误差理论与数据处理
第二节
一元线性回归
二、回归方程的方差分析及显著性检验
问题：这条回归直线是否符合y 与x之间的客 观规律？回归直线的预报精度如何？ 方差分析法
第二节
一元线性回归
从散点图可以看出：电阻与温度大致成线性关系。 设测量数据有如下结构形式：
yt 0 xt t , t 1,2,, N
式中，1 , 2 ,, N 分别表示其它随机因素对电阻值 y1 , y2 ,, y N 影响的总和。 思路：要求电阻y与x的关系，即根据测量数据要求出 0 和 的估计值。根据测量数据，可以得到 7个测量方程，结合前面所学，未知数有两个， 而方程个数大于未知数的个数，适合于用最小 二乘法求解。