武汉大学数理统计ppt 5回归分析

…,
yn
的总变差为
:
S
2 总
( yi y)2
i 1
y
yi
yˆ 0 1 x
y i yˆ i
aˆ
yˆ
y
o
xi
x
可以证明
n
n
n
S
2 总
( y i y ) 2 ( yˆ i y ) 2 ( y i yˆ i ) 2
i 1
i 1
i 1
n
S
2 回
( yˆ i y ) 2
i 1
n
出检验.
（2）如果方程真有意义，用它预测y时，预测值与
真值的偏差能否估计？
4．线性回归方程的显著性检验
对任意两个变量的一组观察值
(xi , yi)， i=1, 2, …, n 都可以用最小二乘法形式上求得 y 对 x的 回归方程, 如果y 与x 没有线性相关关系, 这种形式的回归方程就没有意义 .
i 1
ˆ 0 y ˆ1 x
x
1 n
n i 1
xi
y
1 n
n i 1
yi
n
n
若记பைடு நூலகம்Lxx ( xi x )2 xi2 nx 2
i 1
i 1
n
n
Lxy ( xi x )( yi y ) xi yi nxy
i 1
i 1
n
n
Lyy ( yi y )2 yi2 ny 2
y x 1
高尔顿对此进行了深入研究.他们将观察值在平 面直角坐标系上绘成散点图,发现趋势近乎一条直线, 计算出的回归直线方程为
yˆ 3 3 .7 3 0 .5 1 6 x
在回归分析中, 当自变量只有两个时, 称 为一元回归分析; 当自变量在两个以上时, 称 为多元回归分析. 变量间成线性关系, 称线性 回归,变量间不具有线性关系, 称非线性回归.
2
1
2
n
( yi
i 1
yˆi ) 2
~
（2 n 2）
检验假设 H 0 : 1 0 H 1 : 1 0
选取统计量 F (n 2)S回2 S2
~F(1，n-2)
残
对给定的显著性水平 ( 0 1 )， H0 的拒绝域为
F
(n 2)S回2 S2
F (1, n 2)
残
我们可以用更简单的公式计算回归平
而 S残2 反映了种种其它因素对y的影响, 这些
因素没有反映在自变量中, 它们可作为随机
因素看待.
可见, S回2／S残2 为x 的影响部分与随机因素
影响部分的相对比值.
y
yi
yˆ 0 1 x 若它不是显著地
y i yˆ i
aˆ
大, 表明我们所选
yˆ
y 的x , 并不是一个
重要的因素.
o
xi
A X T X 1 X T y.
例1 在钢线碳含量x对于电阻效应y的研究中, 得到 了以下数据:
碳含量（%） 0.10 0.30 0.40 0.55 0.70 0.80 0.95
电阻（微欧） 15 18 19 21 22.6 23.8 26
假设对于给定的 x,y 为正态变量, 且方差与 x 无关.
为残差.
y
yi
yˆ 0 1 x
y i yˆ i
aˆ
yˆ
y
o
xi
x
于是观测值yi可以分解为两部分yˆi和 y i yˆ i,
y i yˆ i ( y i yˆ i )
并且 yi y 也可分解为两部分.
y i y ( yˆ i y ) ( y i yˆ i )
n
y1,
y2,
n
S
2 T
( yi y )2
( yˆi y ) ( yi yˆi ) 2
i 1
i 1
n
n
( yˆi
i 1
y )2
( yi
i 1
yˆi ) 2
S
2 回
S2 残
定理5
当
1 0 时
S2与 S2相 互 独 立 ， 且
回
残
S 2 回
2
1
2
n
( yˆi y )2
i 1
~
2 (1)
S 2 残
如果x,y满足经验公式 y 0 1 x ,
求线性回归方程 yˆ ˆ 0 ˆ1 x
解 设 y 0 1 x , ~ N 0 , 2
现在 n 7 ,
xi 3.8,
yi 145.4
x i 2 2 .5 9 5
xi yi 85.61 yi2 3104.2
回归分析
数学与统计学院
• 回归分析的目的：依靠观察数据建立变量间的关系， 分析数据规律。
• 回归分析的内容：
回归分析
线性回归分析 参数回归分析
非线性回归分析 非参数回归分析
• 本章内容：线性回归分析。
1. 回归分析的基本概念
函数关系与相关关系
函数关系——变量之间确实存在的，且在数量上表现 为确定性的相互依存关系.
如果
与随机变量y之间存在相关关系,
——解释变量、自变量 y ——被解释变量、响应变量、因变量
ε——其它随机因素的影响,通常假设ε是不可观
测的随机误差,它是一个随机变量.
多元线性回归模型 :
一元线性回归
一元线性回归模型
y 0 1x
一元线性回归方程
通常假定
yˆ ˆ 0 ˆ1 x ~ N (0, 2 )
i 1
i 1
ˆ1 Lxy / Lxx , ˆ 0 y ˆ1 x
由 ˆ0 y ˆ1 x y ˆ0 ˆ1x
记
y1
y
y2
yn
,
1 x1
X
1
x2
,
1 xn
A
ˆ0 ˆ1
,
则一元线性回归的数据模型为 y XA 这是一个不相容线性
方程组，当 rank(X ) 2 n 时，其最小二乘解为
y1 , y 2 , , y n 相互独立 1 , 2 , , n 相互独立 假设 x1 , x 2 , , x n 是确定性的变量,其值是可以精确
测量和控制的.
请思考：
下列散点的4条近似直线中，哪条线条最合适？
Y 60
40
20
0
X
0
20
40
60
1.最小二乘估计
设( x 1 , y 1 ) , ( x 2 , y 2 ) , , ( x n , y n ) 是( x , y )的一组 观测值,对每个样本观测值 ( xi , y i )考虑 yi与其回归值
n2
且 与 相互独立
=>该假设检验问题的拒绝域为
t
ˆ1 Lxx ˆ
t / 2 (n 2)
例3 检验例1中的线性回归是否显著.
解 检验假设
由例2得
拒绝域为
=>拒绝
即认为线性回归显著
（3）r检验
相关系数的定义
r lxy lxx l yy
r2
l
2 xy
lxxl yy
n
n
S2＝ R
( yˆi y)2 ＝
的离差
E (yi) 0 1xi yi E (yi) yi 0 1xi
综合考虑每个离差值,定义离差平方和
n
n
Q ( 0 , 1 ) y i E ( y i ) 2 ( y i 0 1 xi ) 2
i 1
i 1
最小二乘法,就是寻找参数 0 , 1 的估计值
ˆ0, ˆ1，使得离差平方和达到极小值,即选择 ˆ0, ˆ1
这种变量间既互相联系但又不是完全 确定的关系，称为相关关系.
回归分析就是研究相关关系的一种重 要的数理统计方法.
回归分析的基本思想是由英国著名生物学家兼统 计学家F.高尔顿（F.Galton：1822-1911）在研究人 类遗传问题时提出的.
他和他的学生、现代统计学的奠基者之一K.皮 尔逊（K.Pearson：1856-1936）在研究父母亲身高 与其子女身高的遗传关系时,观察了1078对夫妇,他 们观察的这1078对夫妇的平均身高为68英寸，而其 成年儿子的平均身高为69英寸.
的比率其值越大，越说明x 的变化引起的Y 的变化就越大
（1） r 1
（2） r 0 时，
y与 x 有线性相关关系； （3） r 0 时，SR 0, ST SE
y与 x 无线性相关关系； r 越大，变量 y 与 x 之间的线性相关程度越强。
5．回归系数的区间估计
ˆ1
~
N
1,
2
Lxx
方和
S回2与残差平方和
S
2 残
：
S
2 回
n
( yˆ i y )2
n
(ˆ0 ˆ1xi ˆ0 ˆ1x )2
i 1
i1
n
ˆ12 ( xi x ) 2 ˆ12 Lxx ˆ1Lxy
i 1
S
2 残
S
2 总
S
2 回
L yy
ˆ1 L xy
（2）t 检验
检验假设 由于
,因此当原假设成立时,有
ˆ 2 Qe
例如，圆的面积S与半径R有关，一旦半径R确定， 则
面积S可通过函数 f (R) R 2 求出，即 S R2.
相关关系——变量之间确实存在的，但在数量上表现 为不确定的相互依存关系.
人的身高与体重之间有一定的关系,知道 一个人的身高可以大致估计出他的体重,但并 不能算出体重的精确值.
其原因在于人有较大的个体差异, 因而身高 和体重的关系, 是既密切但又不能完全确定 的函数关系.