第十二章 回归分析

bYX
XY nXY
n 1S
2 X
4、用两个标准差及相关系数计算 1）用两个样本的标准差及相关系数计算 （由X估计Y）
Y bYX r X
2）用两个总体标准差估计值及相关系数计算 （由X估计Y）
bYX
SY r SX
15
第一节 一元线性回归
一、回归线 也就是说，回归线上的某一点就是与某一X值相对应的诸多 Y值的代表Ŷ。这时，X与Ŷ的对应关系就可以用一条直线来 表示。
17
第二节 一元线性回归方程的检验
一、估计误差的标准差 由Ŷ估计YX会有一定的误差。 ——用估计误差的标准差作为描述由Ŷ估计YX误差大小的 指标。 估计误差的标准差的无偏估计量为：
SYX
ˆ Y Y n2
2
因为在用回归方程计算Ŷ时，使用了a和b两个统计量， 故失去了两个自由度(n-2) 。
32
第二节 一元线性回归方程的检验
四、测定系数
回归方程经检验有显著性，这只表明从总体上说X和Y两个变量 之间存在线性关系。
但是回归方程估计、预测的效果如何，即X与Y线性关系的程度 如何，还需考查。 ——从最小二乘法的推演过程中可以得知，因变量的总平方和 等于回归平方和与误差平方和（残值平方和）之和，即
26
第二节 一元线性回归方程的检验
三、一元线性回归系数显著性检验方法 ——在回归线上，当与所有自变量X相对应的各组因变量Y 的残值都呈正态分布， ——并且残值方差为齐性时， 由X估计Y的回归系数的标准误为：
SbYX
X X
SYX
2
SYX——估计误差的标准差 ∑(X-X)2——X变量的离差平方和
29
第二节 一元线性回归方程的检验
（2）计算检验统计量的值 回归系数的抽样分布呈t分布，其检验统计量为：
bYX 0 t SbYX
t bYX 0 SYX
2
其中
SbYX
2
X X
SYX
2
则用以检验β=0假设的t统计量为：
bYX
X X
SYX
X X
《教育统计学》
职教学院 刘春雷 E-mail：lcl2156@
1
第十二章
回归分析
第一节 一元线性回归 第二节 一元线性回归方程的检验
第三节 一元线性回归方程的应用
2
第十二章
回归分析
回归分析
——如果将存在相关的两个变量，一个作为自变量，另一个 作为因变量， ——并把两者之间不十分准确、稳定的关系，用数学方程式 来表达， ——则可利用该方程由自变量的值来估计、预测因变量的估 计值，这一过程称为回归分析。
35
第二节 一元线性回归方程的检验
四、测定系数
例如，前例中的相关系数r=0.780，其r2=0.608，这就是说， 在因变量的总平方和中回归平方和占60.8%。
也就是说Y变量的变异中有60.8%是由X变量的变异所引起。 或者说，Y变量的变异中有60.8%可以由X变量推测出来。 因相关系数是表示两个变量之间的相互关系， 所以，r2是两个变量共同变异部分的比率， 上例中r2=0.608，也可以说X变量的变异中有60.8%是由Y变 量的变异造成的。
本例中bYX=1.22，∑(X-X)2=110，SYX=3.62，则
1.22 110 t 3.535 3.62
30
第二节 一元线性回归方程的检验
另一种形式
bYX 0 t SbYX
则t统计量为：
其中
SbYX
bYX 0
Y X

1 r2 n2
t
bYX X n 2
Y 1 r X n2
2
Y 1 r2
本例中σX=3.317，σY=5.178，n 10 - 2 5.178 1 - 0.782
3.532
31
第二节 一元线性回归方程的检验
检验的步骤： （1）提出假设 （2）计算检验统计量的值 （3）确定检验的形式 采取双侧检验 （4）统计决断 根据自由度df=n-2=10-2=8，查t值表，找到t(8)0.01=3.355， 由于|t|=3.532**>3.355，则P<0.01，按统计决断规则，应在 0.01显著性水平上拒绝H0而接受H1， 其结论为：学生在初一与初二的数学分数存在线性关系。
X
74 71 72 68 76 73 67 70 65 74
Y
76 75 71 70 76 79 65 77 62 72
总和
710
723
723.00
104.87
21
第二节 一元线性回归方程的检验
一、估计误差的标准差 ——先用回归方差Ŷ=1.22X-14.32计算与各X值相对应的回 归值，例如，X=74，Ŷ=1.22×74-14.32=75.96
二、一元线性回归方程检验的意义 回归系数的显著性检验——应看样本的回归系数b在以总体 回归系数β=0为中心的抽样分布上出现的概率如何。
——如概率大，则b与β=0的总体无显著性差异， 即样本b是来自于β=0的总体。 这时，即使b再大，也不能认为X与Y存在线性关系。
——如概率小到一定程度，则b与β=0有显著性差异， 即样本b不是来自于β=0的总体。 这时，即使b再小，也只能承认X与Y存在线性关系。
8
第一节 一元线性回归
一、回归方程
确定回归线的方程称回归方程。 一元线性回归方程的通式为 Ŷ=a+bX， a——回归线在Y轴上的截距； b——回归线的斜率，称回归系数。
与两条回归线相对应的方程分别可表示为： 由X估计Y: ˆ
Y aYX bYX X
由Y估计X:
ˆ a b Y X XY XY
3
第十二章
回归分析
回归分析
相关——两个变量之间的双向相互关系； 回归——一个变量随另一个变量作不同程度变化的单向关系。 由一个变量值估计、预测另一个变量值的准确性，随这两个 变量之间的相关程度而变化。 当r=|1|，预测将完全准确，没有误差。
4
第一节 一元线性回归
一元线性回归——是指只有一个自变量的线性回归。
18
第二节 一元线性回归方程的检验
一、估计误差的标准差 ——当样本容量较大（即n/(n-2)接近于1）， ——又已知两个变量的标准差及其相关系数时， 可用下式计算估计误差的标准差的近似值。
SYX Y 1 r
2
（由X估计Y）
SYX——估计误差的标准差 σY——Y变量的样本标准差 r——X与Y两个变量的相关系数
9
第一节 一元线性回归
二、回归方程
1用最小二乘法求回归系数 由X估计Y：
bYX
2求截距 由X估计Y：
X X Y Y X X
2
aYX Y bYX X
10
第一节 一元线性回归
11
第一节 一元线性回归
12
第一节 一元线性回归
13
第一节 一元线性回归
6
第一节 一元线性回归
一、回归线 也就是说，回归线上的某一点就是与某一X值相对应的诸多 Y值的代表Ŷ。这时，X与Ŷ的对应关系就可以用一条直线来 表示。
7
第一节 一元线性回归
一、回归线 常用的拟合回归线的原则——使各点与该线纵向距离的平方 和为最小。
一元线性回归线可以有两条： 以X为自变量、Y为因变量的回归线是一条； 以Y为自变量、X为因变量的回归线是另一条。
16
第二节 一元线性回归方程的检验
一、估计误差的标准差
利用回归方程可以计算出与某一X 值相对应的Y值的估计值Ŷ。
但实际上，与某一X值相对应的诸 Y值，并不都落在回归线上 ——它们以Y的平均数YX为中心 呈正态分布。 与某一X值相对应的回归值Ŷ， ——就是与该X值相对应的这些诸 Y值的平均数YX的估计值。
19
第二节 一元线性回归方程的检验
一、估计误差的标准差
SYX Y 1 r
2
（由X估计Y）
由此可见，估计误差的标准差与两个变量的相关程度有关。 相关越高，估计误差的标准差越小，估计的可靠性越大。 当r=1时，估计误差的标准差为0，即估计得准确无误。
20
第二节 一元线性回归方程的检验
表12.1 10个学生初一（X）与初二（Y）数学分数估计方差、估计标准差误差计算表 学生 1 2 3 4 5 6 7 8 9 10 测验分数 回归值 Ŷ 75.96 72.30 73.52 68.64 78.40 74.74 67.42 71.08 64.98 75.96 残值 Y-Ŷ 0.04 2.70 -2.52 1.36 -2.40 4.26 -2.42 5.92 -2.98 -3.96 残值平方和 (Y-Ŷ)2 0.00 7.29 6.35 1.85 5.76 18.15 5.86 35.05 8.88 15.63
——然后求Y与Ŷ之差——残差，再平方，求其和， 则残值平方和 ∑(Y-Ŷ)2=104.87
则估计误差的标准差为：
SYX
ˆ Y Y n2


2
104.87 3.62 10 - 2
22
第二节 一元线性回归方程的检验
一、估计误差的标准差 若将已知σY=5.178，r=0.78，则
SYX Y 1 r 2 5.178 1 - 0.782 3.24
三、回归系数的几种计算方法 1、用原始数据计算 （由X估计Y）
bYX
XY X Y / n X X / n
2 2
2、用X、Y、σX、σY、∑XY计算 （由X估计Y）
bYX
XY nXY n
2 X
14
第一节 一元线性回归
三、回归系数的几种计算方法 3、用X、Y、SX、SY、∑XY计算 （由X估计Y）