考研专业课心理统计学ppt课件第12章 回归分析

单侧检验
查附表4 F0.05(1,8) 5.32 所计算的F大于临界值。
答：回归方程是显著的。
回归方程方差分析表
变异 平方和 自由度 均方
来源 回归 174.41 1 174.41
F值 14.43
残差 93.69 8 12.09 总变异 268.1 9
概率 <0.05
二、回归系数的显著性检验
对回归系数b进行显著性检验，如 果b是显著的，说明回归方程是显著的， 或者说X与Y之间存在显著的线性关系。
每一点到直线沿Y轴方向的距离平方和：
(Yi Yˆ)2 (Yi a bX i )2
要使平方和最小，可分别对a
和b求偏导数。
对a求偏导数：
[ (Yi a bX i )2 ] 0
a
{ [a2 2 a (Yi bX i ) (Yi bX i )2 ]} 0
a
a2
• 建立归回方程后，应该检验该回归方程是 否有效。
假如所得到的数据变异性非常大，即使求出了 回归方程，该回归方程也不能有效地揭示两个变量 的关系，回归方程是无效的。
一、回归模型的方差
• 回归模型的有效性检验，就是对求得的回
归方程进行显著性检验，看是否真实地反
映线性关系。我们学习以下三种判断回归
方程是否有效方法。 • 对回归方程进行方差分析
t2
b2 (SEb )2
b2
b2
sY2X
(X X )2
(X X )2 sY2X
MSR MSE
F
回归系数的显著性检验与回归方程的 方差分析是等效的，在实际的研究中，回 归方程的检验只用其中一种即可。
例，10个学生初一（X）与初二（Y）数学成 绩如下，对回归系数进行显著性检验。
序号 X Y 1 74 76 2 71 75 3 72 71 4 68 70 5 76 76 6 73 79 7 67 65 8 70 77 9 54 62 10 74 72
X为自变量， sx写在分母
r bYX bX Y
五、标准化回归系数
• 将两变量分别标准化（求其各自的Z 分数），然后再求回归系数，即为标 准化回归系数。其大小与皮尔逊相关 系数相同。
zY zX
zY r zX
zY r zX
(Y Y ) r ( X X )
sY
sX
Y r sY X (Y r sY X )
2[(Y Y ) b( X X )][b( X X )]
2b[(Y
Y
)( X
X
)
2b2
(X
X
2
)
b
(Y Y )( X X ) (X X )2
即： (Y Y )(X X ) b ( X X )2
2
(Y Yˆ)(Yˆ Y ) 2b2
( X X )2 2b2
(X
[2 (Yi a) X i 2bX i2 ] 0 a X i b X i2 X i Yi
N a b X i Yi a X i b X i2 X i Yi
方程两边同时除以N，并整理得：
a Y bX
b
(X
X )(Y (X X )2
Y
)
例，10个学生初一（X）与初二（Y）数学成 绩如下，求Y对X的回归方程。
X
2
)
0
(Y Y )2 (Yˆ Y )2 (Y Yˆ)2
总平方和=回归平方和+误差平方和
SST SSR SSE
SST (Y Y )2
Y 2 Y 2 N
SSR (Yˆ Y )2 b2[ X 2 ( X )2 ] b2 ( X X )2 N
SSE (Y Yˆ)2 SST SSR
第12章 线性回归
• 12.1 线性回归模型的建立方法 • 12.2 回归模型的检验与估计 • 12.3 回归方程的应用 • 12.4 多重线性回归
有其父必有其子？
皮尔逊测量了1078个父亲及其成 年儿子的身高。
儿 80 子 78 的 76 高 74 度 72 （ 70 英 68 尺 66 ） 64
SST为所有Y值的总离差平方和; SSR由回归直线表示的线性关系解释的那部分离差平 方和;
SSE由回归直线无法解释的那部分离差平方和，也称 为误差平方和;
计算自由度：
总的自由度：dfT N 1 回归自由度：dfR 1 误差自由度：dfE N 2
计算均方：
回归均方：
MSR
SS R df R
误差均方：
r ( X X )(Y Y )
N sX sY
bYX
( X X )(Y Y ) (X Xi)2
s
2 X
(X Xi)2 N
bX Y
r sX sY
( X X )(Y Y ) r N sX sY
bY X
r N sX sY (X Xi)2
bY X
r sY sX
• 从广义上说，相关分析包括回归分析， 两者也存在区别。
• 回归分析是以数学方式表示变量间的 关系，找出它们依存关系合适的数学 模型。
• 相关分析则是检验或度量这些关系的 密切程度。
二、 回归模型与回归系数
Yˆ a bX
X与Y的对应关系可以用一 直线表示，其数学方程称为 回归方程。其中b称为回归 系数，确切地说，应该是Y 对X的回归系数。
(Yˆ Y )2 教材证明了 (Y Y )2
r2
见P372
下面我们换一个角度，证明 r2 r 2 bYX bXY
(Yˆ Y )2 (Y Y )2
( X X )(Y Y ) ( X X )(Y Y )
(X X )2
(Y Y )2
[ (X X )(Y (X X
sX
sX
令：
b r sY sX
a Y r sY X sX
可以通过平均数、 标准差和相关系数
计算回归方程！
所以： Y bX a
六、线性回归的基本假设
• 1. 线性关系假设 X与Y在总体上具有线性关系：散点图 • 2. 正态假设 Y服从正态分布：正态性检验 • 3.独立性假设 不同X值对应的Y值彼此独立，误差项独立，
例，10个学生初一（X）与初二（Y）数学成
绩如下，对回归方程进行方差分析。
序号
X
1
74
2
71
Y 76
SST
Y 2
Y 2
N
52541 52273
75
268.1
3 4 5
72 68 76
71 70 76
SSR b2[
X2(
X )2 ]
N
0.7052 (49211 48860)
6
73
79
序号
X
Y
1
74
76
2
71
75
3
72
71
4
68
70
5
76
76
6
73
79
7
67
65
8
70
77
9
54
62
10
74
72
a Y bX
b
(X
X )(Y (X X )2
Y
)
初一、初二学生的成绩平均值分别为：
X 69.9 Y 72.3
(X X )(Y Y )
(74 69.9)(76 72.3) (74 69.9)(72 72.3) 247.3
(X X )2
(74 69.9)2 (74 69.9)2 350.9
b 247.3 0.705 350.9
a Y b X 72.3 0.705 69.9 23.03
答：这些学生初二年级成绩对初一年级成 绩的回归方程为：
Y 23.03 0.705 X
四、回归系数与相关系数的关系
自变量只是表述方 便，X、Y不一定为
因果关系。
bY X 为Y对X的回归系数，X为自变量 bX Y 为X对Y的回归系数，Y为自变量
三、回归模型的建立方法
• 根据数据资料作散点图，判断直线关 系； • 选定计算回归系数的方法并计算回归 系数b和直线的截距a。 • 将b和a代入直线方程，得到回归方程。 • 最小二乘法是建立回归方程最常用的 方法。
三、决定系数
• 回归平方和对总的平方和的贡献越大，说 明回归方程越能代表所有的数据。
回归平方和 SSR 总的平方和 SST
(Yˆ Y )2 r 2 (Y Y )2
r为皮尔逊相关系数 相关系数的平方和等于回归平方和在总平方和 中所占比例，称为决定系数（coefficient of determination). 例如，r2=0.8说明回归方程可以解释80%的Y 的变异。
• 例如，可以用听觉反应时预测视觉反应时， 但这两者为共变关系，而非因果关系。
儿 80 子 78 的 76 高 74 度 72 （ 70 英 68 尺 66 ） 64
62
60 60 62 64 66 68 70 72 74 76 78 80
父亲的身高（英尺）
线性回归
非线性回归
一、 相关与回归的关系
Y )]2 )2
1
(Y Y
)2Biblioteka (XX )(Y (X X )2
Y
)
2
(X (Y
7
67
65
174.41
8 9
70 54
77 62
SSE SST SSR
10
74
72
268.1174.41
93.69
MSR
SS R df R
174.41 174.41 1
MSE
SS E df E
93.69 10 2
12.09
F MSR 174.41 14.43
MSE 12.09