心理统计学回归分析课件PPT
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Yˆ a b1X1 b2 X 2
二元线性回归方程的偏回归系数
b1
L1Y L22 L2Y L12 L11L22 L122
b2
L2Y L11 L1Y L21 L11L22 L122
• 式中各个L都是相应的离差平方和或离差 乘积和
序号 1 2 3 4 5 6 7 8 9 10
例题
数学成绩Y 83 67 74 48 72 66 90 54 71 65
n
n
n
n
(Xi X )(Yi Y )
X iYi ( X i )( Yi ) / n
bYX i1 n
i1 n
i 1
i 1
n
(Xi X )2
X
2 i
(
Xi)2 / n
i 1
i 1
i 1
与相关系数 r 比较
n
(X i X )(Yi Y )
r i1 nSX SY
回归方程的建立
– 常用的拟合这条回归线的原则，就是使各点 与该线纵向距离的平方和为最小。
回归线
回归线
回归线
回归线
回归方程
• 确定回归线的方程称回归方程。
Yˆ a bX
Yˆ aYX bYX X
Xˆ a XY bXYY
回归方程的建立
• 用最小二乘方法求回归系数(regression coefficient)
n
Байду номын сангаас
r 2
(Yˆi Y )2
i 1
n
(Yi Y )2
1666 .3577 2554 .1000
0.6524
i 1
对回归方程的方差分析
方差来源 平方和 自由度 均方差 F 值
回归
SSR
1
MSR MSR/MSE
残差
SSE
n -2
MSE
总差异 SST
n -1
n
F
n
(Yˆ
i1
(Y Yˆ)2
• 对因变量真值的预测
– 回归方程是由样本数据列出的，由于抽样误 差的影响，其回归值并不是因变量的真值。 要预测其真值还需考虑到各样本回归方程之 间的变异。
对因变量真值的预测
二元线性回归方程
• 二元线性回归方程是指一个因变量Y与两 个自变量X1与X2之间建立的线性回归方 程。
• 二元线性回归方程也用最小二乘法来确 定回归系数。
a Y b1 X1 b2 X 2 ... bp X p
多元线性回归方程中自变量的选择
• 穷举法
– 对所有可能的回归方程逐一检验，选择一个显著性 程度最强的方程。
• 逐步回归(step-wise regression)
– 逐步回归的原理是按每个自变量对因变量的作用， 从大到小逐个地引入回归方程
学习能力X1 88 68 76 60 74 57 86 62 63 45
逻辑学X2 75 47 60 57 79 63 67 58 70 69
答案
Yˆ 1.214 0.606 X1 0.413 X 2
二元线性标准回归方程
• 为了比较两个自变量在估计预测因变量 时所起作用的大小，需要将三个变量分 别转换成标准分数，然后比较由标准分 数所建立的标准回归方程中的两个标准 回归系数，以此判断两个自变量作用的 大小。
回归分析
• 相关系数－－双向关系 • 回归方程－－单向关系
• 一元线性回归 • 一元线性回归方程的检验 • 一元线性回归方程的应用 • 多元线性回归简介
一元线性回归
• 一元线性回归是指只有一个自变量的线 性回归(linear regression)。
• 回归线(regression line)
– 一条最能代表散点图上分布趋势的直线，这 条最优拟合线即称为回归线。
70
119
4900
14161
66
108
4356
11664
74
120
5476
14400
797 1376 58069 173038
XY 10608 9585 8160 11900 9750 9344 8784 7670 8330 7128 8880
100139
计算
n
n
n
XiYi ( Xi )( Yi ) / n
bYX i1 n
i 1
i 1
n
X
2 i
(
Xi)2 / n
i 1
i 1
100139 7971376/ 58069 7972 /11
11
1.368
aYX Y bYX X 125 .09 1.368 72.45 25.96
Yˆ 25.96 1.368 X
一元线性回归方程的检验
• 三种等效的方法：
Y )2 /(n
2)
或
F
(1
r
2
r )
2
/(n
2)
~
F(1,n2)
i1
方差分析
方差来源 平方和 自由度 均方差
F值
回归 1666.3577 1 1666.3577 15.0166
残差 887.7423
8
110.9678
总差异 2554.1000 9
• F 0.05,1,8 = 5.32 • F 0.01,1,8 = 11.3
• 残差平方和(residual sum of squares, error ~, unexplained ~)
测定系数
• 测定系数(coefficient of determination)指 回归平方和在总平方和中所占比例，这 个比例越大，意味着误差平方和所占比 例越小，预测效果就越好。测定系数同 时等于相关系数的平方。
– 对回归方程进行方差分析 – 对两个变量的相关系数进行与总体零相关的
显著性检验； – 对回归系数进行显著性检验。
测定系数
n
n
n
(Yi Y )2 (Yˆi Y )2 (Yi Yˆi )2
i 1
i 1
i 1
• 回归平方和(regression sum of squares, explained ~)
• 求截距(intercept)
aYX Y bYX X
由Y估计X
n
n
n
n
(Xi X )(Yi Y )
X iYi ( X i )( Yi ) / n
bXY i1 n
i1 n
i 1
i 1
n
(Yi Y )2
Yi2 ( Yi )2 / n
i 1
i 1
i 1
aXY X bXYY
Yˆ a bX1X 2
Yˆ
a
b1 X1
b2
X
2 2
Yˆ
1
e X
公式
t bYX
SbYX
bYX 0 SYX
n
(Xi X )2
i 1
bYX
n
(Xi X )2
i 1
SYX
n
bYX
(Xi X )2
i 1
n
(Yi Yˆi )2 /(n 2)
i 1
一元线性回归方程的应用
• 用样本回归方程推算因变量的回归值 • 点估计：语文成绩为80分的学生的智商是多少？
序号 1 2 3 4 5 6 7 8 9 10 11
总和
语文成绩与智商
X
Y
X2
Y2
78
136
6084
18496
71
135
5041
18225
68
120
4624
14400
85
140
7225
19600
75
130
5625
16900
73
128
5329
16384
72
122
5184
14884
65
118
4225
13924
• 复相关系数表示两个自变量组合起来与因变量之 间的相关程度。可通过对二元测定系数开平方根 得到，然后通过查表进行显著性检验。
n
(Yˆi Y )2
R 2
i 1
Y 12
n
(Yi Y )2
i 1
二元线性回归的检验
• 偏回归系数(partial regression coefficient) 的显著性检验
Yˆ0 aYX bYX X0
Yˆ0 25.96 1.368X0 25.96 1.36880 135.4 • 区间估计：体重为20千克的男童的简单反应时
95%的置信区间
Yˆ t / S 2,n2 YX
=（550±1.96×93.67）=（550±183.6） 或（366.4，733.6）
一元线性回归方程的应用
ZˆY b1*Z X1 b2*Z X 2
0.655 Z X1 0.316 Z X2
二元线性回归的检验
• 二元线性回归的检验
– 检验回归方程的显著性 – 检验两个偏回归系数的显著性
二元线性回归的检验
• 二元线性回归方程的显著性检验方法：
– 方差分析
– 复相关系数(multiple correlation coefficient) 显著性检验。
对回归系数进行显著性检验
• 估计误差的标准差
– 由于与 X 各点相对应的诸 YX 值之平均数和 标准差均为未知，故估计误差的标准差只能 从样本加以估计。其无偏估计量为：
SYX
n Yi Yˆi 2
i 1
n2
对回归系数进行显著性检验
• 在回归线上，当与所有自变量X相对应的 各组因变量Y的残值都呈正态分布，并且 残值方差为齐性时，可以用以下公式进 行显著性检验。
n
(Yˆi Y )2
r 2 i1 n (Yi Y )2 i 1
例题
企业 1 2 3 4 5 6 7 8 9 10
产量 (X)
40
42
48
55
65
79 88 100 120 140
费用 150 140 160 170 150 162 185 165 190 185
(Y)
Yˆ 134 .7909 0.3978 X
tb1 tb2
b1 0 MSE L11(1 r122 )
b2 0 MSE L22 (1 r122 )
n
(Yi Yˆi )2
MSE i1 n3
多元线性回归方程
b1L11 b2L12 ... bp L1p L1Y b1L21 b2L22 ... bp L2 p L2Y ... b1Lp1 b2Lp2 ... bp Lpp LpY
– 每引入一个自变量要对回归方程中的每一个自变量 都进行显著性检验（即对其偏回归系数进行显著性 检验）
– 逐步地引入自变量，并剔除不显著的自变量、 – 直至将所有的自变量都引入，并将不显著的自变量
都剔除为止 – 最后形成的回归方程就是最优方程。
其他回归问题
Yˆ a bX 2
Yˆ a b1X b2 X 2
二元线性回归方程的偏回归系数
b1
L1Y L22 L2Y L12 L11L22 L122
b2
L2Y L11 L1Y L21 L11L22 L122
• 式中各个L都是相应的离差平方和或离差 乘积和
序号 1 2 3 4 5 6 7 8 9 10
例题
数学成绩Y 83 67 74 48 72 66 90 54 71 65
n
n
n
n
(Xi X )(Yi Y )
X iYi ( X i )( Yi ) / n
bYX i1 n
i1 n
i 1
i 1
n
(Xi X )2
X
2 i
(
Xi)2 / n
i 1
i 1
i 1
与相关系数 r 比较
n
(X i X )(Yi Y )
r i1 nSX SY
回归方程的建立
– 常用的拟合这条回归线的原则，就是使各点 与该线纵向距离的平方和为最小。
回归线
回归线
回归线
回归线
回归方程
• 确定回归线的方程称回归方程。
Yˆ a bX
Yˆ aYX bYX X
Xˆ a XY bXYY
回归方程的建立
• 用最小二乘方法求回归系数(regression coefficient)
n
Байду номын сангаас
r 2
(Yˆi Y )2
i 1
n
(Yi Y )2
1666 .3577 2554 .1000
0.6524
i 1
对回归方程的方差分析
方差来源 平方和 自由度 均方差 F 值
回归
SSR
1
MSR MSR/MSE
残差
SSE
n -2
MSE
总差异 SST
n -1
n
F
n
(Yˆ
i1
(Y Yˆ)2
• 对因变量真值的预测
– 回归方程是由样本数据列出的，由于抽样误 差的影响，其回归值并不是因变量的真值。 要预测其真值还需考虑到各样本回归方程之 间的变异。
对因变量真值的预测
二元线性回归方程
• 二元线性回归方程是指一个因变量Y与两 个自变量X1与X2之间建立的线性回归方 程。
• 二元线性回归方程也用最小二乘法来确 定回归系数。
a Y b1 X1 b2 X 2 ... bp X p
多元线性回归方程中自变量的选择
• 穷举法
– 对所有可能的回归方程逐一检验，选择一个显著性 程度最强的方程。
• 逐步回归(step-wise regression)
– 逐步回归的原理是按每个自变量对因变量的作用， 从大到小逐个地引入回归方程
学习能力X1 88 68 76 60 74 57 86 62 63 45
逻辑学X2 75 47 60 57 79 63 67 58 70 69
答案
Yˆ 1.214 0.606 X1 0.413 X 2
二元线性标准回归方程
• 为了比较两个自变量在估计预测因变量 时所起作用的大小，需要将三个变量分 别转换成标准分数，然后比较由标准分 数所建立的标准回归方程中的两个标准 回归系数，以此判断两个自变量作用的 大小。
回归分析
• 相关系数－－双向关系 • 回归方程－－单向关系
• 一元线性回归 • 一元线性回归方程的检验 • 一元线性回归方程的应用 • 多元线性回归简介
一元线性回归
• 一元线性回归是指只有一个自变量的线 性回归(linear regression)。
• 回归线(regression line)
– 一条最能代表散点图上分布趋势的直线，这 条最优拟合线即称为回归线。
70
119
4900
14161
66
108
4356
11664
74
120
5476
14400
797 1376 58069 173038
XY 10608 9585 8160 11900 9750 9344 8784 7670 8330 7128 8880
100139
计算
n
n
n
XiYi ( Xi )( Yi ) / n
bYX i1 n
i 1
i 1
n
X
2 i
(
Xi)2 / n
i 1
i 1
100139 7971376/ 58069 7972 /11
11
1.368
aYX Y bYX X 125 .09 1.368 72.45 25.96
Yˆ 25.96 1.368 X
一元线性回归方程的检验
• 三种等效的方法：
Y )2 /(n
2)
或
F
(1
r
2
r )
2
/(n
2)
~
F(1,n2)
i1
方差分析
方差来源 平方和 自由度 均方差
F值
回归 1666.3577 1 1666.3577 15.0166
残差 887.7423
8
110.9678
总差异 2554.1000 9
• F 0.05,1,8 = 5.32 • F 0.01,1,8 = 11.3
• 残差平方和(residual sum of squares, error ~, unexplained ~)
测定系数
• 测定系数(coefficient of determination)指 回归平方和在总平方和中所占比例，这 个比例越大，意味着误差平方和所占比 例越小，预测效果就越好。测定系数同 时等于相关系数的平方。
– 对回归方程进行方差分析 – 对两个变量的相关系数进行与总体零相关的
显著性检验； – 对回归系数进行显著性检验。
测定系数
n
n
n
(Yi Y )2 (Yˆi Y )2 (Yi Yˆi )2
i 1
i 1
i 1
• 回归平方和(regression sum of squares, explained ~)
• 求截距(intercept)
aYX Y bYX X
由Y估计X
n
n
n
n
(Xi X )(Yi Y )
X iYi ( X i )( Yi ) / n
bXY i1 n
i1 n
i 1
i 1
n
(Yi Y )2
Yi2 ( Yi )2 / n
i 1
i 1
i 1
aXY X bXYY
Yˆ a bX1X 2
Yˆ
a
b1 X1
b2
X
2 2
Yˆ
1
e X
公式
t bYX
SbYX
bYX 0 SYX
n
(Xi X )2
i 1
bYX
n
(Xi X )2
i 1
SYX
n
bYX
(Xi X )2
i 1
n
(Yi Yˆi )2 /(n 2)
i 1
一元线性回归方程的应用
• 用样本回归方程推算因变量的回归值 • 点估计：语文成绩为80分的学生的智商是多少？
序号 1 2 3 4 5 6 7 8 9 10 11
总和
语文成绩与智商
X
Y
X2
Y2
78
136
6084
18496
71
135
5041
18225
68
120
4624
14400
85
140
7225
19600
75
130
5625
16900
73
128
5329
16384
72
122
5184
14884
65
118
4225
13924
• 复相关系数表示两个自变量组合起来与因变量之 间的相关程度。可通过对二元测定系数开平方根 得到，然后通过查表进行显著性检验。
n
(Yˆi Y )2
R 2
i 1
Y 12
n
(Yi Y )2
i 1
二元线性回归的检验
• 偏回归系数(partial regression coefficient) 的显著性检验
Yˆ0 aYX bYX X0
Yˆ0 25.96 1.368X0 25.96 1.36880 135.4 • 区间估计：体重为20千克的男童的简单反应时
95%的置信区间
Yˆ t / S 2,n2 YX
=（550±1.96×93.67）=（550±183.6） 或（366.4，733.6）
一元线性回归方程的应用
ZˆY b1*Z X1 b2*Z X 2
0.655 Z X1 0.316 Z X2
二元线性回归的检验
• 二元线性回归的检验
– 检验回归方程的显著性 – 检验两个偏回归系数的显著性
二元线性回归的检验
• 二元线性回归方程的显著性检验方法：
– 方差分析
– 复相关系数(multiple correlation coefficient) 显著性检验。
对回归系数进行显著性检验
• 估计误差的标准差
– 由于与 X 各点相对应的诸 YX 值之平均数和 标准差均为未知，故估计误差的标准差只能 从样本加以估计。其无偏估计量为：
SYX
n Yi Yˆi 2
i 1
n2
对回归系数进行显著性检验
• 在回归线上，当与所有自变量X相对应的 各组因变量Y的残值都呈正态分布，并且 残值方差为齐性时，可以用以下公式进 行显著性检验。
n
(Yˆi Y )2
r 2 i1 n (Yi Y )2 i 1
例题
企业 1 2 3 4 5 6 7 8 9 10
产量 (X)
40
42
48
55
65
79 88 100 120 140
费用 150 140 160 170 150 162 185 165 190 185
(Y)
Yˆ 134 .7909 0.3978 X
tb1 tb2
b1 0 MSE L11(1 r122 )
b2 0 MSE L22 (1 r122 )
n
(Yi Yˆi )2
MSE i1 n3
多元线性回归方程
b1L11 b2L12 ... bp L1p L1Y b1L21 b2L22 ... bp L2 p L2Y ... b1Lp1 b2Lp2 ... bp Lpp LpY
– 每引入一个自变量要对回归方程中的每一个自变量 都进行显著性检验（即对其偏回归系数进行显著性 检验）
– 逐步地引入自变量，并剔除不显著的自变量、 – 直至将所有的自变量都引入，并将不显著的自变量
都剔除为止 – 最后形成的回归方程就是最优方程。
其他回归问题
Yˆ a bX 2
Yˆ a b1X b2 X 2