第九章2 多元回归分析

回归统计量
（1）estimates:显示回归系数及相关的指标 （2）confidence intervals:显示未标准化回 归系数的置信区间 （3）covariance matrix: 未标准化回归系数 的方差—协方差矩阵 （4）model fit:模型检验

回归统计量 （5）R squared change：每引进一个x引起 的回归 （6）descriptive:显示变量的均值、标准差等 （7）Part and partial correlations:偏相关 （8）collinearity diagnostics:共线性诊断 （9）Durbon_waston:D.w.检验统计量
1


0

Q ˆ b ˆ x b ˆ x 2 yi b 0 1 1i p pi ˆ b
p


x 0
pi
2 i 0
2 i x1i 0 2 i x pi 0
0 x 0
i i 1i

x
i pi
0

2
2i
ˆ x b p pi

0 x
1i

令
（最小二乘法）
Q Q 0 ˆ b
2 i
即
Q ˆ b ˆ x b ˆ x 2 yi b 0 1 1i p pi ˆ b
0


Q ˆ b ˆ x b ˆ x 2 yi b 0 1 1i p pi ˆ b
TSS RSS ESS

例2中，方差分析表为：Residual-残差：预测值与实测值的差
ANOVAb Model 1 Sum of Squares 803.816 204.734 1008.550 df 3 16 19 Mean Square 267.939 12.796 F 20.939 Sig . .000a
1 2 n 0 1 x11 2 x12 n x1n 0 1 x p1 2 x p 2 n x pn 0
1 x 11 x p1 1 x12 xp2
矩阵表示
1 1 0 x1n 2 0 x pn n 0
Reg ression Residual Total
a. Predictors: (Constant), x3, x1, x2 b. Dependent Variable: y


1.方程显著性检验(F检验)
F检验是以方差分析为基础,对回归总体线性关系是否显著的一 种假设检验,是解释模型中被解释变量与所有解释变量之间的线 性关系在总体上是否显著的方法 利用F统计量进行总体线性显著性检验的步骤如下: (1)提出关于P个总体参数的假设 H0:b0=b1=b2=…=bp=0 (2)构造统计量 (3)检验 给定显著性水平α,查F分布表 若F>Fα,拒绝H0,表明回归总体有显著性关系. 若F<F α,接受原假设,表明不存在线性关系
a Coe ffici ents
Unstandardized Coefficients Model B Std. Error 1 (Constant) -1353.546 162.576 X1 .544 .075 X2 1.207 .217 a. Dependent Variable: Y
Standardized Coefficients Beta .577 .443

2.参数显著性检验
参数显著性检验,是对每个解释变量进行检验.
如果解释变量对被解释变量的影响不显著,应从模型中删除,如果 解释变量对被解释变量的影响显著,应保留在模型中.
利用t统计量进行参数显著性检验的步骤如下:
(1) 假设: H0: bi=0 (2)构造统计量: (3)检验
bi t sbi
sbi
Coefficientsa Unstandardized Coefficients B Std. Error -13534.1 5138.920 .209 .063 -.060 .144 .763 .326 .141 .052 -.855 .292 .227 .088 Standardized Coefficients Beta 1.804 -.149 .913 1.062 -2.644 .182
X XB X Y 1 ˆ X B X X Y
xe 0
Y XB e X Y X XB X e
三、多元线性回归模型的建模方法 1.打开文件或新建文件 2.Analyze regression linear 3.建模方法 （1）enter:强迫进入法—如果因子数不多且符合多项回归条件 （2）stepwise:逐步选择法 （3）remove:强迫消除法 （4）backward:向后剔除法 （5）forward:向前引入法
随机误差项与解释变量之间不相关 cov(xi, ξ i)=0 5. 随机误差项服从零均值，同方差的正态分布 ξ i～N(0，σ2 )
4.
二、建立回归方程 ˆ b ˆ x b ˆ x ˆ b Y 设

i 0 1 1i
ˆ b ˆ x b ˆ x b ˆ x ˆ i yi b i yi y 0 1 1i 2 2i p pi
五、回归方程的效果的检验 方程显著性检验 参数显著性检验 拟合优度检验（复相关系数、偏相关系数） 对假设理论的检验


链接
y
ˆ y y
ˆy y
ˆi y ˆi y yi yi yi y
2 2 2 ˆ ˆ ˆ i y ˆi y y y y y y y i i i i i 2 y i y ˆ i y ˆ i y ei y ˆ i y ei y ˆ i ei y yi y
第九章 回归问题

第一节 一元线性回归 第二节 多元线性回归 第三节 可化为多元线性回归的问题

第四节 曲线回归
§2 多元回归分析

一元线性回归只是回归分析中的一种特例。 若某公司管理人员要预测来年该公司的销售额y时，
研究认为影响销售额的因素不只是广告宣传费x1,还
有消费人群个人可支配收入x2,价格x3,研究与发展
ˆ b ˆ x b ˆ x b ˆ e b ˆ e x b ˆ ex 0 ei b 0 1 1i p pi 0 i 1 i 1i p i pi ˆ i 2 y ˆ i y 2 yi yi yi y
2


费用x4,各种投资x5,销售费用x6.

————多元回归问题。

Yi= b0+b1x1i+b2x2i+…+bpxpi+ξi Y1=b0+b1x11+b2x21+…+bpxp1+ ξ1 Y2=b0+b1x12+b2x22+…+bpxp2+ ξ2 … Yn=b0+b1x1n+b2x2n+…+bpxpn+ ξn

回归方程的拟合优度检验就是要检验样本数据点聚集在回归直 线周围的密集程度，从而评价回归方程对样本数据的代表程度。
来自百度文库
由决定系数R2（有称复相关系数）来实现。

实际中，随着自变量个数的不断增加，必然会使得R2不断变化， 于是出现的问题是，R2变化是由于数学习性决定的，还是确实 是由于引入了好的变量进入方程而造成的。因此在作拟合优度 检验的判定时，一般采用调整的R2，以消除自变量的个数以及 样本量的大小对R2的影响。
Model 1
t .220 4.245 2.404 -2.111
(Constant) x1 x2 x3
Sig . .829 .001 .029 .051
a. Dependent Variable: y
Y=0.488+0.576x1+4.769x2-2.145x3 (4.245) (2.404) (-2.111)
Model 1
(Constant) x1 x2 x3 x4 x5 x6
t -2.634 3.292 -.416 2.341 2.703 -2.932 2.595
Sig . .039 .017 .692 .058 .035 .026 .041
a. Dependent Variable: y
Y=-13534.1+0.209x1-0.06x2+0.763x3+0.141x40.855x5+0.227x6 (3.292) (-0.416) (2.341) (2.703) (-2.932) (2.595)

调整的R2
ESS RSS R 1 TSS TSS n 1 RSS 2 R 1 n p 1 TSS
2

其它变量被固定后，计算任意两个变量之间的 相关系数，这种相关系数称为偏相关系数。
r11 r12 r1 p
r11 r21 r12 r1 p r1 y r22 r2 p r2 y
aii是(X`X)-1主对角线上第i+1个元素
六、复相关系数和偏相关系数 复相关系数R是由ESS和TSS构造的统计量，用 来表示回归方程对原有数据拟合程度的好坏， 衡量作为一个整体的x1,x2,…,xp与y的线性关系 的大小。
ESS R TSS ˆ y y y y
i i 2 2
s2 y 2 x x i i
对给定α,若︱t︱>t α /2,说明拒绝原假设
若︱t︱<t α /2,则接受原假设.

如果一次t检验后,模型中存在多个不重要变量,一般是
将t值最小的变量删除掉,再重新进行检验,每次只剔除1
个变量.
b aii Fi RSS n p 1

2 i
ij ii jj

简单相关系数只是一种表面上的数量的相关系数，而
并非本质的东西。偏相关系数才真正反映两个变量的
本质联系。

Zero-order:零阶相关系数，计算所有自变量与因变量
t -8.326 7.232 5.555
Sig. .001 .002 .005
y 1353 .546 0.544x1 1.207x 2 tValue (8.326) (7.232) (5.555)
Coefficientsa Unstandardized Coefficients B Std. Error .488 2.218 .576 .136 4.769 1.983 -2.145 1.016 Standardized Coefficients Beta .803 .470 -.416
r21 r22 r2 p rp1 rp 2 rpp
rp1 rp 2 rpp rpy ry1 ry 2 ryp ryy
rij.12i 1i 1 j 1 j 1 p ryi.12i 1i 1 p iy ii yy

令

Y=
y1 y2 yn
x=
1 x11 x21 … xp1 1 x12 x22 … xp2 1 x1n x2n … xpn ξ1 ξ2 … ξn

b0 b1 B= … bp
e=

则 Y=XB+e
1.
2.
3.
一、多元线性回归模型的基本假定 解释变量x1,x2,…,xp是确定性变量，不是随机变量， 而且解释变量之间互不相关 随机误差项具有零均值和同方差 E（ ξ i）=0 var(ξ i)=E(ξ i -E(ξ i))2=E(ξ i)2=σ2 随机误差项在不同样本点之间是相互独立的，不存在 序列相关 cov(ξ i, ξ j)=0 i≠j i,j=1,2,…n cov(ξ i, ξ j)=E((ξ i -E(ξ i)(ξ j -E(ξ j)) =E(ξ i ξ j) =E(ξ i )E(ξ j) =0