第二章 多元线性回归

第二章多元线性回归

§2.1 基本概述

一、回归的任务

多元线性回归（MLR）（multiple linear regression）是分析一个随机变量与多个变量之间线性关系的统计方法。

回归（Regression）起源于19世纪生物学家F·高尔顿进行的遗传学研究。其核心是“普通最小平方法”（Ordinary Least Squares）OLS。

多元回归将所研究的变量分为:

确定自变量和因变量的关系是回归分析的主要任务：

（1）根据实测数据求解某一模型的各个参数；

（2）评价回归模型是否较好地拟合实例数据；

（3）利用模型进行预测。

需要注意的是:

(1) 因变量必须是间距测度等级以上的变量（有时也包含定性变量。见《应用回归分析》）

（也称为连续变量）。自变量可以是任意等级的变量。

(2)既使模型正确通过检验，也不能确定X、Y之间的因果关系，而只能确认

存在着统计关系。

[例] 不同地区的人均食品支出与人均收入的关系（图2–1）；汽车重量与每加仑燃料行驶英里值的关系；（图2–2）。

图2–1

图2–2

二、一元线性回归的回顾

1． 模型

i i i x Y εββ++=10 （2.1）

当获得n 组样本观测值（x 1 , y 1），（x 2 , y 2），…（x n ，y n ）的数据时，如果符合2.1式，则有

n i X Y i

i

i

,,2,11

=++=ε

ββ （2.2）

2.1式称为理论回归模型；2.2式称为样本回归模型。有时不加以区分地将两者称为一元线性回归模型。

通过n 组观测值，用OLS 法对10,ββ进行估计，得1

0ˆ,ˆββ，则称

为Y 关于X 的一元线性方程。

其中： 1β 回归系数，说明X 与Y 之间的变化关系。

2．普通最小二乘法估计的统计性质（OLSE Estimation ） （1）残差：i

i i

Y Y e ˆ-=，用来说明拟合效果，可以看作误差项εi 的估计值。 ⎪⎩⎪⎨⎧==∑∑00

i

i i e x e 因为 )(ˆˆX X Y Y

-+=β，所以 0)(ˆ)()ˆ(=---=-=∑

∑∑∑X X Y Y Y Y e β 但∑=n

i i e 1

||很麻烦，经常用∑2i e 来说明。

（2）∑

=-min )ˆ(2Y Y （3）Y

ˆ的平均值等于Y 的平均值∑=Y n

Y ˆ1 （4）X 与e 相互独立

∑=-=0))((1

),(i i i i e X X n

e x Cov

（5）Y

ˆ与e 相互独立 0))(ˆ(1),ˆ(=-=∑i

i i e Y Y n

e Y Cov （6）直线通过n 个散点的重心（Y X ,）点

3．模型的假设条件（assumption ）

(1) 高斯假设条件 （C.F.Gauss ）德国数学家 ①零均值性

0)E(=i ε；n i ,2,1=

即在自变量取一定估计i X 的条件下，其总体各误差项的条件平均值为0。 ②等方差性 （为一常数）

n i i i ,,2,1,

)V ar()D(2 ===σεε ③误差项之间相互独立，（即不相关）

n j i j i j i 2,1,,

;

0),Cov(=≠=εε

④误差项与自变量之间相互独立性。

0),Cov(=i i X ε

上述假设称为标准古典假设条件。符合条件的回归模型称为普通线性回归模型（general linear regression model ）。

如果仅为点估计则由OLSE 计算的Y ˆ,ˆ,ˆ1

0ββ分别是10,ββ和Y 的无偏估计量； 如果需要进行区间估计，需要以下假设： (2)正态误差假定

同时，

另外，还可推出

即 22)(σ=e

S E 是无偏估计量 且

)1(~)ˆ(22

2

---∑

p n Y Y χσ

其中：e S ：估计标准误差

其中：X

0 是给定值。

则

§2.2 多元线性回归模型

一、多元线性回归方程及其假设

设模型为：

将n 组独立观察的样本数据

),,,,(2

1

ip

i i i

x x x y n i ,,2,1 =

代入方程：

i

ip

p

i i i

e x b x b x b b y +++++= 2

2

1

1

根据OLS ，使∑=min )(2i e 。求p ββ,,0 的估计值 p b b ,,0 ，

可得回归方程：

称为多元线性回归方程。

上述模型用矩阵形式来表示，即：

εx βy +=

其中：

121⨯⎥⎥⎥⎥

⎦⎤

⎢⎢⎢⎢⎣⎡=n n y y y y )

1(212

1

12

11

111+⨯⎥⎥

⎥⎥⎦

⎤

⎢

⎢⎢⎢⎣⎡=p n np

p p n n ij

x x x x

x

x x

x x