多元线性回归模型及其假设条件

§5.1 多元线性回归模型及其假设条件 1．多元线性回归模型 多元线性回归模型：
εi pi p i
i
i
x b x
b x b b y +++++= 22
11
，
n i ,,2,1 =
2．多元线性回归模型的方程组形式 3．多元线性回归模型的矩阵形式
4．回归模型必须满足如下的假设条件：
第一、有正确的期望函数。

即在线性回归模型中没有遗漏任何重要的解释变量，也没有包含任何多余的解释变量。

第二、被解释变量等于期望函数与随机干扰项之和。

第三、随机干扰项独立于期望函数。

即回归模型中的所有解释变量X
j
与随机干扰项u 不
相关。

第四、解释变量矩阵X 是非随机矩阵，且其秩为列满秩的，即：n k k X rank 〈=,)(。

式中k 是解释变量的个数，n 为观测次数。

第五、随机干扰项服从正态分布。

第六、随机干扰项的期望值为零。

()0=u E 第七、随机干扰项具有方差齐性。

()σ
σ2
2
=u i
（常数）
第八、随机干扰项相互独立，即无序列相关。

()()u u u u j
i
j
i
,cov ,=σ=0
§5.2 多元回归模型参数的估计
建立回归模型的基本任务是：求出参数b
b b p
,,,,
1
σ的估计值，并进行统计检验。

残差：
y
y e i
i
i
ˆ-=；残差平方和：Q=()∑-∑==y y e i i n
i i
ˆ2
1
2
矩阵求解：X=⎥⎥⎥⎥⎥
⎦
⎤⎢⎢⎢⎢
⎢⎣
⎡x x
x
x x x x x x pn n
n
p p
21222
12
121
11
11
1
，⎥⎥⎥
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=b b b b p B ˆˆˆˆ210ˆ ，⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=-y y y y n n Y 121 ，()Y
B X X X τ
τ
1
ˆ-=
1
ˆ2
--=
p n Q
σ
要通过四个检验：经济意义检验、统计检验、计量经济学检验、模型预测检验。

§5.4 多元线性回归模型的检验
一、R
2
检验
1．
R
2
检验定义
R
2
检验又称复相关系数检验法。

是通过复相关系数检验一组自变量
x
x x m
,,,2
1
与因变量
y 之间的线性相关程度的方法。

复相关系数与复可决系数检验中的“复”是相对于一元函数而言。

复相关系数：自变量在两个以上，检验线性关系密切程度的指标，记为
R
x x x p
y 21,
，通常
用R 表示。

复可决系数：复相关系数的平方R 2。

在实际应用中，判别线性关系密切程度都是用R 2检验，所以复可决系数R 2是模型拟合优度指标，R 2越接近于1，模型拟合越好。

0≤R 2≤1。

()()
∑-∑--=
y y y y i i i R 2
2ˆ1
2．复相关系数检验法的步骤 1）计算复相关系数；
2）根据回归模型的自由度n-m 和给定的显著性水平α值，查相关系数临界值表； 3）判别。

3．调整可决系数
m
n n R
R
--⎪
⎭⎫
⎝
⎛-
-=1
1122
R
2
是一个随自变量个数增加而递增的函数，所以，当对两个具有不同自变量个数但性质相
同的回归模型进行比较时，不能只用R
2
作为评价回归模型优劣的标准，还必须考虑回归模
型所包含的自变量个数的影响。

R
2
消除了自变量个数不同的影响，可以用于不同自变量个数间模型的比较。

4．
R
2
检验的目的
检验模型对原始数据的拟合程度，或对原始数据信息的解释程度。

二、F 检验 1．检验目的
通过F 统计量检验假设
0:2
1
==
==β
β
βm
H 是否成立的方法。

回归方程的显著性检
验是检验所有系数是否同时为0，
2．F 统计量
()()()()
∑-∑---=
m n m F y
y y y i i i ˆˆ2
21 ，m-1是回归变差
()∑-y y
i ˆ2
的自由度，n-m 是剩余变差
()∑-y
y i i ˆ2
的自由度。

F 服从自由度为()m n m --,1的F 分布。

3．回归效果不显著的原因 1）影响y 的因素除了一组自变量x
x x m
,,,2
1
之外，还有其他不可忽略的因素。

2）y 与一组自变量x
x x m
,,,2
1
之间的关系不是线性的。

3）y 与一组自变量
x
x x m
,,,2
1
之间无关。

4．解决办法
分析原因另选自变量或改变模型的形式。

三、t 检验 1．检验目的
回归系数的显著性检验是检验某个系数是否为0。

2．T 统计量 统计假设H 0：
0=b i ；统计量：c
S b
t ii
y
i i ˆ=
，
m
n Q
S
y
-=
，c
ii
是矩阵()
X X '-1
的第I
个对角元素。

t i
是一个自由度为n-m 的t 分布变量；统计检验判别：t
t i
α
≥。

否定假设，
系数
0≠b i。

否则，接受假设0=b i。

四、DW 检验
1．序列相关的概念及对回归模型的影响
序列相关是指数列的前后期相关。

若时差为一期的序列相关，称为一节自相关。

回归模型假设随机误差项之间不存在序列相关或自相关，即
u
i
和
u
j
互不相关，
j i u
u j i
≠=⎪⎭
⎫ ⎝
⎛,0,
cov 。

若回归模型不满足这一假设，则称回归模型存在自相关。

当模型中存在序列自相关时，使用OLS 方法估计参数，将产生下列严重后果：
（1）估计标准误差S 可能严重低估σ的真实值。

（2）样本方差
S j
2
β
可能严重低估⎪⎭
⎫
⎝⎛βi
D 的真实值。

（3）估计回归系数
β
ˆj
可能歪曲
β
i
的真实值。

（4）通常的F 检验和t 检验将不再有效。

（5）根据最小二乘估计量所作的预测将无效。

2．序列相关的原因
（1）惯性：变量的发展趋势。

（2）偏误：模型设定有误，删去了一些必要变量。

（3）蛛网现象：供给对价格的反应要迟一个时期。

（4）其他原因：例如，现时消费取决于前期消费。

3．序列相关的检验方法
D —W 检验法。

适用条件：序列相关是一阶自回归形式。

注意：第一、D —W 检验不适用于随机项具有高阶序列相关的检验。

第二、D —W 检验有一段不能判断其正相关或负相关的范围。

第三、对于利用滞后被解释变量做为解释变量的模型，该检验失效。

（1）一阶自相关的数学表达式，
V e
e t t
+=-1
ρ
（2）D —W 检验给出了是否存在一阶自相关的结论。

（3）一阶自相关系数ρ的估计值：∑∑==-=T
t t
T
t t t
e
e
e 2
2
2
1
ˆρ
；更常用的是：2
1ˆd
-=ρ
4．消除序列相关的方法 （1）一阶差分法
已知自相关的相关系数ρ=1，原回归模型：
u x y t
t
t
++=ββ1
；v u u t t t +=-1。

令：
y
y y t t
t
1
--='；
x
x x t t
t
1
--='；
v x y t
t
t +=''β1。

（2）广义差分法 原回归模型：
u
x y t
t
t
++=ββ1
；
v u
u t t t
+=-1
ρ。

令
y
y y t t
t
1
--='ρ，
x x x t t t 1--='ρ，()v x y t t t ++-=''ββρ101，2
1ˆd -=ρ。

（3）广义最小二乘法
做变换得到广义差分模型。

P=⎥⎥⎥⎥⎥⎥
⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢
⎢⎢⎣
⎡
----100
00100000100001000012ρ
ρρρ
，P P '=Ω-1，PX X =*，PY Y =*，Pu u =*，
u X
Y
*
*
*
+=
β。

广义最小二乘估计量：()Y X X X ΩΩ
'--'-=
ˆ
ˆ1
1
1
~
β,()
()X X v
ar V Ω
'-=-ˆˆ1
~ˆ1
2
σβ,
()()k
T X Y X Y v
--'-=
Ω-β
βσ
~
~ˆˆ1
2，ρ用样本普通最小二乘残差的一阶自相关系数来估计。

k
是模型中估计参数个数（含常数项），T 是样本容量。

五、异方差
1．异方差及其检验方法
（1）异方差性在观察点聚图上的直观表示（对原始数据点而言） （2）异方差性的检验方法：（1）经济分析法。

对数据分组，分别计算方差。

（2）直观判断法。

对残差而言。

（3）等级相关检验法。

（4）戈里瑟检验。

2．消除异方差的基本方法 （1）模型变换法
是已知异方差与自变量关系的形式，对模型进行变换，利用方差的性质可以证明是等方差的。

（2）加权最小二乘法
使用异方差性的权矩阵W 对模型进行变换。

()Y B
W
X X W
X 1
1
1
ˆ---=ττ
六、多重共线性
1．多重共线性：是指模型中解释变量间存在着一定的相关关系，没有满足独立性要求。

2．原因：（1）各经济变量间存在着内在联系。

（2）各经济变量在时间上有共同增长的趋势。

（3）在建立模型时引入了一些解释变量的滞后值作为新的解释变量。

3．解决办法：（1）经济分析的办法，找出引起多重共线性的变量，将他排除在外。

（2）统计分析的方法，降维技术或者逐步回归的方法。

（3）改变变量定义的形式。

七、预测区间 1．估计标准误差
()m
n S y y i i -=
∑-ˆ2
2．点预测、预测误差的样本方差
（1）点预测
B x y
ˆ0
ˆ= （2）预测误差的样本方差（y
和
y
ˆ0
是向量）
预测误差：
y
y e ˆ0
-=
预测误差的样本方差：()
⎥⎦⎤
⎢⎣
⎡
+
=
''-X X X X S
S 0
1
22
1
(3)预测区间
()S t y
m n 02
ˆ-±α，n<30
S y
2
ˆ⋅±χα，30≥n
八、应用实例
1．散点图，线性关系检验。

2．建立回归模型。

3．计算回归系数。

4．模型检验（R 、F 、t 、DW ）。

5．计算预测区间。