第三章一元线性回归模型

第三章⼀元线性回归模型

第三章⼀元线性回归模型

⼀、预备知识（⼀）相关概念

对于⼀个双变量总体),(i i x y ,若由基础理论，变量x 和变量y 之间存在因果关系，或x 的变异可⽤来解释y 的变异。为检验两变量间因果关系是否存在、度量⾃变量x 对因变量y 影响的强弱与显著性以及利⽤解释变量x 去预测因变量

y ，引⼊⼀元回归分析这⼀⼯具。

将给定i x 条件下i y 的均值

i i i x x y E 10)|(ββ+= （3.1）定义为总体回归函数（Population Regression Function,PRF ）。定义

)|(i i i x y E y -为误差项（error term ）,记为i µ，即)|(i i i i x y E y -=µ，这样i i i i x y E y µ+=)|(，或

i i i x y µββ++=10 （3.2）（3.2）式称为总体回归模型或者随机总体回归函数。其中，x 称为解释变量（explanatory variable ）或⾃变量（independent variable ）；y 称为被解释变量（explained variable ）或因变量（dependent variable ）；误差项µ解释了因变量的变动中不能完全被⾃变量所解释的部分。误差项的构成包括以下四个部分：

（1）未纳⼊模型变量的影响（2）数据的测量误差

（3）基础理论⽅程具有与回归⽅程不同的函数形式，⽐如⾃变量与因变量之间可能是⾮线性关系

（4）纯随机和不可预料的事件。

在总体回归模型（3.2）中参数10,ββ是未知的，i µ是不可观察的，统计计量分析的⽬标之⼀就是估计模型的未知参数。给定⼀组随机样本

n i y x i i ,,2,1),,( =，对（3.1）式进⾏估计，若10,),|(ββi i x y E 的估计量分别记为^

1^

0^

,,ββi y ，则定义3.3式为样本回归函数

i i x y ^

1^

0^

ββ+= （n i ,,2,1 =）（3.3）

注意，样本回归函数随着样本的不同⽽不同，也就是说^

1^

0,ββ是随机变量，它们的随机性是由于i y 的随机性（同⼀个i x 可能对应不同的i y ）与x 的变异共同引起的。定义^

i i y y -为残差项（residual term ）,记为i e ，即^

i i i y y e -=，这样

i i i e y y +=^

，或

i i i e x y ++=^

1^0ββ（n i ,,2,1 =）（3.4）

（3.4）式称为样本回归模型或者随机样本回归函数。样本回归模型中残差项i e 可视为总体回归模型中误差项i µ的估计量。（⼆）参数估计：普通最⼩⼆乘法

如何估计总体参数10,ββ的估计量^

1^0,ββ，或如何获得样本回归函数呢？在回归分析中，使⽤最⼴泛的⽅法是最⼩⼆乘法，⼀般称为普通最⼩⼆乘法（Ordinary Least Squares,OLS ）1

。OLS 求解未知参数10,ββ的估计量^

1^0,ββ，使残差平⽅和最⼩。即

∑∑∑===--=-=n

i i i n

i i i n

i i

x y y y e Minimize 1

2^

1^

01

2

^

1

2

)()(ββ（3.5）

求解（3.5）式可得

∑∑==---=

n

i i

n

i i i

x x

y y x x

1

2

1

^

1)()

)((β，x y ^

1^0ββ-= （3.6）

其中，∑==n i i x n x 1

1，∑==n

i i y n y 11。

（三）古典线性回归模型

统计推断除了包括参数估计外还包括假设检验，在根据样本回归函数检验假设时，需要对误差项i µ的⽣成过程做⼀些假定。

假定1 回归模型是参数线性的，但可以不是变量线性的。假定2 解释变量i x 与随机误差项i µ不相关。即

0),cov(=i i x µ。

如果解释变量i x 是⾮随机的，则该假设⾃动满⾜。假定3 零均值假定。即

0)(=i E µ

假定4 同⽅差假定。即

2)var(σµ=i

假定5 ⽆⾃相关假定。即两个误差项之间不相关

0),cov(=j i µµ j i ≠

假定6 回归模型是正确设定的。假定7 正态性假定。即

i µ～),0(2σN

1

之所以称为普通最⼩⼆乘法，是因为还有⼀种⽅法称为⼴义最⼩⼆乘法，普通最⼩⼆乘法是⼴义最⼩⼆乘法的特例。

满⾜以上假定的回归模型称为古典线性回归模型（Classical Line Regression Model,CLRM ）。（四）⾼斯-马尔科夫定理

如果古典线性回归模型的基本假定成⽴，则OLS 估计是最优线性⽆偏估计量（Best Linear Unbiased Estimators,BLUE ）。（五）预测原理

回归分析的⽬的之⼀是利⽤回归模型预测因变量。⽐如，⾦融决策经常涉及⼀个长期的资源承诺（a long-term commitment of resources ）, 决策的收益将取决于将来发⽣的事情。

假设双变量总体的回归模型为（3.2），即

i i i x y µββ++=10 （3.2）在⼀组随机样本n i x y i i ,,2,1),,( =下，利⽤OLS 求得样本回归函数为（3.3） i i x y ^

1^

0^

ββ+= （n i ,,2,1 =）（3.3）给定样本外⼀点f x ，则因变量f y 的点预测为

f f x y ^

1^

0^

ββ+= （3.7）点预测^

f y 的标准误为

∑=--++=n

i i

f f x x

x x n

y se 1

22

^

^