回归分析

1 1 2 2
回归分析的主要目的是要通过样本回归函数（模型）SRF尽 可能准确地估计总体回归函数（模型）PRF。
• 估计量（Estimator）：一个估计量又称统计量 (statistic)，是指一个规则、公式或方法，以 用来根据已知的样本所提供的信息去估计总体参 数。在应用中，由估计量算出的数值称为估计 （值）（estimate)。 • 样本回归函数SRF的随机形式为：
2、随机误差项的方差2的估计
由于随机项i不可观测，只能从i的估计——残差 u （ei ） i ˆ u 出发，对总体方差进行估计。
i
可以证明，2的最小二乘估计量为

2
u
2 i
n2
它是关于2的无偏估计量。
ˆ 在随机误差项 的方差 2 估计出后，参数 0
ˆ 和 1 的 方差 和 标准差 的估计量分别是：
经典线性回归模型（CLRM）的基本假定 • 假定1：回归模型对参数是线性的 E(ui | X i ) 0 • 假定2：干扰项的均值为零。即， • 假定3：同方差性或 u i 的方差相等。即 • 2
Var (ui | X i ) E[ui E (ui ) | X i ] E (ui2 | X i ) 2
Y（支出）
55
65
79
80
102
110
120
135
137
150
X（收入）
80
100
120
140
160
180
200
220
240
260
Y（支出）
70
80
94
103
116
130
144
152
165
178
• 样本回归函数SRF：
ˆ ˆX ˆ Y i 1 2 i
ˆ 为E(Y|Xi)的估计量, 其中,Y ˆ 为 的估计量, ˆ 为 的估计量
三、参数估计量的概率分布及随机干扰项方差的估计
ˆ ˆ 和 1、参数估计量 0 1 的概率分布
ˆ ~ N ( , 1 1
x
2
2 i
)
ˆ ~ N ( 0 0
X , n x
2 i 2 i
2)
ˆ / x
2
1
2 i
ˆ
0
2 X i2
n x i2
ˆ
1
的样本方差：
2 2 ˆ S ˆ
1
2 x i
ˆ ˆ S ˆ 1 的样本标准差：
1
x
2 i
ˆ
0
的样本方差：
2 2 2 2 ˆ S X n x ˆ i i
0
ˆ ˆ S ˆ 0 的样本标准差：
0

X i2 n x i2
• 四、OLS 统计量的性质：高斯- 马尔柯夫 定理 • 在CLRM假定下，在所有线性无偏估计量中， OLS估计量有最小方差，即OLS是BLUE （Best Linear Unbiased Estimator）。
• 不完全决定的原因在于：
还有其他影响因素 行为的随机性 世界本是确定的，由一套完备的规律有机组成， 只是由于我们对这些规律缺乏认识，才感到了随 机性、不可确定性的无处不在，才需要用随机的 方法对世界进行描述。比如通过采用随机项的方 法把那些不可知的因素纳入模型。这是一种无奈 的选择，并非世界本来如此。 • 回归模型体现了实用的立场，并不具有哲学意义
1
ˆ ˆ 2( Yi n 1 2 Xi) 0 ˆ ˆ Yi n 1 2 Xi
ˆi2 ) ( u ˆ ˆ X )( X ) 2 (Yi 1 2 i i ˆ
2
ˆ X ˆ X 2) 2( (Yi X i 1 i 2 i
• 假定4：各个干扰项无自相关。即 cov(ui,u j | X i , X j ) E[ui E (ui | X i )][u j E (u j | X j )] • E (u | X )(u | X ) 0
i i j j
• 假定5： u i 和 X i 的协方差为零。即 • cov(ui , X i ) E[ui E (ui )][ X i E ( X i )]
E[ui ( X i E ( X i ))] E (ui X i ) E (ui ) E ( X i ) E (ui X i ) 0
• 假定6：观测次数必须大于待估计的参数个数。 • 假定7：解释变量X的必须要有变异性。即一个样本中， Xi不能完全相同。 • 假定8：模型没有设定误差。 • 假定9：没有完全的多重共线性，即解释变量之间没有完 全的线性关系。
2 ˆ ˆ 2( Yi X i X X 1 i 2 i 0 2 ˆ ˆ Yi X i X X 1 i 2 i
可得到以下正规方程（Normal equation） ：
ˆ ˆ Y n X ˆ ˆ Y X X X

估计
ˆ ˆ X u ˆ SRF : Y i 1 2 i i
PRF : Yi 1 2 X i ui
ˆ ˆ X u ˆ u ˆi Y ˆi Yi 1 2 i i ˆ ˆ X ) ˆ Y ( ˆi Yi Y 残差u i i 1 2 i
第二章 回归分析
第一节 概论
• 一、回归分析 • 分析因变量与解释变量之间的统计依赖关 系，主要内容是: • 1.根据样本观测值对模型参数进行估计,求 得回归方程; • 2. 对回归方程、参数估计值进行显著性检 验； • 3.利用回归方程进行预测。
• 二、统计关系与确定关系
在回归分析中，得到因变量与自变量之间的依赖关系是统 计依赖关系，而不是确定关系或函数关系。 • 作物产量与气温、降雨、阳光、施肥等是什么关系？ • 牛顿的引力定律是什么关系？ 确定性关系是指一个变量的变化能完全决定另一个变量的 变化： 价格一定时，销量与销售额 利息率一定，存入本金与到期本息 • 更多出现的情况是：存在密切联系但并非完全决定 居民收入与消费密切相关，但不能完全决定消费 广告费支出与销售额密切相关，但不能完全决定销售额
总体回归线、样本数据点和相应的误差项：
Y Y4 E(Y|X) = 0 + 1X . u4 {
Y3 Y2
u2 {.
.}u3
Y1
.
} u1
X1
X
2
X
3
X
4
XHale Waihona Puke 第二节 双变量回归模型：估计
一、普通最小二乘法（Ordinary Least Squares，OLS） 基本思路：用样本回归函数估计总体回归函数。以
i 1 2 i 2 2 i
ˆ (X X ) Y 2 i 两边求和，并同除n，可得 ˆ Y Y ˆi的均值为零。 (3)残差u 由方差最小的一阶条件： ˆ ˆ X） 2 （Y 0

i
1
2
i
ˆ ˆ X 0 ˆi Yi u 1 2 i
ˆ 不相关。 ˆi 与Y (4)u i ˆi 与X i 不相关。 (5)u
ˆ 和 ˆ 使残差的平方和最小。 估计出的参数 1 2
ˆ 和 ˆ , 要求 : 即寻找 1 2
2 2 2 ˆ ˆ ˆ ˆ min : ui (Yi Yi ) (Yi 1 2 X i )
时，真实值
求解这一最小化问题，根据最大化的一阶条件：
ˆi2 ) ( u ˆ ˆ X ) 2 (Yi 1 2 i ˆ
其中, X和Y分别为X、Y的均值， xi （X i X）和yi （Yi Y）为离差。
ˆ 和 ˆ 称为最小二乘估计量（OLS估计）。 1 2
2、 OLS样本回归线的性质：
(1)通过Y和X的样本均值。 ˆ ˆ X Y
1 2
ˆ的均值等于实测的Y的均值： (2)Y ˆ ˆ X (Y ˆ X) ˆ X ˆ Y
ˆ ˆ X u ˆ u ˆ ˆi Yi Y 1 2 i i i
其中
ˆi u
表示（样本）残差项（residual）。
SRF是PRF的近似估计。 为了使二者更为接近，即要使
ˆ 尽可能接近 , 尽可能接近 ˆ 1 1 2 2
Y
Yi
ˆ Y i
E(Y|Xi)
ui
ˆi u
SRF： ˆ ˆ X ˆ Y i 1 2 i PRF:E(Y|Xi)=1+2Xi
• 在Y对X的简单线性回归中，我们通常称X为：
–自变量（Independent Variable）或者 –右手边变量（Right-Hand Side Variable）或 –解释变量（Explanatory Variable）或 –回归量（Regressor）或 –共变量（Covariate）或 –控制变量（Control Variables）
E(Y|X) 是x的线性方程,对于任何的 X，Y的分布以E(Y|X)为中心
Y
f(Y)
.
X1 X2
. E(Y|X) = + X
0 1
样本回归函数（SRF） • 由于在大多数情况下，我们只知道变量值的一个样 本，要用样本信息的基础上估计PRF。(表）
X（收入） 80 100 120 140 160 180 200 220 240 260
i i 1 2 i i 1 i 2
2 i
解出
ˆ 和 ˆ ，可得到估计值。 1 2
二、参数的估计（点估计）：OLS估计量
1、解上述正规方程组得到估计值：
ˆ 2
( X X )(Y Y ) x y (X X ) x
i i i 2 2 i i