计量经济学复习资料

1． 普通最小二乘法（OLS ）

,...^2^21^1^0^k k x x x y ββββ++++=其中^

0β是0β的估计值,…

如何得到

^

^2^1^0,...,,,k ββββ普通最小二乘法选择能最小残差平方和的估计值。

即给定有关

k x x x y ,...,,,21的n 个观测

}{n i y x x x i ik i i ,...,2,1:),,...,,(21=，同时选择的

^

^

2^

1^

0,...,,,k ββββ要使下式尽可能小：

∑=----n i ik k i i x x y 12

^

1^

^10)

...(βββ

这个问题可通过使用多元微积分求解。这样就得到^

^2^1^0,...,,,k ββββ这k+1个未

知变量的k+1个线性方程：

0)...(^

1^11^0=----∑=ki k i n

i i x x y βββ

0)...(^

1^

11^

01=----∑=ki k i n

i i i x x y x βββ 0)...(^

1^

11

^

02=----∑=ki k i n

i i i x x y x βββ

…

0)...(^

1^

11

^

0=----∑=ki k i n

i i ik x x y x βββ

这个方程组通常被称为OLS 一阶条件。

k k x x x y ∆++∆+∆=∆^

2^

21^

1^

...βββ

第i 个观测值的残差：

^

^i i i y y u -=

① 残差的样本平均值为零。

∑==n

i i u 1

② 每个自变量和OLS 残差之间的样本协方差为零。于是，OLS 拟合值和OLS 残差之间的

样本协方差也为零。

01

^

=∑=n

i i ij u x

③ 点

),,...,,(21-

-

--y x x x k 总位于OLS 回归线上：

-

-

-

-

-

-

-

-

++++=k k x x x y ββββ (22110)

2.拟合优度

总平方和

∑=-

-=n

i i y y SST 12

)

(

解释平方和

∑=-

-=n

i i y y SSE 1

2^

)( SSR SSE SST +=

残差平方和

∑==n i i

u SSR 1

2^

10,/1/22≤≤-==R SST SSR SST SSE R

在回归中多增加一个自变量后，它绝对不会减少，而且通常会增大。

3.经典线性假设：

假定MLR.1（线性于参数） 总体模型可写成 u x x x y k k +++++=ββββ (22110)

其中，

k ββββ,...,,,210是我们所关心的未知参数（常数），而u 则是无法观测的

随机误差或随机干扰。

假定MLR.2（随机抽样）

我们有一个包含n 次观测的随机样本

}{n i y x x x i ik i i ,...,2,1:),,...,,(21=，它来自假定MLR.1中的总体模型。

假定MLR.3（不存在完全共线性） 在样本（因而在总体中），没有一个自变量是常数，自变量之间也不存在严格的线性关系。 假定MLR.4（条件均值为零）

给定自变量的任何值，误差u 的期望值为零。换句话说，0),...,,(21=k x x x u E

定理：OLS 的无偏性

在假定MLR.1~MLR.4下，下式对总体参数

j β的任意值都成立，

k j E j j ,...,1,0,)(^

==ββ，即OLS 估计量是总体参数的无偏估计。

在一个多元回归模型中包含一个或多个无关变量，或对模型进行了过度设定，并不会影响到OLS 估计量的无偏性。但对方差有影响。

遗漏了重要解释变量：设定不足时，真实总体模型为

u x x y +++=2110βββ，

遗漏变量后的模型是

u x y ++=1~

1~0~ββ（用

“~”强调来自一个设定不足的模型。） ~1^2^1~1δβββ+=，其中^1β和^

2β是如下多元回归（如果我们能得到它们）的斜

率估计量：

i y 对n i x x i i ,...,1,,21=

而

~

1δ则是如下简单回归的斜率：2i x 对n i x i ,...,1,1=

∑∑=-

=-

--=n

i i n

i i i x x x x x 1

2

111

211~

1)

()(δ

由于

~1δ仅取决于样本中的自变量，所以我们在计算)(~

1βE 时视之为固定（非随机）量。

~

1

21~1^2^1~1^2^1~1)()()()(δββδββδβββ+=+=+=E E E E

这就意味着~1β中的偏误为~

121~1~1)()(δββββ=-=E Bias （遗漏变量偏误）

有两种情况使~

1β无偏：①02=β；②~

10=δ。由于~

1δ是1x 和2x 之间的样本

协方差与

1x 的样本方差之比，所以当且仅当样本中的1x 和2x 不相关时，才会有

~

10=δ。

①

1~

1)(ββ>E ，~

1β有向上的偏误； ②

1~

1)(ββ

1β有向上的偏误；

③

更接近零比1~

1)(ββE ，~

1β有向零的偏误。

假定MLR.5（同方差性）

给定任意解释变量值，误差u 都具有相同的方差。换言之，

21),...,(σ=k x x u Var

MLR.1~MLR.5一起被称作（横截面回归的）高斯-马尔可夫假定。 定理：OLS 斜率估计量的抽样方差

在假定MLR.1~MLR.5之下，以自变量的样本值为条件，对所有的k j ,...,2,1=，都

有：