计量经济学讲义-3--第一章 线性回归基础

4 最小二乘原理

计量经济学最关心的理论模型是类似于y x αβ=+ 表示变量之间的关系。 1. 散点图

为了弄清楚变量之间的关系，我们从画出他们的散点图开始比较好。从画的图中我们可以大体上判断以下变量之间是呈直线关系，还是二次曲线关系。这对准确建立模型很有帮助。

模型y x αβ=+代表只要我们知道x ，我们就可以完全知道y 。但是现实中不是这样。这时除了系统因素x 之外，还有其他别的因素影响y 。此时我们用确率模型 ,1,2,,t t t Y X u t n αβ=++=

来表示。其中，y 是被说明变量，或从属变量；x 是说明变量，或独立变量；u 是误差项，也可以叫做搅乱项。 2. 函数的设定与参数的意义

不同的模型定义，它所定义的参数的意义不同。为简单起见，在本节中，我们先省去误差项。我们讨论一下参数的意义。 在y x αβ=+中，dy dx

β=

，β意味着x 发生一单位的变化时，y 相应地变化几个单

位，也就是我们所熟悉的限界消费性向。

但是对于y x βα=来说，我们先两边取自然对数，log log log y x αβ=+，这时，

log log d y d x

β=，其中，log ,log dy dx d y d x y

x

==，结果log log d y x dy d x

y dx

β==。β代

表x 变化1%时，y 变化β%单位。也就是弹力性。 3. 最小二乘法

3-1． 基本符号

样本平均 1

111,n

n

t t

t t X X Y Y

n

n

===

=

∑

∑

偏离样本平均的平方和 ()

2

2222

1

1

1

n

n

n

x

t

t

t t t t S x

X

X

X nX

====

=

-=

-∑∑∑

；

()

2

2222

1

11n

n

n

y

t

t

t

t t t S y Y

Y

Y

nY ====

=

-=

-∑

∑∑

()()1

1

1

n

n

n

xy t

t t

t

t t t t t S x

y X

X

Y

Y

X Y nX Y ====

=

--=-∑∑∑

其中，,t t t t x X X y Y Y =-=-，小写代表偏离样本平均的程度，即偏差。 偏差有以下重要性质：

()1

1

0n

n

t

t

t t x

X

X

===

-=∑∑； ()1

1

0n

n

t t

t t y Y

Y

===

-=∑

∑

证明：()121

n

t n t X X X X X X X X =-=-+-++-∑

1

n

t t X nX ==

-∑

1

1

1n

n

t t t t X n X n

==⎛⎫

=

-

⎪⎝⎭

∑

∑

=0 我们可以同样证明1

0n

t t y ==∑。

下面我们再看看()

2

222

1

1

n

n

x

t

t t t S X

X

X nX ===

-=

-∑∑

。

()

()2

222

112n

n

x

t

t

t t t S X

X

X

X X X

===

-=

-+∑∑

22

1

1

2n

n

t

t t t X

X

X nX ===

-+∑

∑

()22

1

2n

t

t X

X nX nX

==

-+∑

2

2

1

n

t t X nX ==

-∑

我们用同样的方法可以求出2

,y xy S S 。 3-2． 最小二乘原理

我们定义Y X αβ=+的推定线为ˆˆˆY

X αβ=+，其中ˆY 和ˆˆ,αβ分别代表Y 和,αβ的推定值，∧读为ha.to 。当t X X =时，ˆˆˆt t Y X αβ=+。观察值t Y 与推定值ˆt Y 之间的差，我们称之为残差(residual)。在图中，用垂直于横轴的线段t e 来表示。即，ˆˆˆt t t t t e Y Y Y X αβ=-=--，t

e 代表观察时点t 时，观察值与推定值的不一致的程度。为了评价所有的观察时点1,2,,t n = ，的不一致

程度，我们用()

2

2

1

1

ˆˆn

n

t

t

t

t t e Y

X αβ===

--∑∑作为衡量的尺度。

(

)

2

2

1

1

ˆˆn

n

t

t t

t t e Y X αβ===

--∑

∑我们把2

1

n

t t e =∑称为残差平方和(residual sum of

squares,RSS)。但是我们不能用1

n t t e =∑，3

1

n

t

t e =∑和5

1

n

t t e =∑作为衡量不一致程度

的工具。因为与观察值无关，只要给出足够大的ˆˆ,αβ，1n

t t e =∑，31

n

t t e =∑和51n

t

t e =∑可以任意地变小。也就是说它们没有最小值。但是，2

1

n

t

t e =∑ 确不一样。2

1

n

t

t e =∑的值与ˆˆ,αβ有关。所以我们只要找到使得21

n

t t e =∑最小的ˆˆ,αβ最为,αβ的推