古扎拉蒂计量经济学第四版讲义Ch3 Simple Linear Regression
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5
1）普通最小二乘估计（Ordinary Least Squares, OLS）
OLS 估计量
OLS 估计的 SRF 如何决定呢？一般最小化下面这个残差平方和表达式：
n
n
∧
n
∑ ∑ ∑ RSS = ei2 = ( yi − yi )2 = ( yi − b1 − b2 xi )2
i =1
i =1
i =1
假定 1：线性回归模型。 即回归模型在参数上是线性的，这是 CLRM 的起点，全书将保持这种线性性假定。
4
假定 2：在重复抽样中，x 值是固定的，非随机的。 这个假定的根本意思就是，我们的回归分析是条件回归分析，以给定的解释变量 x 值为条件。
假定 3：干扰项具有零均值。即 E (εi | xi ) = 0 。
(3.1.2)
OLS 估计量的推导过程： 利用 centered model 来进行
∑ 令
x
=
1 n
n i =1
xi
，则中心化模型写作
yi = β1∗ + β2 ( xi − x ) + εi
β1∗ = β1 + β2 x
假定 6： εi 和 Xi 之间的协方差等于 0。即 cov (εi , xi ) = E (εi , xi ) = 0 。
假定 7：观察值的个数 n 必须大于要估计的参数的个数。
假定 8：X 值的变化必须足够大。
∑( )
或者说，X
的方差
var
(
X
)
=
Xi − X n −1
2
or
Yi = E (Y | Xi ) + εi
这里，偏差 εi 是一个不可观察的随机变量，可以取正值或负值。 我们把 εi 称为随机干扰项（stochastic disturbance）或随机误差项（stochastic error
term），它是随机的非系统的部分；而 E (Y | Xi ) 则是系统的，或确定性的部分。
注意，有些模型 look nonlinear in the parameter 但是 transform 后系数为线性的，像这 种必须通过取倒数、自然对数、变量相除等变换才能得到线性回归模型的原模型称为 intrinsically linear regression model。如：
Yi = eβ1+β2Xi +εi → ex ponential
E (Y | X i ) = β1 + β2 Xi
这里 β1, β2 未知但是却是固定的参数，称为回归系数（regression coefficients），β1, β2
也分别称为 PRF 的截距和斜率系数（intercept and slope coefficients）。
2）计量中的线性术语 本科教材一般只涉及线性回归模型，那么，何谓线性呢？
Yi = b1 + b2 X i + ei
(2.6.2)
这里 ei 表示样本残差项（sample residual term）。 ei 类似于 εi ，可以被看作 εi 的估计值。
2、古典线性回归模型（CLRM）的假定
古典（或高斯、标准）线性回归模型（CLRM）作为大部分计量理论的基石，有 10 大假定。
机变量 εi 。
4）人类行为的内在随机性（Intrinsic randomness in human behavior）； 5）不好的代理变量； 6）节减的原则（Principle of parsimony） 根据 Occam 的 razor 理论，我们应该让回归模型尽可能的简洁；当然，不应该为了简洁而把 相关的和重要的变量排除在外。 7）错误的方程形式设定。
从现在开始，我们所说的线性回归的线性性就是指这第二种含义（linear in the parameters,
the β s），并不要求 linear in the X s。给出一个表格进行总结：
3）PRF 的随机设定
我们可以用下式来表达个体 Yi 与它的条件期望值之间的偏差（deviation）：
εi = Yi − E (Y | Xi )
第三章 两变量线性回归
1、基本概念
两变量线性回归（bivariate, or two-variable regression）又称为一元线性回归或简单 回归（Simple regression analysis）。 1）一些概念－以例子引出 回归分析主要是从已知的或者确定的解释变量的值来估计或预测被解释变量的总体均值。我
与代表总体回归线的 PRF 相似，我们这里给出代表样本回归线的样本回归方程（SRF)）：
Y i = b1 + b2 X i
(2.6.1)
这里， Y i 是 E (Y | Xi ) 的估计量， b1, b2 是 β1, β2 的估计量。
和 PRF 一样，我们也可以设定 SRF (2.6.1)的随机形式：
线性性含义之一（Linearity in the variables）
线性性的首先或者也许更自然的意思是被解释变量 Y 的条件期望是解释变量 Xi 的线性函
1
数。也就是说，这里的线性概念解释为解释变量都是一次性的。
线性性含义之二（Linearity in the parameters）
线性性的第二个解释就是 Y 的条件期望是参数 β 的线性函数；它可以是，也可以不是 x 的
而 有 些 模 型 即 使 转 换 也 不 能 够 linearized in the parameters ， 这 样 的 模 型 称 为 intrinsically nonlinear regression model，简称为非线性回归模型（NLRM）。如：
( ) Yi = β1 +
0.75 − β1
（heteroscedasticity），即
var
(εi
|
xi
)
=
σ
2 i
。
假定 5：干扰项之间不存在自相关（No autocorrelation between the disturbances）。 给定任意两个 X 值，对应的两个干扰项之间的相关（correlation）等于 0。即，
( ) cov εi ,ε j | xi , xj = 0 (i ≠ j) 。
ε e + −β2 ( Xi −2) i
再用 CD 生产函数的三种不同形式来区别：
β yi =
x x e β2 β3 εi
1 i2 i3
or
ln yi = ln β1 + β2 ln xi2 + β3 ln xi3 + εi
可称为 intrinsically linear regression model。
intrinsically
a
nonlinear
model。
而 CES 生产函数
( ) yi = A δ Ki−β + 1− δ L−i β −1/ β
其中 A=scale parameter, δ =distribution parameter ( 0 < δ < 1), and β =substitution parameter ( β ≥ −1 ). 无论误差项 εi 以什么样的形式进入模型，都不可能把参数转换成线性关系。
为什么要使用随机干扰项 εi 呢？很多理由：
1）理论不清楚；
3
2）数据不可得； 3）核心变量与边缘变量之分（Core variables versus peripheral variables）； 很大的可能许多边缘变量的联合影响如此之小，以至于它最多是非系统的或者随机的，基于 实际和成本的考虑，不值得在模型中显性地引入它们。我们希望把它们的联合影响处理成随
Yi
=
1
+
1 e β1 + β2
Xi
+εi
→ logistic ( probability) distribution
function
上述 linear regression model 和 intrinsically linear regression model 统称为线性回 归模型（LRM）。
yi
=
β ε x x β2 β3 1 i2 i3 i
or ln yi = ln β1 + β2 ln xi2 + β3 ln xi3 + ln εi
2
也可称为 intrinsically linear regression model。
但是，
yi
=
β x x β2 β3 1 i2 i3
+ εi
只能是
如果对上式的两端同取期望值，得到
E (Yi | Xi ) = E E (Y | Xi ) + E (εi | Xi ) = E (Y | Xi ) + E (εi | Xi ) 这里用到了一个常数的期望值还是这个常数的性质；另外， E (Yi | Xi ) 与 E (Y | Xi ) 是一 回事，所以上述变换意味着： E (εi | X i ) = 0 。
PRL 是一个直线，但是也可能是一条曲线。更简朴的说，PRL 就是 Y 对 x 的回归。
很清楚这些条件均值 E (Y | X i ) 是 Xi 的函数，而 Xi 就是给定的 x 值。可以如下表示： E (Y | Xi ) = f ( Xi )
我们把上面的公式称为条件期望方程（conditional expectation function, CEF）或总体 回归方程（population regression function, PRF）。 比如，我们可以把线性的 PRF 设定为：
ln Yi = β1 + β2 Xi + εi → inverse semilogarithmic
ln Yi
=
来自百度文库
β1
−
β2
1 Xi
+
ε
i
→
logarithmic
reciprocal
甚至 ln Yi = ln β1 + β2 ln Xi + εi → logarithmic or double logarithmic let α = ln β1
该假定说的就是，没有显性包括在模型中而是包含在 εi 中的因素不会系统地影响 y 的均值， 正的 εi 和负的 εi 会相互抵消，所以，它们对 Y 的平均影响等于 0。
假定 4：干扰项具有同方差（Homoscedasticity）。即 var (εi | xi ) = σ 2 。
同方差的意思就是，围绕回归线的变化在不同的 x 值上是相同的，不会随着 x 的变化而增加 或减少。相反，如果 Y 总体的条件方差随 X 而变化，这种情形就称作异方差
线性函数。这里的意思就是系数必须是一次性的。如：
Yi = β1 + β2 X i + β3 X i2 + εi → quadratic
Yi
=
β1
+
β2 Xi
+
β3 Xi2
+
β
4
X
3 i
+ εi
→
cubic
Yi
=
β1
+
β2
1 Xi
+ εi
→
reciprocal
Yi = β1 + β2 ln Xi + εi → semilogarithmic
必须是一个有限的正值。
假定 9：回归模型正确设定。
假定 10：不存在多重共线性（multicollinearity）。 也就是说，在解释变量之间不存在完全的线性关系。这实际上是多元回归中的假定。这里先 提一下。
3、古典线性回归模型（CLRM）的估计 估计的方法一般是 OLS 和 MLE；总体上说，由于直观和简单，OLS 方法相对于 MLE 方法在回 归分析中用得更广泛。
们用 E (Y ) 来表示随机变量 Y 的总体均值（总体期望值），而用 Y 表示从该总体中抽取的样
本的平均值。
举一个关于总体的例子：Y 轴为月消费支出，x 轴为月收入，取 10 个 x 的固定值，每个 x 值对应若干个 y 值（每组 5～7 个 y 值不等）。
对应于这 10 个 X 值，有 10 个 Y 的均值，称为 Y 的条件均值, E (Y | X ) ；要注意与 Y 的无 条件均值 E (Y ) 相区别。把这 10 个条件均值连接起来，就得到总体回归线（PRL）。这里，
综上所述，随机干扰项 εi 在回归分析中起着极端重要的作用，我们在后面会看到。
4）样本回归方程（Sample Regression Function, SRF）
前面都是以总体为对象进行讨论的。现在我们开始讨论样本问题，因为，在实际中，我们所 有的仅仅是基于固定的 x 值的 y 的样本。所以，我们的任务是利用样本的信息来估计 PRF。 由样本数据绘制的回归线我们称为样本回归方程（SRF）或样本回归线（SRL）。由于抽样的 不稳定性，这些样本回归线至多是对真实 PRF 的近似。事实上，对于 N 个不同的样本，我们 能得到 N 个不同的 SRFs，而且这些 SRFs 不可能是相同的。
1）普通最小二乘估计（Ordinary Least Squares, OLS）
OLS 估计量
OLS 估计的 SRF 如何决定呢？一般最小化下面这个残差平方和表达式：
n
n
∧
n
∑ ∑ ∑ RSS = ei2 = ( yi − yi )2 = ( yi − b1 − b2 xi )2
i =1
i =1
i =1
假定 1：线性回归模型。 即回归模型在参数上是线性的，这是 CLRM 的起点，全书将保持这种线性性假定。
4
假定 2：在重复抽样中，x 值是固定的，非随机的。 这个假定的根本意思就是，我们的回归分析是条件回归分析，以给定的解释变量 x 值为条件。
假定 3：干扰项具有零均值。即 E (εi | xi ) = 0 。
(3.1.2)
OLS 估计量的推导过程： 利用 centered model 来进行
∑ 令
x
=
1 n
n i =1
xi
，则中心化模型写作
yi = β1∗ + β2 ( xi − x ) + εi
β1∗ = β1 + β2 x
假定 6： εi 和 Xi 之间的协方差等于 0。即 cov (εi , xi ) = E (εi , xi ) = 0 。
假定 7：观察值的个数 n 必须大于要估计的参数的个数。
假定 8：X 值的变化必须足够大。
∑( )
或者说，X
的方差
var
(
X
)
=
Xi − X n −1
2
or
Yi = E (Y | Xi ) + εi
这里，偏差 εi 是一个不可观察的随机变量，可以取正值或负值。 我们把 εi 称为随机干扰项（stochastic disturbance）或随机误差项（stochastic error
term），它是随机的非系统的部分；而 E (Y | Xi ) 则是系统的，或确定性的部分。
注意，有些模型 look nonlinear in the parameter 但是 transform 后系数为线性的，像这 种必须通过取倒数、自然对数、变量相除等变换才能得到线性回归模型的原模型称为 intrinsically linear regression model。如：
Yi = eβ1+β2Xi +εi → ex ponential
E (Y | X i ) = β1 + β2 Xi
这里 β1, β2 未知但是却是固定的参数，称为回归系数（regression coefficients），β1, β2
也分别称为 PRF 的截距和斜率系数（intercept and slope coefficients）。
2）计量中的线性术语 本科教材一般只涉及线性回归模型，那么，何谓线性呢？
Yi = b1 + b2 X i + ei
(2.6.2)
这里 ei 表示样本残差项（sample residual term）。 ei 类似于 εi ，可以被看作 εi 的估计值。
2、古典线性回归模型（CLRM）的假定
古典（或高斯、标准）线性回归模型（CLRM）作为大部分计量理论的基石，有 10 大假定。
机变量 εi 。
4）人类行为的内在随机性（Intrinsic randomness in human behavior）； 5）不好的代理变量； 6）节减的原则（Principle of parsimony） 根据 Occam 的 razor 理论，我们应该让回归模型尽可能的简洁；当然，不应该为了简洁而把 相关的和重要的变量排除在外。 7）错误的方程形式设定。
从现在开始，我们所说的线性回归的线性性就是指这第二种含义（linear in the parameters,
the β s），并不要求 linear in the X s。给出一个表格进行总结：
3）PRF 的随机设定
我们可以用下式来表达个体 Yi 与它的条件期望值之间的偏差（deviation）：
εi = Yi − E (Y | Xi )
第三章 两变量线性回归
1、基本概念
两变量线性回归（bivariate, or two-variable regression）又称为一元线性回归或简单 回归（Simple regression analysis）。 1）一些概念－以例子引出 回归分析主要是从已知的或者确定的解释变量的值来估计或预测被解释变量的总体均值。我
与代表总体回归线的 PRF 相似，我们这里给出代表样本回归线的样本回归方程（SRF)）：
Y i = b1 + b2 X i
(2.6.1)
这里， Y i 是 E (Y | Xi ) 的估计量， b1, b2 是 β1, β2 的估计量。
和 PRF 一样，我们也可以设定 SRF (2.6.1)的随机形式：
线性性含义之一（Linearity in the variables）
线性性的首先或者也许更自然的意思是被解释变量 Y 的条件期望是解释变量 Xi 的线性函
1
数。也就是说，这里的线性概念解释为解释变量都是一次性的。
线性性含义之二（Linearity in the parameters）
线性性的第二个解释就是 Y 的条件期望是参数 β 的线性函数；它可以是，也可以不是 x 的
而 有 些 模 型 即 使 转 换 也 不 能 够 linearized in the parameters ， 这 样 的 模 型 称 为 intrinsically nonlinear regression model，简称为非线性回归模型（NLRM）。如：
( ) Yi = β1 +
0.75 − β1
（heteroscedasticity），即
var
(εi
|
xi
)
=
σ
2 i
。
假定 5：干扰项之间不存在自相关（No autocorrelation between the disturbances）。 给定任意两个 X 值，对应的两个干扰项之间的相关（correlation）等于 0。即，
( ) cov εi ,ε j | xi , xj = 0 (i ≠ j) 。
ε e + −β2 ( Xi −2) i
再用 CD 生产函数的三种不同形式来区别：
β yi =
x x e β2 β3 εi
1 i2 i3
or
ln yi = ln β1 + β2 ln xi2 + β3 ln xi3 + εi
可称为 intrinsically linear regression model。
intrinsically
a
nonlinear
model。
而 CES 生产函数
( ) yi = A δ Ki−β + 1− δ L−i β −1/ β
其中 A=scale parameter, δ =distribution parameter ( 0 < δ < 1), and β =substitution parameter ( β ≥ −1 ). 无论误差项 εi 以什么样的形式进入模型，都不可能把参数转换成线性关系。
为什么要使用随机干扰项 εi 呢？很多理由：
1）理论不清楚；
3
2）数据不可得； 3）核心变量与边缘变量之分（Core variables versus peripheral variables）； 很大的可能许多边缘变量的联合影响如此之小，以至于它最多是非系统的或者随机的，基于 实际和成本的考虑，不值得在模型中显性地引入它们。我们希望把它们的联合影响处理成随
Yi
=
1
+
1 e β1 + β2
Xi
+εi
→ logistic ( probability) distribution
function
上述 linear regression model 和 intrinsically linear regression model 统称为线性回 归模型（LRM）。
yi
=
β ε x x β2 β3 1 i2 i3 i
or ln yi = ln β1 + β2 ln xi2 + β3 ln xi3 + ln εi
2
也可称为 intrinsically linear regression model。
但是，
yi
=
β x x β2 β3 1 i2 i3
+ εi
只能是
如果对上式的两端同取期望值，得到
E (Yi | Xi ) = E E (Y | Xi ) + E (εi | Xi ) = E (Y | Xi ) + E (εi | Xi ) 这里用到了一个常数的期望值还是这个常数的性质；另外， E (Yi | Xi ) 与 E (Y | Xi ) 是一 回事，所以上述变换意味着： E (εi | X i ) = 0 。
PRL 是一个直线，但是也可能是一条曲线。更简朴的说，PRL 就是 Y 对 x 的回归。
很清楚这些条件均值 E (Y | X i ) 是 Xi 的函数，而 Xi 就是给定的 x 值。可以如下表示： E (Y | Xi ) = f ( Xi )
我们把上面的公式称为条件期望方程（conditional expectation function, CEF）或总体 回归方程（population regression function, PRF）。 比如，我们可以把线性的 PRF 设定为：
ln Yi = β1 + β2 Xi + εi → inverse semilogarithmic
ln Yi
=
来自百度文库
β1
−
β2
1 Xi
+
ε
i
→
logarithmic
reciprocal
甚至 ln Yi = ln β1 + β2 ln Xi + εi → logarithmic or double logarithmic let α = ln β1
该假定说的就是，没有显性包括在模型中而是包含在 εi 中的因素不会系统地影响 y 的均值， 正的 εi 和负的 εi 会相互抵消，所以，它们对 Y 的平均影响等于 0。
假定 4：干扰项具有同方差（Homoscedasticity）。即 var (εi | xi ) = σ 2 。
同方差的意思就是，围绕回归线的变化在不同的 x 值上是相同的，不会随着 x 的变化而增加 或减少。相反，如果 Y 总体的条件方差随 X 而变化，这种情形就称作异方差
线性函数。这里的意思就是系数必须是一次性的。如：
Yi = β1 + β2 X i + β3 X i2 + εi → quadratic
Yi
=
β1
+
β2 Xi
+
β3 Xi2
+
β
4
X
3 i
+ εi
→
cubic
Yi
=
β1
+
β2
1 Xi
+ εi
→
reciprocal
Yi = β1 + β2 ln Xi + εi → semilogarithmic
必须是一个有限的正值。
假定 9：回归模型正确设定。
假定 10：不存在多重共线性（multicollinearity）。 也就是说，在解释变量之间不存在完全的线性关系。这实际上是多元回归中的假定。这里先 提一下。
3、古典线性回归模型（CLRM）的估计 估计的方法一般是 OLS 和 MLE；总体上说，由于直观和简单，OLS 方法相对于 MLE 方法在回 归分析中用得更广泛。
们用 E (Y ) 来表示随机变量 Y 的总体均值（总体期望值），而用 Y 表示从该总体中抽取的样
本的平均值。
举一个关于总体的例子：Y 轴为月消费支出，x 轴为月收入，取 10 个 x 的固定值，每个 x 值对应若干个 y 值（每组 5～7 个 y 值不等）。
对应于这 10 个 X 值，有 10 个 Y 的均值，称为 Y 的条件均值, E (Y | X ) ；要注意与 Y 的无 条件均值 E (Y ) 相区别。把这 10 个条件均值连接起来，就得到总体回归线（PRL）。这里，
综上所述，随机干扰项 εi 在回归分析中起着极端重要的作用，我们在后面会看到。
4）样本回归方程（Sample Regression Function, SRF）
前面都是以总体为对象进行讨论的。现在我们开始讨论样本问题，因为，在实际中，我们所 有的仅仅是基于固定的 x 值的 y 的样本。所以，我们的任务是利用样本的信息来估计 PRF。 由样本数据绘制的回归线我们称为样本回归方程（SRF）或样本回归线（SRL）。由于抽样的 不稳定性，这些样本回归线至多是对真实 PRF 的近似。事实上，对于 N 个不同的样本，我们 能得到 N 个不同的 SRFs，而且这些 SRFs 不可能是相同的。