stata中级计量经济学课件多元线性模型设定和估计

xi 2 ...
yi
in1xi
yi
xik
K 1
2020/7/13
18
例子：工资方程的估计
数据来自Wooldridge，wage1
logwage 0 1educ 2exper 3tenure u
XX
b
Xy
b1
b2 b3
=
b0
2020/7/13
19
1.3 OLS估计的代数特征
根据一阶条件（正规方程组）：XXb Xy = -Xy - Xb = -Xe = 0
• 4.回归拟合值的均值等于实际数据的均值。这一
结论来自第一条。
yˆ y
2020/7/13
20
yi xib+ei =yˆi ei
ei 0,模型预测的值拟合值低于真实值； ei 0,模型预测的值拟合值高于真实值；
2020/7/13
21
1.4* 分块回归
回归模型:
y = X11 + X22 + (总体） = X1b1 + X2b2 + e (样本)
ε | X ~ N 0, 2I
注/7/13
7
回归模型的线性形式
• 注意，线性是指 参数和干扰项进入方程的形式, 而 不是指变量之间的关系。
• E[y|x] = 1 f1(…) + 2 f2(…) + … + K fK(…). fk() 可以是数据的任何函数.例如:
1
主要内容
• 经典线性回归模型
– 假设 – 设定 – 估计
• 数据问题：多重共线性、缺失、异常值 • 线性估计的软件操作 • 主要基于鲍姆第四章内容和Greene第2，3，
4章的部分内容。
2020/7/13
2
1.1 经典线性回归模型
• 多元线性回归可以表示“其他条件不变时，自变量对因变量的偏效
应”，通用形式为：
简单线性模型:y = X 二次多项式模型：y 1x 2x2
对数线性常弹性模型：lny 0 kk lnxk
半对数模型：lny 0 1x t ; y 0 1 lnx
超越对数模型：lny kk lnxk 1 / 2 k lkl lnxk lnxl
*例：超越对数模型
• 见鲍姆P65.
2020/7/13
17
交叉矩阵*
in1xi21
X'X
=
n i 1
xi
2
xi1
...
in1 xi1 xi 2 in1 xi22
...
... in1xi1xiK
xi21
... ...
n i 1
xi
2
...
xiK
=in1
xi2 xi1 ...
xi1 xi 2 xi22 ...
参数无法估计。
C 1 2nonlabor income 3salary 4total income
其中，total income salary nonlabor income 令
2 2 a 3 3 a 4 4 a
a为任意数。模型可以重新表示为：
C 1 2nonlabor income 3salary 4total income
earnings 1 2education 3age 4age2 2、3和4表示什么意思呢？ 多元线性回归的一个关键特点，是能够容许我们进行在数据中观
测不到的概念上进行试验。
2020/7/13
5
矩阵标注*
用矩阵形式可将线性回归表示为：
y = Xβ + ε
y1 x11 x12
y
i 1
i 1
FOC
:
(y
-
Xb0 )'(y b 0
-
Xb0
)
2 X'(y
-
Xb0
)
=0
(11)/(K 1) = (-2)(n K)'(n 1)
= (-2)(K n)(n 1) = K 1
注意：11 标量对 K 1 向量的导数是 K 1 向量.
令b为解: X'y = X'Xb b= X'X-1 X'y
线性回归模型可以解释为对某种未知函数关系的一种近似。
根据泰勒级数近似方法，将y f x在x0处进行一阶泰勒展开： y f x f x0 f x0 x x0 f x0 x0 f x0 f x0 x x
超越对数函数通常认为是对未知函数的二阶近似。
首先，将函数写成y = g x1, , xK ，基于一个简单变换,xk exp ln xk 将原函数变化为ln y f ln x1, ln xK 将上述函数在点x 1,1,...,1 处进行二阶泰勒展开，于是：
(Aspect Ratio = Height/Width). This is a perfectly respectable theory of art prices. However, it is not possible to learn about the parameters from data on prices, areas, aspect ratios, heights and signatures.
零条件期望（严格外生性）：E[εi |X]=0。样本中第i次观 测到的干扰的期望值，不是任何一次观测到的自变量的函 数。也就是说自变量不能为预测干扰项提供信息。并且
E[εi ]=EX[E[εi |X]]=0.
球形干扰：同方差和无自相关 vari | X 2 ,cov i, j | X 0,i j 正态性：干扰项服从均值为0和方差为常数的正态分布，
久收入。
•…
2020/7/13
4
例：工资与受教育程度
一个简单的回归模型可以表示为：
earnings 1 2education
earnings=2 education，2表示其他因素不变时 =0 教育对收
入的影响。
一般随着年纪的增加，收入提高。加入年纪的影响：
earnings 1 2education 3age 2和3表示什么意思呢？ 许多事实表明，收入增长的速度在后期比初期要慢，再扩展为：
因此，对X的每一列xk，都有 : xke 0。如果X的第一列都是1，那么：
n
• 1.残差和等于0。 ei 0 i 1
• 2.每个自变量和残差之间的样本协方差为0.
1
n
n i 1
xiei
0
或理解为正交条件E xi i 0的样本形式。
• 3.总是经过均值点。y = Xb + e iy = iXb + ie,除以n得y xb
2020/7/13
11
例：完全共线性：An Unidentified (But Valid) Theory of Art Appreciation
Enhanced Monet Area Effect Model: Height and Width Effects
Log(Price) = α + β1 log Area + β2 log Aspect Ratio + β3 log Height + β4 Signature + ε
K
l 1 kl
ln
xk
ln
xl
2020/7/13
9
例：工资方程
logWAGEi 0 1Si 2TENUREi 3EXPERi i
• 其中，WAGE=工资率；S=接受教育年限，TENURE=当前工 作岗位的持续年限，EXPER=劳动经验（即当前与以往的工 作总年限）。该方程满足线性形式，y=log(WAGE)。因变 量取对数形式，称为“半对数形式”，该方程是通过下述 的工资率水平与自变量的非线性关系得到的：
类似的，用yi xiβ i，i 1, 2, , n，表示模型对应的单独观测值。 yi的观测值为一个确定性部分和一个随机性部分i之和。
经典线性模型的假定（CLM）
线性： y=Xβ+ ε ，或对某单个观测 yi xiβ i
满秩（可识别）：不存在任何自变量之间的完全线性关系， 否则参数是不可识别的。
log Height=1/2*(log Area + log Aspect Ratio )
零条件均值：严格外生性
干扰项是从某个总体中完全随机的抽取的，回归函数所涉及 的不可观测因素都和可观测因素系统的不相关。
1.E i | X 0 E i =0
E
x j1i
E
2.E x ji =
x j2i
WAGEi exp0 exp1Si exp2TENUREexp3EXPERexpi
• 半对数形式的回归系数解释成百分比的变化而非水平变化，
如1 =0.05表示增加1年的教育大约能提高5%的工资水平。
• 对数形式的变换相当于数量的百分比变化
2020/7/13
10
满秩
• 矩阵X列满秩, 即X的列线性独立，并且最少有K个观测值。 • 下面的模型中存在一种精确的线性关系，违背了该假设，
20c20o/7e/1f3ficients)。
22
0.
E x jKi
即自变量与误差项正交。于是有：
E y | X Xβ
2020/7/13
13
经典回归模型的图示
2020/7/13
14
1.2 模型的估计：最小二乘法
• 线性模型的未知参数是我们要估计的对象。注意总体参数 （β、ε）和样本估计值（b、e）的区别。
干扰项：i yi xiβ; 对任意的b值，我们用残差来
ln y f 0
K
k 1
f
/ ln xk |ln x0 ln xk
+ 1 2
K k 1
K l 1
f
2
/ ln xk ln xl |ln x0 ln xk ln xl
这个函数及其导数在ln x 0处是常数，因此，可以整理成
ln y=0
K
k 1 k
ln
xk
1 2
K k 1
b称为OLS估计量。这里注意估计量是个随机变量。
如果解释变量只包含一个常数项呢？
2020/7/13
16
*矩方法估计量
• 矩法估计量是由矩条件定义的，矩条件被假定对总体矩是成立的，当 用不可观测总体矩的样本对应形式代替总体矩时，就能得到参数的可 行估计量。零条件均值意味着：每个解释变量和误差项都不相关。
Frisch Waugh Lovell定理：
在向量y对两组变量X1和X2的线性最小二乘回归中，将y 对X1做回归并得到残差，然后将X2的每一列对X1做回归 并得到一组残差，将前者所得残差对后者所得残差集再
做回归，就可以得到子向量系数b2。
这个过程被称为剔除(partialing out)或净化(netting out)X1 的影响，因 此多元回归中的系数通常又称为偏回归系数(partial regression
y2
x21
x22
yn
xn1
xn 2
=x11 xK K ε
=Xβ ε
x1K 1 1
x2 K
2
2
xnK
K
n
注，约定的表示方法：
x : 表示一个变量;x : 表示一个 列向量;X : 表示一个矩阵
x k 表示第k 个变量; xi表示第i个观测形成的列向量，也就是说xi表示X的一行。
yi xi11 xi2 2 xiK K i
yi的观测值为一个确定性部分与一个随机性部分i之和。
扰动项（误差项）ε
• 随机扰动项因“扰动”了原本稳定的关系 而得名：
– 无法包含所有可能产生影响的因素，被忽略的 以误差项表示；
– 测量误差，如资本存量、受教育程度； – 经济理论有定义，现实无可观测的对应，如永
估计
：
i
ei
yi
xib
根据定义：yi xiβ i xib ei
误差项
总体量β是未知参数，希望
用 yi , xi 来估计它们：选择
一个向量b, 使得拟合线xib接 近数据点。
总体回归 残差项
样本回归
2020/7/13 15
*OLS估计量的正规方程
• 最小二乘估计量最小化残差平方和
n
n
minb0 ei2 yi xib0 2 (y - Xb0 )'(y - Xb0 )
... xi1xiK
...
xi
2
xiK
... ...
in1xiK xi1 in1xiK xi2 ...
in1xi2K
xiK xi1 xiK xi2 ...
xi2K
xi1
=in1
xi 2 ...
xi1
xi 2
...
xiK
=in1xixi
xik
K K
xi1
X'y
=
n i 1
在向量对两组变量做回归并得到一组残差将前者所得残差对后者所得残差集再做回归就可以得到子向量系数这个过程被称为剔除partialingout或净化nettingoutx的影响因此多元回归中的系数通常又称为偏回归系数partialregressioncoefficients
经典线性模型：设定和估计
2020/7/13
y f x1, x2 , , xK x11 x22 xK K
i是未知待估参数， 是无法观测的满足一定限制条件的误差项。
• 例如:
– 对某商品的需求和收入、价格有关; – 工资方程里年龄和教育效应 – 影响经济增长的因素：资本、劳动力、人力资本、区位因素、基
础设施等
– 我们假设样本中每一个观测值都是由如下过程生成的：