第3章回归分析方法2

ˆ ˆ X e Y 我们只能通过SRF去估计它 Yi ˆ e 0 1 i i i i
这里，样本点与样本回归直线之间的距离，叫做残 差（residual），记作ei。
（一）最小二乘法的思路
1.为了精确地描述Y与X之间的关系，必须使用这两个变量 的每一对观察值，才不至于以点概面。 2.Y与X之间是否是直线关系？若是，将用一条直线描述它 们之间的关系。 3.在Y与X的散点图上画出直线的方法很多。任务？——找 出一条能够最好地描述 Y 与 X （代表所有点）之间的直 线。 4. 什么是最好？ — 找出判断“最好”的原则。最好指的是 找一条直线使得这些点到该直线的纵向距离的和（平方 和）最小。
扰动项u与解释变量无关
Cov( X i , ui ) E[ui E(ui )][ X j E( X j )] 0
此假定表示扰动项与解释变量不相关，即Xi项与ui项 不趋向于共同变化，各自分别独立对 Yi产生影响。 事实上，在回归分析中，X在重复抽样中固定取值，
是确定性变量，因此，Xi与ui不相关的假定一般都能够满
关于扰动项的正态性假定
假定ui服从均值为零、方差为σ2的正态分布，这也表明被 解释变量Yi服从均值为
0 1 X i、方差为
2 的正态分布
，即: Yi～N(
， ) 2. 0 1 X i
如果只利用最小二乘法进行参数估计,不需要误差项 ui 服从正态分布这个假定条件 , 如果要进行假设检验和预
古典线性回归模型的基本假定
2.模型中有随机扰动项，所以估计的参数也是随机变量， 显然参数估计量的分布与随机扰动项的分布有关，只有 对随机扰动项的分布作出某些假定，才能比较方便地确
定参数估计量的分布性质，才可能在此基础上去对参数
进行假设检验和区间估计等统计推断，也才可能对被解 释变量作区间预测。
基本假定1
其中，i和j为两次不同的观测，而cov表示协方差。
随机扰动项之间是互不相关，互不影响的，观测是相互独立的。
由于 Cov(ui , u j ) E[ui E (ui )][u j E (u j )]
E (ui u j ui E (u j ) u j E (ui ) E (ui ) E (u j )) E (ui u j ) E (ui ) E (u j ) 0
测，就必须知道总体Yi的分布情况，如果Xi为非随机变量
,总体Yi与误差项ui之间仅有均值E(Yi) 的差别。
第二节 线性回归模型的参数估计
一、一元线性回归模型 二、最小二乘法 三、多元线性回归模型 四、系数估计量的性质 五、回归方程的函数形式
二、最小二乘法
由于 Yi 0 1 X i i 是无法直接观测的
Yi 0 1 X i ui
在一定的假定条件下，普通最小二 乘法有一些非常有吸引力的统计性质，
从而使之成为回归分析中最有功效和最
为流行的方法之一。
第二节 线性回归模型的参数估计
重点：
1.对普通最小二乘法基本原理的认识
2.对最小二乘法基本假定的认识
3.对最小二乘估计量性质的认识 4.对非线性回归模型的参数估计问题
布与均值的分散程度来判断其可靠程度。
基本假定5
各个干扰项之间无自相关： 给定任意两个X值， Xi和Xj(i≠j)，ui和uj之间的相 关系数为零。简单地说，观测是相互独立的。用符号 表示：
cov(ui , u j X i , X j ) 0 cov(ui , u j ) 0若X 是非随机的
E(ui ) 0
E (ui | X i ) 0
此假定表示对于每一个Xi， ui 的值可在其条件均值的上
下波动，与其均值的偏差有
正有负，但在大量观测下， 正值抵消了负值，平均来说
其总和为零，其对 Y 的平均
影响为零。
随机扰动项的条件分布
假定3意味着：模型不存在设定误差
此假定表示对于每一个Xi，由于随机扰动因素的存在，Yi的值在
们各自对Y的影响大小。
基本假定4
同方差性或ui的方差相等： 给定X值，对所有的观测，ui的方差都是相同的。 也就是说ui的条件方差是恒定的。用符号表示为：
var(ui ) E[ui E (ui X i )]2 E (ui 2 X i ) E (ui2 ) 2
其中var表示方差。
E[ui E(ui )]2 Var(ui ) 2
因此，该假定同时表明，被解释变量Yi可能取值的分 散程度也是相同的。
异方差性 Var(ui | X i ) i
2
Y总体的条件方差不再恒定不变，随X而变化。
这意味着不是对应于不同的 X 的所有 Y源自值都是同样可靠的，要根据 Y 的分
其条件均值 E（ Y/Xi ）附近上下波动，如果模型设定正确， Yi 相对于
E(Yi/Xi)的正偏差和负偏差都会有，随机扰动项可正可负，发生的概率 大致相同，平均地看，这些随机扰动项有互相抵消的趋势。
在此假定下，才有：
E(Yi/Xi)=E[E(Yi/Xi)]+E(ui/Xi)=E(Yi/Xi)+ E(ui/ Xi) =E(Yi/ Xi)= 0 1 X i
一元线性回归模型
Yi 0 1 X i ui
被解释变量（回归子）仅与唯一的解释变量（回
归元）相关
“一元”：一个解释变量 “线性”：参数和干扰项进入方程的形式是线性的
在回归分析中我们的目的不仅仅是获得参数
估计量，而且要对真实的参数作出推断。为达到
这一目的，我们不仅要设定模型的函数形式，还 要对Yi的生成方式做出一些假定。
肯德尔，斯图亚特（1961）：
一个统计关系式，不管多强也不管多么有启发性， 永远不能确立因果关系方面的联系：对因果关系的理 念，必须来自统计学以外，最终来自这种或那种理论。
回归分析的任务
是什么？
根据样本回归模型：
ˆ ˆ X e Yi 0 1 i i
尽可能准确地估计总体回归模型：
解释变量非随机
解释变量可能本来就是随机的。但出于回归分析的目 的，我们假定它们的值在重复抽样中固定不变，即X在不 同的多个样本中取同样的一组值，从而把它转化成实质上
非随机的。这种做法的好处在于，经济学常常使用二手数
据，即使解释变量的值本质上是随机的，但就要分析的问 题而言，可以假定它们是给定的。因而，回归分析的结果 是以这些给定的解释变量值为条件的。
Yi 0 1 X i ui
Yi依赖于Xi和ui，要对回归估计值做出可靠 的解释，对变量Xi和误差项ui做出假定是极其重要
的。
古典线性回归模型的基本假定
1.只有具备一定的假设条件，对模型所作的估计才可能具 有良好的统计性质。所估计的参数才能“尽可能地接近” （即尽可能准确地估计）总体参数的真实值。
第 3章 回归分析方法
第一节 回归估计的性质
第二节 线性回归模型的参数估计 第三节 线性回归模型的统计检验 第四节 线性回归模型的计量检验
回归分析
回归分析研究一个被解释变量对另一个或多个解释变 量的统计依赖关系，其用意在于通过后者（在重复抽样中） 的已知或设定值，去估计和预测前者的总体均值。 从逻辑上说，统计关系式本身不可能意味着任何因果 关系。要谈因果律，必须诉诸先验的或理论上的思考。
这里暗含着的假定条件，也就是假定回归线通过X与Y的条件均 值组成的点。
假定3意味着：Xi和ui是不相关的
如果在给定一个随机变量的情况下，另一个随机变量 的条件均值为零，那么这两个变量之间的协方差就是零， 因而这两个变量是无关的。因此，假定3意味着解释变量 Xi和随机扰动项ui之间是不相关的。 假定Xi和ui之间不相关意味着假定两者对被解释变量 Y具有独立的影响。如果Xi和ui之间相关，就无法确定它
第二节 线性回归模型的参数估计
一、一元线性回归模型 二、最小二乘法 三、多元线性回归模型 四、系数估计量的性质 五、回归方程的函数形式
1.形式简单、估计和检验的结果表述较为
容易，更易使初学者理解和接受。
2.很容易扩展到更一般的多元情况。
被解释变量（回归子）仅与唯一的解释变
量（回归元）相关
“一元”：一个解释变量
（二）最小二乘法的基本原理
残差和最小不 是好的准则？
（二）最小二乘法的基本原理
在残差和最小化的准则下，不管各个观测点离SRF
有多远，所有残差都受到同样的重视。因此，很可能虽
然残差在SRF周围散布得很宽，但其残差总和却很小（ 甚至是零）。 采用最小二乘准则，通过对残差平方而赋予残差不 同的权重，偏离 SRF越远则获得更大的权重，即残差在
Var(ui | X i ) 2
此假定表示对于所有的 Xi ， ui 对其均值的分散程度都是 相同的，且方差都等于某个 常数 。
2
同时假定：
可以推证：因变量Yi与ui具有相同的方差，这是因为
Var (Yi ) [Yi E (Yi )]2 [ 0 1 X i ui ( 0 1 X i )]2 E (ui2 )
“线性”：参数和干扰项进入方程的形
式是线性的
对变量为线性： 在一个函数Y=f(X)中，如果变量X仅以幂或指数1出 现，并且与其他变量也没有相乘或相除关系，那么就说 Y=f(X)是X的线性函数。
对参数为线性：
在一个函数中，如果β1仅以一次方出现，而且不乘 以或除以任何其他参数，就说这个函数是参数β1的线性 函数。
基本假定6
观测次数n必须大于待估计的参数个数。
（观测次数n必须大于解释变量的个数。）
不妨设想我们只有对Y和X的一对观测值，单一的
观测是无法去估计两个未知参数的。我们至少需要两
对观测值来估计两个未知参数。
基本假定7
X变量的性质。在一个给定的样本中，X值不可以全部 相同。而且X变量的取值没有异常，即没有一个X值相 对其余观测而言过大或过小。 1.变量必须在变，否则参数无法估计。 2.变量取值异常会导致回归结果受到异常观测的支配。