第5章 多元回归分析OLS的渐近性
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
湖大商学院 chenqianli
Sampling Distributions as n
n3
n1 < n2 < n3 n2 n1
b1
湖大商学院 chenqianli
5.1 一致性
定理5.1：OLS的一致性 ˆ 在假定MLR.1-MLR.4下，OLS的估计量 b j 是参数 b j 的一致估计量 ( j 0,1, , k ) 在简单回归模型中可容易推导出：
湖大商学院 chenqianli
5.2 渐近正态和大样本推断
大样本下的其他检验：大样本下对多元排除约 束进行检验的方法还有：Wald检验、似然比检 验和拉格朗日乘数检验。它们考虑的出发点不 同，但是渐近等价的。 拉格朗日乘数检验：考虑多元回归模型 y b0 b1 x1 bk xk u 对最后q个变量是否排除的假设为： H0 : bk q1 bk 0
湖大商学院 chenqianli
2ห้องสมุดไป่ตู้
a
5.2 渐近正态和大样本推断
以上定理的重要之处在于，它去掉正态性假设 MLR.6，只要求误差项具有有限方差。它指出， 只要样本足够大，进行参数检验和构造置信区 间，都与经典线性模型下的做法完全一样。 样本容量要多大才能符合大样本的要求？有些 学者认为n=30就令人满意，但这不可能对付u 的所有可能的分布，样本还是尽可能的大，这 在社会科学基本能满足。在大样本下使用的统 计量又称渐近统计量。
湖大商学院 chenqianli
5.1 一致性
估计量的无偏性固然重要，但并非总能实现， 如回归中 的估计量 ˆ 就不是无偏估计量。既 然并非所有有用的估计量是无偏的，所以几乎 所有的经济学家都同意，一致性是对一个估计 量的最起码要求。 描述一致性有几种不同方法，直观的理解为： 如果一个估计量是一致的，则随着样本容量的 增加，该估计的分布会越来越紧密地分布在所 估计的真实参数的周围，当n趋于无穷时，其 分布就紧缩成单一的点，即真实参数值。 一致估计量允许我们通过增加样本容量的途径来 对未知参数做出符合任意精度要求的估计。
定理5.2：OLS的渐近正态性
Under theGauss - Markovassumption s,
2 2 ˆ (i) n b j b j ~ Normal0, a j ,
where a
2
2 j
ˆ plimn r
a 1 2 ij
ˆ is a consistentestimatorof (ii) ˆ b se b ˆ ~ Normal 0,1 (iii) b j j j
第五章 多元回归分析：OLS的渐近性
前两章讨论的多元回归模型的OLS估计 量的性质是有限样本、小样本或精确性 质，即对任何样本容量均成立的性质。 在统计推断时，我们需要假设误差项服 从正态分布的MLR.6，如果此假设不成 立，t统计量和F统计量不再原先的分布， 由此有必要了解估计量和检验统计量的 渐近性质或大样本性质。
二元回归模型中遗漏变量的偏误：
ˆ b b , cov x , x / var x p lim b 1 1 2 1 1 1 2 1
湖大商学院 chenqianli
5.2 渐近正态和大样本推断
为了对参数的假设进行检验，需要知道OLS估 计量的抽样分布。在经典线性模型下，MLR.6 是OLS估计量服从正态分布的关键，此假设要 求误差项u服从正态分布。如果此假设不成立， 则常用的t统计量和F统计量不再具有原来的分 布。 如何检验MLR.6是否成立？此假设意味着在自 变量给定下y服从正态分布，这可以通过y的观 察值来检验，一些回归方程中的因变量显然不 服从正态性，如被拘捕的次数，养老金的参与 率等。 在MLR.6不成立情况下，如何进行假设检验？ 这需要求助于大样本理论的中心极限定理，即 讨论在样本容量趋于无穷时，OLS估计量的渐 近分布。 湖大商学院 chenqianli
湖大商学院 chenqianli
ˆ b cov x , u / var x p lim b j j 1 1
多元回归的推导涉及到大样本理论，比较复杂。
湖大商学院 chenqianli
5.1 一致性
OLS估计量的不一致性：误差项与任一自变量 相关 简单回归的渐近偏误：
ˆ b cov x , u / var x p lim b j j 1 1
ols的渐近正态性????0normal?isassumptionmarkovgaussunderthe22jajjan????湖大商学院chenqianli????????10normal??iiiofestimatorconsistentais?ii?plimwhere22212ajjjijjserna?????????52渐近正态和大样本推断?以上定理的重要之处在于它去掉正态性假设mlr6只要求误差项具有有限方差
LM统计量只要求估计约束模型：
y b0 b1 x1 b k q xk q u
湖大商学院 chenqianli
5.2 渐近正态和大样本推断
在原假设成立下，u 应该与样本中这些变量都不相 关，LM检验就是利用约束模型回归后的残差来 对此进行检验，采用的辅助回归：
u 0 1 x1
2 nR 检验统计量：LM= u
k xk v 2 q
具体步骤见书p177
湖大商学院 chenqianli
5.3 OLS的渐近有效性 Asymptotic Efficiency
• Estimators besides OLS will be consistent • However, under the Gauss-Markov assumptions, the OLS estimators will have the smallest asymptotic variances • We say that OLS is asymptotically efficient • Important to remember our assumptions though, if not homoskedastic, not true
Sampling Distributions as n
n3
n1 < n2 < n3 n2 n1
b1
湖大商学院 chenqianli
5.1 一致性
定理5.1：OLS的一致性 ˆ 在假定MLR.1-MLR.4下，OLS的估计量 b j 是参数 b j 的一致估计量 ( j 0,1, , k ) 在简单回归模型中可容易推导出：
湖大商学院 chenqianli
5.2 渐近正态和大样本推断
大样本下的其他检验：大样本下对多元排除约 束进行检验的方法还有：Wald检验、似然比检 验和拉格朗日乘数检验。它们考虑的出发点不 同，但是渐近等价的。 拉格朗日乘数检验：考虑多元回归模型 y b0 b1 x1 bk xk u 对最后q个变量是否排除的假设为： H0 : bk q1 bk 0
湖大商学院 chenqianli
2ห้องสมุดไป่ตู้
a
5.2 渐近正态和大样本推断
以上定理的重要之处在于，它去掉正态性假设 MLR.6，只要求误差项具有有限方差。它指出， 只要样本足够大，进行参数检验和构造置信区 间，都与经典线性模型下的做法完全一样。 样本容量要多大才能符合大样本的要求？有些 学者认为n=30就令人满意，但这不可能对付u 的所有可能的分布，样本还是尽可能的大，这 在社会科学基本能满足。在大样本下使用的统 计量又称渐近统计量。
湖大商学院 chenqianli
5.1 一致性
估计量的无偏性固然重要，但并非总能实现， 如回归中 的估计量 ˆ 就不是无偏估计量。既 然并非所有有用的估计量是无偏的，所以几乎 所有的经济学家都同意，一致性是对一个估计 量的最起码要求。 描述一致性有几种不同方法，直观的理解为： 如果一个估计量是一致的，则随着样本容量的 增加，该估计的分布会越来越紧密地分布在所 估计的真实参数的周围，当n趋于无穷时，其 分布就紧缩成单一的点，即真实参数值。 一致估计量允许我们通过增加样本容量的途径来 对未知参数做出符合任意精度要求的估计。
定理5.2：OLS的渐近正态性
Under theGauss - Markovassumption s,
2 2 ˆ (i) n b j b j ~ Normal0, a j ,
where a
2
2 j
ˆ plimn r
a 1 2 ij
ˆ is a consistentestimatorof (ii) ˆ b se b ˆ ~ Normal 0,1 (iii) b j j j
第五章 多元回归分析：OLS的渐近性
前两章讨论的多元回归模型的OLS估计 量的性质是有限样本、小样本或精确性 质，即对任何样本容量均成立的性质。 在统计推断时，我们需要假设误差项服 从正态分布的MLR.6，如果此假设不成 立，t统计量和F统计量不再原先的分布， 由此有必要了解估计量和检验统计量的 渐近性质或大样本性质。
二元回归模型中遗漏变量的偏误：
ˆ b b , cov x , x / var x p lim b 1 1 2 1 1 1 2 1
湖大商学院 chenqianli
5.2 渐近正态和大样本推断
为了对参数的假设进行检验，需要知道OLS估 计量的抽样分布。在经典线性模型下，MLR.6 是OLS估计量服从正态分布的关键，此假设要 求误差项u服从正态分布。如果此假设不成立， 则常用的t统计量和F统计量不再具有原来的分 布。 如何检验MLR.6是否成立？此假设意味着在自 变量给定下y服从正态分布，这可以通过y的观 察值来检验，一些回归方程中的因变量显然不 服从正态性，如被拘捕的次数，养老金的参与 率等。 在MLR.6不成立情况下，如何进行假设检验？ 这需要求助于大样本理论的中心极限定理，即 讨论在样本容量趋于无穷时，OLS估计量的渐 近分布。 湖大商学院 chenqianli
湖大商学院 chenqianli
ˆ b cov x , u / var x p lim b j j 1 1
多元回归的推导涉及到大样本理论，比较复杂。
湖大商学院 chenqianli
5.1 一致性
OLS估计量的不一致性：误差项与任一自变量 相关 简单回归的渐近偏误：
ˆ b cov x , u / var x p lim b j j 1 1
ols的渐近正态性????0normal?isassumptionmarkovgaussunderthe22jajjan????湖大商学院chenqianli????????10normal??iiiofestimatorconsistentais?ii?plimwhere22212ajjjijjserna?????????52渐近正态和大样本推断?以上定理的重要之处在于它去掉正态性假设mlr6只要求误差项具有有限方差
LM统计量只要求估计约束模型：
y b0 b1 x1 b k q xk q u
湖大商学院 chenqianli
5.2 渐近正态和大样本推断
在原假设成立下，u 应该与样本中这些变量都不相 关，LM检验就是利用约束模型回归后的残差来 对此进行检验，采用的辅助回归：
u 0 1 x1
2 nR 检验统计量：LM= u
k xk v 2 q
具体步骤见书p177
湖大商学院 chenqianli
5.3 OLS的渐近有效性 Asymptotic Efficiency
• Estimators besides OLS will be consistent • However, under the Gauss-Markov assumptions, the OLS estimators will have the smallest asymptotic variances • We say that OLS is asymptotically efficient • Important to remember our assumptions though, if not homoskedastic, not true