第三章回归模型的估计概论高级计量经济学清华大学
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
根据样本估计总体构成了回归分析的主体内容。
§3.1 参数估计：概论 Parameter Estimation: General Approaches
设(Y1,Y2,…,Yn)’是从未知总体Y~f(Y)中随机抽取 的一个样本，并由此估计总体的特征，如参数。
我们可以寻找一个关于的估计量(estimator)T， 它是关于所抽样本Y的函数：T=h(Y)
(3)类比法还有： • 用样本中位数估计总体中位数； • 用样本最大值估计总体最大值； • 用样本均值函数mY|X估计总体期望函数Y|X，等
Questions: Are analog estimator sensible from a statistical point of view?
How reliable are they? What shall we do when an analog estimator is unreliable?
第三章 回归模型的估计: 概论
Regression Model Estimation: General Approaches
第二章指出，当联合概率分布p(X,Y)已知时，在 MSE最小化准则下，E(Y|X)是Y的最佳代表，被称 为是Y关于X的回归函数(regression function)，也可 称为总体回归函数(population regression function)。
有限样本往往需要知道估计量的精确分布，而这是建立 在对总体分布已知的情况下的。
如果总体分布未知，则需要依赖无限样本准则：
注意： (1)一致性的充分条件是：lim E(Tn)=, 且 lim Var(Tn)=0 (2)同一参数可能会有多个一致估计量。如从对称分布的
总体中抽样，则样本均值与样本中位数都是总体期望=E(Y) 的一致估计量。
2、总体均值的估计 对E(Y)=，Var(Y)=2的某总体随机抽样，由类
比法(矩法)知：
记T=∑iciYi，ci为不全为0的常数。 E(T)=E(∑ciYi)=∑ciE(Yi)=∑ci Var(T)=∑ci2Var(Yi)=2∑ci2 于是，任何无截距项，系数和为1的Yi的线性组 合都是的无偏估计量。
对于某一样本(Y1,Y2,…,Yn)’，则有一个估计值 (estimate):
t=h(Y1,Y2,…,Yn)
一、衡量参数估计量优劣的准则 Criteria for an Estimator
1、有限样本准则
记T为所选取的统计量，则T与参数的差异可用 均方误（mean square error, MSE）刻画：
(a) E(T- )=0 for all , and
(b) V(T)≤V(T*) for all T* such that E(T*- )=0
最小方差无偏估计量也称为无偏有效估计量 (Unbiased and efficient estimator)
2、无限样本准则（Asymptotic Criteria）
对无偏估计量， MSE=Variance，因此，在实践 中还希望从无偏估计量中选择方差最小的。于是， 有如下最小方差无偏准则（minimum variance unbiasedness criterion）
定义: T is a minimum variance unbiased estimator, or MVUE, of iff
要寻找最佳估计量，则需在约束∑ci=1下求解 min ∑ci2
记 Q=∑ci2-(∑ci -1)
则 Q/ci=2ci -
(i=1,2,…,n)
Q/= - (∑ci -1ຫໍສະໝຸດ Baidu 由极值求解条件得：
ci=/2, ∑ci =1 于是 ∑ci = n/2 =2/n, ci=1/n
Theorem. 从任何总体中进行简单随机抽样，样本均 值是总体期望的最小方差线性无偏估计量(minimum variance linear unbiased estimator，MVLUE)。
E(T-)2 由于T关于的均方误有如下分解式
E(T- )2=Var(T)+[E(T)- ]2 记[E(T)- ]=E(T)- 为T关于的偏差(bias)。
Var(T)刻画了统计量Ｔ的真正的离散程度，如果 它较小，表明Ｔ不太受数据随机波动的影响；
如果Ｅ(T)-较小，表明Ｔ的分布密切围拢着。
定义: T is an unbiased estimator of iff E(T- )=0, for all .
样本均值是样本的1阶原点矩，它是总体期望，即 总体1阶原点矩的无偏估计量。
而当上述总体回归函数呈现线性形式
E(Y|X)=X’0
时，则称回归模型 Y=X’+u
关于E(Y|X)正确设定，这时“真实”参数0等于最
佳线性最小二乘解*：
0=*=[E(XX’)]-1E(XY)
且
E(u|X)=0 E(Xu)=0
问题是：我们往往不知道总体的p(X,Y)。因此， 只能通过样本来估计总体的相关信息。
在实践中，为了区分同一参数不同的一致估计量， 需要从退化极限分布(degenerate limiting distribution) 转向渐近分布(asymtotic distribution)
尤其是，一致估计量具有以参数真实值为中心的 渐近正态分布(asymptotic normal distribution)。
因此，有如下最佳渐近正态估计量准则：
注意：
(1)大样本BAN准则是小样本MVUE准则的渐近版 本(version)；
(2)在计量经济学中，除了精确分布已知的情况， 最佳渐近正态性，或称为渐近有效性(asymptotic efficiency)，是最常选择的准则。
(3)渐近有效估计量的直观表述为
二、类比估计法(The Analogy Principle)
1、基本原理 • 总体参数是关于总体某特征的描述，估计该参数，
可使用相对应的描述样本特征的统计量。 (1)估计总体矩，使用相应的样本矩
(2)估计总体矩的函数，使用相应的样本矩的函数 对线性回归模型： Y=0+1X+u
上述方法都是通过样本矩估计总体矩，因此，也 称为矩估计法(moment methods, MM)。
§3.1 参数估计：概论 Parameter Estimation: General Approaches
设(Y1,Y2,…,Yn)’是从未知总体Y~f(Y)中随机抽取 的一个样本，并由此估计总体的特征，如参数。
我们可以寻找一个关于的估计量(estimator)T， 它是关于所抽样本Y的函数：T=h(Y)
(3)类比法还有： • 用样本中位数估计总体中位数； • 用样本最大值估计总体最大值； • 用样本均值函数mY|X估计总体期望函数Y|X，等
Questions: Are analog estimator sensible from a statistical point of view?
How reliable are they? What shall we do when an analog estimator is unreliable?
第三章 回归模型的估计: 概论
Regression Model Estimation: General Approaches
第二章指出，当联合概率分布p(X,Y)已知时，在 MSE最小化准则下，E(Y|X)是Y的最佳代表，被称 为是Y关于X的回归函数(regression function)，也可 称为总体回归函数(population regression function)。
有限样本往往需要知道估计量的精确分布，而这是建立 在对总体分布已知的情况下的。
如果总体分布未知，则需要依赖无限样本准则：
注意： (1)一致性的充分条件是：lim E(Tn)=, 且 lim Var(Tn)=0 (2)同一参数可能会有多个一致估计量。如从对称分布的
总体中抽样，则样本均值与样本中位数都是总体期望=E(Y) 的一致估计量。
2、总体均值的估计 对E(Y)=，Var(Y)=2的某总体随机抽样，由类
比法(矩法)知：
记T=∑iciYi，ci为不全为0的常数。 E(T)=E(∑ciYi)=∑ciE(Yi)=∑ci Var(T)=∑ci2Var(Yi)=2∑ci2 于是，任何无截距项，系数和为1的Yi的线性组 合都是的无偏估计量。
对于某一样本(Y1,Y2,…,Yn)’，则有一个估计值 (estimate):
t=h(Y1,Y2,…,Yn)
一、衡量参数估计量优劣的准则 Criteria for an Estimator
1、有限样本准则
记T为所选取的统计量，则T与参数的差异可用 均方误（mean square error, MSE）刻画：
(a) E(T- )=0 for all , and
(b) V(T)≤V(T*) for all T* such that E(T*- )=0
最小方差无偏估计量也称为无偏有效估计量 (Unbiased and efficient estimator)
2、无限样本准则（Asymptotic Criteria）
对无偏估计量， MSE=Variance，因此，在实践 中还希望从无偏估计量中选择方差最小的。于是， 有如下最小方差无偏准则（minimum variance unbiasedness criterion）
定义: T is a minimum variance unbiased estimator, or MVUE, of iff
要寻找最佳估计量，则需在约束∑ci=1下求解 min ∑ci2
记 Q=∑ci2-(∑ci -1)
则 Q/ci=2ci -
(i=1,2,…,n)
Q/= - (∑ci -1ຫໍສະໝຸດ Baidu 由极值求解条件得：
ci=/2, ∑ci =1 于是 ∑ci = n/2 =2/n, ci=1/n
Theorem. 从任何总体中进行简单随机抽样，样本均 值是总体期望的最小方差线性无偏估计量(minimum variance linear unbiased estimator，MVLUE)。
E(T-)2 由于T关于的均方误有如下分解式
E(T- )2=Var(T)+[E(T)- ]2 记[E(T)- ]=E(T)- 为T关于的偏差(bias)。
Var(T)刻画了统计量Ｔ的真正的离散程度，如果 它较小，表明Ｔ不太受数据随机波动的影响；
如果Ｅ(T)-较小，表明Ｔ的分布密切围拢着。
定义: T is an unbiased estimator of iff E(T- )=0, for all .
样本均值是样本的1阶原点矩，它是总体期望，即 总体1阶原点矩的无偏估计量。
而当上述总体回归函数呈现线性形式
E(Y|X)=X’0
时，则称回归模型 Y=X’+u
关于E(Y|X)正确设定，这时“真实”参数0等于最
佳线性最小二乘解*：
0=*=[E(XX’)]-1E(XY)
且
E(u|X)=0 E(Xu)=0
问题是：我们往往不知道总体的p(X,Y)。因此， 只能通过样本来估计总体的相关信息。
在实践中，为了区分同一参数不同的一致估计量， 需要从退化极限分布(degenerate limiting distribution) 转向渐近分布(asymtotic distribution)
尤其是，一致估计量具有以参数真实值为中心的 渐近正态分布(asymptotic normal distribution)。
因此，有如下最佳渐近正态估计量准则：
注意：
(1)大样本BAN准则是小样本MVUE准则的渐近版 本(version)；
(2)在计量经济学中，除了精确分布已知的情况， 最佳渐近正态性，或称为渐近有效性(asymptotic efficiency)，是最常选择的准则。
(3)渐近有效估计量的直观表述为
二、类比估计法(The Analogy Principle)
1、基本原理 • 总体参数是关于总体某特征的描述，估计该参数，
可使用相对应的描述样本特征的统计量。 (1)估计总体矩，使用相应的样本矩
(2)估计总体矩的函数，使用相应的样本矩的函数 对线性回归模型： Y=0+1X+u
上述方法都是通过样本矩估计总体矩，因此，也 称为矩估计法(moment methods, MM)。