第三章 回归模型的估计 概论(高级计量经济学-清华大学 潘文清)

2、极大似然估计
对具有pdf或pmf为f(Y;)的随机变量Y（其参数未知）， 随机抽取一容量为n的样本Y=(Y1,Y2,…Yn)’其联合分布为：
gn(Y1,Y2,…Yn;)=if(Yi;) 可将其视为给定Y=(Y1,Y2,…Yn)’时关于的函数，称其为关于 的似然函数(likelihood function)，简记为Ｌ() : L()= gn(Y1,Y2,…Yn;)=if(Yi;) 对离散型分布，似然函数L()就是实际观测结果的概率。 极大似然估计就是估计参数，以使这一概率最大； 对连续型分布，同样也是通过求解L()的最大化问题，来 寻找的极大似然估计值的。
二、类比估计法(The Analogy Principle)
1、基本原理
• 总体参数是关于总体某特征的描述，估计该参数， 可使用相对应的描述样本特征的统计量。 (1)估计总体矩，使用相应的样本矩
(2)估计总体矩的函数，使用相应的样本矩的函数 对线性回归模型： Y=0+1X+u
上述方法都是通过样本矩估计总体矩，因此，也 称为矩估计法(moment methods, MM)。 (3)类比法还有： • 用样本中位数估计总体中位数； • 用样本最大值估计总体最大值； • 用样本均值函数mY|X估计总体期望函数Y|X，等
可见，总体均值的极大似然估计就是样本均值，总 体方差的极大似然估计就是样本方差。
3、极大似然估计的统计性质
由数理统计学知识： (n-1)s*2/2~2(n-1)
因此， Var[(n-1)s*2/2]=2(n-1)
Var(S*2)=24/(n-1)
§3.2 估计总体关系 Estimating a Population Relation 一、问题的引入(Introduction)
注意：
(a)通常情况，如果T1、T2分别是1、 2的无偏估计 量，=1/2，则T=T1/T2并不是的无偏估计量，因为 E(T)=E(T1/T2)E(T1)/E(T2)=1/2= (b) 由于大样本下，样本矩是总体矩的一致估计量， 而任何样本矩的连续函数是对应总体矩函数的一致估 计，即有 因此，
因此，有如下最佳渐近正态估计量准则：
注意：
(1)大样本BAN准则是小样本MVUE准则的渐近版 本(version)； (2)在计量经济学中，除了精确分布已知的情况， 最佳渐近正态性，或称为渐近有效性(asymptotic efficiency)，是最常选择的准则。 (3)渐近有效估计量的直观表述为
三、极大似然估计 Maximum likelihood Estimation
1、基本原理 极大似然估计是在假设随机变量Y的分布形态已
知，而分布的若干参数未知的情形下，根据样本信
息估计这些未知参数的一种估计方法。 基本思想：在总体分布形态已知的情况下，随机 抽取总体应使
同时有如下结论：
下面考察SXY的统计性质：
容易证明： 无限样本下，样本协方差SXY是总体协方差XY 的一致估计量。
5、一元线性回归方程参数的估计 对一元线性回归模型Y=0+1X+u，在假设 E(u|X)=0的条件下，E(Y|X)= 0+1X，从而 1=XY/X2, 0=Y-1X
第三章 回归模型的估计: 通论
Regression Model Estimation: General Approaches
第二章指出，当联合概率分布p(X,Y)已知时，在 MSE最小化准则下，E(Y|X)是Y的最佳代表，被称 为是Y关于X的回归函数(regression function)，也可 称为总体回归函数(population regression function)。 而当上述总体回归函数呈现线性形式 E(Y|X)=X’0 时，则称回归模型 Y=X’+u 关于E(Y|X)正确设定，这时“真实”参数0等于最 佳线性最小二乘解*： 0=*=[E(XX’)]-1E(XY) 且 E(u|X)=0 E(Xu)=0
可以证明：b1 ,b0分别是1 ,0的无偏估计量。 Proof:
求b1的条件期望(给定X=(X1,X2…,Xn)’)： E(b1|X)=E[∑WiYi|X]=∑E(WiYi|X)=∑WiE(Yi|X)
=∑Wi(0+1Xi)=0∑Wi+1∑WiXi=1
E(b1)=E(E(b1|X))=E(1)=1 同理： E(b0|X)=E(Y|X)-E(b1|X)X=(0+1X)-1X=0 E(b0)=E(E(b0|X))=E(0)=0
样本均值是样本的1阶原点矩，它是总体期望，即 总体1阶原点矩的无偏估计量。
事实上，对总体的任何阶原点矩(raw moment) =s=E(Ys) 简单随机抽样中，对应的样本原点矩 Ms’=(1/n)∑iYis 是总体原点矩的无偏估计量。
3、总体方差的估计
对=2=E(Y- Y)2= 2 (Y未知)，类比法得
在实践中，为了区分同一参数不同的一致估计量， 需要从退化极限分布(degenerate limiting distribution) 转向渐近分布(asymtotic distribution)
尤其是，一致估计量具有以参数真实值为中心的 渐近正态分布(asymptotic normal distribution)。
Var(T)刻画了统计量Ｔ的真正的离散程度，如果它 较小，表明Ｔ不太受数据随机波动的影响； 如果Ｅ(T)-较小，表明Ｔ的分布密切围拢着。
定义: T is an unbiased estimator of iff E(T- )=0, for all . 对无偏估计量， MSE=Variance，因此，在实践 中还希望从无偏估计量中选择方差最小的。于是， 有如下最小方差无偏准则（minimum variance unbiasedness criterion） 定义: T is a minimum variance unbiased estimator, or MVUE, of iff (a) E(T- )=0 for all , and (b) V(T)≤V(T*) for all T* such that E(T*- )=0 最小方差无偏估计量也称为无偏有效估计量 (Unbiased and efficient estimator)
则E(S*2)=2，S*2为总体方差2的无偏估计。
尽管S2是2的有偏估计，但却是2的一致估计量。
4、总体协方差的估计
对=XY=Cov(X,Y)=E[(X-X)(Y- Y)]，类比法得
为了讨论该统计量的性质，需考察二元联合分布： 记(X,Y)的联合pdf为f(x,y),则有如下1阶、2阶矩 E(X)=X, E(Y)=Y
现在我们系统地讨论第二章所引出的问题：利用 样本信息估计Y与X的总体关系。 如果线性模型是正确设定的，即Y与X间的关系为 Y=E(Y|X)+U=0+1X+U 则有 1=XY/X2, 0=Y - 1X
且
E(Y|X)=0+1X为minE(U2)的解，
E(U)=0, E(UX)=0
由类比法，在一个容量为n的随机样本下，可以写 出样本线性回归模型： Yi=b0+b1Xi+i i=1,2,…,n 且有 b1=SXY/SX2 ， b0=Y-b1X
问题是：我们往往不知道总体的p(X,Y)。因此， 只能通过样本来估计总体的相关信息。 根据样本估计总体构成了回归分析的主体内容。
§3.1 参数估计：通论 Parameter Estimation: General Approaches
设(Y1,Y2,…,Yn)’是从未知总体Y~f(Y)中随机抽取 的一个样本，并由此估计总体的特征，如参数。 我们可以寻找一个关于的估计量(estimator)T， 它是关于所抽样本Y的函数：T=h(Y)
例: 假设有一正态随机样本Yi~N(,2), i=1,2,…,n， 其中未知参数=(,2)。
该似然函数与其对数函数在相同的=(,2)处达到最 大。因此可求对数函数的极大值： lnL(,2)=-(n/2)ln(2π)-(n/2)ln(2)-(1/22)(Yi-)2 极值的一阶偏导条件： ln(L)/=(1/2)(Yi-)=0 ln(L)/2=-(n/22)+(1/24)(Yi-)2=0
Questions: Are analog estimator sensible from a statistical point of view? How reliable are they? What shall we do when an analog estimator is unreliable?
要寻找最佳估计量，则需在约束∑ci=1下求解 min ∑ci2
记 则 Q=∑ci2-(∑ci -1) Q/ci=2ci - (i=1,2,…,n) Q/= - (∑ci -1) 由极值求解条件得： ci=/2, ∑ci =1 于是 ∑ci = n/2 =2/n, ci=1/n Theorem. 从任何总体中进行简单随机抽样，样本均 值是总体期望的最小方差线性无偏估计量(minimum variance linear unbiased estimator，MVLUE)。
对于某一样本(Y1,Y2,…,Yn)’，则有一个估计值 (estimate): t=h(Y1,Y2,…,Yn)
一、衡量参数估计量优劣的准则 Criteria for an Estimator
1、有限样本准则
记T为所选取的统计量，则T与参数的差异可用 均方误（mean square error, MSE）刻画： E(T-)2 由于T关于的均方误有如下分解式 E(T- )2=Var(T)+[E(T)- ]2 记[E(T)- ]=E(T)- 为T关于的偏差(bias)。
Var(X)=X2, Var(Y)=Y2,
Cov(X,Y)=XY
且可记出如下原点矩与中心矩： E(XrYs)=rs’， E(X*rY*s)=rs
其中， X*=X-X， Y*=Y-Y
V的总体期望与方差如下：
E(V)=E(X*Y*)=Cov(X,Y)=XY=11
Var(V)=E(V2)-E2(V)=E(X*2Y*2)-E2(X*Y*)=22-112
上述b1,b0是mini2/n的解，
且
i/n=0，
2、无限样本准则（Asymptotic Criteria）
有限样本往往需要知道估计量的精确分布，而这是建立 在对总体分布已知的情况下的。 如果总体分布未知，则需要依赖无限样本准则：
注意：
(1)一致性的充分条件是：lim E(Tn)=, 且 lim Var(Tn)=0
(2)同一参数可能会有多个一致估计量。如从对称分布的 总体中抽样，则样本均值与样本中位数都是总体期望=E(Y) 的一致估计量。
2、总体均值的估计 对E(Y)=，Var(Y)=2的某总体随机抽样，由类 比法(矩法)知：
记T=∑iciYi，ci为不全为0的常数。
E(T)=E(∑ciYi)=∑ciE(Yi)=∑ci
Var(T)=∑ci2Var(Yi)=2∑ci2 于是，任何无截距项，系数和为1的Yi的线性组 合都是的无偏估计量。
其分布尽可能地拟合样本数据。
对离散分布，分布特征由pmf (probability mass function) f(Y; )=P(Y)刻画，因此，极大似然估计， 就是在所抽样本Y=(Y1,Y2,…Yn)’下，寻找适当的， 以使P(Y)=f(Y;)最大。 对连续分布，分布特征由pdf (probability density function) f(Y; )刻画。依照pmf的特征，极大似然估 计，就是在所抽样本Y=(Y1,Y2,…Yn)’下，寻找适当 的，以使f(Y;)最大。