线性回归模型检验方法拓展-三大检验

第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。

对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。

一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。

（2）在零假设条件下，寻求用于检验的统计量及其分布。

（3）得出拒绝或接受零假设的判别规则。

另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误P（拒绝H|H0为真）=α和第二类错误P（接受H|H0不真）=β在下图，粉红色部分表示P（拒绝H0|H0为真）=α。

黄色部分表示P（接受H0|H0不真）=β。

而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。

下面简要介绍假设检验的有关基本理论。

参数显著性检验的思路是，已知总体的分布(,)F X θ，其中θ是未知参数。

总体真实分布完全由未知参数θ的取值所决定。

对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0()P W θα=，或者对样本观测数据X ，0()P X W θα∈≤。

α是显著性水平，即犯第一类错误的概率。

既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在0()P X W θα∈≤ 0θ∈Θ的条件下，使得()P X W θ∈，0θ∈Θ-Θ达到最大，或1()P X W θ-∈，0θ∈Θ-Θ达到最小。

其中()P X W θ∈表示总体分布为(,)F X θ时，事件W ∈{X }的概率，0Θ为零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。

0Θ-Θ为备择假设集合，并且0Θ与0Θ-Θ不能相交。

由前述可知，当1H 为真时，它被拒绝（亦即H 0不真时，接受H 0）的概率为β，也就是被接受（亦即H 0不真时，拒绝H 0）的概率是1β-（功效），我们把这个接受1H 的概率称为该检验的势。

在对未知参数θ作假设检验时，在固定α下，对θ的每一个值，相应地可求得1β-的值，则定义=1()()P X W θβθ-∈称1βθ-（）为该检验的势函数。

统计检验的势（函数）主要用于比较假设检验的优劣。

于是一个好的检验方程是00max (),..(),s t βθθβθαθ∈Θ-Θ⎧⎨≤∈Θ⎩ 或 00min(1()),..(),s t βθθβθαθ-∈Θ-Θ⎧⎨≤∈Θ⎩为了理论上的深入研究和表达方便，我们常用函数来表示检验法。

定义函数1,()0,X W X X Wϕ∈⎧=⎨∉⎩它是拒绝域W 的线性函数，仅取值0或1。

反之，如果一个函数中()X ϕ只取0或1，则{|()1}W X X ϕ==可作为一个拒绝域。

也就是说，W 和ϕ之间建立了一种对立关系，给出一个ϕ就等价于给出了一个检验法，（我们称ϕ为检验函数）。

那么，对于检验法ϕ的势函数为()()()(,)E X X dF X θβθϕθΦ=Φ=⎰于是，一个好的检验法又可写为00max (),..(),s t E X θβθθϕαθΦ∈Θ-Θ⎧⎨≤∈Θ⎩称满足上式的检验法为最优势检验(MPT)。

如果对于复杂原假设和备择假设，则称为一致最优势检验(UMPT )。

奈曼—皮尔逊（Neyman Pearson -）基本引理给出于()X ϕ是MPT 的充要条件。

定理 设1,,n X X L 是来自总体分布密度为(,)p X θ的样本，θ为未知参数，对于简单假设检验问题0011:,:H H θθθθ==，检验函数()X ϕ是显著性水平为α的最优势检验(MPT)的充要条件是，存在常数0K ≥，使得()X ϕ满足0()E X θϕα=10101,(,)(,)()0,(,)(,)p X Kp X X p X Kp X θθϕθθ>⎧=⎨<⎩当当这就是著名的奈曼—皮尔逊基本引理，需要指出的是，上述定理中的检验函数()X ϕ通常称为似然比检验函数，若记10(,)()(,)p X X p X θλθ= 称()X λ为似然比统计量。

如果()X λ较大，意味着1(,)p X θ较大。

所以在0H 为真时观测到样本点X 的可能性比1H 为真时观察到样本点X 的可能性小，因而应拒绝原假设0H ；反之，如果()X λ较小则应接受0H 。

此外，利用()X λ，上述定理中的()X ϕ可写为1,()()0,()X K X X Kλϕλ>⎧=⎨<⎩这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定是似然比检验法。

而大量的文献都已证明了传统假设检验中的Z 检验、t 检验、2χ检验和F 检验都是最优势检验。

于是，我们可以放心地回到这部份的主题——计量经济模型的（假设）检验方法。

二、一般线性框架下的假设检验设多元回归模型为122k k Y X X u βββ=++++L （2-43）式（2-43）的统计检验通常包括以下三种情况1、单个系数的显著性检验。

2、若干个回归系数的联合检验。

3、回归系数线性组合的检验。

从检验的方面看，考虑以下典型假设01、0:0j H β=。

即解释变量j X 对Y 没有影响，这是最常见的参数显著性检验。

02、00:j j H ββ= 。

0i β是某一具体值。

例如j β表示价格弹性，我们也许希望它是-1。

03、012:1H ββ+=。

这里的β可以看成生产函数中资本和劳动的弹性，此时检验是否规模报酬不变。

04、023:H ββ=或230ββ-=。

即检验2X 和3X 的系数是否相同。

05、012:0k H βββ===L 。

即检验全部解释变量都对Y 没有影响。

06、0:0II H β=。

这里的含义是把β向量分为两个子向量I β和II β，分别含有1k 和2k 个元素。

检验0:0II H β=就是检验某一些解释变量II X （X 的一部分）对Y 没有影响。

诸如以上的情形都可归于一般的线性框架RB r = （2-44）注意：这里1(,)k B ββ'=L 。

其中R 是由已知常数构成的q k ⨯矩阵（q k ≤），r 是各元素为常数（一般是0或1）的1q ⨯矩阵。

于是，对于上述情形，R 的具体表示为（i ）(010),0.(1)R r q ===L L（ii ）0(010),.(1)i R r q β===L L（iii ）(1,1,00), 1.(1)R r q ===L（iv ）(0,1,1,0),0.(1)R r q =-==L（v ）,0.()k R I r q k ===（vi ）2200,0.()0k R r q k I ⎛⎫=== ⎪⎝⎭ 将上述假设问题一般化，则0:0H RB r -=为了检验这个假设，应先估计出ˆB ，计算ˆRB r -，若其值较“小”，（接近于0），则不应否定原假设；而如果其值较大，那么应对0H 提出怀疑。

为此我们先考察ˆRB的分布。

对于OLS 的ˆB，我们知道21ˆ~(,())B N B X X σ-'。

这里的X 是所有解释变量观测值组成的n k ⨯矩阵，其中不含全是1的第一列，ˆRB的数学期望和方差分别是 ˆ()E RBRB = 21ˆˆˆˆ()[()()]()Var RBE R B B B B R RVarBR R X X R σ-'''''=--== 所以21ˆ~(,())RBN RB R X X R σ-'' 于是，在0:0H RB r -=成立的条件下21ˆ~(0,())RBr N R X X R σ-''- 那么，由有关的数理统计知识可知，其中的方差经过构造，服从自由度为q 的卡方分布，q 为参数中非零的个数，即2112ˆˆ()[()]()~()RBr R X X R RB r q σχ--'''-- （2-45） 此外，我们还可以证明22'~()E En k χσ- （残差平方和的分布）。

因此，由上述两式，可构造在0H 下的F 检验统计量11ˆˆ()[()]()~(,)'()RB r R X X R RB r q F F q n k E E n k --'''--=-- （2-46） 注意，2ˆ'()E E n k σ-=（亦即22ˆie n k σ=-∑）。

于是，检验的程序是，如果计算出的F 值大于某个事先选定的临界值，则拒绝0H 。

具体描述如下01、0:0j H β=此时ˆRB 为ˆjβ。

1()R X X R -''为jj c ,即1()X X -'主对角线上的第j 个元素，1()X X -'是一K 阶对称方阵。

因此222ˆˆ~(1,)ˆˆˆ()j j jj jF F n k c Var ββσβ==- （2-47） 取平方根 ˆ~()ˆˆ()jj t t n k se ββ=-，这就是传统的关于回归参数显著性的t 检验法。

02、00:j j H ββ=类似01，这里ˆ~()ˆˆ()j j j t t n k se βββ-=- （2-48）此时也可以计算，比如j β的95%置信区间，而不用检验关于j β的具体假设，这个置信区间是0.025ˆˆˆ()j jt se ββ±。

03、012:1H ββ+=ˆRB 给出了两个估计系数的和12ˆˆββ+，而此时1111222()2R X X R c c c -''=++，式中1()ij X X c -'=，R=(1,1,,0)L 。

那么1121111112221122122[()]ˆˆˆˆˆˆˆ[(2)][2(,)][()]ˆR X X R c c c Var Cov Var Var σββββββσ-----''=++=++=+于是检验统计量为ˆˆ~()t t n k =- （2-49）或者，也可以计算12ββ+的95%置信区间12ˆˆ()t ββ+±04、023:H ββ=类似03，可推得此时的检验统计量为ˆˆ~()t t n k =- （2-50）05、023:0k H βββ===L此时 k R I =，0r =，q k =，那么ˆˆ'~(,)'()()B X XB k ESS k F F k n k E E n k RSS n k '==--- （2-51） 这就是我们熟悉的关于回归方程显著性的F 检验。