线性回归模型检验方法拓展三大检验

第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容,除了估计未知参数以外,对参数的假设检验就是实证分析中的一个重要方面。

对模型进行各种检验的目的就是,改善模型的设定以确保基本假设与估计方法比较适合于数据,同时也就是对有关理论有效性的验证。

一、假设检验的基本理论及准则假设检验的理论依据就是“小概率事件原理”,它的一般步骤就是(１)建立两个相对(互相排斥)的假设(零假设与备择假设)。

(2)在零假设条件下,寻求用于检验的统计量及其分布。

(３)得出拒绝或接受零假设的判别规则。

另一方面,对于任何的检验过程,都有可能犯错误,即所谓的第一类错误Ｐ(拒绝Ｈ|H0为真)＝α０与第二类错误P(接受H|H0不真)=β０在下图,粉红色部分表示P(拒绝H0｜H０为真)=α。

黄色部分表示Ｐ(接受H0｜H０Array不真)=β。

而犯这两类错误的概率就是一种此消彼长的情况,于就是如何控制这两个概率,使它们尽可能的都小,就成了寻找优良的检验方法的关键。

下面简要介绍假设检验的有关基本理论。

参数显著性检验的思路就是,已知总体的分布(,)F X θ,其中θ就是未知参数。

总体真实分布完全由未知参数θ的取值所决定。

对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或,从总体中抽取一个容量为n 的样本,确定一个统计量及其分布,决定一个拒绝域W ,使得0()P W θα=,或者对样本观测数据Ｘ,0()P X W θα∈≤。

α就是显著性水平,即犯第一类错误的概率。

既然犯两类错误的概率不能同时被控制,所以通常的做法就是,限制犯第一类错误的概率,使犯第二类错误的概率尽可能的小,即在0()P X W θα∈≤ 0θ∈Θ的条件下,使得()P X W θ∈,0θ∈Θ-Θ达到最大,或1()P X W θ-∈,0θ∈Θ-Θ达到最小。

其中()P X W θ∈表示总体分布为(,)F X θ时,事件W ∈{X }的概率,0Θ为零假设集合(0Θ只含一个点时成为简单原假设,否则称为复杂原假设)。

0Θ-Θ为备择假设集合,并且0Θ与0Θ-Θ不能相交。

由前述可知,当1H 为真时,它被拒绝(亦即H 0不真时,接受H ０)的概率为β,也就就是被接受(亦即Ｈ０不真时,拒绝Ｈ0)的概率就是1β-(功效),我们把这个接受1H 的概率称为该检验的势。

在对未知参数θ作假设检验时,在固定α下,对θ的每一个值,相应地可求得1β-的值,则定义=1()()P X W θβθ-∈称1βθ-（）为该检验的势函数。

统计检验的势(函数)主要用于比较假设检验的优劣。

于就是一个好的检验方程就是00max (),..(),s t βθθβθαθ∈Θ-Θ⎧⎨≤∈Θ⎩ 或 00min(1()),..(),s t βθθβθαθ-∈Θ-Θ⎧⎨≤∈Θ⎩为了理论上的深入研究与表达方便,我们常用函数来表示检验法。

定义函数1,()0,X W X X Wϕ∈⎧=⎨∉⎩它就是拒绝域W 的线性函数,仅取值0或1。

反之,如果一个函数中()X ϕ只取0或1,则{|()1}W X X ϕ==可作为一个拒绝域。

也就就是说,W 与ϕ之间建立了一种对立关系,给出一个ϕ就等价于给出了一个检验法,(我们称ϕ为检验函数)。

那么,对于检验法ϕ的势函数为()()()(,)E X X dF X θβθϕθΦ=Φ=⎰于就是,一个好的检验法又可写为00max (),..(),s t E X θβθθϕαθΦ∈Θ-Θ⎧⎨≤∈Θ⎩称满足上式的检验法为最优势检验(MPT)。

如果对于复杂原假设与备择假设,则称为一致最优势检验(UMPT )。

奈曼—皮尔逊(Neyman Pearson -)基本引理给出于()X ϕ就是MPT 的充要条件。

定理 设1,,n X X 就是来自总体分布密度为(,)p X θ的样本,θ为未知参数,对于简单假设检验问题0011:,:H H θθθθ==,检验函数()X ϕ就是显著性水平为α的最优势检验(MPT)的充要条件就是,存在常数0K ≥,使得()X ϕ满足0()E X θϕα=10101,(,)(,)()0,(,)(,)p X Kp X X p X Kp X θθϕθθ>⎧=⎨<⎩当当这就就是著名的奈曼—皮尔逊基本引理,需要指出的就是,上述定理中的检验函数()X ϕ通常称为似然比检验函数,若记10(,)()(,)p X X p X θλθ=称()X λ为似然比统计量。

如果()X λ较大,意味着1(,)p X θ较大。

所以在0H 为真时观测到样本点X 的可能性比1H 为真时观察到样本点X 的可能性小,因而应拒绝原假设0H ;反之,如果()X λ较小则应接受0H 。

此外,利用()X λ,上述定理中的()X ϕ可写为1,()()0,()X K X X K λϕλ>⎧=⎨<⎩这说明对于简单假设检验问题,似然比检验就是最优的,反之最优势检验法也一定就是似然比检验法。

而大量的文献都已证明了传统假设检验中的Z 检验、t 检验、2χ检验与F 检验都就是最优势检验。

于就是,我们可以放心地回到这部份的主题——计量经济模型的(假设)检验方法。

二、一般线性框架下的假设检验设多元回归模型为122k k Y X X u βββ=++++ (2-43)式(2-４3)的统计检验通常包括以下三种情况1、单个系数的显著性检验。

２、若干个回归系数的联合检验。

3、回归系数线性组合的检验。

从检验的方面瞧,考虑以下典型假设01、0:0j H β=。

即解释变量j X 对Y 没有影响,这就是最常见的参数显著性检验。

02、00:j j H ββ= 。

0i β就是某一具体值。

例如j β表示价格弹性,我们也许希望它就是－1。

03、012:1H ββ+=。

这里的β可以瞧成生产函数中资本与劳动的弹性,此时检验就是否规模报酬不变。

04、023:H ββ=或230ββ-=。

即检验2X 与3X 的系数就是否相同。

05、012:0k H βββ===。

即检验全部解释变量都对Y 没有影响。

06、0:0II H β=。

这里的含义就是把β向量分为两个子向量I β与II β,分别含有1k 与2k 个元素。

检验0:0II H β=就就是检验某一些解释变量II X (X 的一部分)对Y 没有影响。

诸如以上的情形都可归于一般的线性框架RB r= (2-44)注意:这里1(,)k B ββ'=。

其中R 就是由已知常数构成的q k ⨯矩阵(q k ≤),r 就是各元素为常数(一般就是０或１)的1q ⨯矩阵。

于就是,对于上述情形,R 的具体表示为(i)(010),0.(1)R r q ===(ii)0(010),.(1)i R r q β===(ｉii)(1,1,00), 1.(1)R r q === (iv)(0,1,1,0),0.(1)R r q =-==(v),0.()k R I r q k ===(vi)2200,0.()0k R r q k I ⎛⎫=== ⎪⎝⎭ 将上述假设问题一般化,则0:0H RB r -=为了检验这个假设,应先估计出ˆB,计算ˆRB r -,若其值较“小”,(接近于0),则不应否定原假设;而如果其值较大,那么应对0H 提出怀疑。

为此我们先考察ˆRB的分布。

对于OLS 的ˆB,我们知道21ˆ~(,())B N B X X σ-'。

这里的X 就是所有解释变量观测值组成的n k ⨯矩阵,其中不含全就是1的第一列,ˆRB的数学期望与方差分别就是ˆ()E RBRB = 21ˆˆˆˆ()[()()]()Var RBE R B B B B R RVarBR R X X R σ-'''''=--== 所以21ˆ~(,())RBN RB R X X R σ-'' 于就是,在0:0H RB r -=成立的条件下21ˆ~(0,())RBr N R X X R σ-''- 那么,由有关的数理统计知识可知,其中的方差经过构造,服从自由度为q 的卡方分布,q 为参数中非零的个数,即2112ˆˆ()[()]()~()RBr R X X R RB r q σχ--'''-- (2-45) 此外,我们还可以证明22'~()E En k χσ- (残差平方与的分布)。

因此,由上述两式,可构造在0H 下的F 检验统计量11ˆˆ()[()]()~(,)'()RB r R X X R RB r q F F q n k E E n k --'''--=-- (2-４6) 注意,2ˆ'()E E n k σ-=(亦即22ˆi e n k σ=-∑)。

于就是,检验的程序就是,如果计算出的F 值大于某个事先选定的临界值,则拒绝0H 。

具体描述如下01、0:0j H β=此时ˆRB 为ˆjβ。

1()R X X R -''为jj c ,即1()X X -'主对角线上的第j 个元素,1()X X -'就是一K 阶对称方阵。

因此222ˆˆ~(1,)ˆˆˆ()j j jj j F F n k c Var ββσβ==- (2－４7) 取平方根 ˆ~()ˆˆ()j j t t n k se ββ=-,这就就是传统的关于回归参数显著性的t 检验法。

02、00:j j H ββ=类似01,这里ˆ~()ˆˆ()j j j t t n k se βββ-=- (2－4８)此时也可以计算,比如j β的９5%置信区间,而不用检验关于j β的具体假设,这个置信区间就是0.025ˆˆˆ()j jt se ββ±。

03、012:1H ββ+=ˆRB 给出了两个估计系数的与12ˆˆββ+,而此时1111222()2R X X R c c c -''=++,式中1()ij X X c -'=,R=(1,1,,0)。

那么1121111112221122122[()]ˆˆˆˆˆˆˆ[(2)][2(,)][()]ˆR X X R c c c Var Cov Var Var σββββββσ-----''=++=++=+于就是检验统计量为ˆˆ~()t t n k =- (2－49)或者,也可以计算12ββ+的95％置信区间12ˆˆ()t ββ+±04、023:H ββ=类似03,可推得此时的检验统计量为ˆˆ~()t t n k =- (2－50)05、023:0k H βββ===此时 k R I =,0r =,q k =,那么ˆˆ'~(,)'()()B X XB k ESS k F F k n k E E n k RSS n k '==--- (２-51) 这就就是我们熟悉的关于回归方程显著性的F 检验。