部分线性模型的经验似然比检验

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

华中师范大学
硕士学位论文
部分线性模型的经验似然比检验
姓名:***
申请学位级别:硕士
专业:概率论与数理统计
指导教师:***
201205
㈣⑧硕士学位论文
MASl。

ER‟S…I.HESlS
摘要
部分线性模型是1986年由Engle等【b】在研究天气对电力需要的影响时首次提出.这种模型同时包含线性参数部分和非参数部分,比线性模型更自由灵活,比非参数模
型更全面,应用十分广泛.
在引言中,我们介绍了部分线性模型的来源,以及研究现状.目前,部分线性模
型的估计方法日臻成熟.然而,对模型检验的研究仍不是很成熟.接下来介绍了
各专家学者对模型检验的研究,主要有基于似然函数、基于残差标志过程和基
于A却£i口eⅣe可m觚方法的检验,并讨论了上述方法的局限性.
本文研究的模型为
y=卢Tx+夕(T)+£,
其中x为d维随机向量,T为d1维随机向量,卢为d维未知参数,夕(.)为光滑函数.给定X,T时,E的期望为零,方差为盯2.研究的假设检验为
凰:E(yx,T)=卢Tx+夕(T)H曰j:E(yIx,T)≠卢rx+9(T).
本文利用经验似然比统计量进行检验,经验似然比统计量由OWen【15】首次提出.在2.1节中,我们给出了这种方法的详细介绍.首先由模型(1.3)得到一组相互独
立数据的(t1,x1,y1),(t2,x2,耽),…,(t竹,】(,l,‰),定义仇,
忱亍(执一卢Tx…一夕(ti))(xi一又),
其中叉为样本均值.从而给出假设检验的经验似然比统计量
Innnl
‰=-2警i善log(嗽)1A>o,;A_1,∑A仇_0,,
其中仇为鼽的估计值.利用眈眇n哪e乘子法以及加权最小二乘法,我们可以给
出A玩的估计值,由此所得的估计值依分布收敛于x2分布.这种方法的优点有:一是
它没有涉及任何方差估计,二是没有对置信域的形状加以约束,第三它是B口舡e亡t可
纠偏的等.
关键词:部分线性模型,经验似然比,中心极限定理,x2分布

⑧硕士学住论文
M人STER‟S…l…Hl三SlS
ABSTRACT
Thepartiallinearmodelisfirstlyputf
orward
byEngle【6】锄dso0n.,Wh阻
th呵stu击edtherelationb酏WIeenweather粕delectrici毋s出船in1986.Thism
od-
elcontainsboththe1inearpar啦etricpart衄dthenon-par铷皿etricpart,ism
ore
practicalthanthelinearmodel姐dmorecomprehensiv

th衄戗屺non-par锄netric
mo£lel,soitwaswidelyused.
ofa
sta土us.Atpresent,theestimationmethodofap砌-七iallylinearmodhel
h勰mat删.
H讲代v凹,modeltestisstiⅡno七、陀ryⅢa土11】陀.So,inthen∞吐secti0咀weintroduce
∞met髑tsr越sedbythestatistical唧eIrts趾dthe1iInitatio璐oftho跎tests,m血ly
c0Ⅱtajnedthetestb勰edonthelikelihoodhmction.ba躜donther髑idu妇ad【edproce8s,andbase

anthen螂tt,eⅣe!,rn口ntest.
.Ther∞e缸chmDdelinthisarticleis
y=卢Tx+夕(T)+E,
w,hereXisthed.dime璐ionalrandomvec七or,Tisd1一di】mensionalr皿domvector,
卢isd-diⅢensionaLl瑚【hownpar锄ete瑙,9(・)isasm00thfImcti叽.whenx,Tare
舀、reⅡ,the唧ectationof£iszer0,thevarianceis盯2.Thehypothesisis
凰:E(yIx,T)=矿x+夕(T)卜_÷凰:E(yIx,T)≠厣rx+夕(T).
Inthisarticle,Weusetheempirical
l酬ihoodratio(ELR)statisticWhich啷
缸stputforwar

byOWen【15l,togivethetest.InsectioⅡ2.1,Wegivethedetajlsof
theEL

statistic.w.ec8ngetthedata(t1,x1,玑),(t2,X2,暑『2),…,(t。

,‰,鲰)thr唧
model(1.3).ThenWedefinethe协,
妒…=(鼽一∥乇q一夕(ti))(xi一_),
叉istheme龃ofthesamplie.Then,西vetheEL

stat斌icofthehypoth鹤is,

F诬It,we introduce the∞11rce
partiauy linear model,鹄weU嬲the research
A协=一2警{喜bg㈨,l鼽≥。

,喜A=1,喜AA=。

),
氟is
theestim曲ed、讪le of仇.W.e
ca丑丘nd out the
estimated、试ue
of A日o
by
眈9rn竹ge
multiplier method and the weighted least 8quar鹤estima土e method.Tbi8
II
㈣value咖g晒do哪tfor∞【锄pleinvol、re衄y谢anceest幻1atio璐,do鹤ntccInstr洳tther觚ge⑧
确士学位论文
M人STER‟S…l‟l{ESIS
in djst曲ution
t0 X2 distribution.卫lis test h硒m锄y.advantag邵,
it
of the confidence
re百。

璐,and
is the B口缸e优rectification and
80 on.
Ke)啪rds:the partial 1inear model,the empiric越likelihood ratio,the central limit
theorem,X2 distribution
III
㈣⑧硕士学位论文
M^S1。

ER‟SIfHESlS
1引言
回归模型中研究应用最为广泛的是线性参数模型,但现实生活中总有些变量与
自变量之间没有明显的线性关系,如纵向数据之间的关系.纵向数据是统计研究中
一类复杂的类型,主要出现于生物、医学以及经济学中,这类数据不能用线性模型精
确的反映,否则会产生很大的偏差,故而统计学家提出了非参数回归模型,即
y=夕(x)+g,
其中9(.)是未知函数,E满足G口uss—M口r克伽条件.这种模型的假设更宽松些.对此类
模型可以用局部估计法、B样条估计、正交级数法等方法估计.
薛留根,朱力行等瞄,】用部分线性模型对纵向数据进行了拟合,其拟合效果比上
述模型更加明显.部分线性模型是同时包含线性参数部分和非参数部分的模型.该
类模型的表达式为
y=p。

x+夕(T)+£,(1-1)
其中x为d维随机向量,T为d1维随机向量,卢为d维未知参数,夕(.)为光滑未知函数.
给定X,T时,E的期望为零,方差为矿2.这类模型是Engle等【b】在研究天气对电力需要
的影响时提出的.模型中既包含线性参数部分,把握模型的大致走向并作出外延性
预测;也包含非参数部分,对模型进行局部调整.因此,这类模型比线性模型更自由灵
活,比非参数模型更全面,现实意义和应用性更强些.
部分线性模型属于广义线性模型.广义线性模型最早由Nelder等【14】提出,它的
一般表达式为

,@-,…,z七;尻,…,岛)=∑岛Tjcf(z・,…,瓢),(1.2)
这里,,1,…,厶是自变量z1,…,z。

的已知函数.回归模型(1.2)是线性的,因为回归模
型的线性是只对参数尻,…,岛而言的【24】.对于(1.1)式而言,显然有(1.2)的形式.其中
七=d+1,p=2,
展=卢,仍=1,^=x,厶=夕(T).
模型的研究主要包含模型的估计和检验两个方面,针对部分线性模型提出的估
计方法有很多,如Zeger和Diggle【21l研究感染病人体内CD4细胞数随时间变化的趋势时利用后移算法和迭代算法给出了部分线性模型的估计方法.Mo鹏d和Di991e【13】
改进了上述方法并给出了估计的收敛速度.Lin和CaⅡol【12】通过改进∥D,订e核方法

⑨㈣硕士学位论文
MASl…ER‟S。

l‟}IESlS
提出了核广义估计方程的方法.张日权、王静龙【2奶给出了部分线性模型的局部
线性M-估计的方法.部分线性模型的估计方法不是本文介绍的重点,此处不做赘
述.本文讨论的是关于模型的假设检验.针对部分线性模型检验的研究并不广泛,方
法不多,2.2节中将简单介绍几种检验方法以及相应方法的局限性.本文则是根
据OWen【lbl提出的经验似然比方法给出了参数口的检验统计量.
本文的模型是
y=∥x+夕(T)+£(1.3)
其中x为d维随机向量,T为d1维随机向量,声为d维未知参数,夕(.)为光滑未知函数.这里,我们不再要求£一定要服从正态分布,而是只需满足
E(£Ix,T)=o,"n7-(£)=仃2
两个条件,那么假设检验就是
日0:E(y}x,T)=卢Tx+夕(T)卜_÷日1:E(ylx,T)≠酽x+夕(T).(1.4)
假设(1.4)中的未知参数只有卢和夕两个.因此,要检验部分线性模型的拟合优度,需分
别对参数向量p和非参数方程夕进行检验,本文采用2.1节介绍的经验似然法构造了
检验参数向量卢的统计量,而对于9的检验,由于水平有限,未做探讨.故而在实际举例
时,默认非参数方程9己知.
本篇文章的具体内容是这样安排的:第1节为引言部分,主要介绍了部分线性模
型的研究背景以及研究现状:第2节为预备知识,分为两个小节,第一小节介绍了经
验似然统计量的构造方法,第二小节则是对部分线性模型的检验方法做了简单介
绍,先分别介绍了基于似然函数、残差标志过程、A如砧i口eⅣe剪mo礼法三种方法的检验过程,然后对本文的经验似然比检验进行简单介绍,这也是对后面两节的大纲性
的总结;第3节主要介绍了部分线性模型的经验似然比检验,第一小节为构造相应
的统计量.第二小节则是统计量的性质研究和模型检验;第4节是数据模拟研究;
第5节是前面引理与定理的证明.

⑨情形.帆【均】彳艮早就对上述问题做了详细的研究,许多学者对这方面的研究也以㈣
硕士学位论文
M人S…l…El之‟S。

l…J{1三SlS

预备知识
2.1
经验似然比统计量
根据Wilks的研究,对数似然比有很好的逼近性质,在一定正则条件下,似然比的
对数函数经过简单的变化可收敛于x2分布.我们都知道,似然比的分布一般是很难求 出的,所以导致似然比检验的功效也不容易求得.然而,根据其逼近性质,可以对功效 值做一个近似的估计,如显著水平为Q,样本容量为n的似然比检验的功效函数就可 以表示为
风≈p(x2≥x。

(o)),
其中风是假设检验的功效函数,p(-)表示概率.
经验似然比是由Thomas和Gn加kemeier【l子】在估计KD川Qn—Meier曲线的生存
概率函数时首次应用的.在生存分析中,对带删失数据的生存函数做非参数极大似
然估计可得到K—M曲线,他们讨论了基于x2(1)的生存概率的经验对数似然比区
间是否有适当的收敛水平,答案是肯定的.
在非参数统计中,样本的经验分布函数常被用作总体的极大似然估计函数.经验 似然比则是利用经验分布函数来定义似然比统计量.经验似然比方程可以用来构造
样本均值的置信区间,也可以将Wilks在参数情形下给出的逼近性质扩展到非参数
此为依据,本文主要的方法也是依据经验似然比的性质进行的.
Owen定义了由分布函数局得到的独立观测数据蜀,…,墨的经验分布函数
为R,R可看做昂的非参数极大似然估计量.相应的极大似然函数定义为
L(F)=Ⅱ{声(x)一F(x一)),
t=1
那么,似然比方程就是
即)=器,
其中F是X的分布,若原假设成立,则
一2logR与x2.

A≥o,∑乃=F(x)一F(五一),(i=1,…,n),
i:xi=x…

(2.1)
(2.2)
㈣⑧硕士学位论炙
MASl。

£k‟S…1.IlJ三SIS
在观察数据下,可定义似然方程
£(EP)=Ⅱ
(2.3)
扛1A,
其中P是以(2.2)式中p…为元素的向量,这里(2.3)就是经验似然方程.使得(2.3)式取最大值的条件是
F:R,m:…:pn:三,
那么,经验似然比方程为
应(只P)=n吩.(2.4)在非参数情形下,OWelnfl5】给出了如下定理.‟
定理1设X,五,恐,…是独立随机变量,有非退化分布函数昂,且满足
/卵d娲<姒.
对0<c<1,令
%n=.【FIR(F)≥c,…F《R),
且定义
XUn=脚jz氓xLn=试lz珉
这是两个都通过F求得的极值.那么,当n一∞时,
∥f拖,n≤刀(x)≤五功卜专∥(妒(1)≤一2logc).
定理的证明见文献[15】,此处不做赘述.设R(F)≥c,令
甄=fF∽)一F(耳))屈,1≤南=cDr烈置I置=五),
根据定理1,若接受原假设,在给出(2.2)式时,每个结点作为一个单独的数据,_t满足(2.2)式且。

丌瓴
氟耵)_娶肾蒜础∽)≥c.7

(2.6)

硕士学位论炙
M人S‟l…£l之‟S‟l‟ll ESlS
反之,若假设詹(只P)≥c,凫(F,P)满足(2.4)式,那么,
即Ⅲc咖需=挚c.
所以,对任意c∈【o,1】总有
{F:R(F)≥c}={F:A(只p)≥c,p满足(2.2)式】..
综上所述,(2.4)式中鼽满足以下条件
p…≥o,∑A=1,Ⅱ觑≥c.
定义检验的经验似然比统计量为
(2.5)


、A(EP)=-2警ilogA(F,P)2若log(唿)l A≥o,∑A。

1,Ⅱ觋≥c,,
再利用L09rm夕e乘子法可求出(2.6)的确切表达式.

㈣⑧硕士学位论文
MAS1。

£k‟S1‟llESlS
2.2部分线性模型检验方法简介
部分线性模型的一般形式为
y=卢Tx+9(T)+£,
其中x为d维随机向量,T为d1维随机向量,p为d维未知参数,夕(・)为光滑未知函数,对£的要求不尽相同,但是都要满足均值为0的前提.假设检验设为
y=卢Tx+9(T)+£Hy≠矿x+9(T)+E.
检验一般是针对卢,夕和误差E进行的,并根据三者的估计量来构造相应的检验统计
量.下面简单介绍几种模型检验方法.
2.2.1基于似然函数的检验方法
利用似然法可以求出模型(1.1.)中参数卢的估计,具体的方法是通过部分线性模
型分别构造原假设和对立假设成立时,含有(声,夕)的似然函数方程,进而构造似然比
统计量.通过这个方法求得的估计量偏差较小,而且以最优速度(礼-1/2)逼近.但是我
们都知道,似然方程的表达式不易求出,或者形式比较复杂.Cuzick【4】做了这方面的研究,他研究的模型是
挑=甄p+蜘(如)+既i,
其中执是响应变量,卢为参数,夕为未知可测函数,叩表示夕的可能值,仃是未知的正
数忍,南为随机变量.这里为了给出似然方程,要求.【矗】.是独立同分布的,均值为零,且
有密度函数,.那么,给定甄,赴时,相应的条件似然函数表示为
三(卢,钾㈨黾,如)=Ⅱ盯…1,他(p,矿,,7)).
i=1
似然函数已知的前提下可构造似然比统计量R,在大样本情况下,
R与x2,
一2log
据此可对假设进行检验.
㈣阽,燃志∑(毒2一争2),

硕士学位论文
M人S‟I.ER‟S。

1.1lESlS
2.2.2
基于残差标志过程的检验方法
基于残差标志的检验在参数模型检验中已有研究,如Stute,Gonz缸Man. teig瘌Presedo Q血dimil【l,】提出了基于残差标志过程构造了参数检验的统计
量.在非参数检验中,利用残差标志过程进行检验有其很好的性质,如检验对所有全 局各择假设相合;检验可以检测到以最快速度(扎.1/2)逼近原假设的局部各择假设 等.但是,这类检验方法也有其欠缺的一面,如容易遇到维数灾难的问题,检验的功效
依赖于残差函数的光滑程度.
对假设(1.3)进行检验,需利用残差估计量芒,构造检验统计量CK,如残差标志过
程蚴为
1三
R@,z)=_杀芝二白u(巧)J(岛≤t,巧≤z),
V”j=l
其中u为任意权重,J是示性函数,亡,z为任意值.进而给出检验统计量
,c%=/.,(%(正x))2dR(tx),
式中,R是基于观察数据的经验分布.然后,根据实际数据得出CK值.再随机产
生m组数据,根据上述构造计算出相应C碟。

J值,i=1,…,m.那么,p=七/(仇+1),七表
示c议。

J值大于或等于cK值的个数,再与显著性水平进行对比判别,若其大于显著
性水平则接受原假设.
2.2.3
基于A如讲锄eⅣe可m彻珐的检验方法
A缸讲锄eⅣe"讥n检验是由‰,Huang【,】提出并应用于广义线性模型的,部分
线性模型作为特殊的广义线性模型也可用这种方法进行检验,而且这种方法的检
验统计量的构造主要依赖于误差E,且要求£一Ⅳ(0,盯2),样本容量为礼,设残差统计量
为拿,将其做傅里叶展开
誊为一。

=(罢)1肛喜c。

s(2丌巧/n)&,
锡=(圹喜sin陬帏一…协
【.】表示取整函数.令争=(者,…,蠢),A如砧it,eⅣe秒m口n统计量定义为
l≤m≤n、/2钉l子4±,、‟
㈣去何刍"…_一叫。



硕士学位论炙
MAS‟l…l£R‟S 1‟lll三SlS
子是盯的相合估计量.在原假设(1.3)成立的条件下
P(T<z).÷唧(一唧(一z)).
若给定显著性水平乜,易求出检验的否定域.Ad印统ueⅣe可mo几检验也依赖于残
差的构造,尽管这种方法将检验由一维推广到了多维,但在非参数检验中,仍有可能 出现维数灾难,而且如何光滑函数是一个具有挑战性的问题.
本文则是利用2.1节介绍的方法构造关于目的检验统计量。

在线性模型中,卢的估 计量一般用最小二乘法表示,部分线性模型属于广义线性模型,故而可以用加权最 小二乘估计表示.相较于前面介绍的方法,之所以采用经验似然法,是因为一它没有 涉及任何方差估计,二是它没有对置信域的形状施加约束,而有数据自行决定,三是
它是Bo缸et亡可纠偏的,优于BD优5打op法.Kolaczyk【l上】在Owen研究的基础上推广到
了广义线性模型,W抽g与Jing等l州】研究了部分线性模型下该方法的应用.
本文的方法是构造包含参数卢的随机变量恍,
仇=‰一卢Tx一9(t…))(】【…一又),
据此定义刀.0的经验似然比统计量





概=q警t萎log㈨)|A>0,萎鼽_1,∑A饥_0,,
(2.7)
仇是代入声后仇的估计量,根据五叼r觚夕e乘子法求出A日。

的具体表达式.
根据第5节引理可知,{仇)是满足中心极限定理的,即
壹仇与Ⅳ(帅2∑) 根据A凰的表达式以及仇的性质,最终给出本文定理,A日。

是依分布收敛到自由度
为d的卡方分布的.故而,可以给出假设检验参数卢的置信区间.
㈣=一矿E(x T)+卢Tx+r(T),
r。


(3.6)7-(t)=E(y T=t),

硕士学位论文
M人S1‟ER‟S。

1.H ESlS

部分线性模型的检验
本章研究的模型为
y=卢Tx+夕(T)+s, (3.1)
其中x为d维随机向量,T为d1维随机向量,卢为d维未知参数,9(・)为光滑函数.给 定x,T时,E的期望为零,方差为口2.相互独立数据的(t1,x1,暑『1),(t2,x2,仇),…,(tn, ‰,‰)是根据模型(3.1)得到的.
假设检验为
风:E(yI x,T)=卢Tx+夕(T)÷_寸皿:E(y x,T)≠矿x+夕(T).
3.1统计量的构造
设。

(3.2)
U(T,x)=‟x—E(xI T)'
y(T,y)=y—E(yI T),
那么,(3.2)式中日0可转换为
兰掣獬I葛鬻嚣‟
(3.3)
强4,
那么,
E【(y一卢Tu(T,x)一7.(T))I(x,T)】
=E【y|(x,T)】一E【pTu(T,x)I(x,T)】一E【r(T)I(x,T)】
=E【y I(x,T)】一卢Tu(T,x)一r(T)
=0.

E【(y一矿u(T,x)一,‟(T))I(x,T)】=o,
(3.5)
式中,
篙翥…:‟三≯∽以印】‟
其中S=E(U旷u2(T))为正定,u(・)是一个有界的非负加权函数且具有紧支集
fn,6】c【o,1】.
㈣篡雪):轰黑唆

硕士学位论文
M人Stl。

ER‟S。

Hl ESIS
根据式(3.3)、式(3.6),利用加权最小二乘估计构造p和7.的估计,对i=1,…,他,定

觚)=去∑h(tt—tJ),
相应的,定义
驱一,=三妻嘴铲,船M,=去妻嘴铲,
痧(tt,】【t)=】(i一或(xIT=tt),矿(ti,玑)=玑一忘(yIT=tt),
其中h(£)=丢K(§),危是带宽,满足第5节条件c,,K(・)是连续核函数,满足第5节条件
口和r的估计分别是
矿(乜)=匠(yI T=ti),毪)眠玑)雌),
其中雪=雪(痧护u(T))=击∑竺。

扩(tt,K)疗(tt,】【…)Tu2(tt).
在第5节cl。

ct条件下,何(声一卢)依分布收敛到均值为零的正态分布【22】.
(3.7)
⑨硕士学位论文
M人S1…EI之‟S…l。

}ll三SlS
3.2统计量的性质
定义残差龟=纨一声T痧(ti,】【i)一矿(t…),若日0成立,构造辅助随机变量
妒i=(玑一卢Txi一9(t…))(xt一又),
又为样本均值,x己知,那么可以推得E(忱)=o.日0的经验似然比检验统计量定义为概=一2警{喜bg㈨№≥。

,喜鼽=1,喜鼽仇=。

).
将(3.7)式中声的表达式代入协中,就得到估计量晚的表达式,
・A=(玑一声Tx;一鸯(ti))(x;一又)
=(玑一声r痧(乜,】【…)一手(t;))(麓一又)
=邑()c…一x).
.[仇)是满足中心极限定理的.
在给出引理以及定理之前,首先规定以下条件成立:
c1:当noo。

时,以危2-÷o以及何^o。

o;(保证检验统计量的相合性)
c2:核函数K(・)是对称的概率密度函数,在它的支撑集【一1,1】上有界变差,£】K(让)砒=
1,以及.仁,l"IK(t…)砒≠o;(关于非参数估计收敛速度的常用条件)
c3:记E(x;‟X)=∑,E(爵lt…)<oo,E“x14)<∞,E(1y14)<oo,i=1,…,n:
(最小二乘渐近正态性的必要条件)
c4:记E(yIT=t)的一阶导数为E(1)(ylT=t).假定E(ylT=t),E(1)(yIT=t),以及给定T=t,x的条件分布函数F(xt)满足条件:存在原点的邻域,不妨记为M和常数c(c>O),对任意m∈M,所有t和z,有
T=t)I≤cImI;
lE(xT=t+m)一
E(x
IE(1)(yIT=t+m)一E(1)(yT=t)I≤cImI;
IF(xIt+m)一F(xt)I≤cm1.
引理1在条件c1一c4成立的前提下,若原假设凰成立,
0n笔”辄(吣2∑).一
假定。

在点(乒1,…,A)的凸集的内部,利用眈夕ro叼e乘子法【51,可以得到部分线性模型的经验似然比检验统计量入日。

的表达式为
入未=2∑log(1+酽仇),
…=1
其中目是d×1向量且满足0口I|_q(n一;),以及
善志一o-
引理2在条件c1一c4成立的前提下,若原假设凰成立,
三参矗驸∑.
根据引理以及已知条件,我们可以推到出检验统计量的逼近性质.定理2在条件c1一c4成立的前提下,若原假设凰成立,
A日0与始
其中与表示依分布【(殳敛,x:表示自由度为d的x2分布.
在显著性水平Q下,拒绝原假设日。

的范围是(3.8)(3.9)
pHo={入日oA胁≥x:(1一Q)).(3.10)
㈣⑧硕士擎饭论炙
MASl‟ER‟SfHESlS
4数据模拟研究
下面我们通过实际的一个模型来检验统计量的效果.本文考虑一维数据下的模

×=卢T五十夕(五)+鼠.
为对假设(3.2)进行模拟,我们做如下假设,
五一Ⅳ(1,2),正一U(o,1),p=1,夕(互)=siⅡ(27r正).
核函数可以设为高斯核,
玩(・)2志唧(一(…)2/2^2),
带宽为^=n1/5T,T为互的标准差.
这里考虑鼠一Ⅳ(o,1),£t—u(一钷,插),矗一Ⅳ(o,2)和矗一u(一怕,怕)四
种情况,前两种情形的E的方差矿=1,后两种情形的仃2=2.样本容量分别取n=
50,100,200,显著性水平分布取O.10和O.05.对经验似然比置信区间的覆盖率做5000次模拟(程序见附录),x2检验的维度是可知的,故可以得出式(3.10)中的x:(1一Q)值,那
么在样本容量为礼时,就可以确定(3.10)这个集合,覆盖率就定义为集合元素个数
与礼的比值.四种情形的模拟结论如表垂1,表冬2所示.
表缸1仃2=1时,卢的经验似然比置信区间的覆盖率(a为显著水平)
nQ=0.1口=0.05
£一Ⅳ(0,1)E—u(一怕,怕)
50
100
200
50
100
200
0.8890
O.8944
0.9066
0.8894
O.9034
0.9028
0.9426
0.9454
O.9548
0.9438
0.9526
0.9366
㈣⑧磋士擘位论文
II蠢人S.1…EI之‟S。

l…llESlS
表垂2沪=2时,∥的经验似然比置信区间的覆盖率(口为显著水平)
nn=
0.1
Q=0.05
E一Ⅳ(o,2)£一u(一怕,诉)
50
100
200
50
100
200
0.8826
0.8996
0.9002
0.8810
0.8996
O.9000
0.9382
0.9500
0.9514
0.9366
0.9470
0,9478
从表中可以看出,每组模拟结果与相应1一口值很接近,说明我们这个检验统计量检验效果很明显.
⑨硕士学饭论文
M人S1…ER‟S。

1.HESlS
,,5定理证明
下面给出各引理和定理的证明.
引理1的证明
证:因为,
&=鼽一声T痧(tt,凝)一矿(ti)
=卢Tx…+夕(tt)+白一声T痧(乜,xi)一产(乜)
=毛+(卢T&一pT】【…)+【夕(t…)+口T忘(xI乜)一最(yIti)】.
所以,
仇=&伍一叉)
=矗(x一叉)+(卢T】【…一伊Ⅺ)(】【i一叉)+【夕(乜)+伊应(xIt…)一杰(yt)】()【一又)
=厶…+如+k,
(5.1)其中
厶…=岛(xt一丈),
坛=(卢T】【…一伊x)(】【i一叉),
氏=函(t;)+矿最(xIti)一或(yltt)】k一又).经简单计算可得
E{击喜五t)=。

,‰{击喜五t)=仃2∑.
根据已知条件,可以推出击∑五i满足c‟彻曙er一ⅣDzd定理的条件和Li死de6er夕的
条件.因此,由中心极限定理得
去∑丸辄(0'矿∑).
那么,接下来只需证明
k与0(5.2)
土何一I氏与0(5.3)
⑨硕士学位论文
M人S‟j…£k‟S…l…l引巳SlS
在己知条件下,何(声一p)服从均值为零的正态分布,声为p的加权最小二乘估计,由前面叙述可知,声是卢的弱相合估计,应用文献【23】中定理3.1及定理3.1‟,经简单计算可得
Et0击喜kll2)=扎。

1喜硎lx一叉||2,q㈣与。


即(5.2)式证明成立.
对于(5.3)式,
忘(ylt。

)=扈【(prx+9(T)+E)Itt】=忘(卢rxl屯)+忘【夕(T)ltt】.
所以,
E{Il击∑:,氏孵
=E{0击∑羔,【9(tt)一应(夕(T)Itt)+厉r盅(xItt)一应(卢rx
=n_1∑竺,E(1lK一叉惝q(1).
由上式可知,
E峙喜叫轧因此,由中心极限定理及刷uts幻定理得
击善仇辄(0'沪∑).
引理1证毕.
引理2的证明
证:由(5.1)式可知
仇=五…+k+k.

如=坛+k,
上式就等价于
仇=氏+如.
16ltt)】(】ci一叉)112】.
(5.4)
n各
(去∑汹 叫(三
∑:i磁。

).
那么,
1÷.一个
一夕,协忱1
=三喜五t圮+丢喜岛t磁+三喜屯磁+去喜
B2;礤
=毋+忌+R3+忍,
其中
冗-2丢蚤^t磁,嘞=丢蚤如磁,
飓=击∑凡磁,皿=击∑如瑶.
t=1 i=1
利用大数定律可得出
R1与盯2∑.
下面证
风与o,(钉=2,3,4).
首先考虑飓的证明,记岛,,。

表示R2的(r,5)元素.岛ir表示三i2t的第r个分量,根据仇谳Ⅳ一
.S娩硼盯z不等式可得
飓,一≤
利用文献【27】中引理1,可以推出

n。

∑赡与o.
、§

(5.5)
…=l
结合(5.5)式可得
尼与O.
同理可证,
最与0,口=2,3,4.
引理2证毕.
定理的证明
证:这里仍使用引理1中的记号.那么,
l仇lI≤攫慧IIjrltIl+熙Il坛|l+
17

A日o=2∑{矿A一墨}}+0p(1),
t=1L ,=娄加一喜仇五T口+喜琶篙
=1…=1…=l

硕士学位论炙
!11人S‟fER‟S…l…lI ESlS

尬2燃㈧l,%2黪㈦,%2黑㈦・
根据Co僦幻一Sc^Ⅲ口rz不等式和弓f理2的证明方法,可以证得
%=q(n;),飓=0p∽{).
利用文献【15】中的引理3可得
尬=Dp∞{).
结合引理2,可知
糕恻l=0p(几§).
(5.6)
现将(3.8)式做乳讲Dr展开,已知恻I=0p(佗一§),结合引理1及(5.6)式,计算得
利用(3.9)式推得
舻2壹b一掣1+吣
(5.7)
r 丝
台1+矿仇
再结合引理1,引理2,(5.7),(5.8)式,可得
∑(矿蛾)2=∑俨仇+0p(1),
(5.8)
(5.9)
从而,可知
…=l
i=1


、一1

因此,由(5.10)式可得
p={∑(慨旁)}∑仇+q(n一§).
L…=l J …=1
(5.10)
A日o={击喜仇,T矿以t击喜蟊),
c5m,
其中矿:7l一1妻(A菇T),由(5.11)式可以推得定理结论.
定理证毕.
㈣H.c删ce【2】chenJ—sieⅣe咖pirical like曲oodrattio【8】王7抽J.,zhang【9】Hed哑衄N.E..Spline锄oothingp砒ial

j莠士学位论文
MAS。

j.ER‟S…fH ESlS
参考文献
f1】BertailP..Empiri瑚likelihood
in some
s唧ipar锄etric models【J】.B咖oulH
Society.2006,12:29皿331.
rate
f曲parametric components in

partly
uneaur mod-
el【J】.TheJhmalls of Statistics.1988,16:13昏146.
【3】chen H.,shi皿J.G..A栅0-stage
spl妇锄00thing
method for parti枷y
linear
models【J】.Joum以ofStatisticaLlPlan血g蛆d In缸ence.199l,27:187-201.
【4jc犯icl【J..semipar锄etdc
ad出tive
regr骼sionfJ】.Jo唧aJ ofthe fb柚statistical
Socie锣(series B).1992,B54:831—843. 【5】Diciccio T.J.,Hau P.觚d RD刀丑趾o J.P—Bartlett adjustment
hkelihood【J】.‟rhe山mals of Statisti馁.1991,19:105事1061.
for锄pirical
【6】Engle
R.F.,G瑚ger
W.J.,№ce J.els.Semip盯锄etric estimat鹤of the静
址ion b咖啪n
Weather龃d eMric姆8al鹤【J】-Jo啪al of Am面c锄Statistical
Association,1986,80:31阻319.
【7】Ean
J.,
Huan

L..Goodll盼of-6t tests
for
par锄etnc re口ession
model.
s【J】.Jo啪以of Am丽c皿statistical心ociation.2001,96:310-320.
tests fbr
tion【J】.,nle Jd岫alls of Statistics.2000,32:185&1907
nonparametric fhnc-
in a linear
f蛳1Statistic越Soci哪(SeriesB).1986,48:24垂248.
models【J】.Jo啪a1
of the
【10】He
x.
M.,
zhu z.
Y.
强d
F衄g
w.
K。

Estimation
iⅡa蛐i—
p缸ametric model for 10n舀tudinal
data with珊1specified
dependence
stnlcture[J】.Biomeril疏.2002,89:57孓590.
【11】Kolaczyk
E.D—Empirical ul【elihood五Dr
g凹erauzed
linear
models【J】.statist
sillica,1994,4:199-218.
【12】Linx.H.,c锄l
R.J..S锄ipar锄etricregr麟ion
for clustered
data俯 ingg阻era】izedestiInating
equatio璐【J】.Jo啪alof the
America丑Statisti
cal
Association.2001.96:1045-1056.
19
0flon舀tudinaldata【J】.A璐tralianJo啪alofStatistics.1994,36:75-93.
【13】M呵eedR.A.,DiggleP.J—Rat鹤of咖眦g阻eeins唧ip缸ametricmodeling【14】Nelder
J.A.,wedderb唧w.M..Gener此edlinearⅢodels【J】.Jo啪dofthe&)yalstatisticalSocie够1972,135:370_384.
【15】OwenA.B..Empirical瑚妃1ihoodratioco姐denoere舀ons[J】.TheA皿alsofStat缸站ic8.1990.18:90.120.
【16】specl田1enP—K唧elsmoothinginparti址lin
ear
model8[J】.Jo啪aloftheR∞试
statis七icaLlSociety(SeriesB).1988,54:41似36.
【17】Stutew.,ManteigaG.w.趿dQuindimilM.P—B00tstrap印pr似imatio璐inmodelchecksforre目ession【J】.Jo哪aloftheAm商c觚st舶tical.1998,93:
141—149.
f18】Thoma8D.R.,Grunkemeier
.、ri、柚probabiliti髑force璐ored
.1975.70:865-871.G.L..Co血denceinter、试estimationofs心data[J】.Jo眦aloftheAⅡ谢c衄statistical
【19】W{mgQ.H.,拙gB.Y—Empiricallikehhoodforp砒icauyhearmodek谢th缸eddesigIls[J】.statisticsandProbabilityLetters,1999,41:425-433.【20】Y.ouJ.H.,ChenG.M—Estilnationofa跎mip跛ametricvaD血g-coe伍cientpartiauyhne
ar
Analysis.2006,97:324.341.
errors-h卜V缸iabl姻model【J】.JournalofMultiVariate【2l】zeger
s.L.,Di础P.J..semipar锄etricmod出of10n舀tudinaldata诵th母
plicationtocD4ceu珈1mb
ersin
699.
HⅣserocon、rerters【J】.Biometrics.1994,50:689-
【22】zhuL.x.,NgK.w..checl【ingtheadequaucyo

ap越iallinearmodel【J】.Statistsinica.2003.13:763-781.
【23】陈希孺等.线性模型参数的估计理论【M】.北京:科学出版社.2010:3阻38,9m99.
【24】陈希孺.数理统计引论(第一版)【M】.北京:科学出版社.1997:439_469.
【25】钱伟民.纵向数据统计模型中的方法【D】.同济大学,2003.
㈣⑧硕士学位论炙
MASl…ER‟S。

fӣSlS
【26】孙孝前,尤进红.纵向数据半参数建模中的迭代加权偏样最小二乘估计[J】.中国科学A辑.200,5:3阻40.
f27】薛留根,朱力行.纵向数据下部分线性模型的经验似然推断【J】.中国科学A辑.2007,31:31—44.
【28】赵培信.非参数回归模型的模型检验【J】.河池学院学报.2008,4:1_4.
【29】张日权,王静龙.部分线性回归模型的M一估计【J】.应用数学学报,2005,28:151—157.
21
附录
R程序
#程序来源http://矶m—stat.stanford.edu/。

oVen/伽lpirical/e1.S#输入:
#x
#眦
#l姐
#m强it#gradt01
#8vdt01数据向量(每个观测值只有一个元素)x的均值向量
任选的Lagr弛ge乘子的起始值随机选取的迭代最大值
任选的收敛性判定的允许误差
解方程式时的奇异性检验的允许误差
霉itertrace任选的迭代时显示结果的标识嚣输出:
#109elr
#l锄bda
#grad#hes8#Vt8
#nit8经验似然值对数
Lagrange乘子
对数似然的变化率
对数似然的He8si姐值结论中相对观测权重
使用过的迭代次数值
elm<一f皿ction(x,眦,1锄,m强it=25,gradt01=le一7,svdt01=1e一9,itertrace-F)t
x<一as.matrix(x)
n<一nrov(x)
p<.ncol(x)
眦<一a8.vector(眦)
z<ⅧeaⅡ(me盐(x)_皿u)
TINY<一sqrt(.Machine¥double.皿in)
8cale<.mean(ab8(z)+TINY)
z<一z/scale
if(!missing(1am)){
1am<一as.vector(1am)
lam<一lam奉scale
if(109elr(z,r印(0,p),1锄)>0)l锄<一rep(0,p))
硕士学位论文
}从S‟j…Ek‟:;。

l…l{ESlS
if(mi88ing(1姐))
1am<一rep(0,p)
if(8vdt01<TINY)svdtol<一TINY
if(gradtol<TI盯)gradt01<一TINY
nVts<一c(3…一c(0:3),rep(0,12))
gvt8<一2…(一c(0:(1eDgth(D:vts)一1)))
gVt8<一(蓟8…2一nVts…2)….5
g_t8[12:16】<一gyt8[12:16】奉10…(一c(1:5))
nit8<一0
gsize<一gracttol+l
(nits钿越it她gsize>酽adt01){
Vhil

arg<一l+z弘j:l姐
讥81<一龃.Vector(110印(arg,1/n))
Vt82<一勰.Vector(一llogpp(arg,i/n))^.5
grad<一越.matrix(一z幸Vt81)
grad<一aB.Vector(apply(grad,2,8眦))
gsize<咂e姐(ab8(grad))
he8s<一z奉Vts2
8vdh<一svd(hes8)
if(min(svclh¥d)<ma_】【(s、r血¥d)宰svdt01)
gv血¥d<一8vdh¥d1恤ax(svdh¥d)宰svdtoln8tep<一sVdh¥VZ掌Z(t(8vdh¥u)/8vdh¥d)
璐tep<一勰.Vector(璐t印黔铀atrix(Vtsl/吼s2,n,1))gstep<一grad
if(sum(nstep…2)<sum(gstep…2))
gstep<一gstep奉sum(n8tep…2)….5/sum(gstep…2)….5
0109elr<一sum(1109(a】喀,l/n))
ninner<一O
for(i
in1:length(nwtg))t
nlogelr<一109elr(z,rep(0,p),1锄+nVt8[i]宰船t印+gVt8n】奉gst印)if(nlogelr<0109elr){
lam<一1am+nVt8【i】宰n8tep+gVt8【i】宰gstep
ninner<一i
brea:k
、,、,
nit8<一nit8+1
if(niImer墨尘0)nit8<—maxit
if(itertrace)
print(c(1am,nlogelr,gsize,ninner))
】.
1ist(109elr=nlogelr,1锄=1狃/scale,grad-gra酗scale,
he88=t(he8s)Z宰让ess事scale^2,vts鼍rtsl,nits=nits)
】.
ion(x,眦,lam){
109elr<一fll
nct
x<一as.ma乞rix(x)
n<—nrov(x)
p<一nc01(x)
眦<一as.vector(1眦)
z<一t(t(x)—皿u)
arg<一l+zjc木jcl雒
return(一sum(1log(arg,l/n)))

1109<一function(z,eps){
anS<一Z
lo<一(z<ep8)
ans[10】<一109(ep8)一1.5+2幸z[10】/ep8—0.5幸(zno】/ep8)…2狃s[110】<一log(z[110】)
returD(ans)

1109p<一function(z,eps){
an8<一Z
lo.c一(z<eps)
an8[10】<一2.0/eps—z[10】/ep8…2
an8[1lo】<一l/z[!lo】
㈣⑧硕士学位论文
M人S。

I'Ek‟S。

1.1lESlS
return(ans)

1109pp<一function(z,印s){anS<一Z
lo<一(z<ep8)
趾s[10]<一1.0/ep8…2
狃8[110】<一1.0/z[!lo】…2
return(an8)

㈣⑧硕士学位论文
M人S1…EI之‟S…flIl三SlS
致谢
本文是在我的导师左国新教授的悉心指导下完成的,在此向他表示衷心的感谢!
在本科读书阶段就与左老师有过接触,那时就被他严谨的治学态度和正直的人格所感动,考取研究生后,我非常有幸能跟左老师学习统计计算的知识.三年的研究生学习,左老师不仅授予了我丰富的统计知识,提高了我动手做统计研究的能力,还使我学会了如何认真的对待事情,如何去做学问和做人.
同时,我还要感谢数统学院里所有给予我帮助的老师,感谢谢民育老师,他在统计课堂上对我们严格的要求使我可以完成这篇文章;感谢陈应保老师在左老师出国的那段时间对我的照顾;感谢熊瑛和陈燕老师,这三年里,她们给我提供了很多生活上和学习上的帮助;同时还要感谢赵慧老师,李波老师,他们都曾孜孜不倦地教导过我.
另外,我还要感谢与我共处三年的研究生同学们,特别要感谢的是陈望学和张翠同学,他们对本文的完成起了不可替代的作用.
最后,谨向参加论文评审和论文答辩的专家教授们致谢!
陈鑫
2012年5月于武昌桂子山。

相关文档
最新文档