半参数

半参数最近几十年大量的学者对半参数模型的参数估计和非参数估计做了大量的工作，现在我们其中主要方法进行一个概括介绍，并对其中的补偿最小二乘法和二步估计最小二乘核估计做主要详细的介绍。

第一种参数估计法，就是将非参数分量参数化的估计方法。

关于半参数模型的早期工作是这样的思路:对函数空间附施加一定的限制(主要指光滑性)，由于W 常是无穷维的，通常由光滑性可使用合理的逼近形式，使得W 中的元素参数化。

例如：在函数空间中选定一组基{}i e ，于是1()ni ii s t eλ==∑。

若W 中的元有某种光滑性，使此级数一致收敛，则可用有限和1()ni i i s t e λ==∑逼近。

于是()s t 估计的问题转化为估计有限维参数12(,,,)n λλλλ= ，从而可使用线性模型的方法(如最小二乘法，)同时估计β及λ。

由于这种估计是以非参数分量()s t 的参数化为特征，故大多以使用的参数化的方法命名(如偏光滑样条估计、偏分块多项式估计、分段多项式估计等)。

第二种是两步估计。

两步估计的思路是:先假设x 已知，我们可以做出S 的非参数估计(,)(,)()S t W t Y X βλβ=-，其中的λ为任意的参数，根据(,)W t λ采用的方法的不同，将两步估计分为不同的估计方法(如近邻估计、权估计、核估计、小波估计等).然后定义X 的估计为下述极小问题的解 ：min,(,)T V PV V Y X S t ββ==--求出β的解为β，从而就可以求出(,)S S t β=。

第三种估计方法是两阶段估计.其思路是：(())i E s t α=<∞，2(())i E s t <∞，()i i i e s t α=-+∆，则{}i e 是相互独立的同分布。

且0i Ee =，2i Ee <∞。

那么模型就化为：,(1,2,,)i i i y X e i n αβ=++=对于模型上面的模型使用最小二乘法得到β的估计β(称为β的一次估计):然后基于残差{}i i y X β-，在模型中使用某种方法(如核光滑、概率权、多项式、小波等)估计()s t ，记为()s t 。

最后将()s t代入模型中，再次使用最小二乘法，得到β的二次估计β .第四种估计方法为抗差或稳健估计。

以上两种途径的共同点是使用最小二乘法，而且在多数情况下得到的估计是线性的，这对理论分析和实际应用带来不少方便。

但众所周知，由最小二乘法得到的估计缺乏稳健性，故近来一些学者使用由Hube(r1964)提出的稳健估计的思想，考虑半参数模型的M 估计，即引进一个定义在R 上的凸函数()ϕ∙，寻找β和()s t使：1(())min niiii y X s t ϕβ=--=∑或1(())min niiiii p y X s t ϕβ=--=∑其中i p 一般取为实数权，但在理论研究时，它可为随机权。

对此，上面提到的方法和思想同样适用。

第五种途径是补偿最小二乘法。

补偿最小二乘法先后由Wahha(1984)、Grene 等(1985)、Engle 等(1988)引入的，是半参数回归模型最为广泛使用的一种方法.这种方法既考虑到估计量同数据的拟合，又顾及到非参数分量估计的光滑性。

前者一般用残差平方和度量，后者则需要确定一个定量指标J(s).如文献[22]的准则是: min TT V PV S RS α+=其中：V X S Y β=+-，a 是一个给定的非负纯量因子，在极化过程中对V 和S 起平衡作用，称为平滑因子，R 为适当给定的正定矩阵，称为正规化矩阵。

平滑因子a 及正规矩阵的选取问题参见文献【63]。

第六种是泛最小二乘估计。

补偿最小二乘法则的提出是基于两个方面的原因:一方面，是为了使最小值问题可以求解;否则，因未知数的个数多于方程的个数，使min T V PV =的解不唯一;另一方面，是为了对估计的曲线起平滑作用(a 因此而称为平滑因子)。

尽管它们都是必要的而且是可行的，但仍有不足之处:该法则没有直接体现参数分量β，从而使参数分量β的估计有时并不理想。

因此胡宏昌提出了min TT V PV S RS Q αλββ++=其中α，λ是给定的非负纯量因子，在极化过程中对,,V S β起平衡作用，分别称为平滑因子和平衡因子;R 、Q 均为适当给定的正定矩阵(有时可以是半正定)，称为正规化矩阵。

不仅它是补偿最小二乘估计及岭估计的推广，而且更重要的是:它既发扬了以上两个方面的优点，又考虑了参数分量X 的估计，从而提高了估计的准确性，得到了满意的结果。

第七种是差分估计方法。

一半参数的补偿最小二乘法 半参数模型为：Y X S β=++∆ （1）其中的12(,,,)T n S s s s = 是一个描述模型的误差或系统误差的n 维未知变量，()i i s s t =，X 为列满秩的设计矩阵，12(,,,)n εεε∆= 为偶然误差。

半参数的模型相对于经典的线性模型，将除线性模型的误差分为两类：系统误差和偶然误差，这在系统误差不能简单的忽略的情况下是很重要的。

在后面将比较，补偿最小二乘法是优于一般的最小二乘法。

我们可以得出模型（1）对应的误差方程： V X S Y β=+-利用经典的的最小二乘法，可以通过最小化TV PV ，这里P 为对称的正定阵。

可以得到法方程：T T T A PAX A PS A PY +=由于待估计的参数的数目为n p +个，而法方程只有p 个，就无法得到唯一解。

因此就需要对TV PV 进行修改。

因此我们引入正规化矩阵R 和平滑因子α，那么进行修改为：m i n TV P V S R S α+=R 为给定的适当的正定矩阵，α为给定的纯量因子，对极化过程中的V 和S 起平衡作用，称为平滑因子。

利用Lagrange 乘数法，就可以构造函数：2()TT TA PAX A PS K X S Y φβ=+++-分别令0,0,0V S φφφβ∂∂∂===∂∂∂ ，可以如下方程： 0PV K -=（2,10） 0RS K α+=（2.11） 0T X K =（2.12）将式（2,10）和（2.11）相加，有0PV RS α+=将（2.10）乘以TX ，然后再将（2.12）和（2.4）带入，就有：TTT X PX X PS X PY β+=设T N X PX =，由于N 可逆，所以有：1()TN X P Y S β-=-下面就是求出S.将（2.4）带入（2,13）得到：()PX P R S PY βα++=将（2.15）带入上式：11()()TT P R PXN X P S P PXN X P Y α--+-=-令1TM P R PXN X P α-=+-，可以证得M 是可逆的。

可以得：11()T S M P PXN X P Y --=-。

上面的推导我们可以写作下面的定义：定理2.1 在半参数的模型（1）中，利用补偿最小二乘法。

可以放入得到β和S 的估计为β和S分别为： 1()T N X P Y S β-=-11()T S M P PXN X P Y --=-补偿最小二乘法估计的统计性质：在上一节，我们通过补偿最小二乘法得到了半参数模型中参数分量和非参数分量的估计，下面将讨论利用补偿最下二乘法所得估计的统计性质。

首先计算S 和β 的期望()E S 和()E β。

令1T H P PXN X P -=-，则有：11111111111()(())()()()()(()())()T T T TT E S E M P PXN X P Y M P PXN X P E Y M P PXN X P X S M PX PX P PXN X P S M P PXN X P S M HSβββ-----------=-=-=-+=-+-=-=1111111()(())()(()())()()TTTT T E E N X P Y S N X PE Y S N X P E Y E S N X P X S M HS N X P I M H Sβββ-------=-=-=-=+-=+-其中1111()()()()I M H R H R H R H HR H Hααααα-----=++-+=+那么就有：11()()T E N X P R H HS ββαα--=++11()()E S M HSS R H RS αα--==-+β和S分别都为β和S 的有偏估计。

计算β和S的方差：首先计算：111111()()()()()()T S E S M P PXN X P Y M HSR H H X S R H HS R H H αβαα-------=--=+++∆-+=+∆211()(())(())()()TT T Var S E S E S S E S R H HQH R H σαα--=--=++11111111111111()()(())()(())(())(()()())()T T TT T T T T E N X P Y S N X P R H HS N X P X S S N X P R H HS N X P I R H R S N X PSN X P R H HS R H H X S N X P R H H βββααββααααααβα---------------=--++=++∆--++=-+-=+-+++∆=+∆21111()(())(())()()TT T T Var E E E N X P R H HQH R H PXNβββββσαα----=--=++综合上面的结果，我们就可以得出：11()()T E N X P R H HS ββαα--=++1()()E S R H RS αα-=+211()()()T T Var S R H HQH R H σαα--=++21111()()()T T T Var N X P R H HQH R H PXN βσαα----=++ 。

比较其与LS β的MSE 优越性111()()()()()()T T LS T T TTX PX X PY X PX X P X S X PX X P S G S βββββ----=-=++∆-=+∆=+∆其中1()TTG X PX X P -=2MSE()=tr(E()())(()())()T LS LS LS T T T T T T tr EG S S G tr GSS G GQG βββββσ--=+∆+∆=+111111111111()()()(()())(()())(())()()()()()()T TTT TT T N X P Y S N X P X S S N X P S S N X P S R H H X S N X P S R H H S N X P I R H H S N X P R H R H H S G R H R S βββββαβαααααα-------------=--=++∆--=+∆-=+∆-+++∆=+∆-++∆=-++∆=++-+∆=++∆2112112121()(E()())(()()()())(()()()())(()()())T T T TTT T MSE tr tr E G R H R S S R R H G tr G R H RE S S R R H G tr G R H R SS Q R R H G βββββαααααααασα------=--=++∆+∆+=++∆+∆+=+++利用上面的计算结果。