非参数回归模型与半参数回归模型

第七章 非参数回归模型与半参数回归模型

第一节 非参数回归与权函数法

一、非参数回归概念

前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。

设Y 是一维观测随机向量，X 是m 维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称

g (X ) = E (Y |X ) （7.1.1）

为Y 对X 的回归函数。我们证明了这样的回归函数可使误差平方和最小，即

22)]([min )]|([X L Y E X Y E Y E L

-=-

（7.1.2）

这里L 是关于X 的一切函数类。当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。

细心的读者会在这里立即提出一个问题。既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。 所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。

二、权函数方法

非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：

∑==n

i i i n Y X W X g 1

)()(

（7.1.3）

其中｛W i (X )｝称为权函数。这个表达式表明，g n (X )总是Y i 的线性组合，一个Y i 对应个W i 。不过W i 与X i 倒没有对应关系，W i 如何生成，也许不仅与X i 有关，而且可能与全体的｛X i ｝或部分的｛X i ｝有关，要视具体函数而定，所以W i (X )写得更仔细一点应该是W i (X ；X 1，…,X n )。

这个权函数形式实际也包括了线性回归。如果i i i X Y εβ+'=，则Y X X X X X i

i '''='-1)(ˆβ，也是Y i 的线性组合。

在一般实际问题中，权函数都满足下述条件：

1),,;(,0),,;(11

1=≥∑=n n

i i n i X X X W X X X W ΛΛ

（7.1.4）

如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。

下面我们结合具体回归函数看权函数的具体形式。 1．核函数法

选定R m 空间上的核函数K ，一般取概率密度。如果取正交多项式则可能不满足配方条件。然后令

∑=⎪⎪⎭

⎫

⎝⎛-⎪⎪⎭⎫ ⎝

⎛-=n i n i

n i

n i a X X a

X X K X X X W 11/),,;(Λ （7.1.5）

显然

∑==n

i i

W

1

1。此时回归函数就是

i n

i n

j n i n i n i i i Y a X X K a X X K Y X W X g Y ∑∑∑===⎪

⎪⎭

⎫ ⎝⎛-⎪⎪⎭⎫

⎝⎛-===1

11)()(

（7.1.6）

2．最近邻函数法

首先引进一个距离函数，用来衡量R m 空间中两点u = (u 1，…，u m ) 和v = (v 1，…，v m ) 的距离‖u -v ‖。可以选欧氏距离∑=-=

-n

i i i

u

u 1

22

)(||||υυ，也可以选||||max ||||1i i n

i u u υυ-=-≤≤。

为了反映各分量的重要程度，可以引进权因子C 1，…,C n ，使｛C i ｝也满足配方条件。然后将距离函数改进为

∑=-=-n

i i i i u C u 1

22

)(||||υυ

（7.1.7） ||max |||12i i i n

i u C u υυ-=-≤≤

（7.1.8）

现在设有了样本(Y i ，X i )，i =1,…,n ，并指定空间中之任一点X ，我们来估计回归函数在该

点的值g (X )。将X 1，…，X n 按在所选距离‖·‖意义下与X 接近的程度排序：

||||||||||||21X X X X X X n k k k -<<-<-Λ

（7.1.9）

这表示点1k X 与X 距离最近，就赋以权函数k 1；与X 距离次近的2k X 就赋予权函数k 2。…，等等。这里的n 个权函数k 1,…,k n 也满足配方条件，并且按从大到小排序，即

∑==>≥≥≥n

i i n k k k k 1

211 ,0Λ

（7.1.10）

就是

n i k X X X W i n k i ,,1 ,),,;(1ΛΛ==

（7.1.11）

若在｛‖X i -X ‖, i =1,…,n ｝中有相等的，可将这n 个相等的应该赋有的权取平均。比如若前两名相等，‖X 1-X ‖=‖X 2-X ‖, 就令W 1 = W 2=

)(2

1

21k k +。 这样最近邻回归函数就是

∑∑∑=======n

i n

i n

i i i i i i n i Y X k Y k Y X X X W X g Y 1

1

1

1)(),,;()(Λ

（7.1.12）

k i 尽管是n 个常数，事先已选好，但到底排列次序如何与X 有关，故可记为k i (X )。

三、权函数估计的矩相合性

首先解释矩相合性的概念。如果对样本 (Y i ，X i )，i =1,…,n 构造了权函数W i = W i (X )=W I (X ;X 1,…,X n )，有了回归函数g (X )的权函数估计∑==n

i i

i n Y

W X g 1

)(，当Y 的r 阶矩存在

(E |Y |r <∞)时，若

0|)()(|lim =-∞

→r n n X g X g E

（7.1.13）

则称这样的权函数为矩相合的权函数。

在什么样的条件下构造的权函数是矩相合的呢? Stone(1977)提出了很一般的，几乎是充分必要的条件。下面我们考虑其充分性条件，并限于考虑概率权。 定理7.1.1 设概率权｛W i ｝满足下述条件： (1)存在有限常数C ，使对R m 上任何非负可测函数(连续函数与分段连续函数是最常见的可测函数)f , 必有

)()(1X CEf X f W E n i i i ≤⎪⎭

⎫

⎝⎛∑= （7.1.14）

(2)∀ε>0, 当n →∞时，