投影寻踪回归

第一节 投影寻踪回归

我们先介绍一下Peter Hall 提出的投影寻踪回归(Projection Pursuit Regression)的思想，它一点也不神秘。

我们手中的资料是k n

k k k x Y x ,},{1=是p 元，Y k 是一元。非参数回归模型是

n k x G Y k k k ≤≤+=1 ,)(ε

（）

我们的任务是估计p 元函数G ，当然}|{)(x x Y E x G k k ==。G 是将p 元变量映像成一元变量，那么何不先将p 元变量投影成一元变量，即取k x u θ'=，再将这个一元实数u 送进一元函数G 作映像呢由于要选择投影方向),,(1p θθθ =，使估计误差平方和最小，就是要寻踪了。所以取名为投影寻踪回归。

具体操作如何选方向θ，如何定函数G ，如何证明收敛性，下面将逐步讲述。需要指出的是，投影寻踪回归与单指针半参数回归模型的思想基本上一样，基本算法也差不多，差别大的方面是收敛结果及证明。若论出现时间，投影寻踪回归较早，在1989年，单指针模型较晚，在1993年。

一、投影寻踪回归算法

假设解释变量集合}1,{n k x k ≤≤是来自密度函数为f 的p 元随机样本，对每一个p 元样本x k ,有一元观察Y k 与之对应，并且

<

)()|(x G x x Y E k k ==

（）

这里G 是回归函数，也是目标函数。令Ω为所有p 维单位向量的集合，θ,θ1,θ2，…是Ω中的元素。如果H 是一个p 元函数，比如f 或G ，则H 沿方向θ的方向导数记作

u x H u x H x H n /)}()({lim )(0

)(-+=→θθ

（）

假如这个极限存在的话。高阶导数则记作)()()(2121)(θθθθH H =⋅,等等。x ∈R p

的第i 个分量记作

x (i )

,点积)()(i i y x y x ∑=⋅,模长2

1)(x x x ⋅=。符号A 表示R p 的子集，通常是指凸集。I (·∈

A)表示A 的示性函数，I (x ∈A )=1,0)(=∈A x I 。u 一般代表实数。

我们的任务是从观察1},{1==n

k k k y x 作出p 元函数G (x )的估计，遇到的问题是p 太大，

维数太高，解决的办法是作投影寻踪回归。

作沿着θ方向的一元函数

Ω∈=⋅=θθθ },|)({)(u X x G E u g

（）

在区域p R A ⊂内对G 的第一次投影逼近是函数

)()(111x g x G ⋅=θθ

（）

这里θ1是极小化下式

)}()]()({[)(2A X I X g x G E S ∈⋅-=θθθ

（）

、

的结果。当然这里G 是未知的，所以我们要作出S (θ)与g θ(u )的估计，才能得到G 1(x )的估计。下面构造它们的估计。

设θ·x 的密度为f θ，称作沿方向θ的X 的边沿密度，利用样本x j 但不包括x k 构造f θ的核估计为

⎪⎪⎭

⎫

⎝

⎛⋅-∑-=≠h x u K h n u f j k j k θθ)1(1

)(ˆ)

( （）

这里K 是核函数，h 是窗宽。排除x k 在外的g θ的估计为

)(ˆ

/)1(1)(ˆ)()(u f h x u K Y h n u g k j

j k j k θθθ⎥⎥⎦

⎤⎢⎢⎣

⎡⎪⎪⎭⎫ ⎝⎛⋅-∑-=≠ （）

借助于交叉核实的思想，作下式

)()](ˆ[1)(ˆ2)(1

A x I x g

Y n S k k k k n

k ∈⋅-∑==θθθ

（）

的极小化，其解1ˆθ就作为θ的估计。于是

)ˆ(ˆ)(ˆ1

)(ˆ)(11

x g x G k k ⋅=θθ （）

就可以作为回归函数G 在区域A 的第一次投影逼近。

将估计限制在区域A 的理由在于，用来估计G 1的统计量在分母中有密度的核估计。这个核估计在f 的边界取值接近于0，再作分母就有问题了。所以我们要对分母接近于0的区域加以限制。 @

刚才构造统计量时将x k 排除在外的目的是为了使交叉核实统计量获得的参数估计1ˆθ不致有额外偏差。一旦1ˆθ确定下来，就可以在统计量中将x k 放回去，不再排除在外：

)(1)(ˆ1h

x u K nh u f j n

j ⋅-∑==θθ

（）

)(ˆ

/1)(ˆ1u f h x u K Y nh u g j

j n j θθθ⎥⎥⎦

⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛⋅-∑== （）

)(ˆ/ˆ1)(ˆ1ˆ111u f h x u K

Y nh u G j j n j θθ⎥⎥⎦

⎤

⎢⎢⎣

⎡⎪⎪⎭⎫ ⎝⎛⋅-∑== （）

我们称)(ˆ1

u G 才真正是在区域A 内与f 有关的G 的第一次投影逼近。 要证明1

1ˆ,ˆG θ分别是θ1与G 的一致估计还是比较容易的。我们还可以证明它们一致收敛的收敛速度。

下面我们给出核函数K 与窗宽h 的构造选择细节。我们使用的核函数是一元的，满足f 与G 的一维投影的平滑条件。假定f (x )与G (x )沿一切方向的前r 阶方向导数存在，定义

},:{εε≤-∈∈=y x A y R x A p 对于

（）

为了j g

ˆ不为0，进一步假定 f (x )在一个闭集外为0，而在A ε上不为0

（）

为了保证集合}:{A x x ∈⋅θ是合适的区间，对于每一θ∈Ω，我们假定A 非空，是一p 维开凸集。 《

对于固定的θ，估计量如θθθf g f k k ˆ,ˆ,ˆ)()(和θg ˆ是经典的一元核估计，使用的是一元样本

{θ·x k ,1≤k ≤n }，为了得到较高的收敛速度，可以使用r 阶正交核函数K ，它满足

⎩⎨⎧-≤≤==⎰∞+∞

-11

00 1)(r j j du u K u j

（）

并且K 是lder o H 连续的。所谓lder o

H 连续，即存在ε>0,c >0,对一切实数u ,ν,有 ε|||)()(|v u c v K u K -≤-

（）

现在我们确定窗宽。考虑模型

n k x G Y k k k ≤≤+=1 ,)(ε

（）

这里n k k ,,1, =ε是独立同分布的，其均值为0，方差为σ2

，与n k x k ,,1, =相互独立。假定h =h (n )→0，且nh →∞。对于固定的θ∈Ω，假定f θ(u )>0,且