多元回归异方差模型方差的局部多项式估计
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
假定 i2 f cT , xi ，其中的 f 形式已知，c c0,c1,L 为 cn T
待估参数.讨论较多也较详细的是假定 2 2 cT , xi 2 和 i2 2 expcT , xi 等情况.这些模型的讨论，一方
面要求模型分析着必须对问题的实际背景有较深
入的了解，如公司利润的方差常常与家庭 收入呈正比；另一方面，方差函数形式的假
(1)
式中，yi, x1i, x2i,L , xmi i 1, 2,L , n 为观察值，记
y1
y
y2
,
M
yn
0
1
M
n
1 x11 x21 L xm1
Xx
1 M
x12 M
x22 M
K M
xm
2
M
1 x1n
x2n
L
xmn
1
2
M
n
则(1)式可简写为
y Xx
多元回归异方差模型方差 的局部多项式估计
重庆理工大学 数学与统计学院
苏理云
合作者：赵彦勇 2011.3.3
目标：
• 通过对异方差的多元局部多项式估计， 改进多元线性异方差回归模型对参数估 计的不精准性。本文利用局部多项式回 归的非参数方法用于多元线性异方差模 型中的方差进行两阶段估计，改进了传 统的两阶段法，得到了估计的渐近正态 性，并且使得估计的精度进一步提高。
Байду номын сангаас
主要内容：
• 局部多项式拟合理论 • 模型与方法 • 仿真模拟 • 结论
•局部多项式拟合理论
局部多项式拟合是一个用途广泛的非参数
技术，它拥有多种好的统计特性．令 m x 是
定义在 Yt m(Xt ) (Xt )t 中的回归函数的 v 阶导
数 m x，局部多项式技术可非常方便地用来
估计，包括回归函数 m(x) m0 (x) 本身，由于 回归函数的形式没有被指定，因而距离 x0 远 的数据点对 m(x0 ) 提供了很少的信息.因此，我 们只能使用 x0 附近的局部数据点．假定 m(x)
X M M
1 Xn x0 L
X1
x0
p
M ,
Xn x0 p
且令
Y1
y
M ,
Yn
M0
p
则加权最小二乘估计问题能够写为：
min y X T W y X
其中
T
0,L , p
，W
是对角阵，它的第i个元
素是Kh Xi x0 ，解向量为
)
X TWX
则 X x1, x2,L , xn T 的领域处的阶泰勒展开式为：
f
Xi
f
X
f
X
T
Xi
X
1 2
j0
参数 j依赖于 x0 ，故称为局部参数。显然局部
参数 v mv(x0) / v!，用局部数据拟合可极小化
n
Yt
p
2
j
Xt
x0
j
Kh
Xt
x0
t1
j0
其中h 控制局部邻域大小的带宽．
使用矩阵记号来表示局部多项式回归更为方 便．用 X 表示相应于上式的设计矩阵：
1 X1 x0 L
定在一定程度上是为了保证其非负性，
从而受较多人为因素影响。用非参数的局
部多项式方法估计方差函数，设K为核函
数，满足 K x dx , xK x dx 0以及 x2K xdx
令自变量 Xi x1i , x2i ,L , xmi T ,i 1, 2,L , n，X x1, x2,L , xn T
1 X TWy
为了实现局部多项式估计，我们需要选择阶
数 p ，带宽 h 和核函数 K .当然这些参数相互
关联．当 h 时，局部多项式拟合就变
成全局多项式拟合，阶数 p 决定模型的复
杂性。
与参数模型不同，局部多项式估计拟合的复杂 性是由带宽来控制的． p 通常是较小的，故 而选择 p的问题就变得不重要了．如果目的是估 计 m，v 则当 p 是v 奇数，局部多项式拟合自动 修正边界偏倚．进一步，则当 p 是v 奇数，与 阶拟p 合1相比较， 阶拟合p 包含了一个多余常数， 但没有增加估计的 方差m。v 不过这个参数创造 了一个降低偏倚的机会，特别是在边界区
(2)
假定：
（1）E E1, E2,L En T 0,0,L 0T ;
（2） ) E T
diag
12
,
2 2
,L
2 n
其中：
i2 var i ,i 1, 2,L , n;
(3)
X非随机.这里
2 1
,
2
2
,
L
2 n
不全相等，即模型
(2)
存在异方差，此时参数 的广义最小二乘估
计（GLE）为
(4)
为了估计 )i2 ，考虑到 Ei2 i2, 可以构造回归模
型为
i2 i2 ui , Eui 0,i 1, 2,L , n
(5)
式中，u i是 i 2与其期望的差.记模型(2)的普通最
小二乘估计OLEb
X
T x
X
x
1
X
T x
y
由于OBL估计
量 b 尽管无效，但仍是一致的，因此，相应的
X
T x
1
X
x
1
X
T x
1
y
或者
n i 1
1
i2
xi xiT
1
n i 1
1
i2
xi yi
(3)
式中： xi 1, x1i , x2i ,L , xmi T ,i 1, 2,L , n.
估计式为：
ˆ
n i 1
1
ˆ i 2
xi xiT
1
n i 1
1
ˆ i 2
xi yi
在 x0 处有 p 1 阶导数，由泰勒展开，对x0 局
部领域的 x ，我们有
m(x)
m(
x0
)
m(
x0
)(
x
x0
)
m( x0 2!
)
(x
x0
)2
L...
m
p (x0 p!
)
(x
x0
)
p
O
(x x0 ) p1
在统计建模方面，对x0周围的局部点，我们建模
m(x) 为
p
m(x) j x x0 j
域．另一方方面，带宽 h 的选择在多项式 拟合中起着重要作用．太大的带宽引起过
渡平滑，产生过大的建模偏倚，而太小的 带宽会导致不足平滑，获得受干扰的估计。
模型与方法
设因变量 y 与解释变量 x 之间满足如下回归模型：
yi 0 1x1i 2x2i L mxmi i f Xi i i 1, 2,L , n
残差
ei2 xiT i xiTb 2 i2 xiT b2 2i xiT b
i2
从而近似地有
ei2 i2 vi , E vi 0,i 1, 2,L , n (6)
可以将它看作把方差函数作为回归函数，而把
OBL的残差平方作为因变量的回归模型.为了估计 这一模
型，通常文献中所采用的是参数估计的方法，即
待估参数.讨论较多也较详细的是假定 2 2 cT , xi 2 和 i2 2 expcT , xi 等情况.这些模型的讨论，一方
面要求模型分析着必须对问题的实际背景有较深
入的了解，如公司利润的方差常常与家庭 收入呈正比；另一方面，方差函数形式的假
(1)
式中，yi, x1i, x2i,L , xmi i 1, 2,L , n 为观察值，记
y1
y
y2
,
M
yn
0
1
M
n
1 x11 x21 L xm1
Xx
1 M
x12 M
x22 M
K M
xm
2
M
1 x1n
x2n
L
xmn
1
2
M
n
则(1)式可简写为
y Xx
多元回归异方差模型方差 的局部多项式估计
重庆理工大学 数学与统计学院
苏理云
合作者：赵彦勇 2011.3.3
目标：
• 通过对异方差的多元局部多项式估计， 改进多元线性异方差回归模型对参数估 计的不精准性。本文利用局部多项式回 归的非参数方法用于多元线性异方差模 型中的方差进行两阶段估计，改进了传 统的两阶段法，得到了估计的渐近正态 性，并且使得估计的精度进一步提高。
Байду номын сангаас
主要内容：
• 局部多项式拟合理论 • 模型与方法 • 仿真模拟 • 结论
•局部多项式拟合理论
局部多项式拟合是一个用途广泛的非参数
技术，它拥有多种好的统计特性．令 m x 是
定义在 Yt m(Xt ) (Xt )t 中的回归函数的 v 阶导
数 m x，局部多项式技术可非常方便地用来
估计，包括回归函数 m(x) m0 (x) 本身，由于 回归函数的形式没有被指定，因而距离 x0 远 的数据点对 m(x0 ) 提供了很少的信息.因此，我 们只能使用 x0 附近的局部数据点．假定 m(x)
X M M
1 Xn x0 L
X1
x0
p
M ,
Xn x0 p
且令
Y1
y
M ,
Yn
M0
p
则加权最小二乘估计问题能够写为：
min y X T W y X
其中
T
0,L , p
，W
是对角阵，它的第i个元
素是Kh Xi x0 ，解向量为
)
X TWX
则 X x1, x2,L , xn T 的领域处的阶泰勒展开式为：
f
Xi
f
X
f
X
T
Xi
X
1 2
j0
参数 j依赖于 x0 ，故称为局部参数。显然局部
参数 v mv(x0) / v!，用局部数据拟合可极小化
n
Yt
p
2
j
Xt
x0
j
Kh
Xt
x0
t1
j0
其中h 控制局部邻域大小的带宽．
使用矩阵记号来表示局部多项式回归更为方 便．用 X 表示相应于上式的设计矩阵：
1 X1 x0 L
定在一定程度上是为了保证其非负性，
从而受较多人为因素影响。用非参数的局
部多项式方法估计方差函数，设K为核函
数，满足 K x dx , xK x dx 0以及 x2K xdx
令自变量 Xi x1i , x2i ,L , xmi T ,i 1, 2,L , n，X x1, x2,L , xn T
1 X TWy
为了实现局部多项式估计，我们需要选择阶
数 p ，带宽 h 和核函数 K .当然这些参数相互
关联．当 h 时，局部多项式拟合就变
成全局多项式拟合，阶数 p 决定模型的复
杂性。
与参数模型不同，局部多项式估计拟合的复杂 性是由带宽来控制的． p 通常是较小的，故 而选择 p的问题就变得不重要了．如果目的是估 计 m，v 则当 p 是v 奇数，局部多项式拟合自动 修正边界偏倚．进一步，则当 p 是v 奇数，与 阶拟p 合1相比较， 阶拟合p 包含了一个多余常数， 但没有增加估计的 方差m。v 不过这个参数创造 了一个降低偏倚的机会，特别是在边界区
(2)
假定：
（1）E E1, E2,L En T 0,0,L 0T ;
（2） ) E T
diag
12
,
2 2
,L
2 n
其中：
i2 var i ,i 1, 2,L , n;
(3)
X非随机.这里
2 1
,
2
2
,
L
2 n
不全相等，即模型
(2)
存在异方差，此时参数 的广义最小二乘估
计（GLE）为
(4)
为了估计 )i2 ，考虑到 Ei2 i2, 可以构造回归模
型为
i2 i2 ui , Eui 0,i 1, 2,L , n
(5)
式中，u i是 i 2与其期望的差.记模型(2)的普通最
小二乘估计OLEb
X
T x
X
x
1
X
T x
y
由于OBL估计
量 b 尽管无效，但仍是一致的，因此，相应的
X
T x
1
X
x
1
X
T x
1
y
或者
n i 1
1
i2
xi xiT
1
n i 1
1
i2
xi yi
(3)
式中： xi 1, x1i , x2i ,L , xmi T ,i 1, 2,L , n.
估计式为：
ˆ
n i 1
1
ˆ i 2
xi xiT
1
n i 1
1
ˆ i 2
xi yi
在 x0 处有 p 1 阶导数，由泰勒展开，对x0 局
部领域的 x ，我们有
m(x)
m(
x0
)
m(
x0
)(
x
x0
)
m( x0 2!
)
(x
x0
)2
L...
m
p (x0 p!
)
(x
x0
)
p
O
(x x0 ) p1
在统计建模方面，对x0周围的局部点，我们建模
m(x) 为
p
m(x) j x x0 j
域．另一方方面，带宽 h 的选择在多项式 拟合中起着重要作用．太大的带宽引起过
渡平滑，产生过大的建模偏倚，而太小的 带宽会导致不足平滑，获得受干扰的估计。
模型与方法
设因变量 y 与解释变量 x 之间满足如下回归模型：
yi 0 1x1i 2x2i L mxmi i f Xi i i 1, 2,L , n
残差
ei2 xiT i xiTb 2 i2 xiT b2 2i xiT b
i2
从而近似地有
ei2 i2 vi , E vi 0,i 1, 2,L , n (6)
可以将它看作把方差函数作为回归函数，而把
OBL的残差平方作为因变量的回归模型.为了估计 这一模
型，通常文献中所采用的是参数估计的方法，即