6.2 非参数模型的局部逼近估计方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
m(Xi ) E(Yi | Xi ) i ( Xi )i 2 ( Xi ) E(i2 | Xi )
• 未知函数的核估计表达式 为 ：
n
Khn ( Xi X )Yi
mˆ n ( X )
i 1 n
Khn ( X j X )
j 1
Khn (u) hnd K (uhn1)
• 不同的核权函数的方法构成了不同的估计结果。
• Nadaraya-Watson核估计 – Nadaraya(1964)及Watson (1964)提出 。 – 选定原点对称的概率密度函数为核函数。
K (u)du 1
n
Wni (x) Khn (x xi ) / Khn (x x j ) j 1
§6.2 非参数模型局部逼近估计方法
一、密度函数的非参数核估计 二、非参数回归模型的核估计 三、非参数回归模型的局部线性估计
说明
• 局部逼近的权函数方法是非参数计量经济模型的 主要估计方法。
• 该估计方法的思路是利用权函数对局部观测值进 行加权平均，以获得密度函数或回归函数的估计。
• 本节包括：
– 密度函数的非参数核权估计 – 非参数回归模型的核权估计 – 非参数回归模型的局部线性估计。
• 常用核函数
均匀核
高斯核
K1(u) (2 )1/2 exp(u2 / 2)
Epanechnikov核 K2 (u) 0.75(1 u2 )
2、核估计的大样本性质
Bias(
fˆn (x))
hn2 2
2 (K )
f
(2) (x)
o(hn2 )
Var( fˆn (x)) (nhn )1 f (x)R(K ) o((nhn )1) O(n1)
满足这些条件最常用的核函数为
K (u)
Fra Baidu bibliotek
d(d 2Sd
2)
(1
u12
ud2 )
Sd 2πd / 2 / (d / 2)
二、非参数回归模型的核估计
1、非参数回归模型的核估计
• 非参数回归模型：
Yi m(Xi ) (Xi )i i 1,, n X ( X1, , X d )
4、窗宽的直接插入选择方法
• 不要求。有兴趣的同学看教科书。
5、多元密度函数的核估计
f ( x) f (x1,, xp )
fˆn (x)
1 nhnp
n K ( Xi x )
i 1
hn
K (u) 0 K (u)du 1 K (u)udu 0 K (u)uuTdu 2 (K )I
I()为显示性函数，当括号内 的不等式成立时，取值为1， 否则取值为0。
m(x)的Nadaraya-Watson 核估计就是落在[x-h,x+h] 的xi对应的yi的简单算术平均值。
• 最佳的窗宽选择
AMISE [(Bias( fˆ ))2 Var( fˆ )]dx
AMISE c1hn4 c2 (nhn )1
hn cn1/ 5
积分均方误差：最佳 窗宽选择的标准必须 在核估计的偏差和方 差之间作一个权衡
3、窗宽的交错鉴定法选择方法
• 不要求。有兴趣的同学看教科书。
2、一元密度函数的核估计
• 密度函数f(x)未知。可以从经验分布函数导出密度 函数的核估计。
Fn
(x)
1 n
( X1,,
X
n中小于x的个数)
经验分布函数
0.5
K0
(x)
0
当1 x 1 其他
核函数为 均匀核
fˆn (x)
[Fn (x
hn )
Fn (x
hn )] / 2hn
核估计等价于局部 加权最小二乘估计
n
n
min
Wni (x)(Yi
i 1
)2
Wni (x)(Yi
i 1
mˆ n (x))2
n
Wni (x) Wni (x; X 1 ,, X n )
Wni (x) 1
i 1
• 条件回归函数的估计是y i的 线性组合，对应所得 到的被解释变量的估计是yi的加权平均，权数利 用了解释变量的信息，且由解释变量的数值来确 定每个yi的权数的大小。
一、密度函数的非参数核估计
1、密度函数的非参数估计
• 密度函数的参数估计方法
– 在估计之前必须为待估对象设定正确的参数函数形式。 – 可能为真实的密度提供了一个误导性的特征，并且可
能因此产生错误的估计和导致不合理的推断。 – 通常的检验只能拒绝一个分布假设，并不能够提供任
何清晰的其它选择。
• 密度函数非参数方法
1 2hn
xhn
dFn (t)
xhn
xhn xhn
1 hn
K
0
(
t
hn
x
)dFn
(t
)
1 nhn
n i1
K0 (
Xi hn
x)
一般的密度函数核估计：
fˆn (x)
1 nhn
n K( Xi x)
i 1
hn
密度函数的非参数核估计方法是基于密度函数与分布函数 的关系而发展起来的一种估计方法。核函数K( )起加权作 用，窗宽hn起控制估计精度的作用。
fˆn (x) p f (x)
(nhn )1/ 2 ( fˆn (x) Efˆn (x)) d N 0, f (x)R(K )
(nhn )1/ 2 ( fˆn (x) f (x)) d N 0, f (x)R(K )
由前2个性质可见，窗宽越小，核估计的偏差越小，但方 差越大。反之，窗宽增大，则核估计的方差变小，但偏差 却增大。
– 避免在估计之前需要设定参数函数形式所产生的问题。
– 不需要假定待估对象的准确函数形式，只需要假定待 估对象满足一些常规的条件，例如平滑性 （smoothness）和可微性（differentiability）。
– 既然对密度函数的函数形式施加比参数方法更少的结 构，那么非参数方法就需要更多的数据信息，才能达 到正确设定的参数模型相同的精确度。
Khn (u) hn1K (uhn1)
– 等价于局部加权最小二乘 估计均匀核。因为
n
n
min
Wni (x)( yi
i 1
)2
Wni (x)( yi
i 1
mˆ n (x))2
• 最常用的核函数有：
均匀核：k（）是[-1，1]上的 均匀概率密度函数
K1(u) 0.5I (| u | 1)
• 未知函数的核估计表达式 为 ：
n
Khn ( Xi X )Yi
mˆ n ( X )
i 1 n
Khn ( X j X )
j 1
Khn (u) hnd K (uhn1)
• 不同的核权函数的方法构成了不同的估计结果。
• Nadaraya-Watson核估计 – Nadaraya(1964)及Watson (1964)提出 。 – 选定原点对称的概率密度函数为核函数。
K (u)du 1
n
Wni (x) Khn (x xi ) / Khn (x x j ) j 1
§6.2 非参数模型局部逼近估计方法
一、密度函数的非参数核估计 二、非参数回归模型的核估计 三、非参数回归模型的局部线性估计
说明
• 局部逼近的权函数方法是非参数计量经济模型的 主要估计方法。
• 该估计方法的思路是利用权函数对局部观测值进 行加权平均，以获得密度函数或回归函数的估计。
• 本节包括：
– 密度函数的非参数核权估计 – 非参数回归模型的核权估计 – 非参数回归模型的局部线性估计。
• 常用核函数
均匀核
高斯核
K1(u) (2 )1/2 exp(u2 / 2)
Epanechnikov核 K2 (u) 0.75(1 u2 )
2、核估计的大样本性质
Bias(
fˆn (x))
hn2 2
2 (K )
f
(2) (x)
o(hn2 )
Var( fˆn (x)) (nhn )1 f (x)R(K ) o((nhn )1) O(n1)
满足这些条件最常用的核函数为
K (u)
Fra Baidu bibliotek
d(d 2Sd
2)
(1
u12
ud2 )
Sd 2πd / 2 / (d / 2)
二、非参数回归模型的核估计
1、非参数回归模型的核估计
• 非参数回归模型：
Yi m(Xi ) (Xi )i i 1,, n X ( X1, , X d )
4、窗宽的直接插入选择方法
• 不要求。有兴趣的同学看教科书。
5、多元密度函数的核估计
f ( x) f (x1,, xp )
fˆn (x)
1 nhnp
n K ( Xi x )
i 1
hn
K (u) 0 K (u)du 1 K (u)udu 0 K (u)uuTdu 2 (K )I
I()为显示性函数，当括号内 的不等式成立时，取值为1， 否则取值为0。
m(x)的Nadaraya-Watson 核估计就是落在[x-h,x+h] 的xi对应的yi的简单算术平均值。
• 最佳的窗宽选择
AMISE [(Bias( fˆ ))2 Var( fˆ )]dx
AMISE c1hn4 c2 (nhn )1
hn cn1/ 5
积分均方误差：最佳 窗宽选择的标准必须 在核估计的偏差和方 差之间作一个权衡
3、窗宽的交错鉴定法选择方法
• 不要求。有兴趣的同学看教科书。
2、一元密度函数的核估计
• 密度函数f(x)未知。可以从经验分布函数导出密度 函数的核估计。
Fn
(x)
1 n
( X1,,
X
n中小于x的个数)
经验分布函数
0.5
K0
(x)
0
当1 x 1 其他
核函数为 均匀核
fˆn (x)
[Fn (x
hn )
Fn (x
hn )] / 2hn
核估计等价于局部 加权最小二乘估计
n
n
min
Wni (x)(Yi
i 1
)2
Wni (x)(Yi
i 1
mˆ n (x))2
n
Wni (x) Wni (x; X 1 ,, X n )
Wni (x) 1
i 1
• 条件回归函数的估计是y i的 线性组合，对应所得 到的被解释变量的估计是yi的加权平均，权数利 用了解释变量的信息，且由解释变量的数值来确 定每个yi的权数的大小。
一、密度函数的非参数核估计
1、密度函数的非参数估计
• 密度函数的参数估计方法
– 在估计之前必须为待估对象设定正确的参数函数形式。 – 可能为真实的密度提供了一个误导性的特征，并且可
能因此产生错误的估计和导致不合理的推断。 – 通常的检验只能拒绝一个分布假设，并不能够提供任
何清晰的其它选择。
• 密度函数非参数方法
1 2hn
xhn
dFn (t)
xhn
xhn xhn
1 hn
K
0
(
t
hn
x
)dFn
(t
)
1 nhn
n i1
K0 (
Xi hn
x)
一般的密度函数核估计：
fˆn (x)
1 nhn
n K( Xi x)
i 1
hn
密度函数的非参数核估计方法是基于密度函数与分布函数 的关系而发展起来的一种估计方法。核函数K( )起加权作 用，窗宽hn起控制估计精度的作用。
fˆn (x) p f (x)
(nhn )1/ 2 ( fˆn (x) Efˆn (x)) d N 0, f (x)R(K )
(nhn )1/ 2 ( fˆn (x) f (x)) d N 0, f (x)R(K )
由前2个性质可见，窗宽越小，核估计的偏差越小，但方 差越大。反之，窗宽增大，则核估计的方差变小，但偏差 却增大。
– 避免在估计之前需要设定参数函数形式所产生的问题。
– 不需要假定待估对象的准确函数形式，只需要假定待 估对象满足一些常规的条件，例如平滑性 （smoothness）和可微性（differentiability）。
– 既然对密度函数的函数形式施加比参数方法更少的结 构，那么非参数方法就需要更多的数据信息，才能达 到正确设定的参数模型相同的精确度。
Khn (u) hn1K (uhn1)
– 等价于局部加权最小二乘 估计均匀核。因为
n
n
min
Wni (x)( yi
i 1
)2
Wni (x)( yi
i 1
mˆ n (x))2
• 最常用的核函数有：
均匀核：k（）是[-1，1]上的 均匀概率密度函数
K1(u) 0.5I (| u | 1)