Chp7：非参数估计(精)

所以 ( L ( x ),U ( x )) 为F的1- a非参数置信区间。
10
CDF估计举例
例7.2：神经纤维上相邻脉冲的相隔时间
时间t
95%的置信区间中的参数为： en =
骣2 ÷ 1 log ç = 0.048 11 ÷ ç ÷ ç 桫 2n 0.05
统计函数的估计

统计函数/统计泛函：F的任意函数
12
嵌入式估计量：线性函数

若对某个函数 r ( x) ，有 T (F ) = ò r ( x) dF ( x) ，则称 T为一个线性函数。 T为一个线性函数：T (aF + bG) = aT (F ) + bT (G ) 该函数的嵌入式估计量为
n 1 µn = r ( x) d F µn ( x ) = T F r (Xi ) å ò n i= 1

可根据下面的步骤构造F的1-α置信区间。
9
EDF置信区间

定义
{ } µ ( x ) + e ,1} U ( x ) = min {F
µn ( x )- e ,0 L ( x ) = max F n
n n
其中
en =
骣 1 2 ÷ log ç ÷ ç ç 桫 2n a÷

则对任意F和所有x
P ( L ( x ) ＃F ( x ) U ( x ), for all x ) ? 1 a

( )

例如：均值
ò xdF ( x) $ = xd F µ ( x) = m ò
m=
n
1 n X n = å Xi n i= 1
13
例：方差

方差： T (F ) = s = V ( X )=
2
x dF ( x )蝌
2
(
xdF ( x )
)
2

因此 sˆ =
2
ˆ ( x )x dF 蝌 n
2 n

经验分布函数
ˆ 定义为 令 X1 ,... X n ~ F 为IID，则经验分布函数 F n
ˆ x F n
I X
i 1
n
i
x
n
ì 1 Xi £ x ï ï í ï ï î 0 Xi > x
其中 I ( X i ? x)
称为指示函数（indicator function）。

ˆ ( x) 是基于排序好的样本数据的一个步长 F 注意： n 函数，在有样本时跳 1/n 。 6
n
i
x
7
n
ˆ ( x) F n

是F的一个很好估计？
无偏估计
所以
ˆ ( x)) = F ( x) E (F n
ˆ ( x)) = V (F n MSE = n
F ( x)(1- F ( x))
? 0
F ( x)(1- F ( x))
n ˆ ( x) 揪P? F ( x) 一致估计 Þ F n
Chp7：非参数估计

Fra Baidu bibliotek
CDF估计

点估计 区间估计 点估计 区间估计

统计函数估计

1
Chp7：非参数估计

一个非参数模型的例子：
F SOB =

( x )) dx < ? } {f : ò ( f ⅱ
2
“非参数”并不意味着没有参数，而是指模型不 能参数化（有无限个参数）。
2
非参数化方法
ˆ ( x)是F的一个很好估计？ F n

ˆ ( x) 是一个随机变量：nF ˆ x 服从二项 给定x，F n n 分布 Binomial n, F x
Y I X x ~ Bernoulli F x P Y 1 P X x F x P Y 0 P X x 1 F x
Y ~ Bernoulli p P Y 1 p P Y 0 1 p

ˆ x ~ Binomial n, F x 所以 Yi I X i x nF n
ˆ x F n
I X
i 1
(
n i= 1
ˆ (x) xdF n Xi ÷ ÷ ÷
2
)
2
骣 1 1 2 ç = 邋X i - ç ç n i= 1 n 桫
1 n = å (Xi - X n) n i= 1

注意：与样本方差稍有不同。 该估计不是无偏估计
1 S = Xi - X n ) ( å n - 1 i= 1
2 n n 2
n
i= 1
wi ( x) =
å
K h ( x, xi )
x - xi ÷ 1 骣 ç , K h ( x, xi ) = K ç ÷ ç h 桫h ÷
i= 1

常用核函数 K (t ) :
4
CDF估计和统计函数估计

回到最基本状态，无需任何假设
5
(Empirical Distribution Function， EDF)
? 0
8
EDF的置信区间

Glivenko-Cantelli 定理 如果 X 1 ,... X n ~ F ，则 ˆ ( x)- F ( x) 揪P? 0 sup F
x n

Dvoretzky-Kiefer-Wolfowitz (DKW)不等式 如果 X 1 ,... X n ~ F ，则对任意 e > 0 骣 ˆ - 2 ne 2 ÷ Pç sup Fn ( x)- F ( x) > e÷ ? 2e ÷ ç 桫x
14
例：偏度

令m和 s 2分别表示随机变量X的均值和方差，偏度定义为：
E ( X - m) k= = 3 s
3
ò (x -
m) dF ( x )
2 3 2
3
(ò ( x - m) dF ( x))
(
$ Xi - m

表示分布偏离对称的程度。

均值： m = ò xdF ( x) 2 2 方差： s = ò ( x - m) dF ( x) 中值： m = F - 1 (1 2)

统计函数的估计：嵌入式估计量(Plug-in Estimator) ˆ = T (F ˆ) q = T ( F )的嵌入式估计量为 q n n ˆ 代替未知的F 插入 F n

一些流行的非参数化方法：

直方图、核密度估计 (密度估计) 样条、小波回归 (回归) 核判别分析、最近邻、支持向量机SVM (分类)
3
非参数化方法

非参数模型有时亦称局部模型（local model）

如：核回归 n
ˆ ( x) = r
å
wi ( x )Yi , K h ( x, xi )