Delta方法

Delta 方法
摘要
在统计学中，独立和的中心极限定理或者Linderberg-Feller 中心极限定理都给出了随机变量服从极限正态分布的条件，不过，很多时候我们关注的不是随机变量本身的分布，而是随机变量函数的分布，而delta 方法作用就是利用估计量的极限方差求得渐近正态估计量函数的极限分布。

Delta 方法主要利用了Taylor 展开证明。

介绍
假定统计量n T 是参数θ的一个估计，但是我们感兴趣的是()φθ，其中φ是一个已知的函数。

一个很自然的想法是用统计量()n T φ来估计。

但是()n T φ的渐进性质如何呢？
首先由连续映射定理可知，如果序列n T 以概率收敛于θ，且φ在θ处连续，那么()n T φ以概
率收敛于()φθ)n T θ-弱收敛到一个极
()())n g T g θ-一样成立？
定理证明
Delta 方法（一元）
如果一列随机变量n X ]2
(0,)n X N θσ-→，其中2
,θσ均为有限的常数，那么
]
22()()(0,['()])n g X g N g θσθ-→，其中g 满足'()g θ存在且取值不为零。

Delta 方法（多元）
设g (1)j j m ≤≤都是k 变元函数，有一阶全微分,1(,....,)'m g g g =.又
1(,...,)'(1)n n kn n ξξξ=≥为一串随机向量，满足条件
)
(0,),n a N B n ξ-→→∞
这里1(,...,)'k a a a =为常向量，0B ≥为k 阶常方阵，则
)
()()(0,'),n g g a N CBC n ξ-→→∞
其中C 为m k ⨯矩阵，其（i ，j ）元为/|i j u a g u =∂∂
Taylor 多项式 如果函数g(x)有r 阶导数，即存在()
()()r
r r d g x g x dx
=，则对任意常数a, g(x)
在a 附近r 阶Taylor 多项式（Taylor polynomial of order r about a 为
()0
()
()()!i r
i r i g a T x x a ==-∑
Taylor 定理 如果()
()()|r
r x a r d g a g x dx
==存在，则
()()
lim
0()
r r
x a
g x T x x a →-=- Taylor 定理表明余项()()r g x T x -是Taylor 多项式的无穷小，由于我们仅考察Taylor 级数近似，常常忽略其余项，所以余项的具体表达式并不十分关心，不过在余项的具体表达式中，下列表示最为常用
(1)()
()()()!x
r r r a
g t g x T x x t dt r +-=-⎰
Slutsky 定理 如果n X 依分布收敛于随机变量X ，n Y 依概率收敛于常数a 则 A.n n X Y 依分布收敛于随机变量aX ； B ．n n X Y +依分布收敛于随机变量a X +，
∆方法 设速记变量序列n Y
)n Y θ-依分布收敛于2(0,)N σ，函数g 在指定θ处
满足：'
()g θ存在且不为零，则
2'2()()](0,[()])n g Y g N g θσθ-→（依分布收敛）
证明
（一元）()n g Y 在n Y θ=附近的Taylor 展式为
'()()()()n n g Y g g Y θθθ=+-+余项
其中，当n Y θ→时余项趋于零。

由于n Y 依概率收敛于θ，故余项依概率收敛于零，于是
'()()](]n n g Y g g Y θθθ-→-（依分布收敛）
再由Slutsky 定理可知，此定理得证。

（多元）因1,...,m g g 都有一阶全微分，故有
()()])()n n n g g a a a ξξξ-=--
按照假定)n a ξ-有极限分布，故当n →∞，(())0n n a ξ-→依概率成立。

因此上
式左边的极限分布，与右边的第一项分布的极限分布相同。

按假定，后者等于C ξ的分布，其中(0,)k N B ξ
，这就证明了多元的Deita 方法。

扩展
下面我们介绍Deita 方法的一种推广。

推广考察g '()0μ=的情形，这种情况却有可能发生，例如我们在Taylor 展式中多取一项，即
2''()
()()'()()()2
n n n g g Y g g Y Y θθθθθ=+-+
-+余项 令g '()0θ=，重新整理后，即
2''()
()()()2
n n g g Y g Y θθθ-=
-+余项 回忆(0,1)N 变量的平方服从2
1χ分布，于是
2
212
()n n Y θχσ-→（依分布收敛）
二阶Deita 方法
设随机变量序列n Y
满足：)n Y θ-依分布收敛于2
(0,)N σ，函数g 在指定的θ处满足
g'()0,''()g θθ=存在且不为零，则
2
2
1''()[()()]2
n g n g Y g θθσχ-→（依分布收敛） 应用
样本协方差
1,...,n X X 的样本协方差定义为2
211
()n
i i S n X X -==-∑，可以表示为2(,)i X X φ，其中函数
2(,)x y y x φ=-，为了简单，我们用的n 而不是n-1，假定2S 是取自那些一阶矩到四阶矩
有限的分布的，并且一阶矩到四阶矩表示为1234,,,αααα。

由多元的中心极限定理可知，
22121312222231420,0X N X αααααααααα⎛⎫⎫
⎛⎫⎛⎫--⎛⎫⎛⎫-→ ⎪⎪ ⎪ ⎪ ⎪ ⎪⎪ ⎪
--⎝⎭⎝⎭⎝⎭⎝⎭⎭⎝⎭
映射φ在点()12,T
θαα=，并且其导数12(,)'(2,1)ααφα=-。

因此如果向量12(,)'T T 服从上面
的正态分布，那么
()
2
12112
(,),)2
i
X X T T
φφααα
-→-+
上式后面的变量是正态分布，且均值为零，方差可以被
1234
,,,
αααα表示。

如果
1
α=，
方差可以简化为2
42
αα
-。

一般情况下可以变为这种情况，因为2S在样本
i
X替换为中心化
的随机变量
1
i i
Y Xα
=-的情况下不会改变。

令k
k i
EY
μ=，表示
i
X的中心矩。

发现22
(,)
S Y Y
φ
=和()
122
,
φμμμ
=为初始样本的方差，我们得到
22
242
)(0,)
S N
μμμ
-→-
由Slutsky 定理，对于无偏的样本协方差矩阵2
/(1)
n n S
-这个结果依然成立，因为
/(1)1)0
n n--→
卡方检验的水平
作为前面的例子的应用，考虑检验方差的卡方检验。

正态理论规定，当2
n S超过2
1
n
χ
-
的上α
分位数2
nα
χ
，
时拒绝原假设
02
:1
Hμ≤。

如果样本观察值都来自正态分布，检验有一个精确的水平α。

如果最初的样本分布不是正态分布是不是仍然成立。

不幸的是，答案是否定的。

当n很大时，我们可以借助上面的结论。

根据中心极限定理和前面的例子的陈述
2
(0,1)
N
2
2
(1)(0,2)
S
Nκ
μ
-+
这里2
42
/3
κμμ
=-
表示分布的峰度。

第一个式子能够得到2
((1))
n
n
α
χ--
，
到标准正态分布的上α分位数Zα。

因此卡方检验的水平满足
2
2
2
22
1
2
(n)(1)1
n
S
P S P
μα
χφ
μ
=
>=->−−→-
，
渐近的水平变为1()
Z
α
φα
-=当且仅当分布的峰度等于零。

这其实就是正态分布的情形。

另一方面重尾分布有一个很大的峰度。

如果分布的峰度是接近无穷，那么渐进水平接近
1(0)1/2
φ
-=。

我们可以得出结论卡方检验对于那些影响峰度值的参数是不稳定的。

当检验的临界值在自由度n-1的卡方分不下给定时至少是对的。

2
2
(1)
S
μ
-，且渐进方差2
κ+被估地准确的话这个问题就不会被提出来。

22
)S σ-的渐进分布由Delta 方法得到。

实际上，它可以由更简便更直
接方法得到。

2
2
2221
1)(())()n
i i S X X n σμσμ=-=---∑
上式的第二项以概率收敛到零；第一项由中心极限定理渐进正态，所以整个式子由Slutsky 定理渐进正态 偏度
样本1,...,n X X 的样本偏度定义为
1
3
11
23/2
1
()(())
n
i
i n n
i
i n X
X l n
X
X -=-=-=
-∑∑
意料之中的它会以概率收敛到潜在分布的偏度。

定义系数3
3/λμσ=，3,μσ分别是三阶中
心矩和标准差，对称分布的偏度，比如正态分布，是等于零的，样本的偏度可以用来检验潜在分布的正态性质的某些方面。

对于大样本的情形，检验临界值可以用正态近似来定义。

样本偏度可以写成23()X X X φ，其中φ表示如下
3
23/2
32(,,)()
c ab a a b c b a φ-+=- 2
3
123(,,)X X X ααα---为渐近正态，且均值为零。

假定
61EX 有限。

而123(,,)φααα表示总体的精确偏度。

函数φ在点123(,,)ααα可微。

令
1()/i i Y X ασ=-，偏度也可以被表示成23(,,)Y Y Y φ。

33/λμσ=表示潜在分布的的偏
度，那Y 满足
2
555623
561310,2/3//Y Y N Y λ
κλκμσλκμσλ
μσλλ⎛⎫⎛+⎫
⎛⎫⎪ ⎪
⎪⎪-+- ⎪ ⎪⎪ ⎪ ⎪+-- ⎪⎝⎭-⎝⎭
⎝⎭
函数φ在点(0,1,)λ的导函数值为(3,3/2,1)λ--。

因此如果T
服从上述正态分布，那么
)n l λ-为渐近正态，均值为零，方差等于123var(33/2)T T T λ--+。

如果潜在的分布
是正态的，那么6
560,0,/15λμκμσ====。

在这种情况下，样本偏度渐近(0,6)N
方差变换
统计量n T
2)(0,())T N θ
θσθ-−−
→，对不同的θ的取值，θ的渐近置信区间为
(T z T z α
α
-+
不幸的是，上面所说的区间是没有用的，因为区间跟未知参数θ有关。

有一种方法是其他统计量估计其标准差()σθ，如果这一系列的估计量都是相合的，就会有置信区间的渐近水平为12α-。

另一个方法利用方差变换，其往往会收到比较好的结。

如果()σθ与θ无关，这个问题就不会被提出。

受此启发得到方差变换的主意。

尽管适合条件的情形会比较少，而且经常把θ变换为另一个不同的参数()ηφθ=，在这种情况下就可以应用了。

自然估计η的统计量为()n T ηφ=。

如果φ是可微的函数，那么
22()())(0,'()())n T N θ
φφθφθσθ-−−→
我们可以通过选取φ使得'()()1φθσθ≡，此时渐进方差就为一个常数，找到一个针对于
()ηφθ=置信区间是简单的。

微分方程的解为
1
()()
d φθθσθ=⎰
就为一个方差变换。

相关性
令11(,),...,(,)n n X Y X Y 为来自二维正态分布且相关系数为ρ的样本。

样本相关系数可以定义为
11/2
221()()
()()n
i
i i n n
i i i X
X Y Y r X X Y Y ==--=
⎧⎫--⎨⎬⎩⎭
∑∑∑
利用Delta
)n r ρ-渐近零均值的正态分布，，方差由(,)X Y 的三阶矩和四阶矩决定。

在四阶矩存在的情况下，这种方法对一般分布依然成立。

在正态的假设下，渐近方差可以由,X Y 的相关系数表出。

22)(0,(1))n r N ρρ-−−→-
变换
2
111()log arctan 121d h ρφρρρρρ
-===-+⎰
arctan )hr h ρ-对于每个ρ都会收敛到正态分布。

从而得到相关系数的置信区间为
(tanh(arctan /hr z hr z αα-+。