广义矩估计

广义矩估计

1.1 矩估计

1.1.1 总体矩与样本矩

设总体X 的可能分布族为(){},,F x θθ∈Θ，其中来自参数空间Θ的

()12,,

,k θθθ=θ是待估计的未知参数。假定总体分布的

m 阶矩存在，

则总体分布的k 阶原点矩和k 阶中心矩为

()()

,1k

k

k EX x dF x k m α+∝-∝

=≤≤⎰

θθ 1

()[()]()[()],1k

k k E X E x x E x dF x k m μ+∝

-∝

-=-≤≤⎰

θθ

2

两种常见的情况是一阶原点矩和二阶中心矩：

()E X μ=

3

222

2()[()]()Var X E X E X μμσ=-=-

4

一阶原点矩表示变量的期望值，二阶中心矩表示变量的方差。 对于样本12(,,

,)n X X X =X ，其

k 阶原点矩是：

1

1n k

k i

i m X n ==∑（1k m ≤≤） 5

当k =1时，m 1表示X 的样本均值。 X 的k 阶中心矩是：

()1

1n

k k

i i B X X n =-∑（1k m ≤≤） 6

当k =2时，B 2表示X 的样本方差。 1.1.2 矩估计方法

矩方法（moment method ）是一种古老的估计方法。其基本思想是：在随机抽样中，样本统计量将依概率收敛于某个常数。这个常数又是分布中未知参数的一个函数。

总体分布的k 阶矩为()12,,

,K θθθ=θ的函数。根据大数定理，样

本矩依概率收敛于总体矩。因此，可以用样本矩作为总体矩的估计，即令：

()12,,,1,2,

,k K k

m k K αθθθ==

即：

()1

1,1,2,

,n k

k

i i x dF x X k K

n +∝-∝

= = =∑

∑θ 7

上式确定了包含K 个未知参数()12,,,K θθθ=θ的

K 个方程式，求解上

式所构成的方程组就可以得到()12,,

,K θθθ=θ的一组解()12ˆˆˆˆ,,,k

θθθ=⋯θ。

因为m k 是随机变量，故解得的ˆθ

也是随机变量。这种参数估计方法称为矩方法，()12ˆˆˆˆ,,,k θθθ=⋯θ即是()12,,

,K θθθ=θ的矩估计量。

定理：X 的分布函数F (X )存在2ν阶矩，则对样本的ν阶原点矩m v ，则矩的期望和方差为：

[]E m νν

α=，[]()221Var m n

ννναα=- 8

证明：

[]111111n n n i i i i i E m E X E X n n n νν

ννναα===⎡⎤⎡⎤====⎢⎥⎣⎦⎢⎥⎣⎦

∑∑∑

[]()

2

2

Var m Em Em ννν=-

2

2

1

1n i

i E X n ννα=⎛⎫=- ⎪ ⎪⎝⎭

∑ 2222111n i i j

i i j E X X X n n ννννα=≠⎛⎫

⎪=+- ⎪⎝

⎭

∑∑∑ 22

2

21

1

1n

i i j i i j

E X E X X n n ννννα=≠⎡⎤⎡⎤=

+-⎣⎦⎣⎦

∑∑∑ 22221

11

n

i j i i j

E X E X n

n ννν

ναα=≠⎡⎤⎡⎤=

+-⎣⎦⎣⎦∑∑∑ ()22

22111n n n n

νννααα=+--

2

211n n

νν

αα=-。 矩方法的一般步骤：

Step1：总体矩条件（population moment condition ）：(),t =m w θ0。一般情况下，矩条件可以写为：[(,)]t E f =w θ0。

给定观测样本12(,,

,)T y y y ，总体矩无法计算。但可以计算总体

矩条件对应的样本矩条件。

Step2：样本矩条件（sample moment condition ）：()ˆ,t =m

w θ0。一般情况下，矩条件可以写为：

1

1(,)T

t t f T ==∑w θ0 根据大数定理，样本矩依概率收敛于总体矩，即

()()pr ˆ,,t t −−→m w θm w θ

Step3：令样本矩=总体矩，得到矩方程，解方程（组）得到未知参数的矩估计量。

在很多情况下，我们可以根据矩条件构建矩方程，然后求解未知参数。一般情况下，这些矩条件都是可以直接观察到（或假定）的。

例 0.1 假定随机变量 y t 的均值()t E y μ=存在但未知，利用矩方法进行估计。

Step1：总体矩：令(),t t f y y μμ=-，则(),0t E f y μ⎡⎤=⎣⎦

Step2：样本矩为：()()()11

11ˆ,,0T T

t t t t t m

y f y y T T μμμ====-=∑∑

根据大数定理，样本矩依概率收敛于总体矩，即

()()pr

ˆ,,t t m y E f y μμ⎡⎤−−→⎣⎦

解上述方程即可得到μ的矩估计量1

1ˆT

MM t t y T μ

==∑

1.1.3 矩方法的几个特例

很多估计方法（比如OLS 、TSLS 等）都是矩估计的特殊形式。 1.OLS 估计

例2：在回归方程中，