高斯马尔科夫

= y βx
∑y α = y βx =
n
i
(∑ wi y i ) x = ∑
yi ∑ wi y i x n
yi 1 = ∑ ( wi y i x ) = ∑ wi x ）i = ∑ θ i y i （ y n n 1 其中，θ i = wi x n 从而证明 α为y i的线性估计量
其中， 其中，用到了之前的结论
E (β ) = β
Haoyang Sun
证明最好——思路1（比较法）
思路一：构造新的估计量，做比较 1 α = y β x = ∑ wi x ）i = ∑ θ i y i （ y 我们之前定义： (n 现构造一个新的线性估计量 α = ∑ θ i + C i ) y i （
λ1 =
2 λ2 ∑ xi n
x
i
=0
=
2 λ2 x n
Haoyang Sun
2 将 λ1 = λ 2 x 代入（ ）（n)式： 1L n 2 2 C1 + (λ 2 x ) λ 2 x1 = 0 n 2 C + (λ x 2 ) λ x = 0 2 2 2 2 n M 2 2 C n + (λ 2 x ) λ 2 xn = 0 n 通式： i = C 1 λ2 (xi x ) + n 2 两边同乘 xi C i xi =
2
(
(
Q σ 已经固定 Min ∑ C i
(
(Leabharlann Baidu
2
)
( ) )
Haoyang Sun
目标转换
整个问题转化为求下面的条件极值： Min ∑ C i 线性无偏估计量的方差最小
2
(
)
ST .∑ C i = 1
∑C x
i
i
=0
2
构造拉格朗日函数： L(C i , λ 1 , λ 2 ) = ∑ C i λ 1 (∑ C i 1) λ 2 (∑ C i xi )
Haoyang Sun
Var (α ) = Var ∑ ( i + C i ) y = ∑ θ (
i
(
)
(θ i +C i )Var (y )
2 i
2 2 2+2 2 + 2 2 + 2σ 2 = ∑ θ ∑θ i C i θ i C i + C i σ = ∑ θ i C i σ i 1 1 现在证明： θ i C i = ∑ ( x wi )Ci = ∑ Ci x ∑ wi Ci = 0 0 = 0 ∑ n n ( 2 + 2 2 Var (α ) = ∑ θ i C i σ
Haoyang Sun
(1) + ( 2 ) + L + ( n ) 得： ∑ C i n λ 1 λ 2 ∑ 2 Q∑Ci =1
L = 2 C 1 λ 1 λ 2 x1 = 0 (1) C1 L = 2C 2 λ1 λ 2 x2 = 0 (2) C2 M L (n) = 2 C n λ 1 λ 2 xn = 0 Cn L = ∑ Ci 1 = 0 ( n + 1) λ1 L = ∑ C i xi = 0 (n + 2) λ2
E(α ) = E[∑ θi + Ci ) yi ] （ （ = ∑ θi + Ci )E( yi ) （ = ∑ θi + Ci )(α + βxi ) （ = ∑ αθi + βθi xi + αCi + βCi xi ) = α ∑θi + β ∑θi xi + α ∑ Ci + β ∑ Ci xi
i
∑ C i xi = x +
λ2
xi λ 2 + (xi x ) xi n 2
∑ (x x ) x 2
i
Q 无偏约束∑ C i xi = 0
λ2 =
2x = ∑ (xi x ) xi
∑ (x x )
i
2x
2
Haoyang Sun
最后一步：解出这个Ci
1 λ2 C i = + ( xi x ) n 2 1 1 (2 x ） 也就是说， 也就是说，当 Ci = θ i 时，目 = + ( xi x ) 2 n 2 （ 标函数取得最小值， ∑ xi x ） 标函数取得最小值，即 ( 1 ( x ）xi x ) = + 2 n ∑ xi x ） （ 1 = + ( x ) wi n 1 = x wi n = θi
《计量经济学》2010年课堂演示 计量经济学》 年课堂演示
The Guass-Markov Theorem
孙昊旸
以模型 为例证明The Guass-Markov Theorem
选取模型：y i = α + β x i + ε i , ε i ~ ( 0 , σ ) 根据高斯——马尔科夫定理，我们需要证 明的就是 α ， β 具有一下的一些特性： 1、线性：估计量与 y i 存在线性关系 2、无偏：期望值=真实值 3、最好：方差最小
Haoyang Sun
构造估计量α = ∑ C i y E (α ) = ∑ C i E (α + βxi + ε i ) i ( E (α ) = ∑ θ i (α + βxi ) = α ∑ C i + β ∑ C i xi ∑Ci = 1 满足无偏性 ∑ C i xi = 0 ( (α ) = Var (∑ Ci yi ) = ∑ C i2Var yi = σ 2 ∑ C i2 Var 2 2 ( 欲使Var (α )最小 Min σ ∑ C i
Haoyang Sun
思路1——比较法
这样一来，
E (α ) = α ∑ θ i + β ∑ θ i xi + α ∑ C i + β ∑ C i xi = α + α ∑ C i + β ∑ C i xi
无偏性要求对于任意αβ都有
(
α ∑ Ci = 0 β ∑ Ci xi = 0
∑ C i = 0 α、β是任意的 ∑ C i xi = 0
Haoyang Sun
(
思路1——比较法
这里，需要探讨的一些性质，以便继续证明。
1 ∑ θ i = ∑ ( n x wi ) = 1 ∑ x wi = 1 x ∑ wi = 1 0 = 1
1 ∑θ i xi = ∑ ( n xwi )xi xi = ∑ ( x wi xi ) n 1 = ∑ xi x ∑ wi xi n =xx =0
2
Haoyang Sun
关于α的证明
关于 α 的证明其实和对 β 的证明非常类似，我 们依旧是对其期望、方差及表示形式 期望、 期望 方差及表示形式进行考察， 从而证明高斯-马尔科夫定理。
Haoyang Sun
α = y βx
证明线性
根据最小二乘法，我们已知 α 对这一表达形式做适当变形：
而Var (α ) = Var[∑ θ i yi ] = ∑ θ i Var ( yi ) == ∑θ i σ
2 2
2
2 2 2 + 2 2 ≥ 最后 Var (α ) = ∑ θ i C i σ ∑θ i σ = Var (α ) MinVar (α )
(
Haoyang Sun
证明最好——思路2（求解法） 利用多元函数极值的方法直接去求解这个“最 好的”的估计量
Var (α ) = Var (∑ C i y i ) = σ (
2
∑C
2 i
最小。而此时 最小。
α = ∑ Ci yi = ∑θ i yi = α
拉格朗日极值法求得方差最小估计量 = LSM的估计量
(
Haoyang Sun
Haoyang Sun
证明无偏
无偏： E (α ) = E ( y βx ) = E ( y ) E ( βx )
∑ y ) E (βx ) = E(
i
n
1 ∑ E ( yi ) E (βx ) n 1 = ∑ (α + βxi ) E ( βx ) n 1 = (nα + β ∑ xi ) x E ( β ) n = α + βx x β =α =