计量经济学ch4 正态假定 经典线性回归模型

Ch4 正态性假定: 经典正态线性回归模型
对于模型
i i i u X Y ++=21ββ （4.1）
我们首先讨论扰动的分布。

i u
4.1. 的概率分布
i u 没有分布假设，不可能对参数估计量作出任何推断，也不可能对任何有关总体的假定作出检验
4.2. 的概率分布假定为正态分布
i u 经典正态线性回归假定具有正态分布，且 i u 均值：
0)(=i u E 方差： ，表示对每一个，方差相同 22)(σ=i u E i u 协方差 j i u u j i ≠=0),cov(
概率密度函数： 22
221
)(σ
π
σi u i e
u f −=
概率分布函数
∫
∞
−−=x
i
i du e
u F i 22221
)(σ
μπ
σ
上述假定采取记为
2~(0,i u NID )σ （4.2）
简称为为独立同分布。

其分布特征如图所示.
i u
正态分布特征：
为什么假定为正态分布? 1. 中心极限定理
独立同分布随机变量X i , 其均值为μ, 方差为σ2, 则：
)/,(/2
n N n X X n i σμ⎯⎯→⎯=∞
→∑
)1,0()
(/N X n n
X z n ⎯⎯→⎯−=
−=
∞
→σ
μσμ
正是中心极限定理，为的正态假设提供了理论支持。

i u 2. 正态变量所具有的性质: 线性变换仍为正态变量,分布函数仅有两个参数即均值和方差。

4.3.正态假定下OLS 估计量的性质
用OLS 方法所得到的估计量,在正态假定下具有性质: )2,1(ˆ=i i
β1. 无偏性； 2. 最小方差；
3. 一致性，即随着样本个数的无限增大，估计量将收敛于它们的真值。

用公式表示
{}
01ˆlim >=<−∞
→εεββi
i n P 或
i
i p ββ=ˆlim 4. 估计量服从正态分布
212222
~(,ˆ~(,var())i i Y N X N )
ˆββσβββ+ （4.3） 对其标准化，有
)
1,0(~)ˆvar(ˆ2
22N Z βββ−=
5.
)2(~ˆ)2(22
2−−n n χσσ
（4.4）
为什么？
6. 的(联合)分布独立于的分布。

)ˆ,ˆ(2
1ββ2ˆσ7. 在所有无偏估计类（线性和非线性）中，方差最小。

)2,1(ˆ=i i
β高斯定理限于线性无偏估计中，在正态假定下，方差最小扩大到所有无偏估计类，即无论是线性还是非线性估计量，OLS 估计量都是最优估计量。

4.4.ML 估计
方法: Y 的联合概率密度函数（在正态和无自相关假定下，每一个Y i 的概率密度函数相乘）值通过一阶条件最大化，取对数后，对参
数取偏导并令其为0。

假定为独立同(正态)分布, 有也为独立同(正态)分布, 其均值为β1+β2X i, 方差为σ2, 密度函数为
i u i Y ⎭
⎬⎫⎩⎨⎧−−−=2
221)(21exp 21
)(σββπσi i i X Y Y f 而联合密度函数(由于独立性)为每一个的密度函数相乘,即有极大似然函数为 i Y
⎭
⎬⎫⎩⎨⎧−−−=++=+=∑222122122112211)(21exp )2(1
),(),(),,...(σββπσσββσββσββi i n
n i n i i n X Y X Y f X Y f X Y Y f LF "
对LF 取对数,有
∑∑
−−−−−=−−−−−=2
22
122
221)(21)2ln(2ln 2)(21)2ln(2ln ln σββπσσββπσi i X Y n n X Y n
n LF 上述似然函数中,含待估参数,分别对待估参数求偏导并令其为0,即可求出参数估计.
0)()2/1()2/(ˆln 0
)()()/1(ˆ
ln 0)1()()/1(ˆln 2214
22
2122
2121
=−−+−=∂∂=−−−−=∂∂=−−−−=∂∂∑∑∑i i i i X Y n LF X X Y LF
X Y LF
ββσσσ
ββσβββσβ
联立求解上述方程组,有
2
2
12
22
22
()(ˆ,
()
ˆˆˆˆˆˆ//i
i i
ML
i LS
i X X Y Y X X Y X u n u n βββσσ−−=−=−==∑∑∑∑(2)−
性质：
在正态假定下，参数β1的β2的估计与OLS 相同，总体方差的估计是一个有偏估计。

因为σ2的OLS 估计是一个无偏估计, 但显然,ML 估计不等于OLS 估计,所以有偏.
2
2
)21()ˆ(σσ
n
E ML −= 但可证明, σ2的ML 估计是一个渐近无偏估计,也是一致估计：
2222ˆlim (),ˆlim M n M n E p σσσσ→∞
→∞
==
4.5. 与正态分布相关联的分布或由正态分布所派生的分布
定理4.1. 设为n 个相互独立正态变量，其均值和方差分别
为，则它们的线性组合，
n i Z i ,..2,1,=2,i i σμ))(,(~2∑∑∑=i i i i i i k k N Z k Z σμ
定理4.2. 设为n 个相互不独立正态变量，其均值和方差分
别为，则它们的线性组合为正态变量，且有
n i Z i ,..2,1,=2,i i σμ)),,cov(2)(,(~2∑∑∑∑≠+=j i Z Z k k k k N Z k Z J i j i i i i i i i σμ
定理4.3. 设为n 个相互独立且分布相同的正态变量，其均
值和方差分别为0和1(标准正态变量)，则它们的平方的和为卡方变量，即
n i Z i ,..2,1,=)(~22
n Z
i
χ∑
期望：n ；方差：2n
)(2n χ的概率密度函数
定理4.4.设),..2,1(n i Z i =为相互独立且自由度分别为的卡方分布,则和
有
i k ∑∑)(~2i i
k Z
χ
定理4.5.学生t-分布
)
1,0(~/)(~),1,0(~2
121221N t Z k Z k
Z Z t k Z N Z d
k ⎯→⎯=
=
⇒
χ
期望：0 （k>1） 方差：)2/(−k k (k>2)
学生t-分布与正态分布
Student’s t-Distribution
图4.1 学生t-分布与正态分布
定理4.6. 如果,则
)(~)2,1(2i i k i Z χ=),(~//212
21
1k k F k Z k Z F =
其中分子(母)的自由度分别为k 1(或m)和k 2(或n).
期望： (k 2>2)
)2/(22−k k 方差：)
4()2()
2(222
212122−−−+k k k k k k (k 2>4)
F 分布的概率密度函数（2，6）、（6，10），（10，20） 定理4.7. 2),1(k t k F = 要点:
正态分布,正态分布下的估计量的性质.
ML 估计,卡方分布, F 分布, t 分布的定义和构成。