预备知识1线性模型

2
EMSAB
E
a
SSAB
1b 1
m
2
2
am2 m2
EMSe
E
SSe
abm
1
2
F1
MSA MSAB
F2
MSB MSAB
F3
MSAB MSe
预备知识3：三大检验
似然比检验LR Wald检验 拉格朗日乘子检验LM
三大检验的引入
（1）模型是非线性的 （2）约束是非线性的 （3）扰动项分布是非正态的，
i j
b i2 a 12
i
同理ESSB a 2j b 12
j
ESST E
2 i j ij ..
i j
b i2 a 2j ab 12
i
j
ESSe a 1b 12
EMSA
E SSA a 1
b
i2
i
a 1
2
EMSB
E SSB b 1
a
2 j
j
b 1
如果
这里 为已知协方差矩阵
估计量
方差
预备知识2：固定效应模型
可加效应模型
yijk i j ijk
i
1,, a, ijk i.i.d
j 1,, N 0, 2
b,
k
1,,
m
i 0,
j 0
i
j
方差分析（ analysis of variance, ANOVA）
假设
H01 : 1 2 a 0 H02 : 1 2 b 0 偏差平方和的分解
检验统计量
j
ij
yi.. i j b j b
i i. i..
y... .. ...
i..
ESSA E
2
i i. .. i.. ...
i j k
bma
12
ma
1
2
a
12
同理 ESSB amb 12 mb 1 2 b 12
i
ij 0, i 1,a
j
方差分析
假设
H01 : 1 2 a 0 H02 : 1 2 b 0
H03 : ij 0 对一切i 1,, a j 1,, b
偏差平方和的分解
SST
yijk y...
i jk
2
2
yi.. y...
y.j. y...
H01 : 2 0 H02 : 2 0 H03 : 2 0
偏差平方和的分解
SST
2
yijk y...
i jk
2
2
2
yi.. y...
y.j. y...
yijk yij.
i jk
i jk
i jk
2
yij. yi.. y.j. y...
i jk
SSA SSB SSe SSAB
极大似然估计（ML）
（一）极大似然原理
假设对于给定样本 Y, X， 其联合概率分布存
在 f Y, X;
。将该联合概率密度函数视为未知参数
的函数，则 f Y, X; 称为似然函数（Likelihood Function）, 即观
i jk
i jk
2
2
yijk yij.
yij. yi.. y.j. y...
i jk
i jk
SSA SSB SSe SSAB
检验统计量
yi.. i i.. y. j. j . j. y... ...
yij. i j ij ij.
i
j
ij
ESSAB m i2j a 1b 12
ij
EMSA
E SSA a 1
bm i2
i
a 1
2
EMSB
E
SSB b 1
am 2j
j
b 1
2
EMSAB
E
a
SSAB
1b
1
m i2j
j
a 1b 1
2
EMSe
E
SSe
abm
1
2
FA
MSA MSe
FB
MSB MSe
FAB
MSAB MSe
预备知识1：线性模型
二元回归模型
矩阵形式
最小二乘估计（ordinary least squares,OLS）
估计量
估计量方差
其中
总平方和
回归平方和 残差平方和
为f预测值
i
判定系数（coefficient of determination）R
squared
调整R squared
广义最小二乘（generalized leastsquares,GLS）
SST
2
yij y..
ij
2
2
2
yi. y..
y.j y..
yij yi. y.j y..
ij
ij
ij
SSA SSB SSe 检验统计量
yi. i i. y.j j .j y.. ..
ESSA E
2 i i. ..
ESSe E
ijk
ij.
2
ab
m 1 2
i j k
ESST E
i
j
ij
..
ijk
...
2
i j k
bma
12
amb
12
mab
1
2
abm
12
ESSAB
a
1b
12
ma
1b
1
2
EMSA
E
SSA a 1
2
m
2
bm2
EMSB
E
SSB b 1
2
EMSe
E
a
SSe
1b
1
2
F1
MSA MSe
F2
MSB MSe
交互效应模型
yij k i j ij ij k
i 1,, a, j 1,, b, k 1,, m
ij k i.i.d N 0, 2
i 0,
j 0
i
j
ij 0, j 1,, b
随机效应模型
yijk i j ij ijk i 1,, a, j 1,, b, k 1,, m
ijk i.i.d N 0, 2
i
i.i.d
N
0,
2
j i.i.d N 0, 2
ij
i.i.d
N
0,
2
诸ijk、诸i、诸j、诸ij 相互独立
方差分析
假设
Leabharlann Baidu
ESSA E
2 i i.. ...
i j k
bm i2 a 12
i
ESSB am
2 j
b
12
j
ESSe E
ijk
ij.
2
ab
m 1
2
i j k
ESST E
2
i j ij ijk ...
i j k
bm i2 am 2j m
i2j abm 12
在这些情况下，F检验不再适用，通常需要 采用LR、Wald、LM其中之一来检验约束条 件是否成立。
三大检验方法共同点
这三个检验方法都是渐进等价的，他们所 用统计量的小样本分布是未知的，但大样 本下都渐进服从自由度为约束个数的卡方 分布。
三大检验方法是三种基于极大似然法的大 样本检验方法。
根据模型的特点采用不同的检验方法。 模型视为给定参数的数据生成过程的集合。