第四章多元线性回归分析基础

ni i
i 1 k
ni
i1 n
i 1
i i
则模型也可以表示为
k
其中：n ni i 1
Yij i eij
第四章 多元线性回归分析
第四节 参数估计式的分布特性与检验
2 August 2020
2.单因素方差分析的检验
H0∶μ1＝μ2＝…＝μk＝μ VS H1∶μi不全相等
第二节 参数的最小二乘估计
2 August 2020
残差向量 e Y Yˆ Y Xˆ
残差平方和
n
et2 eT e (Y Xˆ)T (Y Xˆ)
t 1
Y TY ˆX TY Y T Xˆ ˆT X T Xˆ
(eT e)
ˆ
2 X
TY
2X
T
Xˆ
0
*
式*为正规方程组，包含k个方程式
E[(Rˆ R )(Rˆ R )] RE[(ˆ )(ˆ )]R R var(ˆ)R
2 u
R(
X
X
)
1
R
第四章 多元线性回归分析
第四节 参数估计式的分布特性与检验
2 August 2020
ˆ服从多元正态分布，所 以Rˆ也服从多元正态分布
可以证明
F
(Rˆ R )[R( X X )1 R](Rˆ
第四章 多元线性回归分析
第三节 最小二乘估计量的性质
2 August 2020
二、误差项方差估计
残差e可表示为:
e Y Xˆ
Y X ( X T X )1 X TY
( X U ) X ( X T X )1 X T ( X U ) X U X X ( X T X )1 X TU
2 August 2020
2.β的检验 （1）参数的整体检验问题
H0∶β2=β3=…=βk=0 H1∶存在某个βi≠0, 2≤i≤k
可以证明在H
下
0
F ESS (k 1) ~ F (k 1, n k) RSS (n k)
当F F (k 1, n k)接受H0，当F F (k 1, n k)使拒绝H0
3.最优性
var(ˆ ) E((ˆ )(ˆ )T )
因为
ˆ (XTX)1 XT U
所以
var(ˆ ) E[((XTX)1 XT U)((XTX)1 XT U) T ]
E[(XTX)1 XT UU T X (XTX)1]
(XTX)1 XT (E(UUT ))X (XTX)1
2
(X
2 u
(
X
T
X )1
2 u
DDT
2 u
(
X
T
X )1(DX )T
2 u
DX
(
X
T
X )1
2 u
(
X
T
X
)1
2 u
DDT
var(ˆ
)
2 u
DDT
第四章 多元线性回归分析
第三节 最小二乘估计量的性质
2 August 2020
上式右边第二项DDT是半正定矩阵， DDT的所有主对角线元素均大于等于0。
所以 var(ˆ )的所有主对角线元素 不大于var(ˆ * )的相应主对角线元素。 即最小二乘估计ˆ的方差最小。
第四章 多元线性回归分析
第三节 最小二乘估计量的性质
2 August 2020
var(ˆ*) E[(ˆ* E(ˆ*))(ˆ* E(ˆ*))T ]
E[(ˆ* )(ˆ* )T ]
E[((X T X )1 X TU DU )((X T X )1 X TU DU )T ]
E[((X T X )1 X TU DU )(U T X ( X T X )1 U T D)]
T
X)
1
X
T
X
(X
T
X)
1
2
(X
T
X)
1
第四章 多元线性回归分析
第三节 最小二乘估计量的性质
2 August 2020
设ˆ *为总体参数矩阵的一个线性无偏估计，由ˆ *的线性特性
ˆ * ((X T X )1 X T D)Y ˆ DY
一般情况下D 0，因此ˆ* ˆ，只有D 0时，ˆ* ˆ。因此
第四章 多元线性回归分析
第四节 参数估计式的分布特性与检验
2 August 2020
（2）单个参数的检验问题
H0∶βi=0
H1∶βi≠0
可以证明在H 0 下
F ˆi2 ~ F (1, n k)
S 2aii
aii为矩阵( X X )1主对角线上第i个元素。
因为F (1, n k) t 2 (n k)
E[(X T X )1 X TUU T X ( X T X )1 DUU T DT
( X T X )1 X TUU T DT DUU T X ( X T X )1]
( X T X )1 X T (E(UU T ))X ( X T X )1 D(E(UU T ))DT
( X T X )1 X T (E(UU T )DT D(E(UU T ))X ( X T X )1
第四章 多元线性回归分析
第一节 模型的假定
2 August 2020
模型
Yt 1 2 X 2t 3 X 3t ...... k X kt t
矩阵形式 Y X U
其中
Y1
Y
Y2
Yk
1
2
X
1 1
X 21 X 22
k
1 X 2n
X 31 X k1
X 32
X
k
2
X 3n
多元线性回归分析
计量经济学 第四章
重点问题
2 August 2020
❖参数的最小二乘估计 ❖最小二乘估计量的性质 ❖参数估计式的分布特性与检验 ❖多重共线性
第四章 多元线性回归分析
主要内容
2 August 2020
❖第一节 模型的假定 ❖第二节 参数的最小二乘估计 ❖第三节 最小二乘估计量的性质 ❖第四节 参数估计式的分布特性与检验 ❖第五节 多重共线性 ❖第六节 预测
et2 (n k) 为修正的决定系数 yt2 (n 1)
修正的决定系数比一般决定系数更准确地反映了解释变量
对被解释变量的影响程度。因此在一般情况下，修正的确
定系数比R2应用更广泛。
R 2与R 2关系：
R 2 1 ( n 1 ) n k
et2 yt2
1 ( n 1 )(1 R 2 ) nk
2 August 2020
二、参数β的线性约束检验与置信区间
设R r
式中，R为已知的q k矩阵，r为q 1列向量，显然q k.
假设R为满秩矩阵，即(R) q。这样只要改变R与r的定义形式， 可以构造出对中参数约束的各种检验。
E(Rˆ) R
var(Rˆ) E[(Rˆ E(Rˆ))(Rˆ E(Rˆ))]
所以Vt与ut有相同的方差 u2，V
~
N
(0,
2 u
)
所以，ee为(n
k
)各均值为0，方差为
2的满足
u
独立正态分布变量的平方和。
因此
ee
2 u
nk t 1
( Vt
u
)2
~
2(n
k)
第四章 多元线性回归分析
第四节 参数估计式的分布特性与检验
2 August 2020
证明ee与ˆ的分布互相独立
cov(e, ˆ) E[(e E(e))(ˆ E(ˆ))]
X
k
n
1
U
2
kபைடு நூலகம்
第四章 多元线性回归分析
第一节 模型的假定
2 August 2020
模型假设：
(1)E(
U)
0
E(1
)
即对每个元素取期望
E(n )
(2)E(UU
T
)
2
I
n
In为n阶单位阵
(3)X为确定的矩阵
(4)U
~
N(0,
2
In
)
(5)(X) k n
第四章 多元线性回归分析
所以对单个参数进行检验时，一般用下面统计量
t ˆi ~ t(n k)
S aii 当t t 2 (n k)时接受H0，当t t 2 (n k)时拒绝H0
第四章 多元线性回归分析
第四节 参数估计式的分布特性与检验
2 August 2020
三、相关分析
记
R2
yˆt2 yt2
(Yˆt (Yt
ˆ* ˆ
E(ˆ*) E(ˆ DY )
E(ˆ) DE(Y )
DX
(Ik DX )
由无偏性，始终DX 0，而
ˆ * ((X T X )1 X T D)Y
((X T X )1 X T D)(X U )
DX ( X T X )1 X TU DU
所以
ˆ * ˆ ( X T X )1 X T U DU
E(e(ˆ ))
E[MU ((X X )1 X U )]
E[MUU X ( X X )1]
M (E(UU ))X ( X X )1
2 u
(In
X
(X
X
) 1
X
) X
(X
X
) 1
0
因此，e与ˆ的分布互相独立，
即ee与ˆ的分布互相独立
第四章 多元线性回归分析
第四节 参数估计式的分布特性与检验
的总体均值。eij为Yij与均值
Yij i eij
eij
~
N (0,
2)
cov(eij , epq ) 0
(i 1,2,