CH5-2,回归统计推断 数理统计课件

实际值与其预测值之间有预测误差 y0 ˆy0 ，
E( y0 ˆy0 ) 0
D( y0
yˆ0 )
2
(1
1 n
(x0 x )2 Lxx
)
证明: y0 yˆ0 =0 1 x0 +0 -ˆ0 -ˆ1 x0 (0 -ˆ0 ) (1 -ˆ1 )x0 +0
E( y0 yˆ0 ) (0 -0 ) (1 -1 )x0 +0=0
i 1
i 1
i 1
（因为ˆ0
,
ˆ1是正规方程
n
n
n0 1 xi yi
i 1
i 1
n
n
n
的解）
0
i 1
xi
1
i 1
xi2
i 1
xi yi
所以Q1的自由度f1 n 2
Q2
(ˆ1
1)2 Lxx 2
ˆ1
1
2
Lxx
是1项的平方和，
所以Q2的自由度f2 1
Q3
n 2 2
n
2
i 1
i 1
i 1
Lyy 21Lxy 12Lxx Lyy ˆ12Lxx ˆ12Lxx 21ˆ1Lxx 12Lxx
(Lyy ˆ12 Lxx ) (ˆ12 21ˆ1 12 )Lxx
SSe (ˆ1 1)2 Lxx
因为i ~N (0, 2 )，i
1, 2,L
, n，1,2,L
知 y0 yˆ0也服从正态分布
( y,ˆ1 , 0独立, 都服从正态分布 )
N (0,1)
y0 yˆ0的标准化
y0 yˆ0
~ t(n 2)
2 / 自由度
SSe / 2
ˆ 1 1 (x0 x )2
n2
n
Lxx
y0的置信水平为 1-的置信区间的上下限为:
yˆ0 t1 (n 2)ˆ 2
y0 yˆ0 =(0 -ˆ0 ) (1 -ˆ1 )x0 +0 =[0 -(y ˆ1x )] (1-ˆ1)x0 +0 =(0 +1x0 )-y-ˆ1 (x0 -x )+0
D( y0
yˆ0 )
0
2
n
(x0 x )2 Dˆ1
2
= 2 (1 1 (x0 x )2 )
n
Lxx
D( y0
yˆ0 )
,
相互独立，所以
n
i ~N(0, 1)，i 1, 2,L , n ，1 , 2 ,L , n 相互独立
n
n
n i
i1
2
2 i
i 1
2
( i
i 1
)2 2
n 2
SSe
(ˆ1 1 )2 Lxx 2
n 2
SSe
2
(ˆ1 1)2 Lxx 2
n 2 2
Q1 Q2
Q3
n
其中Q1
将统计量F与分为数作比较，当F F1 ( 1, n 2 )时拒绝H0 ，否则接受H0
在前面的例1中n 5 ，Lxx 2.5 ，Lyy 10.173 ，ˆ1 2.01 SSe 0.07275 ，ˆ 0.1557。要检验H0：1 （0 显著性水平 0.05）
解：上面介绍了两种不同的检验方法，下面分别用它们来检验一下
若H 0：1
0为真，则
1 ˆ
Lxx
0，有T
ˆ1 ˆ
Lxx
=
ˆ1 ˆ
1
Lxx ~t(n 2)
从观测数据求出统计量T ˆ1 ˆ
拒绝H0，否则接受H0
Lxx的值，当 T t1 2 (n 2)
检验方法二（F检验）
取一个统计量F T 2 ( ˆ1 ˆ
Lxx )2
ˆ12 Lxx ˆ 2
Lyy SSe
n
(xi x)[(0 1xi ) (0 1x)]
i 1
(xi x)1(xi x)
i 1
1Lxx
Lxx
Lxx
Lxx
即ˆ1是1的无偏估计
n
n
n
D(ˆ1)
D(
Lxy Lxx
)
D[
(xi x )( yi y)
i1
] D[
Lxx
(xi x ) yi y (xi x )
i1
i1
ˆ
1 x2
n Lxx
给定的置信水平1 ，从t分布的分位数表可以查到t1 2 (n 2) ，使得
P{ ˆ0 0 ˆ 1 x 2
n Lxx
t1 2 (n 2)} 1
P{ˆ0 t1 2 (n 2)ˆ
1 x2 n Lxx
0
ˆ0 t1 2 (n 2)ˆ
1 x2 }1
n Lxx
即0和1置信水平为 1 的置信区间上下限分别是：
是1项的平方和，
所以Q3的自由度f3 1
因为f1 f2 f3 (n 2) 11 n所以由Cochran定理可知：
Q1
SSe
2
~ 2 (n
2)，Q2
ˆ1
1
2
2
Lxx
~ 2 (1)，Q3
n
~ 2 (1)
而Q1，Q2，Q3相互独立，即SSe, ˆ1, y相互独立
E
(
SSe
)
ˆ0
ˆ
t
1
(n
2)
2
1 x2
n Lxx
ˆ1 t1 (n 2)ˆ / Lxx 2
一元回归中的假设检验
检验x与y之间是否统计线性相关，相当于H0 : 1 0. 如果H0不真，即1 0 ，则x与y 线性相关；如果假设 H0为真，1 0，则x与y无关。
检验方法一（t检验）
ˆ1 1 ˆ
Lxx ~t(n 2)
SSe (n 2)
若H0：1 0为真，则有T ~ t(n 2)，这时F T 2 ~ F ( 1, n 2)
若H0：1 0不真，则有T的绝对值会偏大，这时F T 2 的值也会偏大
因此可以得到如下检验方法：
从观测数据F Lyy SSe 的值，对于给定显著性水平，
SSe (n 2)
从F的分布表查出分为数F1 ( 1, n 2 ) ，使得P{ F F1 ( 1, n 2) }
i yi 0 1xi，i 1, 2,L , n
1 n
n
i
i 1
1 n
n
( yi
i 1
0
1xi )
y 0
1x
n
n
n
(i )2 [( yi 0 1xi ) ( y 0 1x )]2 [( yi y) 1(xi x )]2
i 1
i 1
i 1
n
n
n
( yi y)2 21 ( yi y)( xi x) 12 (xi x)2
SSe
2
~ 2 (n
2)，而且ˆ1，y，SSe相互独立，即ˆ0与SSe
相互独立， ˆ0 0 与 SSe 相互独 1 x2 2
n Lxx
所以，由t分布的定义可推出
ˆ0 0 ˆ 1 x 2
n Lxx
ˆ0 0
1 x2
n Lxx ~t(n 2)
SSe
2
(n 2)
一元回归中的区间估计
ˆ1 1 ˆ
)
i j， i j
因此
n
n
n
yi (xi x) yi
(xi x)D( yi )
Cov( y , ˆ1) Cov(
i 1
n
, i1
Lxx
) i1
nLxx
n
(xi x ) 2
i 1
n
xi nx 2
i1
0
nLxx
nLxx
定理3
E(ˆ0
)
0，D(ˆ0
)
1 n
x2 Lxx
定理1
E(ˆ1)
1，D(ˆ1)
2
Lxx
证：因为yi ~N (0 1xi , 2 ) ，i 1, 2,L , n ，y1, y2, L , yn 相互独立， 所以E( yi ) 0 1xi ，D( yi ) 2，i 1, 2,L , n
E(y)
E(1 n
n i 1
yi )
1 n
n i 1
应用数理统计
Ch5 回归分析
一元线性回归中统计量的分布
5.2 一元线性回归中统计量的分布
------对回归估计进行统计推断
主要结论:
ˆ1
~N
(1
,
2
Lxx
)
ˆ0 ~N(0 ,
1 n
x2 Lxx
2
)
SSe
2
~
2
(n
2)
ˆ0 0 ~ t(n-2) ˆ 1 x 2
n Lxx
ˆ1 1 ˆ
Lxx ~ t(n-2)
2
(1
1 n
(x0 x )2 Lxx
)
易见：如果要降低 D( y0 yˆ0 ),可以采取如下措施
（1）增大样本容量n；
（2 ) 增大样本中自变量的分散性 （即增大 Lxx )
（3）减少 x0 与自变量样本均值 x 之间的距离。
由 y0 yˆ0 =(0 +1 x0 )-y -ˆ1 (x0 -x )+ 0
2
证： E(ˆ0) E(y ˆ1x) E(y) E(ˆ1)x (0 1x) 1x 0
即ˆ0是0的无偏估计
D(ˆ0) D(y ˆ1x) Cov(y ˆ1x , y ˆ1x)
Cov(y , y) 2Cov(y , ˆ1)x Cov(ˆ1, ˆ1)x2 D(y) 0 D(ˆ1)x 2
1 1 (x0 x )2
n
Lxx
预测区间说明
当样本容量充分大时，y0 的预测区间可简化：
对于一元线性回归模型 y 0 1 x ，其中误差项满足正态性，独立性，及 方差齐性的条件 ， 给定 x0 ，则对应 y0 的点估计为 yˆ0 ˆ0 ˆ1x0 ；当 n 充分 大时，y0 置信水平为1 的置信区间可近似表示为 [yˆ0 ˆu12 , yˆ0 ˆu12 ]
,
2
Lxx
)，即有
ˆ1 1 ~N ( 0 , 1) 2 Lxx
又由定理5可知
SSe
2
~
2 (n
2)，而且ˆ1与SSe相互独立，
即 ˆ1 1 与 SSe 相互独立 2 Lxx 2
所以由t分布的定义便可推出
ˆ1 1 ˆ
Lxx
ˆ1 1
2 Lxx ~t(n 2)
SSe
2
(n 2)
由定理5可知
E(
SSe
2
E( 2 ) E( SSe
2)
E(
பைடு நூலகம்
SSe
2
)
2
(n
) E(SSe ) (n 2) 2
2)
2 2
定理6
n2 n2 n2
即 2 = SSe 是 2的无偏估计
n2
定理7
ˆ1 1 ˆ
Lxx ~t(n 2)，
ˆ0 0 ~t(n 2) ˆ 1 x 2
n Lxx
证：
由定理4可知ˆ1~N (1
t分布检验：T ˆ1 ˆ
Lxx
2.01 0.1557
2.5 20.41
对 0.05，查t分布的分位数表，可得t1 2 (n 2) t0.975(3) 3.1824
因为 T 20.41 20.41 3.1824，所以H0 ：1 0，
说明自变量与因变量之间有显著的统计线性相关关系。
分布检验：F Lyy SSe 10.173 0.07275 416.5 SSe (n 2) 0.07275 (5 2)
Lxx
n
n
n
D[
(xi x ) yi
i 1
Lxx
]
( xi
i 1
x )2 D( yi ) L2xx
(xi x )2 2
i 1
L2xx
2Lxx
L2xx
2
Lxx
定理2 Cov( y , ˆ1 ) 0
证：由于y1,
y2 , L
,
yn相互独立，所以Cov(
yi
,
y
j
)
D( yi 0
2
n
2
Lxx
x2
1 n
x2 Lxx
2
定理4
ˆ1~N (1
,
2
Lxx
)，ˆ0 ~N(0
,
1 n
x2 Lxx
2
)
n
证：因为ˆ1
Lxy Lxx
(xi x ) yi
i 1
Lxx
和ˆ0
y ˆ1x都是y1,
y2 , L
,
yn
的线性函数，而y1, y2, L , yn相互独立，都服从正态分布，
SSe
2
( yi
i 1
ˆ0 ˆ1xi )2 2
是n项的平方和，
但这n项又满足2个线性关系式
n
n
n
( yi ˆ0 ˆ1xi ) yi nˆ0 ˆ1 xi 0
i 1
i 1
i 1
n
n
n
n
xi ( yi ˆ0 ˆ1xi ) xi yi ˆ0 xi ˆ1 xi2 0
i 1
所以ˆ1和ˆ0也都服从正态分布。
由定理1可知，E(ˆ1) 1，D(ˆ1)
2
Lxx
，因此ˆ1
~N
(1
,
2
Lxx
)
由定理3可知，E(ˆ0 )
0，D(ˆ0
)
1 n
x2 Lxx
2，因此
ˆ0 ~N (0
,
1 n
x2 Lxx
2
)
定理5
SSe
2
~
2
(n
2)，而且SSe
,
ˆ1,
y相互独立
证：因为yi 0 1xi i，i 1, 2,L , n ，所以
E( yi )
1 n
n i 1
(0
1xi )
0
1x
D( y) D(1
n
n i 1
yi )
1 n2
n
D(yi )
i 1
1 n2
n
2
i 1
2
n
n
n
E(ˆ1)
E(
Lxy Lxx
)
E[
( xi
i1
x)( yi Lxx
y) ]
(xi
i1
x)[E( yi ) E( y)] Lxx
n
Lxx ~ t(n-2)
对于给定的置信水平1 ，从t分布的分位数表可以查到t1 2 (n 2) ，
使得
P{ ˆ1 1 ˆ
Lxx
t1 2 (n 2)} 1
P{ˆ1 t1 2 (n 2)
ˆ
Lxx
1 ˆ1 t1 2 (n 2)
ˆ } 1
Lxx
一元回归中的区间估计
ˆ0 0 ~ t(n-2)
对 0.05，查F分布的分位数表，可得F1 ( 1, n 2 ) F0.95 (1,3) 10.1
因为F 416.5 10.1，所以结论也是拒绝H0 ：1 0
一元回归中的预测
点预测值即为回归方程计算所得回归值.
已知 x0 ,对应预测因变量y的取值为y0则:
yˆ0 ˆ0 ˆ1 x0