应用回归分析 总复习

三、ˆ0、ˆ1 的方差

n
var( ˆ1 )
i 1

xi x
n
2
(
x

x
)
j
j 1
2

2

var( y )
i
n

2
(
x

x
)

j
2
1
2
(
x
)
ˆ
var( 0 )

2
n ( xi x )
x 2
ˆ
ˆ
cov( 0 , 1 )
L xx
Lyy
4 回归方程的显著性检验
五、三种检验的关系
H0: =0
H0: r=0
H0: 回归无效
ˆ1
ˆ1 Lxx
t

2
ˆ
ˆ Lxx
t
n2 r
1 r 2
SSR / 1
F
SSE /( n 2)
4 回归方程的显著性检验
六、样本决定系数
n
r2
SSR

SST
2
ˆ
(
y

y
)
i
构造t 统计量
ˆ1
ˆ1 Lxx
t

2
ˆ
ˆ Lxx
其中
1 n 2
1 n
2
ˆ


ˆ
e

y

y
i n2
i
i
n 2 i 1
i 1
2
4 回归方程的显著性检验
二、F检验
平方和分解式
n
n
n
i 1
i 1
2
2
ˆ
ˆ
( y i y ) ( y i y ) ( yi yi )
i 1
n
2
(
y

y
)
i
i 1
可以证明
L2xy
SSR
r

(r ) 2
SST Lxx Lyy
2
6 回归系数的区间估计
ˆ1 ~ N ( 1 ,
t
ˆ1 1
ˆ 2 / Lxx
2
Lxx
)
( ˆ1 1 ) Lxx

~ t ( n 2)
ˆ
( ˆ1 1 ) Lxx

Lxx
j 1
3 最小二乘估计的性质
三、ˆ0、ˆ1 的方差
2
1
(
x
)
ˆ0 ~ N ( 0 , (
) 2 )
n Lxx
ˆ1 ~ N ( 1 ,
2
Lxx
在正态假设下
)
E(εi ) 0, i 1, 2, , n

σ 2 , i j

cov (εi ,ε j ) 0 , i j

)



回归方程
E（y|x）=β0+β1x
经验回归方程
ŷ ˆ0 ˆ1x
2 参数β0、β1的估计
一、普通最小二乘估计
(Ordinary Least Square Estimation,简记为OLSE)
最小二乘法就是寻找参数β0、β1的估计值使离差平方和达极小
n
Q ( ˆ0 , ˆ1 ) ( yi ˆ0 ˆ1 xi ) 2
ˆ)
D(β
ˆ Eβ
ˆ )(β
ˆ Eβ
ˆ ) ) E((β
ˆ β)(β
ˆ β) )
E((β







1
1
E X X X y β XX Xy β



1
1


E X X X (Xβε)β X X X (Xβε) β
y yˆ

0
0
P
t / 2 (n 2) 1
1 h00 ˆ



y0的置信概率为1-α的置信区间为
yˆ 0 t / 2 (n 2) 1 h00 ˆ
y0的置信度为95%的置信区间近似为
yˆ 0 2 ̂
因变量平均值的区间估计
E(y0)=β0+β1x0是常数
i 1

n
min
0 , 1 , 2 ,, p
(y
i 1
ˆ (X X)-1 X y
β
i
0 1 xi1 2 xi 2 p xip ) 2
2 回归参数的估计
二、回归值与残差
e y yˆ y Hy (I - H)y
cov(e,e)=cov(（I-H）Y,（I-H）Y)


1
1
E (β XX Xε-β)(β XX Xε-β)




E XX
1

1
1
1







X εε X X X X X X E(εε )XX X
XX XE( 2In )X XX 2 XX
i 1
Lxy ( xi x )( yi y ) xi yi n x y
2 参数β0、β1的估计
二、最大似然估计
在假设εi～N(0,σ2)时, 知yi服从正态分布:
yi ~ N ( 0 1 xi , )
2
ˆ0 y ˆ1 x
ˆ
1 Lxy / Lxx
二、无偏性
E ( ˆ )
1
xi x
n

i 1
n
2
(
x

x
)
j
其中用到
E ( yi )
xi x

i 1
n
2
(
x

x
)
j
j 1
1
i
i
j 1
n
(x x) 0
(x x)x (x
( 0 1 xi )
i
i
x )2
3 最小二乘估计的性质

自变量含定性变量的情况

含有定性变量的回归 因变量是定性变量的情况


一元线性回归
1
2
3
4
5
6
7
一元线性回归模型
参数β0、β1的估计
最小二乘估计的性质
回归方程的显著性检验
残差分析
回归系数的区间估计
预测
1 一元线性回归模型
一元线性回归模型 y=β0+β1x+ε
E ( ) 0

2
var(
(ee)
e

i
n p 1
n p 1
n p 1 i 1
2
是σ2的无偏估计
2 回归参数的估计
三 、回归参数的最大似然估计
y～N(Xβ,σ2In)
-1
ˆ
β (X X) X y
3 参数估计量的性质
性质1
β̂是随机向量y的一个线性变换。
-1
ˆ

β (X X ) X y
性质2
β̂是β的无偏估计。
ˆ ) E ((X X )-1 X y )
E(β
(X X )-1 X E(y )
(X X )-1 X E(Xβε)
(X X )-1 X Xββ
3 参数估计量的性质
性质 3 D（β̂)=σ2(X′X)-1
ˆ ) cov(β
ˆ ,β


Gauss
Markov条件
(i ,j 1, 2, ,n)
4 回归方程的显著性检验
一、t 检验
原假设： H0 ：β1=0
对立假设： H1 ：β1≠0
由
ˆ1 ~ N ( 1 ,
2
Lxx
)
当原假设H0 ：β1=0成立时有：
ˆ1 ~ N (0 ,
2
Lxx
)
4 回归方程的显著性检验
一、t 检验

一元线性回归
线性回归
多元线性回归


讨论如何从数据推断回归模型基本假设的合理性
回归诊断
当基本假设不成立时如何对数据进行修正


自变量选择的准则
回归变量的选择
回归分析
逐步回归分析方法

参数估计方法的改进 岭回归

主成分回归
非线性回归 可化为线性回归的曲线回归
=（I-H）cov(Y,Y)（I-H）′
=σ2（I-H）In（I-H）′=σ2（I-H）
得 D(ei)=(1-hii)σ2，i=1,2,…,n
2 回归参数的估计
二、回归值与残差
n
n
i 1
i 1
得 E ( ei2 ) D(ei ) (n p 1) 2
n
1
1
1
2
ˆ
SSE
1 ( x0 x ) 2 2
yˆ 0 E ( y0 ) ~ N (0, (
) )
n
Lxx
得E(y0)的1-α的置信区间为
yˆ 0 t / 2 (n 2) h00 ˆ
多元线性回归
1
2
3
4
5
6
多元线性回归模型
回归参数的估计
参数估计量的性质
回归方程的显著性检验