第2章古典线性回归模型共59页PPT资料

（3） 用矩阵形式表示，即向量ε为多维正态分布 ε～N(0, 2In)
（4） 解释变量与随机扰动项不相关，
co v (xji,i) 0 ,i 1 ,2 ,L,n
（4） 用矩阵形式表示，即
E(X T) 0
E
i x1i M
i
E (i ) x1i E ( i
M
)
0
x pi i x pi E ( i )
2. 方差的估计
用估计的回归方程计算因变量的回归值 yˆ X ˆ
将 ˆ ( X X )1 X y 代 入 可 得 yˆ X ( X X )1 X y 记 H X ( X X )1 X ， 称 为 帽 子 矩 阵 ,H 是 对 称 幂 等 阵 ， 即
H H H 2 X ( X X )1 X X ( X X )1 X H 矩阵H的迹为
性质 3 D（βˆ )=σ2(X′X)-1
D(β ˆ)coβ vˆ,β (ˆ)
一、古典线性回归模型
1.多元线性回归模型的一般形式
y=β0+β1x1+β2x2+…+βpxp+ε
E( ) 0 var( ) 2
对n组观测数据 (xi1, xi2,…,xip; yi), i=1,2,…,n,
线性回归模型表示为:
y1 0 1x112x12 px1p 1
y2
0
1x212x22
px2p
E( y) x2
2
总结：
对一般情况含有p个自变量的多元线性回归， 每个回归系数 i 表示在回归方程中其他自变量保持 不变的情况下，自变量 x i 每增加一个单位时因变量
y 的平均增加程度。
例2
考虑国内生产总值GDP和三次产业增加值的关系， GDP=x1 + x2+ x3
现在做GDP对第二产业增加值x2的一元线性回归， 得回归方程
2(I H )In(I H ) 2(I H )
于是有
D ( e i ) 2 (1 h ii ) , i 1 , 2 ,L , n
残差平方和
e
2 i
e e
Βιβλιοθήκη Baidu
E
e
2 i
E
e
2 i
D
ei
2 ( 1 h ii ) 2 ( n p 1 )
则 误 差 项 方 差 2的 无 偏 估 计 为
等价于使(y-Xβ)′(y-Xβ)达到最小,这又完全与 OLSE一样
三、 参数估计量的性质
性质1 βˆ 是随机向量y的一个线性变换。
β ˆ (XX)-1Xy 性质2 βˆ 是β的无偏估计。
E(βˆ ) E ((X X)-1 Xy) (X X)-1XE(y) (X X)-1XE( Xβε) (X X)-1X Xββ
这个假定称为Gauss-Markov条件
（2） 0期望，无异方差，无自相关假定
E(ε)0n1
V()E(εεT)E21 21
12 2
2
L L
1 2nn02
0
2
L L
0
0I2
M MO M M MO M
n1 n2 L
2 n
0
0 L 2
（3） 随机扰动项服从正态分布
1i
~N(0,2),i1,2, ,n ,2 ,,n 相互独立
ˆ 2
e
2 i
n p1
3. 回归参数的最大似然估计
思想：使当前发生的样本出现的可能性最大的参数
y～N(Xβ,σ2In)
似然函数为
L (2) n2 2 n2ex 2 1 p 2(y ( - X) ( β y - X) β )
lL n n 2 ln 2) (n 2 ln2 ) (2 1 2(y - X) ( β y - X) β
tr( H ) tr X ( X X )1 X tr ( X X )1 X X
tr( I p1) p 1
残差
e y yˆ y H y ( I H ) y
残差方差
D (e) cov(e,e)
c o v ( I H ) y ，( I H ) y
(I H ) cov( y, y )(I H )
（1） 矩阵X是非随机的；且X的秩rk(X)=p+1＜n； 表明设计矩阵X中的自变量列之间不相关, X是一满秩矩阵。此时XTX也是满秩的。
（2） 随机误差项具有0均值，等方差和序列不相关,即
E(εi)0, 1i2, , , n
co(εvi,εj) 0 σ2 ,
ij ,
ji
(i ,j12, , ,n)
i 1
ˆ p xip ) xi 2
0
Q
p
p
ˆ p
n
2 ( yi
i 1
ˆ0 ˆ1 xi1 ˆ2 xi2
ˆ p xip ) xip
0
用矩阵形式表示的正规方程组
X(yXβ ˆ)0 移项得 XXβ ˆ Xy
当XX1 存在时，即得回归参数的最小二乘估计为：
β ˆ (XX)-1Xy
y ˆ528 .9 9 1.85 4x2 5
二、满足古典假定下的参数估计
1. 普通最小二乘估计
最小二乘估计要寻找 ˆ0， ˆ1， ˆ2， ， ˆp,使得
n
Q(ˆ0,ˆ1,ˆ2,,ˆp) (yiˆ0ˆ1xi1ˆ2xi2ˆpxip)2 i1 n 0,m 1,2,,in p i1(yi 01xi1 2xi2 pxip)2
在正态假定下:
y～N(Xβ, 2In)
E(y)=Xβ
var(y)= 2In
3. 多元线性回归方程的解释
例1
y表示空调机的销售量,
x1表示空调机的价格, x2表示消费者可用于支配的收入。
y=β0+β1x1+β2x2+ε
E(y)=β0+β1x1+β2x2
在x2保持不变时,有
E( y) x1
1
在x1保持不变时,有
2
yn 0 1xn1 2xn2 pxnpn
一、古典线性回归模型
古典回归模型的一般形式
矩阵形式： Y X
其中
y1
Y
y2 yn
0
1
M
p
1
X
1
1
x11 L x1p
x21
L
x2
p
L
xn1
L
xnp
1
2
n
2. 古典回归模型的基本假定
（1）解释变量x1,x2,…,xp是确定性变量,不是随机变量； 而且各X之间互不相关（无多重共线性）
Q
0
0
ˆ0
n
2 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2
i 1
ˆ p xip ) 0
Q
1
n
1 ˆ1 2 i1 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2
ˆ p xip ) xi1 0
Q
2
2
ˆ2
n
2 ( yi ˆ0 ˆ1 xi1 ˆ2 xi2