8 二元线性回归

11
4. 正态性假定下 正态性假定下OLS估计量的性质 估计量的性质
b1、b 2、b3 分别为 B1、B2、B3
的最优线性无偏
估计量 σ 2 为 σ 2 的无偏估计量 其中 误
∑e
σ =
2 i=1 n 2 i
∑ (y - y )
i i
n
2
n -3
=
i=1
称为回归标准 ，σ 称为回归标准
n -3
2 i =1 i =1
n
n
se(b3 ) = σ
(x 2i x 2 ) 2 ∑
i =1
n
∑ (x
i =1
n
2i
x2 )
2
∑ (x
i =1
n
3i
x 3 ) [∑ (x 2i x 2 )(x 3i x 3 )]2
2 i =1
n
19
7. 回归的总体显著性检验
H 0 : B2 = B3 = 0 H1 : B2、B3不同时为0 等价于
14
5. 判定系数
总平方和
TSS : ∑ (yi - y) 2
i=1 n
自由度: n -1
解释平方和 ESS : ∑ (yi - y) 2
i=1
n
自由度 : 2
自由度: n - 3
残差平方和 RSS : (y - y )2 ∑ i i
n i=1
三者关系
TSS = ESS + RSS
15
判定系数
（对多元线性回归
ESS (k -1) F= F(k -1, n - k) RSS (n - k)
R 2 (k -1) F= 2 (1- R ) (n - k) ）
22
8. 校正的判定系数
对二元线性回归， 对二元线性回归，校正的判定系数为
RSS (n - 3) R = 1TSS (n -1)
2
（ 对多元线性回归， 对多元线性回归，
其中 R 2 ， m 为受限回归的限制个数， 为非受 的 为受限回归的限制个数，k 限模型的待估参数个数， 限模型的待估参数个数，n 为样本观测值个 数。
R 2 、R r2 分别为非受限、受限模型 分别为非受限、 ur
29
结论
如果增加变量的回归系数对应的 大于1， 值也增大。 大于 ，则 R 2 值也增大。
( 7.6226)
0.0000
(13.9653)
0.0000
(9.7437)
0.0000
（4） ）
R = 0.8906
2
R = 0.8830
2
F = 118.0585
27
y、x 2、x 3 分别为拍卖价格、年代 分别为拍卖价格、 其中 和投标人数。 和投标人数。
（1）、（ ）、（3）均为（4）的受 ）、（2）、（ ）均为（ ） ）、（ ）、（ 限模型，（ ，（4）为非受限模型。 限模型，（ ）为非受限模型。 对（1）、（ ）， ）、（4）， ）、（
∑ (x
x 2 ) 2 ∑ (x 3i x 3 ) 2 [∑ (x 2i x 2 )(x 3i x 3 )]2
i =1 i =1
n
se(b 2 ) = σ
(x 3i x 3 ) 2 ∑
i =1
n
∑ (x 2i x 2 )
i =1
n
2
(x 3i x 3 ) [∑ (x 2i x 2 )(x 3i x 3 )]2 ∑
解释： 解释： 等价形式为 u 服从正态分布
u N(0, σ 2 I n ) i = 1, 2, , n
随机误差项 u i 与 x 2i , x 3i 之间不相关
cov(ui , xji ) = 0 j = 2,3 i = 1, 2,, n
解释： 不是随机变量， 解释： 如 x ji 不是随机变量，则上式成立
H0 : R = 0 H1 : R ≠ 0
2
2
20
变异 来源 ESS RSS TSS
自由 度 2 n-3 n-1
F F=[ESS/2] / [RSS/(n-3)]
ESS 2 F= F(2, n - 3) RSS (n - 3)
21
F 与 R 2 的关系
R2 2 F= (1- R 2 ) (n - 3)
n
n
(x 2i x 2 ) 2 ∑ (x 3i x 3 ) 2 [∑ (x 2i x 2 )(x 3i x 3 )]2 ∑
i =1 i =1 i =1
6
n
n
n
b3 =
[∑ (yi y)(x 3i x 3 )]∑ (x 2i x 2 ) 2
i =1
n
n
(x 2i x 2 ) 2 ∑ (x 3i x 3 ) 2 [∑ (x 2i x 2 )(x 3i x 3 )]2 ∑
回归系数， 其中 B1、 B 2、 B3 称为参数 / 回归系数， B1 为截距， 为偏斜率系数， 为截距， B 2、 B3 为偏斜率系数， u i 为（随 机）误差项
4
1.2 样本回归函数 确定/非随机样本回归函数 确定 非随机样本回归函数
yi = b1 + b 2 x 2i + b3 x 3i
18
H 0 : B3 = 0 H1 : B3 ≠ 0
其中
1 1) = σ se(b + n x
2 2
∑ (x
i =1 n i =1
n
3i
x3 ) + x
2 2i
2 3
∑ (x
i =1
n
2i
x 2 ) 2x 2 x 3 ∑ (x 2i x 2 )(x 3i x 3 )
2 i =1 n
n
17
6. 回归参数的假设检验
显著性检验法
H 0 : B1 = 0 H1 : B1 ≠ 0
H 0 : B2 = 0 H1 : B2 ≠ 0
b1 - B1 t(n - 3) se(b1 )
b 2 - B2 t(n - 3) se(b 2 ) b3 - B3 t(n - 3) se(b3 )
i =1 i =1 i =1
n
n
i =1 n
[∑ (yi y)(x 2i x 2 )][∑ (x 2i x 2 )(x 3i x 3 )]
i =1 i =1
n
n
(x 2i x 2 ) 2 ∑ (x 3i x 3 ) 2 [∑ (x 2i x 2 )(x 3i x 3 )]2 ∑
i =1 i =1 i =1
ESS R = TSS
2
TSS - RSS RSS = 1= 1 R = TSS TSS
2
i )2 ∑ i=1 (yi - y
n
∑
n i=1
(yi - y)
2
性质
R2
0 ≤ R2 ≤ 1
越大，拟合越好。 越大，拟合越好。 R 2 = 1 时，完全拟
16
合。
R 总为正，度量了 y 与所有解释变量
的相关程度。 的相关程度。
t
值
30
10. 预测
预测是指利用建立的样本回归方程对 被解释变量样本外观测值或观测值的期望 值的估计。 值的估计。 由最小二乘法得到 Yi = b1ห้องสมุดไป่ตู้+ b2 X 2i + b3X3i 对样本外观测值 X 2f , X 3f ，有
，R 2 可能为负
25
9. 受限最小二乘
习题6.19 （表6.14 P119 ） 习题
yi = 1328.094
(19.0850)
0.0000
（1） ）
R2 = 0
R2 = 0
(-0.7248)
0.4742
yi = -191.6662+10.4856 x 2i
(5.8457)
0.0000
（2） ）
(R 2 - R r2 ) m (0.890 - 0) 2 ur F= = = 117.414 2 (1- R ur ) (n - k) (1- 0.890) (32 - 3)
p 值很小，拒绝受限回归（1）。 值很小，拒绝受限回归（ ）。
28
一般地
(R 2 - R r2 ) m ur F(m, n - k) F= 2 (1- R ur ) (n - k)
统计/随机样本回归函数 统计 随机样本回归函数
yi = b1 + b 2 x 2i + b3 x 3i + ei
称为残差（ 其中 ei 称为残差（项）
5
2. 参数估计
2.1 参数估计式表示法 参数估计式表示法1
b1 = y - b 2 x 2 - b3 x 3 b2 = [∑ (yi y)(x 2i x 2 )]∑ (x 3i x 3 ) 2
i =1 n n i =1 n
(x 2i x 2 ) 2 ∑ (x 3i x 3 ) 2 [∑ (x 2i x 2 )(x 3i x 3 )]2 ∑
i =1 i =1 i =1
n
n
[∑ (yi y)(x 3i x 3 )][∑ (x 2i x 2 )(x 3i x 3 )]
i =1 i =1
二元线性回归
1 2 3 4 5 6 7
二元线性回归的总体、 二元线性回归的总体、样本函数 参数估计 古典线性回归模型的基本假定 正态性假定下OLS估计量的性质 估计量的性质 正态性假定下 判定系数 回归参数的假设检验 回归的总体显著性检验
2
8 9 10 11
校正的判定系数 受限最小二乘 预测 例子及计算
E(ui ) = 0 var(ui ) = σ2 cov(ui , uj ) = 0
i = 1, 2, , n i = 1, 2, , n i, j = 1, 2, , n i ≠ j
10
ui
服从零均值、同方差、 服从零均值、同方差、零协方差的正态分布
u i N(0, σ 2 ) cov(u i , u j ) = 0 i = 1, 2, , n i, j = 1, 2, , n i ≠ j
n (x 3i x 3 ) 2 ∑ i =1 σ2 var(b 2 ) = n n n (x x ) 2 (x x ) 2 [ (x x )(x x )]2 ∑ 3i 3 ∑ 2i 2 3i 3 2 ∑ 2i i =1 i =1 i =1
n (x 2i x 2 ) 2 ∑ i =1 σ2 var(b3 ) = n n n 2 2 (x x ) (x 3i x 3 ) [∑ (x 2i x 2 )(x 3i x 3 )]2 ∑ 2 ∑ 2i i =1 i =1 i =1
RSS (n - k) R = 1TSS (n -1)
2
）
23
对二元线性回归， 对二元线性回归，
n -1 R = 1- (1- R ) n -3
2 2
（ 对多元线性回归， 对多元线性回归，
n -1 R = 1- (1- R ) n-k ）
2 2
24
性质
k > 1 时，R 2 ≤ R 2
0 ≤ R2 ≤ 1
12
b1 N(B1 , var(b1 ))
b 2 N(B2 , var(b 2 ))
b3 N(B3 , var(b3 ))
13
其中
n n n 2 2 2 2 x 2 ∑ (x 3i x 3 ) + x 3 ∑ (x 2i x 2 ) 2x 2 x 3 ∑ (x 2i x 2 )(x 3i x 3 ) 1 i =1 i =1 σ2 var(b1 ) = + i =1 n n n 2 2 n ∑ (x 2i x 2 ) ∑ (x 3i x 3 ) [∑ (x 2i x 2 )(x 3i x 3 )]2 i =1 i =1 i =1
3
1. 二元线性回归的总体、样本回归函数 二元线性回归的总体、
1.1 总体回归函数 确定/非随机总体回归函数 确定 非随机总体回归函数
E(y x 2i , x 3i ) = B1 + B2 x 2i + B3 x 3i
统计/随机总体回归函数 统计 随机总体回归函数
yi = B1 + B2 x 2i + B3 x 3i + u i
n
n
n
7
2.2 参数估计式表示法 参数估计式表示法2 二元线性回归的矩阵表示
y1 1 x 21 y 2 = 1 x 22 y n 1 x 2n x 31 e1 b1 x 32 e 2 b2 + b3 x 3n en
简记为
Y = Xb + e
8
则
b1 b = b 2 = ( X' X)-1 X ' Y b 3
结论可推广到多元线性回归。 结论可推广到多元线性回归。此时
b1 b2 b= bk = (X ' X) -1 X ' Y
9
3. 古典线性回归模型的基本假定
模型参数线性， 模型参数线性，模型设定正确 x 2i、x 3i 是确定性变量，不是随机变量； 是确定性变量，不是随机变量； x 2、x 3 不完全共线性 具有零均值、 随机误差项 u i 具有零均值、同方差和零协方 差
F = 34.1723
R 2 = 0.5325
R 2 = 0.5169
26
yi = 807.9501
(3.4962)
0.0015
+ 54.5724 x 3i
(2.3455)
0.0258
（3） ）
R 2 = 0.1549
R 2 = 0.1268
F = 5.5017
yi = -1336.049+12.7413 x 2i + 85.7640 x 3i