Reg-Ch3-10

SSRes
SSReg
则 F= SS Reg (p − 1) s
2
,
R =
2
SS Reg SS Total
为确定性系数
情形 A (续) 续
可简单证明 n − p R2 F= ~R 2 p −1 1 − R2 即 F 和 R 2 等价，因为
ANOVA 表: ( k = p - 1)
F 方差来源 自由度 平方和 均方 回归 k SSReg MSReg = SSReg/k MSReg F= 误差 n-p SSRes MSRes = SSRes/n-p MSRes 总和 n-1 SSTotal p
(ii) E (QH − Q) = σ 2 q + ( Aβ − c)'[ A(G ' G ) −1 A' ]−1 ( Aβ − c) (iii) 当 H0 为真, 检验统计量为
(QH − Q) / q QH − Q F= = ~ Fq ,n − p 2 Q /( n − p ) qs
证明可参 Seber (1977).
用以线性回归拟合该数据
医院工时数的回归模型: {yi, xi1, xi2, ⋯ , xi5, i = 1, ⋯, 17}
y = β0 + β1 x1 + β2 x2 + β3 x3 + β4 x4 + β5 x5 + ε E(ε) = 0, 或 yi = β0 + β1xi1 + β2xi2 + β3xi3 + β4xi4 + β5xi5 + εi Var(ε) = σ2 未知
情形 A H0: β1 = ⋯ = βk = 0 VS H1: 某 βj ≠ 0, 记 A = (0, Ip), c = 0, 则: 1≤j≤k
ˆ ˆ ˆ ˆ ˆ Aβ − c = β * , 其中 β * = ( β1 ,⋯ , β p ) '
从定理 2 可得， 检验统计量为:
F=
ˆ ˆ β * ' S GG β * ks
数据如下面的表 1 所示:
表1
Obs 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 X1 15.57 44.02 20.42 18.74 49.20 44.92 55.48 59.28 94.39 128.02 96.00 131.41 127.21 252.90 409.20 463.70 510.22 X2 2463 2048 3940 6505 5723 11520 5779 5969 8461 20106 13313 10771 15543 36194 34703 39204 86533 X3 472.92 1339.75 620.25 568.33 1497.60 1365.83 1687.00 1639.92 2872.33 3655.08 2912.00 3921.00 3865.67 7684.10 12446.33 14098.40 15524.00 X4 18.0 9.5 12.8 36.7 35.7 24.0 43.3 46.7 78.7 180.5 60.9 103.7 126.8 157.7 167.4 331.4 371.6 X5 4.45 6.92 4.28 3.90 5.50 4.60 5.62 5.15 6.18 6.15 5.88 4.88 5.50 7.00 10.78 7.05 6.35 Y 566.52 696.82 1033.15 1603.62 1611.37 1613.27 1854.17 2160.55 2305.58 3503.93 3571.89 3741.40 4026.52 10343.81 11732.17 15414.94 18854.45
用一元线性回归模拟拟合这四组数据： y = β0 + β1 x + ε 可得 ˆ ˆ y = 3 + 0.5 x. (其中 R 2 = 0.667 且 σ 2 = 13.75)
四组数据图： 四组数据图：
(a)
12 10 8 6 4 2 0 5.0
(b)
10.00 8.00 6.00
Y
Y
4.00 2.00 -
• • • • •
向前法 向后法 逐步回归法 MAXR 最佳子集法
常用评价准则： 常用评价准则： • • • • R2 PRESS 统计量 Cp 统计量 s2
5. 统计诊断
统计诊断的目的是: 判断模型是否准确? 是否存在奇异点? 误差方差是否固定? 随机误差是否服从正态分布?
例 4.1.
四组假设的数据如下
= σ 2 tr ( I − H ) =σ 2
0
(
)
Cov(y) = σ2In
= ( Xβ )' ( I − H ) Xβ + tr[( I − H )σ 2 I n ]
= σ 2 n − tr( X(X' X)−1 X' )
−1
( ) (n − tr( X' X(X' X ) )) = σ
2
(n − p)
1 1 ˆ σ 2 = n− p Q ( β ) = n− p y ' ( I n − H ) y ˆ
为无偏估计.
(b) 假设检验
对于线性模型 (1.16), 在实际中常检验下面的假设: (k=p-1) A. 检验模型是否有意义. H0: β1 = ⋯ = βk = 0 VS H1: 某 βj ≠ 0, 1≤j≤k
情形 A (续) 续 H0: β1 = ⋯ = βk = 0 VS H1: 某 βj ≠ 0, 其检验常分解为 ANOVA 表:
2 ˆ ˆ ∑ ( yi − y ) = ∑ ( yi − yi ) + ∑ ( yi − y ) 2 2 i =1 i =1 n n n
1≤j≤k
i =1
SSTotal
H H
假设检验理论（续）:
定理 2
ˆ ˆ ˆ ˆ 记 Q = Q ( β ), Q = Q ( β ), 其中 β 和 β 如定理 1 所示. H H H
则对于情形 C, 我们有以下结论: 情形
ˆ ˆ (i) QH − Q = ( Aβ − c)'[ A(G ' G ) −1 A' ]−1 ( Aβ − c)
A: q × p (q < p), Rank(A) = q, c: q × 1.
• •
ˆ ˆ2 βH ,σH ˆ ˆ β, σ 2
在某些限制 Aβ = c 下的估计; 没有限制下的估计.
定理 1 在有限制的模型下, 我们可得 ˆ ˆ ˆ β H = β + ( X ' X) −1 A '[ A( X ' X) A ']−1 (c − Aβ ) (i) ˆ ˆ QH = Q + ( Aβ − c) '[ A ( X ' X) A ']−1 ( Aβ − c) (ii) ˆ ˆ 其中 Q = Q( β ) 且 Q = Q( β ).
x 1-x
为单调函数.
情形 B H0: βj = 0 VS H1: βj ≠ 0 记 A = (0,…,0,1,0,…,0) ≡ ej+1, 其中 ‘1’ 位于第 j +1 个位置, c = 0. 则 ˆ ˆ Aβ − c = β j 记 (G′G)-1 = C = (cij) [A (G′G) -1A′] -1 = cj+1,,j+1-1
X
10.0
15.0
-
5.0
X
10.0
15.0
(c)
14 12 10 8 6 4 2 0 5.0
(d) 14.00 12.00 10.00 8.00 6.00 4.00 2.00 5.0 10.0 X 15.0 20.0
Y
X
10.0
15.0
Y
例 4.1 (续). 续 若单从 R2 出发，可能我们会判断回归模型可接受， 但是从图形发现，这显然存在问题。 (a) 回归模型可接受; (b) 是非线性模型; (c) 存在 奇异点 奇异点(outlier). 若删除该点，则回归模型为 y = 4 + 0.346 x ˆ
1-3 Case Number 1 2 3 4 5 6 7 8 9 10 11 X 10.0 8.0 13.0 9.0 11.0 14.0 6.0 4.0 12.0 7.0 5.0 Data Set Number 1 2 3 Variable Y Y Y 8.04 9.14 7.46 6.95 8.14 6.77 7.58 8.74 12.74 8.81 8.77 7.11 8.33 9.26 7.81 9.96 8.10 8.84 7.24 6.13 6.08 4.26 3.10 5.39 10.84 9.13 8.15 4.82 7.26 6.42 5.68 4.74 5.73 4 X 8.0 8.0 8.0 8.0 8.0 8.0 8.0 19.0 8.0 8.0 8.0 4 Y 6.58 5.76 7.71 8.84 8.47 7.04 5.25 12.50 5.56 7.91 6.89
2
=
ˆ ˆ β * ' S GG β * ( p − 1) s
2
~ Fp −1,n − p
其中 且
−1 −1 1 + x ' SGG x − x ' SGG (GSGG −SGG x −1 −1 −1 −1 [A(G ' G ) A '] = [SGG ] = SGG .
ε1,…,εn iid. E(εi) = 0, Var(εi) = σ2.
其中 n = 17.
更一般地: 回归模型: {yi, xi1, xi2, ⋯ , xi,p-1, i = 1, ⋯, n} y = β0 + β1x1 + β2x2 + ⋯ + β p-1 x p-1 + ε E(ε) = 0, 或 yi = β0 + β1xi1 + β2xi2 + ⋯ + β p-1 xi, p-1 + εi Var(ε) = σ2 未知