应用统计方法第四章-多元线性模型

2019/4/23
应用统计方法第四章
11
2019/4/23
应用统计方法第四章
12
2019/4/23
应用统计方法第四章
13
体现了Y的观测值y1 , y2 , yn总的波动大小 总的偏差平方和 l yy (TSS)
ˆ1 , y ˆ 2 , y ˆ n的波动大小，它是由于 体现了n个估计值y Y与自变量x1 , x2 x p 之间确有线性关系并通 过x1 , x2 x p的变化而引起 回归平方和 .U ( MSS)
n
def
ˆ) ˆ ˆ ˆ Y ( I n H )Y Y Y Y C 且残差平方和为 Q( 其中( I n H ) 2 ( I n H )
最小二乘估计的统计性 质 ˆ是的最小方差线性无偏估 1 计 ˆ ~ N ( , 2 (C C ) 1 ) 2 m 1 ˆ还是一切无偏估计中 3 在 ~ N n (0, 2 I n )的假设下， 方差最小的估计
7
• 二、建立回归方程 ˆ b ˆ x b ˆ x b ˆ x ˆ b Y i 0 1 i1 2 i2 m im •设
ˆ b ˆ x b ˆ x b ˆ x ˆ i yi b i yi y 0 1 i1 2 i2 m im
2 i
0


0 x


x
im
0
2 i 0
2019/4/23
m
2 i xi1 0 2 i xim 0
应用统计方法第四章
0 x 0
i i i1

x
i im
0
8
1 2 n 0 1 x11 2 x21 n xn1 0
b0 b 1 bm ( m 1)1
1 2 n
2
Y C , E 0n , D( ) I n
2019/4/23 应用统计方法第四章
5
• 一、多元线性回归模型的基本假定 • 解释变量x1,x2,…,xm是确定性变量，不是随机变量， 而且解释变量之间互不相关 • 随机误差项具有零均值和同方差 • 随机误差项在不同样本点之间是相互独立的，不存在 序列相关
Root MSE 2.44601 R-Square 0.9824 Dependent Mean 95.42308 Adj R-Sq 0.9736 Coeff Var 2.56333 Parameter Estimates Variable Intercept x1 x2 x3 x4 DF 1 1 1 1 1 Parameter Estimate 62.40537 1.55110 0.51017 0.10191 -0.14406 Standard Error 70.07096 0.74477 0.72379 0.75471 0.70905 t Value 0.89 2.08 0.70 0.14 -0.20 Pr > |t| 0.3991 0.0708 0.5009 0.8959 0.8441
C 0
C C C Y Y C ˆ C C 1 C Y C Y C C C 2019/4/23 应用统计方法第四章
9
ˆ C (C C ) 1 C Y HY为Y的预测向量值 ˆ C 设Y 其中H nn C (C C ) 1 C 称为“帽子”矩阵 ˆ ( I H )Y ˆ Y Y 此时残差向量为
• 例如：若某公司管理人员要预测来年该公 司的销售额y时，研究认为影响销售额的因 素不只是广告宣传费x1,还有个人可支配收 入x2,价格x3,研究与发展费用x4,各种投资 x5,销售费用x6.
2019/4/23
应用统计方法第四章
2
• 多元线性回归 • 回归变量的选择与逐步回归。 • 可化为多元线性回归的问题
ˆi2 残差平方和，记为 Q(or ESS)
2019/4/23
n
i 1
应用统计方法第四章
14
2019/4/23
应用统计方法第四章
15
ˆi y ˆi y yi yi yi y
y
ˆ y y
ˆy y
2 2 2 ˆ ˆ y y y y y y i i i i i 2 yi yˆ i yˆ i y yi yˆ i yˆ i y ei yˆ i y ei yˆ i ei y
TSS : 总的偏差平方和 RSS : 回归平方和
• 例2中，方差分析表为：
Model 1 Sum of Squares 803.816 204.734 1008.550
ESS：残差平方和
ANOVAb df 3 16 19 Mean Square 267.939 12.796 F 20.939 Sig . .000a
Reg ression Residual Total
a. Predictors: (Constant), x3, x1, x2
2019/4/23
b. Dependent Variable: y
应用统计方法第四章
16
2019/4/23
应用统计方法第四章
17
2019/4/23
应用统计方法第四章
18
算出检验的p值，对于与给定显著性 水平。如果p ， 拒绝原假设，即回归方 程显著。否则，接受原 假设
cov( i , j ) 0, i j, i, j 1,2,n
2019/4/23
应用统计方法第四章
6
• 随机误差项与解释变量之间不相关 cov(xi , i ) 0 • 随机误差项服从零均值，同方差的正态分 布 2
i ~ N (0, )
2019/4/23
应用统计方法第四章
2
2019/4/23
应用统计方法第四章
4
y1 1 x11 y 1 x 21 Y 2 , C yn n1 1 xn1
x12 x1m x22 x2 m (1n X ) xn 2 xnm n( m 1)
30
• • • • • • • • • • • • • • • • • • • • • •
data d411; input x1-x4 y ; cards; 7 26 6 60 78.5 1 29 15 52 74.3 11 56 8 20 104.3 11 31 8 47 87.6 7 52 6 33 95.9 11 55 9 22 109.2 3 71 17 6 102.7 1 31 22 44 72.5 2 54 18 22 93.1 21 47 4 26 115.9 1 40 23 34 83.8 11 66 9 12 113.3 10 68 8 12 109.4 ; proc reg data=d411; model y=x1-x4 / selection=stepwise sle=0.10 sls=0.10; run; quit;
7
• •
• • • • • • • • • • • • • •
Source Model Error Corrected Total
DF 4 8
Sum of Squares
Mean Square
F Value 111.48
Pr > F <.0001
2667.89944 666.97486 47.86364 5.98295 12 2715.76308
2019/4/23 31
应用统计方法第四章
• • • • •
The SAS System
13:43 Wednesday, March 10, 2008 The REG Procedure Model: MODEL1 Dependent Variable: y Analysis of Variance
2019/4/23 应用统计方法第四章 10
ˆ也是的最大似然估计 可以证明 .
2的估计：
n 1 ˆ b ˆ x b ˆ x )]2 ˆ 2 [ yi (b 2的最大似然估计为 0 1 i1 p ip n i 1
1 ˆ )(Y C ˆ ) 1 Q( ˆ) (Y C n n 1 2 ˆ )为 2的估计量，且为 通常取s Q( 2无偏估计量 n m 1 定理：设rank(C ) m 1 n, 则E ( s 2 ) 2
2019/4/23
wenku.baidu.com
应用统计方法第四章
19
2019/4/23
应用统计方法第四章
20
2019/4/23
应用统计方法第四章
21
2019/4/23
应用统计方法第四章
22
2019/4/23
应用统计方法第四章
23
2019/4/23
应用统计方法第四章
24
2019/4/23
应用统计方法第四章
25
2019/4/23
第四章 回归分析
• 多元回归方法：在众多的相关的变量中， 根据问题的要求，考察其中一个或几个变 量与其余变量的依赖关系。 • 多元回归问题：如果只考察某一个变量 （常称为响应变量，因变量，指标）与其 余多个变量（自变量或因素）的相互依赖 关系。 • 多因变量的多元回归问题（多对多回归）
2019/4/23 应用统计方法第四章 1
2019/4/23
应用统计方法第四章
3
第一节
多元线性回归
2
Yi b0 b1 xi1 b2 xi 2 bm xim i , i 1,2 n E ( i ) 0,Var ( i ) , cov( i , j ) 0(i j ) or i ~ N (o, ), 相互独立（i 1,2 n） .
1 x1m 2 x2 m n xnm 0
1 x 11 x1m
1 x21 x2 m

1 1 0 xn1 2 0 xnm n 0
ˆ b ˆ x b ˆ x b ˆ e b ˆ e x b ˆ ex 0 ei b 0 1 1i p pi 0 i 1 i 1i p i pi ˆi y ˆi y yi yi yi y
2 2 2


TSS RSS ESS
i1
•令
Q
Q ˆ b ˆ x b ˆ x 2 yi b 0 1 i1 p ip ˆ b
即


Q 0 ˆ
Q ˆ b ˆ x b ˆ x 2 yi b 0 1 i1 p ip ˆ b
1


0
Q ˆ b ˆ x b ˆ x 2 yi b 0 1 i1 m im ˆ b
应用统计方法第四章
26
2019/4/23
应用统计方法第四章
27
2019/4/23
应用统计方法第四章
28
2019/4/23
应用统计方法第四章
29
2019/4/23
data d411; input x1-x4 y ; cards; 7 26 6 60 78.5 1 29 15 52 74.3 11 56 8 20 104.3 11 31 8 47 87.6 7 52 6 33 95.9 11 55 9 22 109.2 3 71 17 6 102.7 1 31 22 44 72.5 2 54 18 22 93.1 21 47 4 26 115.9 1 40 23 34 83.8 11 66 9 12 113.3 10 68 8 12 109.4； proc reg data=d411 ; model y=x1-x4 ; 应用统计方法第四章 run; quit;