5-2多元线性回归

ˆ 83.23 2.29x1 1.30x2 y
Coefficients 标准误差 Intercept 83.23009 1.573869 X Variable 2.290184 1 0.304065 X Variable 1.300989 2 0.320702
例题：
分行 编号 不良贷款 (亿元）
3. 误差项 ε是一个服从正态分布的随机变量 ，即ε~N(0,2)，且相互独立
多元回归方程
1. 描述因变量 y 的平均值或期望值如何依赖 于自变量 x1， x2 ，…，xk 的方程
2. 多元线性回归方程的形式为 • E( y ) = 0+ 1 x1 + 2 x2 +…+ k xk
1，2，，k 称为偏回归系数 i 表示假定其他变量不变，当 xi 每 变动一个单位时，y 的平均变动值
Coefficients 标准误差 Intercept -1.02164 0.782372 X Variable 0.040039 1 0.010434 X Variable 0.148034 2 0.078794 X Variable 0.014529 3 0.083033 X Variable -0.02919 4 0.015073
5 16 17 10 19 1 17 18 10 14 11 23 14 26 34 15 2 11 4 28 32 10 14 16 10
51.9 90.9 73.7 14.5 63.2 2.2 20.2 43.8 55.9 64.3 42.7 76.7 22.8 117.1 146.7 29.9 42.1 25.3 13.4 64.3 163.9 44.5 67.9 39.7 97.1
二元回归方程的直观解释
二元线性回归模型 y
y 0 1 x1 2 x2
(观察到的y)
0
回归面
}
i
x2 (x1,x2) x1
E ( y) 0 1 x1 2 x2
估计的多元回归方程
估计的多元回归的方程
ˆ , ˆ , ˆ ,, ˆ 估计回归方 1. 用样本统计量 0 1 2 k 程中的 参数 0 , 1 , 2 ,, k 时得到的方程 2. 一般形式为
参数估计结果:
1 B ( X X ) X Y
其中，记 b0 1 x11 b 1 x 1 21 B , X bk 1 xn1 x1k x2 k , xnk y1 y 2 Y yn
回归系数检验和推断
回归系数的检验
(步骤)
1. 提出假设
– – H0： i = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： i 0 (自变量 xi 与 因变量 y有线性关系)
2. 计算检验的统计量 t
3. 确定显著性水平，并进行决策

t >t2，拒绝 H0； t < t2，不拒绝 H0
SUMMARY OUTPUT 回归统计 Multiple R 0.893087 R Square 0.797604 Adjusted R 0.757125 Square 标准误差 1.778752 观测值 25 方差分析 df 回归分析 残差 总计 SS MS F Significance F 4 249.3712 62.3428 19.70404 1.04E-06 20 63.27919 3.16396 24 312.6504 t Stat -1.30582 3.837495 1.878738 0.174983 -1.93677 P-value Lower 95%Upper 95% 下限 95.0% 上限 95.0% 0.206434 -2.65364 0.61036 -2.65364 0.61036 0.001028 0.018275 0.061804 0.018275 0.061804 0.074935 -0.01633 0.312396 -0.01633 0.312396 0.862853 -0.15867 0.187733 -0.15867 0.187733 0.06703 -0.06063 0.002249 -0.06063 0.002249
SSE 小 n-1 k n-k-1
常量 SST: 总平方和 SSR: 回归平方和 SSE: 残差平方和
大 自由度为 自由度为 自由度为
多重判定系数（Coefficient of Multiple Determination）
SSR SSE R 1 SST SST 问题：多重判定系数是否越大越好？ 当增加变量个数，而样本容量过小时，会出现过度拟 和现象。
67.3 111.3 173.0 80.8 199.7 16.2 107.4 185.4 96.1 72.8 64.2 132.2 58.6 174.6 263.5 79.3 14.8 73.5 24.7 139.4 368.2 95.7 109.6 196.2 102.2
6.8 19.8 7.7 7.2 16.5 2.2 10.7 27.1 1.7 9.1 2.1 11.2 6.0 12.7 15.6 8.9 0.6 5.9 5.0 7.2 16.8 3.8 10.3 15.8 12.0
月销售收入（万元） 电视广告费用（万元） 报纸广告费用（万元）
y
96 90 95 92 95 94 94 94
x1
5.0 2.0 4.0 2.5 3.0 3.5 2.5 3.0
x2
1.5 2.0 1.5 2.5 3.3 2.3 4.2 2.5
SUMMARY OUTPUT 回归统计 Multiple R 0.958663 R Square 0.919036 Adjusted R 0.88665 Square 标准误差 0.642587 观测值 8 方差分析 df 回归分析 残差 总计 SS MS F Significance F 2 23.43541 11.7177 28.37777 0.001865 5 2.064592 0.412918 7 25.5 t Stat 52.88248 7.531899 4.056697 P-value Lower 95%Upper 95% 下限 95.0% 上限 95.0% 4.57E-08 79.18434 87.27584 79.18434 87.27584 0.000653 1.508562 3.071805 1.508562 3.071805 0.009761 0.476601 2.125377 0.476601 2.125377
2. 求解各回归参数的标准方程如下
Q 0 Q i 0
ˆ 0 0
0
ˆ i i
(i 1， 2， ，k )
正规方程 (The Normal Equations ）
ˆi2 ) ( e
2 ˆ ( ei )
b0 b1
2 ( yi b0 b1 xi1
某商业银行25家分行2002年的主要业务数据
各项贷款余额 （亿元） 本年累计应收贷款 （亿元） 贷款项目个数 （个） 本年固定资产投资额 （亿元）
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
0.9 1.1 4.8 3.2 7.8 2.7 1.6 12.5 1.0 2.6 0.3 4.0 0.8 3.5 10.2 3.0 0.2 0.4 1.0 6.8 11.6 1.6 1.2 7.2 3.2
i 1 n
n
bk xik ) 0 bk xik ) 0
2 xi1 ( yi b0 b1 xi1
i 1
ˆi2 ) ( e bk 解: b0 , b1 ,
2 xik ( yi b0 b1 xi1
i 1
n
bk xik ) 0
, bk
ˆ ˆ x ˆ x ˆx ˆ y 0 1 1 2 2 k k
ˆ , ˆ , ˆ ,, ˆ是 0 1 2 k 估计值 ˆ 是 y 的估计值 y
0 , 1 , 2 ,, k
参数的最小二乘估计
参数的最小二乘法
1. 使因变量的观察值与估计值之间的离差平方和 ˆ , ˆ , ˆ ,, ˆ 。即 达到最小来求得 0 1 2 k
多重共线性
(例题分析)
• 【例】判别各自变量之间是否存在多重共 线性
贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵
2.3 显著性检验
2.3.1 线性关系检验
2.3.2 回归系数检验和推断
线性关系检验
线性关系检验
1. 提出假设
– – H0：12k=0 线性关系不显著 H1：1，2， k 至少有一个不等于0
2. 计算检验统计量 F
3. 确定显著性水平和分子自由度 k、分母自由度 n-k-1 找出临界值 F 4. 作出决策：若F>F ，拒绝H0
1. 描述因变量 y 如何依赖于自变量 x1 ， x2 ， …， xk 和误差项 的方程，称为多元回归 模型
2. 涉及 k 个自变量的多元回归模型可表示为
y 0 1 x1 2 x2 k xk
多元回归模型
(基本假定)
1. 误差项 ε 是一个期望值为 0 的随机变量， 即E()=0 2. 对于自变量 x1 ， x2 ， … ， xk 的所有值， 的方差 2 都相同
2.2 回归方程的拟合优度
2.2.1 多重判定系数 2.2.2 估计标准误差
多重判定系数
多重判定系数
离差平方和分解:
2 2 2 ˆ ˆ ( y y ) ( y y ) ( y y ) i i i i i 1 i 1 i 1 n n n
SST