人大版,贾俊平,第五版,统计学 第12章 多元线性回归

i 1 n 2
k ~ F ( p , n k 1)
ˆ yi y
i 1
n
2
n k 1
3. 确定显著性水平和分子自由度p、分母自由度np-1找出临界值F 4. 作出决策：若FF ，拒绝H0；若F<F，接受H0
12.3.2 回归系数检验和推断
1. 如果F检验已经表明了回归模型总体上是 显著的，那么回归系数的检验就是用来确 定每一个单个的自变量 xi 对因变量 y 的影 响是否显著 2. 对每一个自变量都要单独进行检验 3. 应用 t 检验 4. 在多元线性回归中，回归方程的显著性检 验不再等价于回归系数的显著性检验
• 自变量个数的增加会影响到因变量中被估 计的回归方程所解释的变差数量。当增加 自变量时，预测误差会变小，SSE变小，从 而使得SSR=SST-SSE变大，R2在统计上不显 著的情况下也会变大。 • 为避免R2被高估，需要用自变量的数目去修 正R2的值。用n表示观察值的数目，k表示自 变量的数目，修正的多元判定系数的计 是被称为误差项的随机变量 y 是 x1,，x2 ， ，xk 的线性函数加上误差项 说明了包含在 y 里面但不能被 k 个自变量的线性关系所解释 的变异性
基本假定 • 自变量 x1，x2，…，xk是确定性变量，不是随机 变量 • 随机误差项ε的期望值为0，且方差σ2 都相同 • 误差项ε是一个服从正态分布的随机变量，即 ε~N(0,σ2)，且相互独立 多元线性回归方程 • 描述 y 的平均值或期望值如何依赖于 x1， x1 ， …，xk的方程称为多元线性回归方程 • 多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 +…+ k xk
12.4.2 多重共线性的判别 1. 自变量的相关系数诊断法 2. 模型的线性关系检验（F检验）显著时，几 乎所有的回归系数t检验却不显著 3. 回归系数的正负号与预期相反 4. 方差扩大因子
12.4.3 多重共线性问题的处理 1. 剔除引起共线性的变量 估计模型之前，找出引起多重共线性的 变量，将它剔除出去，是最有效的克服多 重共线性问题的方法。
ˆ ˆ ˆ ˆ 1 , 2 ,, k 称为偏回归系数 , i 表示假定其他变量不变，
当 xi 每变动一个单位时，y 的平均平均变动值
12.1.3 参数的最小二乘估计 使因变量的观察值与估计值之间的离差平方和达到最小来求
ˆ ˆ ˆ ˆ 得 0 , 1 , 2 ,, k 。即
ˆ ˆ ˆ ˆ ˆ Q( 0 , 1 , 2 ,, p ) ( yi y) ei2 最小
第12章 多元线性回归
12.1 多元线性回归模型
12.1.1 多元回归模型与回归方程
1. 一个因变量与两个及两个以上自变量之间的回归 2. 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xk 和误差 项 的方程称为多元线性回归模型 涉及 k 个自变量的多元线性回归模型可表示为
y 0 1 x1 2 x2 k xk
n 1 R 1 1 R n k 1
2 a 2
12.2.2 估计标准误差
是对误差项ε 的方差σ 2 的一个估计值， 用于衡量多元 回归方程的拟合优度
SSE se MSE n k 1 n k 1 是根据自变量 x1,，x2 ， ，xk 来预测因变量 y 时的
– – 如果是显著的，因变量与自变量之间存在线性 关系 如果不显著，因变量与自变量之间不存在线性 关系
1. 提出假设
– –
H0：12p=0 线性关系不显著 H1：1，2，，p至少有一个不等于0
2. 计算检验统计量F
SSR k F SSE n k 1 ˆ yi y
12.4 多重共线性
12.4.1 多重共线性及其所产生的问题
• 当回归模型中两个或两个以上的自变量彼 此相关时，则称回归模型中存在多重共线 性
多元共线性问题产生的根源 1.由变量性质引起 在进行多元统计分析时，作为自变量的 某些变量高度相关，比如身高、体重 2.由数据问题引起 情况一：样本含量过小 情况二: 出现异常观测值 情况三: 时序变量
1. 提出假设
– – H0： i = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： i 0 (自变量 xi 与 因变量 y有线性关系)
2. 计算检验的统计量 t ˆ i t ~ t (n k 1) S ˆ
i
3. 确定显著性水平，并进行决策

tt，拒绝H0； t<t，接受H0
2 i 1 i 1
n
n
根据最小二乘法的要求， 可得求解各回归参数的标准方程如下
Q 0 0 0 ˆ0 Q 0 i i ˆi
(i 1, 2, , k )
12.2 回归方程的拟合优度
12.2.1 多重判定系数
• 回归平方和占总离差平方和的比例。表示 因变量取值的变差中，能被多元回归方程 所解释的比例。
SSR 2 R SST ˆ y y
n 2 i
y y
i 1 i
i 1 n
1
2
ˆ y y
i 1 n i i 1 i
n
2
ˆ y y
2
• 反映回归直线的拟合程度 • 取值范围在 [ 0 , 1 ] 之间 • R2 1，说明回归方程拟合的越好； R20， 说明回归方程拟合的越差 • 等于多重相关系数的平方，即R2=(R)2
2. 不作任何处理
• 当模型出现下列情况时，对多重共线性可 不做处理。 • （1）当所有参数估计量皆显著或者t值皆大 于2时，对多重共线性可不做处理。 • （2）当被解释变量对所有解释变量回归的 判定系数R2值大于任何一个解释变量对其余 解释变量回归的决定系数 值时，对多重共 线性可不做处理。
• （3）如果多重共线性并不严重影响参数估 计值，以至我们感到不需要改进它时，多 重共线性可不做处理。 • （4）如果样本回归方程仅用于预测的目的， 那么只要存在于给定样本中的共线性现象 在预测期保持不变，多重共线性就不会影 响预测结果，因此多重共线性可不做处理。
yi i y
2


平均预测误差
12.3 显著性检验
12.3.1 线性关系检验
1. 检验因变量与所有的自变量和之间的是否存 在一个显著的线性关系，也被称为总体的显 著性检验 2. 检验方法是将回归离差平方和(SSR)同剩余离 差平方和(SSE)加以比较，应用 F 检验来分析 二者之间的差别是否显著
12.1.2 估计的多元回归方程
总体回归参数 0 , 1 , 2 ,, k 是未知的，利用样本数据去估 ˆ ˆ ˆ ˆ 计。用样本统计量 , , ,, 代替回归方程中的未知参数
0 1 2 k
0 , 1 , 2 ,, k 即得到估计的回归方程
ˆ ˆ ˆ ˆ ˆ y 0 1x1 2 x2 k xk